WO2025003618A1 - Procede et dispositif pour inspecter des recipients selon au moins deux directions d'observation differentes en vue de classer les recipients - Google Patents

Procede et dispositif pour inspecter des recipients selon au moins deux directions d'observation differentes en vue de classer les recipients Download PDF

Info

Publication number
WO2025003618A1
WO2025003618A1 PCT/FR2024/050859 FR2024050859W WO2025003618A1 WO 2025003618 A1 WO2025003618 A1 WO 2025003618A1 FR 2024050859 W FR2024050859 W FR 2024050859W WO 2025003618 A1 WO2025003618 A1 WO 2025003618A1
Authority
WO
WIPO (PCT)
Prior art keywords
container
images
class
defect
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2024/050859
Other languages
English (en)
Inventor
Gwendal BERNARDI
Sylvain GOURGEON
Jean-François GARIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiama SA
Original Assignee
Tiama SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiama SA filed Critical Tiama SA
Priority to EP24746007.4A priority Critical patent/EP4736111A1/fr
Priority to CN202480055769.5A priority patent/CN121773452A/zh
Publication of WO2025003618A1 publication Critical patent/WO2025003618A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • Title of the invention Method and device for inspecting containers according to at least two different observation directions with a view to classifying the containers.
  • the present invention relates to the technical field of the inspection of transparent or translucent containers such as, for example, glass bottles, jars or flasks or even plastic preforms or bottles (including returnable containers) for the purpose of their quality control in order to detect and identify possible defects likely to affect these containers.
  • transparent or translucent containers such as, for example, glass bottles, jars or flasks or even plastic preforms or bottles (including returnable containers) for the purpose of their quality control in order to detect and identify possible defects likely to affect these containers.
  • the subject of the invention finds particularly advantageous applications for analyzing physical characteristics of containers with a view to determining the presence or absence of defects and identifying conforming optical singularities such as decorations, functional reliefs, mold joints or non-conforming optical singularities corresponding to defects, such as for example surface defects, such as folds or crevices, internal defects in the material, such as cracks, inclusions, or bubbles, dimensional defects such as deformations.
  • defects such as for example surface defects, such as folds or crevices, internal defects in the material, such as cracks, inclusions, or bubbles, dimensional defects such as deformations.
  • the manufacturing process comprising melting the glass and then transporting it to forming units is implemented by means of a manufacturing installation comprising a melting furnace, a feeder for supplying molten glass to a forming machine generally of the type designated by IS machine.
  • the containers which have just been formed by the forming machine are placed successively on an output conveyor to form a row of containers.
  • the containers are transported in a row by a conveyor in order to transport them successively to different processing stations.
  • the formed containers are brought into an annealing furnace, which raises their temperature and then cools them in a controlled manner so that disappear the thermal stresses created by the forming process.
  • patent application WO2021/209704 describes an inspection station comprising at least six imagers (typically 6, 12, 18 or 24) forming images and having an optical axis directed towards the inside of the inspection zone, being mounted so that their optical axes are distributed around the central axis of the containers by choosing their azimuth angles between 0 and 360° relative to the translation direction, so that all the points of the circumference of the edge of the containers are represented in at least one image acquired during the crossing of the inspection zone by the edge of the container.
  • imagers typically 6, 12, 18 or 24
  • the containers are also illuminated by at least twelve projectors each having a beam direction, tangent to a cylinder centered on the central axis of the container, and the illumination beam directions are distributed in azimuth.
  • Such a device allows for multiple beam directions and multiple observation directions to ensure the detection of glazes that reflect incident light toward the imagers.
  • Patent application WO2023/052732 describes an inspection device provided on each side of the conveyor with a series of three cameras opposite which a light panel is arranged.
  • Patent application WO2021/213864 proposes a method for more reliably inspecting containers transported by a conveyor on a line, in particular a bottling line.
  • the containers are transported to at least a first inspection unit and a second inspection unit, each comprising a transmitter and a receiver.
  • the inspection units can inspect the containers using white light, laser light, high-frequency electromagnetic waves, gamma rays and/or X-rays as transmitters.
  • the containers are transported between the transmitter and a receiver such as a camera making it possible to acquire, with the first inspection unit, first measurement data and with the second inspection unit, second measurement data.
  • the first measurement data and the second measurement data are combined to form common input data for an evaluation unit based on artificial intelligence and providing as output, an inspection result, such as a filling level.
  • this document describes the detection of the filling level of containers by combining X-ray imaging and inspection with an infrared light source. This document specifies that such a method can be used to also check the side wall, the bottom, the mouth, the contents of the container such as for example contamination by foreign bodies or product residues.
  • the result of the inspection can also be defects, such as damage to the containers, in particular cracks and/or glass shards.
  • patent application WO2021/213864 does not provide any teaching for detecting or identifying with certainty, in particular, appearance defects. Regardless of the obligation to detect these defects, there appears to be a need to identify exactly the nature of the appearance defects in order to identify critical appearance defects compared to other defects that may be considered non-critical.
  • An erroneous identification of a type of defect on a container may lead to the rejection of this container when a correct identification of this defect would have made it possible to identify the container as good, or to the non-rejection of a critical defect generating a serious non-quality, or to an inappropriate correction of the manufacturing process which may go so far as to destabilize it, or even to the failure to take into account a process error because if a system generates false alarms too frequently, the operator may end up no longer taking into account correctly the indications of the inspection system.
  • a container inspection device making it possible to increase the reliability of detection, in particular to be able to reliably distinguish decorative elements by in relation to contamination or soiling.
  • the device comprises a light source emitting in spatially separated zones, radiation with different wavelength and intensity ranges. This light source illuminates the container to be examined and a colour camera is configured to detect the radiation emitted by the source and having passed through the container.
  • the device also comprises an evaluation device which is designed to analyze the intensity image to determine pixels or regions therein which have an intensity different from that of their neighborhood to deduce therefrom the presence of a light-absorbing defect such as dirt.
  • the evaluation device makes it possible to analyze the color images to determine pixels or regions which have a color different from that of their neighborhood to deduce therefrom the presence of light-refracting elements such as decorative elements.
  • the evaluation unit detects the presence of a decorative element.
  • the evaluation unit can also identify structures that cause local color contrast but virtually no local brightness contrast or only low local brightness contrast. For example, chips in glass or water droplets can cause such local color contrast, while light shining through can radiate through these areas substantially without loss of brightness.
  • Such an inspection device makes it possible to distinguish decorative elements from dirt or contamination.
  • light-refracting defects are distinguished from light-absorbing defects.
  • this inspection device does not make it possible to distinguish light-refracting defects from each other, as indicated by this application in particular with regard to glass inclusions and water droplets.
  • document JP 4886830 is also known, which describes the inspection of a rotating bottle to reveal a crevasse. This document proposes to process images, but remains silent on the image processing methods to be used. Document WO 2018/061196 has a teaching close to this document, and it has the same shortcomings.
  • Document EP 3180135 is also known, which describes an acquisition of images in stereoscopy to remove the parts of images visible in the two stereoscopic images.
  • the present invention aims to remedy the drawbacks of the prior art by proposing a method for controlling the quality of containers, designed to achieve more effective detection of defects by ensuring their identification in a more reliable and certain manner in order to optimize the sorting or classification of containers.
  • An object of the invention is to propose a control method making it possible to classify each container according to at least one class taken from a list of classes comprising in particular a class of absence of defect, a class of presence of defect, a class relating to a normal optical singularity and/or a class relating to an abnormal optical singularity.
  • the subject of the invention relates to a method for inspecting containers made of transparent or translucent material (typically glass or plastic, the person skilled in the art being able to identify the containers considered to be transparent or translucent) with a view to classifying a container, the method comprising; a use phase comprising:
  • a single deep learning model is here configured to receive at least two images as input and output a class membership for the container, based on the two images.
  • the deep learning model may for example comprise a number of inputs chosen to receive at least two images as input (or processing results of these two images if processing or preprocessing is performed on the images).
  • the images are images of at least one portion of a container.
  • it may be an image acquired by a sensor, a portion of an image acquired by a sensor, an image of an entire container, an image of a part of a container.
  • the at least two images target the same portion.
  • the deep learning model can be an artificial neural network (typically a neural network with convolution layers) or a transformer-type model.
  • the number of input neurons can correspond to the cumulative number of pixels in the two images.
  • multi-view data fusion is implemented before classification.
  • the multi-view fusion can be done by means of image concatenation techniques, channel concatenation, pixel-to-pixel addition, or on vectors representing information of the images and by adding the vectors, by performing an element-by-element multiplication of the vectors or by concatenation of the vectors.
  • the fusion operation aims to preserve the useful information of the data to be merged while excluding the redundant information. This operation can be performed at any time in the defect recognition process and can occur several times.
  • the inventors have noticed that certain defects seen from a particular angle have a signature that does not allow the type to be determined with certainty.
  • the shape of the image of the defect under a single observation direction is not always sufficiently characteristic, due to different optical phenomena.
  • the defect is not entirely visible in any image and/or the defect is deformed by refraction of light through the wall of the container and/or its appearance is different in photometry and geometry according to different observation directions.
  • the deep learning model may be preceded by one or more processing modules individually processing each image, the results of these processings then being provided as input to the deep learning model.
  • the method comprises:
  • the method comprises the provision of an inspection system configured to acquire images of the same portion of a container according to at least two different observation directions and according to at least one modality taken from the list of the following modalities: absorption, birefringence, refraction, reflection, infrared radiation.
  • each portion of container is classified according to at least one class taken from a list of classes comprising at least one class of absence of defect in the portion and one class of presence of defect in the portion.
  • each portion of container is classified according to at least one class taken from a list of classes comprising at least one class including the presence in the portion of at least defects such as in particular, trapezium, inclusion, bubble.
  • each portion of container is classified according to at least one class taken from a list of classes comprising at least one class including the presence in the portion of at least one singularity such as a marking, a mold seal, a notch, a thread, an impression, a stitch, a handle, a counter ring.
  • the method comprises the acquisition, for each container having a central axis, of at least four images of at least one same portion of a container according to four different observation directions and according to at least the first modality, the observation directions being distributed around the central axis two by two according to an azimuth angle of at least 45°.
  • At least one sorting characteristic is compared to a rejection criterion, the sorting characteristic and the rejection criterion rejection being dependent on the membership class to decide whether or not the container is compliant, the sorting characteristic being calculated on at least one image of the container according to a modality.
  • a step is implemented for taking into account at least one identified defect in order to deduce adjustment information for at least one control parameter of a container manufacturing installation.
  • the deep learning model associates a confidence score with the ranking of containers that are part of an inspected production
  • Accounting may involve the implementation of time statistics (defect frequencies). For example, time statistics may be provided for a sliding window in order to determine trends (emergence/occurrence of defects, drift in the process, etc.).
  • the invention also proposes a method for training a deep learning model for inspecting containers made of transparent or translucent material with a view to classifying a container, the method comprising a construction phase comprising:
  • a learning set comprising recordings each composed of at least a first and a second image of the same portion of container according to two different observation directions and according to at least one modality;
  • the deep learning model determining at least one membership class for said portion from a list of classes.
  • This learning method can be configured to obtain models according to all the modes of implementation of the inspection method defined above.
  • the method comprises providing at least one deep learning model having been trained on a learning set comprising recordings each composed of at least two images of the same portion of container according to observation directions different by at most 5° during the acquisition of the images.
  • the method comprises providing at least one deep learning model having been trained on a training set comprising recordings each composed of images of the same portion of container according to different directions and modalities.
  • the invention also proposes a method comprising a phase of construction of the learning method defined above to obtain a deep learning model, and a phase of inspection of the inspection method defined above using the deep learning model of said construction phase.
  • the image records are ordered according to a determined sequence while during the use phase, the image records are ordered according to a sequence identical to the sequence of the construction phase.
  • the images are ordered according to, for example, a direction of observation and a modality specific to each image, in an identical manner within each recording.
  • a recording therefore comprises a set images for a container, captured by a device similar to the inspection device.
  • Also by sequence, we mean an ordered series of elements, the order being able to be fixed by the directions and the modalities.
  • the invention also provides a device for inspecting containers made of transparent or translucent material leaving a manufacturing or recovery installation with a view to classifying the containers in relation to defects, the device comprising:
  • an inspection system comprising at least one camera arranged to recover light or radiation (for example infrared) coming from at least one portion of a container and configured to acquire images of the same portion of a container according to at least two different observation directions and according to at least one first modality;
  • light or radiation for example infrared
  • an information processing unit connected to the inspection system and comprising a deep learning model, the deep learning model determining at least one membership class for said portion from a list of classes, the deep learning model receiving as input, for each container, a recording of at least two images of at least one portion of the container according to the first modality and according to two different observation directions, the deep learning model, for each container, analyzing this recording to determine the membership of this portion of container, to a result class from the list of classes.
  • This device can be configured to implement the inspection method as defined above.
  • the invention also proposes a device configured for implementing the learning method defined above.
  • the invention also proposes a deep learning model obtained by the learning method defined above.
  • Various other characteristics emerge from the description given below with reference to the attached drawings which show, by way of non-limiting examples, embodiments of the subject of the invention.
  • Figure 1 shows an exemplary embodiment of an installation for manufacturing containers inspected by an inspection device according to the invention.
  • Figure 2 is a schematic view illustrating an exemplary embodiment of an inspection device according to the invention using two cameras adapted, for example, to simultaneously take two images of a container from two different observation directions.
  • Figure 3A is a schematic top view showing the taking of successive images, by a camera, under a first observation direction of a container moving in translation.
  • Figure 3B is a schematic top view showing the taking of images, by a camera, under a second observation direction of a container moved in translation relative to its position illustrated in Figure 3A.
  • Figure 3C is a schematic top view showing the taking of images, by a camera, under a third direction of observation of a container moved in translation relative to its position illustrated in Figure 3B.
  • Figure 4 is a schematic view illustrating an exemplary embodiment of an inspection device according to the invention using two cameras adapted to obtain from each three analysis images according to three different modalities, in order to constitute a recording of analysis images comprising at least 6 container images.
  • Figure 5 is a schematic view illustrating yet another exemplary embodiment of an inspection device according to the invention adapted to simultaneously take three images of a container from three different observation directions and analyzed by four neural networks which collaborate to classify the container.
  • Figure 6 is a schematic view illustrating yet another example of an embodiment of an inspection device according to the invention using two cameras adapted to simultaneously take two images of a container from two different observation directions and analyzed by algorithms for detecting image singularities and then by a neural network which classifies the container.
  • Fig. 7A shows an arrangement of a plurality of cameras arranged at different elevations.
  • Figure 7B corresponds to the arrangement of Figure 7A but where the different azimuths are visible.
  • Figure 8A is a photograph of a container in which a defect is visible.
  • Figure 8B is a photograph of the container of Figure 8A in which the defect is no longer visible.
  • Figure 9A shows a photograph of another container in which a defect is visible.
  • Figure 9B is a photograph of the container of Figure 9A in which the defect is still visible, but with a different appearance.
  • Figure 9C shows how the cameras used to obtain the images of Figures 9A and 9C are arranged.
  • Fig. 10A is a photograph of yet another container on which a two-part defect is visible.
  • Figure 10B is a photograph of the container of Figure 10A in which the defect remains visible with a different appearance.
  • FIGS 1 and 2 illustrate a device 1 according to the invention for inspecting containers 2 leaving an installation 3 of all types known per se.
  • the installation 3 provides transparent or translucent containers 2 such as, for example, bottles, pots, flasks, syringes, ampoules or preforms.
  • a container 2 has a central axis R, considered as an axis of symmetry, or even an axis of symmetry of revolution.
  • These containers 2 can be made of different materials such as glass, plastic or renewable raw material such as wheat, sugar cane or corn for example. These containers 2 can be filled or empty.
  • the installation 3 thus ensures the manufacture of the containers 2 or even their decoration or dressing, filling and closing. It should be noted that the installation 3 is capable of manufacturing the new containers 2 from raw or recycled materials, or of reconditioning recovered containers. According to a preferred example of implementation, the installation 3 is a forming installation from which empty glass containers emerge.
  • the installation 3 comprises a production computer 4 for supervising the various functionalities of the installation 3 during the manufacture of the containers.
  • the production computer 4 is typically for a glass container forming machine, a sequencer which controls pneumatic or motorized actuators as well as valves controlling the circulation of the cooling air or the blowing pressure for the manufacturing molds.
  • the containers 2 are taken in charge by an outlet conveyor 5 to form a line of containers, being in the example illustrated, placed successively on the outlet conveyor.
  • the containers 2 are transported in line by the conveyor 5 in a direction of movement F in order to convey them successively to different treatment and/or control stations and in particular to an annealing arch 6 (i.e. a treatment station) and to the inspection device 1 according to the invention (i.e. a control station).
  • the direction of movement F of the containers 1 is established according to a rectilinear trajectory of horizontal axis X of a direct orthonormal reference frame X, Y, Z comprising a vertical axis Z perpendicular to the horizontal axis X and a transverse axis Y perpendicular to the vertical axis Z and to the horizontal axis X, and the axes X and Y being in a plane parallel to a conveying plane Pc of the containers which is considered to be horizontal.
  • the inspection device 1 according to the invention can also, in a variant, be installed downstream of the installation 3 and upstream of the annealing arch 6, when the hot containers 2' are transported in line by the conveyor 5' towards the arch. In other words, the inspection device 1 according to the invention can be installed upstream or downstream of any treatment of formed containers and transported according to the movement F.
  • the inspection device 1 aims to implement a method for detecting for each container 2 moving in translation, whether the container has a defect and to identify for a container having a defect, a type of defect from a family of possible defects.
  • the inspection device 1 comprises an inspection system 7 visible in FIG. 2 and comprising at least one camera Ci (Cl, C2,...Ci,...Cn, with i ranging from 1 to n) arranged to recover light or radiation (for example infrared) coming from at least one portion of a container 2 and configured to acquire images of the same portion of a container according to at least two different observation directions DI, D2 and according to at least one first inspection method.
  • Ci Camera
  • each camera Ci comprises in a conventional manner (FIGS. 3A to 3C), an optical lens B having an optical center O and an optical axis A, allowing the formation of an optical image on a photoelectric sensor E, linear or matrix, generally flat, positioned in the focal plane of the lens.
  • the images acquired by the cameras Ci are transmitted to an electronic information processing unit 9 forming part of the inspection device 1, but which may possibly be remote.
  • This electronic information processing unit 9 is a computer system of all types comprising computers, external peripherals (display unit, storage unit, keyboards, connection to different factory networks, connection to cameras, etc.), equipped with programs implementing in particular image processing algorithms, databases, etc.
  • This information processing unit 9 is connected to the production computer 5 in order to receive, if necessary, from the production computer (or even from other peripherals), manufacturing information for an association with the containers 2, their images and their detected defects with this manufacturing data.
  • the manufacturing information can be time information, mold or molding cavity numbers, etc.
  • received time information makes it possible to associate the containers 2, their images and their detected defects, with the mold number or the forming cavity or with a time stamp or with an individual identifier.
  • the operation of the inspection system 7 is synchronized with the operation of the forming cavities of the containers, in particular in the case where it is installed between the forming installation 3 and a processing station such as the annealing arch 6.
  • this information processing unit 9 transmits to the production computer 4 the identified defects and the measurements made, so that the production computer can automatically deduce adjustment information for at least one control parameter of the installation 3 or processing 6. Such an adjustment of the control parameters is carried out manually or automatically.
  • the information processing unit 9 is connected to an ejector to control the ejection of containers identified as defective, and/or to a display unit to present to an operator the identified defects and the images of the containers.
  • the inspection system 7 is configured to recover, by at least one camera, the light coming from the container 2 in order to acquire images of the same portion of a container according to at least two different observation directions DI, D2, D3, ... Dj and according to at least one inspection method.
  • each observation direction D1, D2, D3 corresponds to the straight line passing through the center optical O of the camera and the center T of the portion P of the container 2 placed in the field of observation of the camera.
  • the different observation directions D1, D2, D3 are produced for different positions of the container in the observation field of the camera.
  • the containers 2 are moved along a rectilinear trajectory represented by the arrow F so as to pass in front of a fixed camera C1 positioned to inspect the body of a container.
  • the center T of the portion P of the container 2 observed by the camera corresponds to the central axis R of the container.
  • the camera C1 takes an image ICI 1 of the container 2 when the direction of observation D1 forms an angle alpha with the optical axis A.
  • FIG. 3A the camera C1 takes an image ICI 1 of the container 2 when the direction of observation D1 forms an angle alpha with the optical axis A.
  • the movement of the container leads to its positioning in a position for which the direction of observation D2 corresponds to the optical axis A.
  • the camera C1 takes an image IC12 of the container 2 when the direction of observation D2 coincides with the optical axis A.
  • the continued movement of the container leads to its positioning in a position for which the direction of observation D3 has passed the optical axis A and forms an angle alpha with the optical axis A (FIG. 3C).
  • the camera C1 takes an image IC13 of the container 2 when the direction of observation D3 forms an angle alpha with the optical axis A.
  • the direction of observation is modified by the relative movement between the container 3 and the camera.
  • the camera is fixed while the container is mobile.
  • the object of the invention also applies to a fixed container and a mobile camera.
  • the different observation directions D1, D2 are produced by cameras having observation directions of the container which are different at the time of acquisition of the images.
  • two cameras C1, C2 are positioned so that in a vertical plane, parallel to the central axis R, the optical axes A of the cameras form between them an elevation angle alpha determined so that if the observation directions correspond to the optical axes, the observation directions are offset by an angle alpha.
  • the cameras may be envisaged to distribute the cameras in the azimuth plane (plane parallel to the conveying plane, as will be visible with reference to figures 7 A and 7B described below) so that the optical axes A of the cameras form between them an azimuth angle alpha determined so that if the observation directions correspond to the optical axes, the observation directions are offset by an angle alpha.
  • two observation directions DI, D2, D3...Di have different observation directions if these two observation directions are offset by at least 5°.
  • this inspection system provides the information processing unit 9 with images of the same portion of a container according to at least two different observation directions and according to at least one first inspection method.
  • the same portion it is meant that an overlap of the views is possible between the images.
  • An inspection modality corresponds to a type of interaction of light with the wall of the containers and with the defects to be identified.
  • the inspection system 7 is configured to acquire images of the same portion of a container according to at least two different observation directions and according to at least one modality taken from the list of the following modalities: absorption, birefringence, refraction, reflection, infrared radiation.
  • an inspection modality is called absorption.
  • This modality mainly highlights the absorption of the light passing through by the wall of the container passed through, but also refraction effects such as shadows on the edges of the container or refracting defects or thickness variations.
  • Some defects have an absorbent character, totally or partially absorbent. These defects thus appear opaque or dark when they are seen in transmission, that is to say that the light passing through a wall of flawless glass undergoes a so-called normal absorption corresponding to the color and thickness of the material constituting the container, assumed to be homogeneous with the glass wall.
  • the absorbent defects present a local anomaly with an absorption sometimes lower (bubble or thin) but generally higher than the normal absorption.
  • Such defects include in particular inclusions in the glass, in particular of ceramic or metals, and/or dirt (grease, ...) on the glass. But such defects also include certain glazes (cracks) which would be oriented in the glass so as to block the inspection light, mainly by the fact that the inspection light is then reflected in a direction which is not seen by the camera. Due to the limitation in size of the light source, shadows appear in the image due to refraction on the outer edges of the silhouette of the container. Shadows do not generally reveal defects. Certain forms of shadows reveal defects in the glass distribution. Some refracting defects have a particular signature at the edge of the container silhouette and another signature in the center. They will therefore be distinguished by observation from different viewing angles.
  • birefringence Another inspection method is called birefringence.
  • This method mainly involves a modification of the polarization state of the light passing through the wall of the container by a so-called stress defect, which gives the glass a birefringence property.
  • Some defects have a birefringent character. Thus, some defects result in the presence of residual mechanical stresses in the material (sometimes called internal mechanical stresses or, in particular in English, "stress").
  • a birefringent or stress defect such as an inclusion of foreign bodies (ceramic, metal, "devitrified glass) causes a modification of the polarization state, i.e. a polarization phase shift between two components of the electric field or a modification of the direction of linearly repolarized light.
  • refraction is another inspection method.
  • This method mainly implements a modification of the direction of propagation of the light passing through the wall of the container by a refracting defect, due to an angle between the dioptric surfaces crossed and/or a difference in refractive index.
  • Each surface is an air/glass or glass/air interface, therefore a dioptric surface that refracts the light passing through it.
  • the surfaces of the walls are substantially parallel and the refraction does not cause any visible deviation of the light rays passing through the container.
  • a so-called refracting defect is a defect that locally causes abnormal refraction, mainly when the defect manifests itself by slope differences between the surfaces or dioptric surfaces crossed by the wall(s).
  • Refractive defects are defects that are mainly detectable by the refraction anomalies they generate, especially in a through-light inspection.
  • surface defects folds, rivers,
  • glass distribution defects bubbles, thin, compression ring
  • trapezoids and fins are generally classified as refractive defects. It should be noted that trapezoids and fins generally cause such strong refractions that these defects are generally clearly visible also in absorption images.
  • Glazes are very narrow cracks, of different shapes and lengths and different orientations in the material. Glazes behave like diopters reflecting light. Their detection consists of illuminating a part of the container according to one or more directional beams having specific angles of incidence on the illuminated portion of the container. The direction of the light reflected by a glaze is specific to the shape and orientation of the glaze, and the image by a camera receiving or not the reflected light allows the detection of glazes. In other words, the direction of observation is a characteristic of the glaze. According to this method and in the example of patent WO 2021/209704, a A large number of cameras are arranged around the container with observation directions distributed in azimuth and elevation.
  • the invention is not limited to these modalities. It can be applied for example in the case of a pure reflection modality, according to which a light source is designed to illuminate the surface of a portion of container, the surface reflecting the light in the direction of the camera. The image is then mainly constituted by the reflected light, and we observe as potential defect, either deformations of geometry of the surface, or of its reflectivity, or the appearance of a reflection outside the normal contour of the surface.
  • Another inspection method is called infrared radiation.
  • This inspection method without using a light source to illuminate the containers, aims to inspect the still hot containers, typically made of glass, at the end of their manufacture and emitting, given their temperature, infrared radiation depending on the volume (in other words, the thickness) and/or the temperature of the material constituting the containers.
  • So-called infrared cameras are used, equipped with image sensors sensitive to the infrared radiation emitted by the still hot containers, the temperature of which is greater than 300°C.
  • the sensors used in this type of modality have a length sensitivity spectrum adapted according to the cases of use, for example in near infrared (SWIR or NIR) and/or mid infrared (MWIR).
  • a defect modifying the emissivity, therefore the image of the infrared radiation of a container can be linked to an accumulation of material at a specific location corresponding for example to an excess thickness of the wall or to a trapezoid or swing defect (defect of a glass wire inside the container and connected by its ends to the inner wall).
  • the observation of the infrared radiation of hot containers according to at least two different observation directions allows for example that the neural network (or the model used) takes into account the directional emissivity and/or the depth of the defect to determine the class to which it belongs.
  • the inspection of the containers 2 according to one and/or the other of these inspection methods can be carried out using various configurations of the inspection system 7.
  • the inspection system is configured to acquire images in order to obtain images according to at least one modality and advantageously images relating to several modalities. It should be noted that depending on the inspection system 7 used, the images according to these modalities can be obtained directly from the acquired images or from calculations or processing.
  • a first simple method is to produce on the light source a uniform intensity and non-polarized illumination in an active portion.
  • a second solution for obtaining the absorption image is to use a linearly or circularly polarized uniform intensity light source and to produce the image by means of a camera without any polarizing filter between the container and the camera.
  • the intensity uniformity of the light source can be perfect, that is to say that the intensity is constant over the entire active zone of a flat and extended light source emitting diffuse light.
  • the uniformity can also be local, in particular when the glass of the containers is tinted, it can be provided that a region of the source illuminating the neck where the glass wall is thicker, emits a stronger uniform intensity, while a region illuminating the body of the container where the wall is thinner emits a weaker uniform intensity.
  • the intensity of a light source which generates, as described in document FR 2794241, a continuous spatial variation of intensity slower than that observed in the vicinity of a defect is also considered to be uniform or relatively uniform, such that an image analysis algorithm which compares the pixels to their neighbors to detect rapid local variations in intensity as defects does not detect the slow variations in intensity emitted by the source.
  • Another solution for obtaining the absorption image is to use a linearly or circularly polarized monochrome intensity uniform light source and to produce a composite polarimetric image using a polarimetric camera, and to calculate the absorption image from at least two partial polarimetric images corresponding to observations through two linear filters with analysis directions at 90° to each other.
  • Another solution for obtaining an absorption image is to produce the illumination using a source exhibiting variations in a polarization characteristic with the intensity remaining relatively uniform and to acquire a composite image containing at least 2 to 4 partial images using a polarimetric camera and to calculate an absorption image from 2 to 4 partial images taken through polarization analyzers at 90° to each other.
  • a first simple method is to produce on the light source, a uniform monochrome illumination linearly polarized in a determined direction, in an active portion.
  • the image is acquired either by a black and white camera in front of which is placed a linear polarization analyzer whose direction is orthogonal to the determined direction, or by a polarimetric camera whose pixels of the partial image corresponding to the analysis are taken into account through a linear filter orthogonal to the determined direction.
  • the value of the pixels of the birefringence image is then almost zero except in the presence of a stress defect. When light passes through a stress defect, the measured/received light intensity obtained depends on the direction and intensity of the stresses.
  • a second method for obtaining a birefringence image is to produce on the light source, a uniform monochrome illumination circularly polarized in a given direction in an active portion.
  • the image is acquired with a black and white camera in front of which is placed a 1/4 wave retardation plate then a linear polarization analyzer.
  • the value of the pixels of the birefringence image is then almost zero except in the presence of a stress defect.
  • the outgoing light intensity depends on the intensity of the stresses but not on the direction of the stresses.
  • a third method of obtaining a birefringence image is to produce on the light source, a uniform monochrome illumination polarized linearly in a single direction or circularly in a single sense in an active portion.
  • the image is acquired by a polarimetric camera in front of which is optionally placed a 1/4 wave delay plate delivering a composite image.
  • a birefringence quantity is calculated which depends on the polarization phase shift between the Ex and Ey components of the electric field and which is a measure of the stress.
  • a person skilled in the art will be able to find the calculation formulas from the Mallus equation and the Stockes formalism.
  • the polarization phase shift can be calculated to obtain as pixel values in the birefringence image, a value which depends on the intensity of the stresses but preferably not on the direction of the stresses, the detection is therefore isotropic and proportional to the stresses.
  • the polarization phase shift can be measured between 0 and 90° or even between 0 and 180°. This method also makes it possible to calculate an absorption image with the composite image delivered by the same polarimetric camera, by calculating each pixel as explained previously.
  • US4606634 describes a type of refracting defect detection that involves modifying the “spectrum angular" of an extended light source.
  • a light source of variable dimension for example a luminous disk of variable diameter, is at the focus of a converging projection lens.
  • an enhanced contrast is obtained on the refracting objects, this contrast being able to be increased by reducing the angular spectrum, which is produced by reducing the diameter of the luminous disk.
  • a second set of methods for obtaining a refraction image consists in varying spatially along the emitting surface of an extended light source, such as a light panel, a property of the light emitted by the source that the camera can distinguish.
  • an extended light source such as a light panel
  • its intensity was initially used.
  • At least one image is acquired with an intensity-sensitive camera, therefore a priori monochrome, delivering monochrome images.
  • the intensity of light emitted by each unit of light emitting surface varies spatially according to a spatial variation law in one or two dimensions.
  • these inspection methods adapted for detecting refracting defects implement illumination devices that provide light that is sometimes called "structured", that is to say having an emitting surface, generally two-dimensional, which has variations or patterns of intensity.
  • a third set of methods for obtaining a refraction image consists in varying spatially along the emitting surface, as a property of the light emitted by the source, a polarization property, a color property and/or a phase property.
  • documents WO2020/244815 and EP3679356 illustrate variants of this third set of methods for obtaining a refraction image.
  • the inspection system 7 is configured to obtain images according to two different inspection modalities. According to a preferred alternative embodiment, the inspection system 7 is configured to obtain images according to three different inspection modalities.
  • the method according to the invention aims to inspect the containers 2 using the inspection system 7 configured to acquire absorption, refraction and birefringence images, making it possible to recognize defects characterized by all of their 3 types of interaction with light.
  • the invention is also advantageous for an inspection system for detecting glazes using a device as described in EP4136434, a certain number of cameras observing the same portion of containers under different observation directions.
  • the variations in the shape and the position of the reflections corresponding to the glazes between the different images mainly make it possible to distinguish them from parasitic reflections, and a learning classification model allows effective detection/classification while it is difficult to define a priori by professional knowledge, the geometric characteristics of these very random shape defects.
  • the objective of the combination of these various lighting and image acquisition techniques is to obtain from each inspected region of each container, at least two and preferably at least three images each according to a different modality and different directions, with for each modality, the value of each pixel which depends on a different modality of interaction of the light with the wall crossed and with the defects to be detected.
  • the configuration of the lighting and the cameras depends on the inspected region of the container which can correspond to the body, the bottom, the neck, the shoulder, the rim, the ring or to an area where engravings are present for example.
  • the images acquired from the same portion of a container according to at least two different observation directions and according to at least one first modality are made available to the information processing unit 9.
  • pre-processing such as:
  • this information processing unit 9 comprises a neural network having been trained during a construction phase, on a learning set comprising recordings each composed of at least two images of the same portion of the same container according to at least two different observation directions and according to at least one modality.
  • the neural network determines at least one membership class Kj for said portion from a list of classes Kl, K2, ... Kj, ... Kp.
  • the trained neural network receives as input, for each container, a recording of at least two images of at least one portion of the container according to a modality and according to two different observation directions, these images being acquired using the inspection system 7 during the scrolling of the containers.
  • the neural network analyzes this recording to determine the membership of this portion of container, to a result class among the list of classes Kl, K2, ... Kj, ... Kp..
  • each container 2 scrolling in front of the device 1 is inspected in order to detect in the images taken, the presence of defects and to classify the detected defects.
  • the classes Ki should also include non-defect objects such as decorations, markings, shadows, etc.
  • the information processing unit 9 is thus adapted to implement an inspection method for detecting defects on containers and classifying the containers, according to previously defined classes.
  • the inspection method thus makes it possible to classify each container according to at least one class taken from a list of classes including in particular a class for the absence of a defect and a class for the presence of a defect. It should be understood that the subject of the invention makes it possible at least to detect the presence of a defect or the absence of a defect.
  • the subject of the invention makes it possible to identify or recognize defects, thus allowing them to be classified.
  • the list of classes Kl, K2, ... Kj, ... Kp comprises at least one class comprising the presence in the image portion of at least one abnormal optical singularity corresponding to a defect.
  • some of the classes correspond to glass defects, i.e. defects linked to the manufacturing process of the containers.
  • the glass defects concerned are glass defects having optical properties of interaction with the light passing through the container, such as at least one part of absorption, and/or one part of birefringence and/or one part of refraction, so that they are detectable using the aforementioned devices.
  • these classes may correspond to a bubble, an inclusion, a fold, a grain, a stone, a fin, a large bubble, a trapezoid or a swing.
  • several classes can correspond to the same type of glass defect, such as the trapezoid-type glass defect.
  • one class can correspond to large trapezoids with thick glass threads and another class to small trapezoids with small unconnected points.
  • the list of classes Kl, K2, ...Kj, ...Kp comprises at least one class comprising the presence in the portion of at least one normal optical singularity not corresponding to defects.
  • classes may correspond to reliefs with a technical function such as positioning notches or the striations of the laying plane, with a decorative function such as coats of arms, or with a function of technical or commercial indications such as brand, capacity, mold number.
  • Other classes may correspond to elements that can be distinguished on the container such as mold seals, which may be circular at the bottom or linear on the vertical wall.
  • the number p of image classes is independent of the number of modalities.
  • the list of classes includes a number of classes greater than the number of modalities implemented.
  • the list of classes may include classes that do not correspond to glass defects.
  • the list may include, as a class that does not correspond to glass defects, a class corresponding to a container 2 without defects, a class corresponding to a container 2 with a mold seal, a class corresponding to a container 2 with a coat of arms.
  • the list of classes contains a non-glass defect class, at least one trapezoid class, at least one inclusion class, and at least one bubble class. These classes are recorded and accessible to the information processing unit 9.
  • the number of classes is therefore determined first by the need for production and quality control, therefore by the need to identify production defects in order to make the right decisions during sorting and to allow possible correction of the process. Conversely, the number of modalities is only determined by the technical and economic limits of the known means of highlighting absorption, refraction and birefringence properties.
  • the number of classes also depends on the quality of the sorting obtained by means of the neural network. Indeed, during the training of the neural network, it It is known to verify on test sets the rate of good classifications obtained. It has been observed that the classification is better when the list of classes contains several classes for the same defect such as trapezoids. In other words, the number of classes can be increased to improve the quality of the automatic classification.
  • the classification operation is performed by a neural network receiving as input, for each container, a recording of at least two images of at least one portion of the container according to a modality and according to two different observation directions.
  • the at least two images are analyzed at the same time by a deep learning neural network which can determine, based on all significant photometric and/or geometric characteristics, the membership of an image singularity to a class.
  • Figure 2 illustrates an exemplary embodiment of a convolutional neural network CNN1 receiving as input the images of portions of the containers according to at least two different observation directions and one modality.
  • the outputs of the convolutional neural network CNN1 are the input data of a neural network NN for classifying the containers.
  • Figure 4 is a schematic view illustrating an exemplary embodiment of an inspection device according to the invention using two cameras adapted to obtain from each three analysis images according to three different modalities, in order to constitute a recording of analysis images comprising at least 6 container images.
  • a container 2 and two cameras C1 and C2 configured to respectively acquire images of the same portion of a container according to two different observation directions DI, D2.
  • the camera C1 is configured to obtain three images according to three different modalities
  • the camera C2 is configured to obtain three images according to these same different modalities.
  • K1, K2 are designated as possible classes for the recordings of these six images.
  • these six images can be recorded with the appropriate class, and during the learning phase, detection, we can acquire the six images for classification.
  • X context data or metadata about the images, which can be taken as input data to the classifier, for example X contains viewing directions, viewing direction differences, camera numbers, modality identifiers for each image.
  • FIG. 5 illustrates another exemplary embodiment of an inspection system 7 allowing the acquisition of images of portions of containers according to three different observation directions and one modality.
  • One of the two cameras shown delivers images according to two different observation directions.
  • Three convolutional neural subnetworks CNN1, CNN2, CNN3 each receive as input the images of portions of the containers according to a determined observation direction.
  • the outputs of the three convolutional neural subnetworks CNN1, CNN2, CNN3 are the input data respectively of neural networks NN1, NN2, NN3 collaborating together with a neural subnetwork NN4 allowing the classification of the containers.
  • the convolutional neural subnetworks CNN1, CNN2, CNN3, the neural subnetworks NN1, NN2, NN3, and the neural subnetwork NN4 form a neural network, i.e. a single deep learning model within the meaning of the invention.
  • the outputs of the networks NN1 NN2 NN3 are for example, when singularities such as defects are present in the images, DSI DS2 DS3 singularities each associated with an output vector of their network, the vectors being able to be considered either as measurements of morphological or photometric properties of the singularities, or as classifications of the singularities.
  • the MC module consists in associating the DSI DS2 DS3 singularities of the different views as being descriptions of the same singularity under different observation directions, and the role of the sub-network NN4 is then to determine a unique classification Dj from the outputs of the networks NN1 NN2 NN3.
  • the data fusion includes: structuring the classifier into subnetworks, with an output network NN4 which merges the results of the input subnetworks NN1 NN2 NN3.
  • the input subnetworks are replaced by classic segmentation modules ANDI AND2 and DSI DS2.
  • Figure 6 illustrates another exemplary embodiment of an inspection system 7 allowing the acquisition of images of portions of containers according to two different observation directions and one modality.
  • a single NN network is used and is shown in the figure.
  • a singularity detection operation is carried out in order to detect the presence of one or more singularities (by the DSI module for the image obtained by the camera C1, by the DS2 module for the image obtained by the camera C2).
  • This DSI or DS2 singularity detection detects and locates in the image an image singularity in the sense of a connected or non-connected set of pixels having particular local characteristics relative to neighboring pixels or to the background.
  • DSI or DS2 singularity detection can implement any image processing method suitable for detecting singularities with here one or more preliminary processing steps (AND1 and AND2 in the figure) such as filtering, thresholding, mathematical morphology transformations, labeling, variance analysis, edge detection etc.
  • a typical result of DSI or DS2 singularity detection can include only the position of a pixel or a set of pixels (typically the connected pixels that form the singularity).
  • singularity detection implements a segmentation of the images. For each image, a rectangle framing the detected singularity can easily be sent to the neural network. It is possible to associate additional information with the detected singularities, such as image primitives (perimeter, contrast) or information relating to the container such as its orientation on the conveyor.
  • both singularity detection modules can output the position and dimensions of a bounding box that contains a detected singularity.
  • a matching is implemented by means of the MC module between the two singularities detected by the DSI and DS2 modules, on the basis of their positions in the images or on the container. For example, if relative to the image of the container or to its external contours, the two framing rectangles (if the DSI and DS2 modules deliver such rectangles) overlap, or are at the same height for images of the vertical wall, or on the same circle during a background check, etc., they are considered as corresponding to the same part or to the same singularity of the container.
  • a precise matching can be carried out according to the position on the container of the singularity(ies) detected by the DSI and DS2 modules, knowing the geometry of the container and of the acquisition device.
  • the NN network of the figure is of the CNN type, the quality and precision of the upstream detection of singularity does not matter, provided that this detection detects all singularities, including false detections, the CNN type NN network comprising so-called convolution steps capable of detecting artifacts, singularities, and of determining primitive forms for them in order to perform a classification whose result may be the absence of singularity, the presence or absence of a defect, or the type of normal or defect singularity.
  • Figures 7A and 7B show an arrangement of a plurality of cameras arranged at different azimuths and elevations and usable for implementing the invention, in an inspection system 7.
  • Figures 8A and 8B are two images of the same portion of the same container, here two images of the base of the same glass bottle.
  • the figure also shows the orientations of the cameras C1 and C2 used respectively to obtain two images II and 12 in opposite directions and facing each other (angle of 180°).
  • the defect DF1 is here only visible on image II.
  • a model according to the invention may be able to deduce from the visibility of the defect on image II alone that the defect is of the “open blister” type.
  • the invention makes it possible to better classify defects in glass containers.
  • Figures 9A and 9B are two images of the same portion of the same other container, acquired by two cameras whose arrangement is visible in Figure 9C.
  • two images of the same glass bottle are obtained, the bottom of this bottle resting on a conveyor, the axis of symmetry of the container being vertical.
  • Figure 9C more precisely, the orientations of the cameras C1 and C2 used respectively for obtaining two images I1 and I2 according to observation directions forming an angle in a vertical plane denoted P (which is an elevation difference) and an angle in the horizontal plane denoted o (which is an azimuth difference).
  • P which is an elevation difference
  • o which is an azimuth difference
  • the invention therefore reinforces confidence in the classification of defects.
  • Figures 10A and 10B are two images of the same portion of yet another same container, here two images of the same glass bottle.
  • the figure also shows the orientations of the cameras C1 and C2 used respectively to obtain two images II and 12 in directions forming an angle in a horizontal plane denoted a.
  • DFA1 is the front view, by the camera Cl, of a first part DFA of the defect (larger)
  • DFB1 is the rear view (camera Cl) of a second DFB part of the defect (small)
  • DFA2 is the rear face view (camera C2) of the first DFA part of the defect (larger)
  • DFB2 is the front view (camera C2) of the second part of the DFB defect (small)
  • the angle a between the 2 directions of observation is here at least 60°.
  • the invention makes it possible to automatically detect and recognize/classify defects visible only partially in a single observation direction.
  • the object of the invention aims to train a neural network (construction or learning phase) on a learning set comprising recordings each composed of at least a first and a second image of the same portion of container according to two different observation directions and according to at least one modality.
  • the recordings of this learning set are made by an inspection system 7 which is the same system used for the use phase.
  • the inspection systems 7 used to acquire the images during the construction phase and the use phase are the same.
  • these are substantially the same observation directions as those during the inspection, with the same modality.
  • the construction phase may precede the use/inspection phase.
  • a construction phase may be implemented after an inspection use phase. For example, records usable for learning may be obtained after a first implementation of the use/inspection phase, and the implementation of a construction phase subsequent to the use/inspection phase allows the operation of the model according to the invention to be further improved.
  • a construction phase subsequent to a use phase is analogous to a construction phase preceding a use phase, and it may itself be followed by a use phase.
  • the image recordings are ordered according to a determined sequence.
  • the images coming from the different cameras are classified according to a determined order.
  • the image recordings are ordered according to a sequence identical to the sequence of the construction phase.
  • the way in which the images are organized or arranged between them within the recordings to be presented as inputs to the classifier network, whether in an inspection phase, therefore classification phase, or in a construction phase, therefore training phase is the same.
  • the images obtained according to a given observation direction and a given modality will preferably be presented to the same input connectors of the model in both phases (typically to the same input neurons).
  • the identical order for both phases is a preferred method, it is possible alternatively, for example when the images are obtained by means of a device in which the observation directions are distributed in azimuth around the axis of the containers, and taking into account that the containers during inspection may arrive in the device with an indeterminate orientation, only the relative arrangement modulo 360° of the observation directions for each image of a recording counts.
  • the learning base To construct the learning base, several containers exhibiting defects to be recognized are selected, but also several containers without defects, several containers bearing normal optical singularities to be recognized: decorations, codes, notches, screw moldings, positioning notches, etc., and/or several containers exhibiting commercially acceptable optical singularities.
  • the images of these recordings show at least a portion of a container to be inspected corresponding to regions of interest of the container such as the ring, the neck, the shoulder, the body, the rim or a half-right or left side or an area of presence of engravings.
  • Some of these images include normal optical singularities to be recognized or abnormal optical singularities corresponding to defects. These images can be limited to these optical singularities or take into account a rectangle framing these optical singularities. These images can also take into account an enlarged rectangle framing these optical singularities, taking into account the context or the positioning of these singularities in the image.
  • the method aims to gather these recordings in a learning base, in a large number, typically at least a thousand recordings.
  • several recordings are made comprising images of defects to be recognized, images with normal optical singularities to be recognized or images of containers without defects.
  • the containers are preferably of the same material (glass or plastic material) as those to be inspected, and are preferably manufactured according to the same process. These containers can be of the same model, the same color, etc. but preferably the method consists of including in the learning base images of several containers of different models for each type of defect and several types of defects for each container model.
  • the construction phase is supervised learning.
  • the neural network is trained by supervised learning, i.e. by operations imposing on it the classification to be carried out with an error to be minimized for a given set of records.
  • Each record of the learning base is associated, at least as a label, with a membership class such as a defect type or a non-defect type.
  • the system is provided with a set of sorted records, labeled according to one of the previously defined classes. Each record is associated, via sorting and labeling, with a of said classes, which will allow the algorithm to calculate a more general model that will subsequently allow any unknown, unlabeled data to be associated with one of the previously defined classes.
  • This supervised learning method differs from the unsupervised learning method (having no a priori on the classes). According to this unsupervised method, data is provided in bulk to the system, without any form of sorting or labeling. The system itself is responsible for defining the number of classes that it considers most relevant and associates one of said classes with each piece of data (example: X-Means clustering algorithm).
  • the supervised learning method also differs from unsupervised learning (with an a priori on the number of classes): data is provided in bulk to the system, without any form of sorting or labeling. On the other hand, the system is told the number p of expected classes. The system then automatically associates each piece of data with one of the p expected classes (example: K-Means clustering algorithm). Unsupervised learning is not suitable for the objective of classifying defects according to a defect nomenclature in particular for glass, which would be determined a priori.
  • the method according to the invention aims to train the neural network so that it recognizes the types of defect and the containers not containing defects.
  • This learning phase is carried out by a person skilled in the art of artificial intelligence who chooses in particular a neural network model, a learning base and a learning algorithm.
  • This neural network is trained and tested iteratively until the result is obtained desired (confidence matrix, metrics (precision, recall, fl-score, mAP50 and mAP75 (mAP being an anglo-saxon acronym meaning "mean Average Precision").
  • the databases of these image records are reorganized with additions or deletions and/or the neural network model is changed as well as the learning algorithm.
  • the subject of the invention is based on the observation that the shape (morphology) and sometimes the photometry (contrast in the broad sense, therefore intensity or color as well as separation of intensity and color) of a defect or non-defect type singularity varies according to the direction of observation and specifically according to the type of singularity.
  • the change in appearance (morphology and/or photometry) in the image of a defect according to the directions of observation or even the lighting is a characteristic which makes it possible to differentiate the defects.
  • a region of the container is illuminated at precise incidences, by directed light beams reaching the surface of the container at a precise incidence so that the majority of the beam penetrates the glass wall and propagates in the glass. If a glaze is present on the light path in the wall, then the glaze reflects the beam which leaves in a modified direction to exit the wall at a precise exit angle, which is a function of the incident angle and the position and shape of the glaze.
  • a glaze-type defect in an image of observed shape differs depending on the observation angle, or is invisible in another direction even close (+/-10 0 ) to the first direction.
  • a bubble in a transparent container has a different observed shape depending on the observation angle, and this difference is not directly deducible by a geometric transformation.
  • the observed shape of the bubble and even the contrasts of the bubble depend on the relative position of i) the light source, ii) the bubble in the container (position/orientation of the container) and iii) the observation direction.
  • an inclusion or a grease stain on the surface will have an image shape that varies with the observation direction but in a quasi-deterministic manner by the geometry of the container and the observation direction, while the photometry varies little. It follows that the variation of the geometry and the photometry between different points of view is a discriminating characteristic of bubbles and stains or inclusions.
  • the method according to the invention not only makes it possible to identify glass defects in containers, but also to classify these defects in order to move from inspection to optimization of the manufacturing process.
  • One of the characteristics of the invention is to define a list of classes comprising classes of defects, which makes it possible to relate glass defects to characteristics of the manufacturing process to be regulated. Improving the classification of glass defects makes it possible to better trace back the causes of glass defects.
  • the object of the invention is advantageously exploited in the context of manufacturing installations to allow better detection and categorization of defects present within the containers. Certain defects can be seen, detected and categorized more easily thanks to the different observation directions possibly combined with different modalities.
  • the inspection method according to the invention is designed so that the neural network associates a confidence score with the classification of each inspected container of a production.
  • the confidence score is typically the probability of belonging of the container to the membership class.
  • the score can be expressed as a % or a value between 0 and 1.
  • a container may have several defects.
  • analysis images of the same container can be extracted, several image regions and for example several SR segments are recognized as belonging to defect classes.
  • the class to which the container belongs will be that of the segment classified in the defect class with the highest criticality.
  • the confidence score of the classification i.e. the class assigned to the container will be that of the segment classified with a confidence score greater than the threshold of confidence.
  • the statistical analysis of the production which will be presented later, can account for the distribution of defects independently of the number of containers rejected.
  • the neural network and in particular the CNN type detects the defects and also gives as information, their position in the container. This position is useful for correcting the method, for example it is useful to know if a defect is in the body or the neck.
  • the CNN can take into account the position of the singularities in the container to perform the classification.
  • the neural network also takes into account the relative position of the defect in the images according to different observation directions.
  • the subject of the invention is used for sorting the production of containers in the following manner. After classifying a container, at least one container sorting characteristic is compared to a rejection criterion, and when the sorting characteristic exceeds the rejection criterion for a container, the container is considered non-compliant and rejected. Indeed, the installation comprises an ejector for removing defective containers from production.
  • the sorting characteristic and the rejection criterion are dependent on the membership class to decide whether or not the container is compliant, the sorting characteristic being calculated on at least one image of the container according to one of the two or three modalities.
  • the sorting characteristic and the rejection criterion are for example a defect dimension such as its surface or its length measured in at least one analysis image.
  • the confidence score can optionally be taken into account for sorting, by rejecting containers belonging to a low-critical defect class only if the confidence score is high and conversely by rejecting containers belonging to a critical defect class even if the confidence score is low. Since the neural network is able to determine the position of a defect, with high confidence thanks to the different observation directions, according to a variant of the invention the position is an additional rejection criterion, because the position of a defect can influence its criticality. [0178]According to the invention, it is possible to define different rejection criteria depending on the position of the defects in the container.
  • the object of the invention is used to carry out a statistical analysis of a production of containers, that is to say an analysis of the frequency or distribution of the different types of defects and their criticality, the types of defects included in the list of classes and their criticality being determined in advance for the purposes of process control.
  • the inspection device 1 When the inspection device 1 according to the invention is installed downstream of the annealing arch 5, it is preferably equipped with a device for reading information carried on the containers and indicating the mold or the original section of the containers and/or a time stamp of their manufacture and/or a unique identifier of each container such as a serial number, or else connected to such a reading device. It is therefore possible and preferable to carry out the statistical analysis of the production, from the classification of the containers by the inspection method, according to the distribution of the defects in direct relation to the production parameters at the time of manufacture of each container and/or according to the different cavities and sections of the manufacturing machine.
  • the classification of the containers is only taken into account when the confidence score of the assigned class exceeds a confidence threshold for:
  • the confidence threshold corresponds to a predetermined or adjustable minimum value of the confidence score as an operating parameter of the inspection device, the adjustment being made on its HMI or remotely.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Procédé et dispositif pour inspecter des récipients selon au moins deux directions d'observation différentes en vue de classer les récipients Procédé d'inspection de récipients en matériau transparent ou translucide (2) en vue de classer un récipient, le procédé comportant; une phase d'utilisation comprenant : - l'acquisition pour chaque récipient, d'au moins une première et une deuxième images (Ic) d'au moins une même portion d'un récipient selon deux directions d'observation différentes et selon au moins une modalité; - la fourniture en entrée d'un modèle d'apprentissage profond (NN), pour chaque récipient, d'un enregistrement des au moins la première et la deuxième images d'au moins une portion du récipient selon au moins une modalité et selon deux directions d'observation différentes; - et l'analyse par le modèle d'apprentissage profond, pour chaque récipient, de cet enregistrement pour déterminer l'appartenance de cette portion de récipient, à une classe résultat parmi une liste de classes.

Description

Description
Titre de l'invention : Procédé et dispositif pour inspecter des récipients selon au moins deux directions d'observation différentes en vue de classer les récipients
Domaine Technique
[0001] La présente invention concerne le domaine technique de l'inspection de récipients transparents ou translucides tels que par exemple des bouteilles, des pots ou des flacons en verre ou bien des préformes ou des bouteilles (y compris des récipients consignés) en matière plastique en vue de leur contrôle qualité afin de déceler et d'identifier d'éventuels défauts susceptibles d'affecter ces récipients.
[0002] L'objet de l'invention trouve des applications particulièrement avantageuses pour analyser des caractéristiques physiques des récipients en vue de déterminer la présence ou l'absence de défauts et d'identifier des singularités optiques conformes telles que décors, reliefs fonctionnels, joints de moule ou des singularités optiques non conformes correspondant à des défauts, comme par exemple des défauts de surface, tels que des plis ou des crevasses, des défauts internes à la matière, tels que des fissures, inclusions, ou bulles, des défauts dimensionnels comme des déformations.
Technique antérieure
[0003] Dans le domaine de la fabrication de récipients en verre, il est connu que le procédé de fabrication comprenant la fusion du verre puis son acheminement vers des unités de formage est mis en oeuvre au moyen d'une installation de fabrication comprenant un four de fusion, un avant-cœur d'amenée de verre fondu vers une machine de formage généralement du type désigné par machine IS. Les récipients qui viennent d’être formés par la machine de formage sont posés successivement sur un convoyeur de sortie pour former une file de récipients. Les récipients sont transportés en file par un convoyeur afin de les acheminer successivement à différents postes de traitement. En particulier les récipients formés sont amenés dans un four de recuisson, qui remonte leur température pour ensuite les refroidir de manière contrôlée afin que disparaissent les contraintes thermiques créées par le processus de formage. D'autres procédés de formage de récipients en verre sont connus pour la verrerie de table, les isolateurs, les seringues et les ampoules. Par exemple, il existe des machines de formage telles que des presses rotatives et séquentielles, et non pas en sections alignées parallèles comme les machines IS. Il existe également, des machines qui transforment des préformes en tubes notamment de verre borosilicate pour réaliser des seringues et ampoules dédiées aux produits pharmaceutiques.
[0004]II est connu d'inspecter systématiquement tous les récipients sortant de la machine de formage, à l'aide de différents équipements d'inspection, soit à une étape intermédiaire de leur formage, soit immédiatement après leur formage, lorsqu'ils défilent sur le convoyeur de sortie, étant encore chauds (ce que l'on appelle l'inspection à chaud), soit après leur recuisson dans l'arche de recuisson, dans des équipements d'inspection (ce que l'on appelle l'inspection à froid).
[0005] Par exemple, pour détecter des défauts de type glaçures dans des récipients défilant selon une direction de translation, la demande de brevet W02021/209704 décrit un poste d'inspection comportant au moins six imageurs (typiquement 6, 12, 18 ou 24) formant des images et possédant un axe optique dirigé vers l’intérieur de la zone d’inspection en étant montés de manière que leurs axes optiques sont répartis autour de l’axe central des récipients en choisissant leurs angles d’azimut entre 0 et 360° par rapport à la direction de translation, de sorte que tous les points de la circonférence de la tranche des récipients soient représentés dans au moins une image acquise durant la traversée de la zone d’inspection par la tranche de récipient. Les récipients sont également illuminés par au moins douze projecteurs possédant chacun une direction de faisceau, tangente à un cylindre centré sur l’axe central du récipient, et les directions de faisceau d'éclairage sont réparties en azimut. Un tel dispositif permet de disposer de plusieurs directions de faisceaux et plusieurs directions d'observation pour garantir la détection des glaçures qui réfléchissent la lumière incidente en direction des imageurs. [0006JII est également connu d'inspecter systématiquement tous les récipients sortant du four de recuisson à l'aide de différents équipements d'inspection notamment des systèmes d'inspection des parois en transmission pour lesquels une source de lumière est disposée d'un côté du convoyeur et au moins une caméra (typiquement 2 à 6, 12 ou 24) est disposée de l'autre côté pour acquérir au moins une image formée par la lumière transmise à travers les parois du récipient. La demande brevet WO2023/052732 décrit un dispositif d'inspection pourvu de chaque côté du convoyeur, d'une série de trois caméras en vis-à-vis de laquelle un panneau lumineux est disposé.
[0007] Il est également connu par le brevet EP 1 109 008, une méthode d'analyse des images de récipients pour l'inspection à froid. Une étape de segmentation détecte des particularités dans les images et des régions autour des particularités. Des paramètres discriminants de chaque région correspondant à une particularité sont calculés et combinés avec une méthode de logique floue pour déterminer le type de particularités les plus probables parmi une liste de particularités correspondant à des défauts possibles. Il est ensuite décidé de la conformité de la région, en appliquant des critères différents selon le type de particularité retenu. Par exemple, un défaut de type plis sera éjecté pour une certaine surface alors qu'un défaut de type inclusion sera rejeté même s'il a une surface faible. Ce brevet enseigne notamment que les défauts n'ont pas tous la même criticité, ce qui justifie de chercher à en déterminer la nature avant de décider du rejet d'un récipient. Dans cette méthode, l'éclairage est une source étendue homogène, qui révèle correctement les défauts absorbants, mais dans laquelle les défauts réfractants sont visibles mais avec un faible contraste et donc avec une sensibilité insuffisante.
[0008]Toutefois, les inventeurs de la présente invention ont constaté que la détermination du type de particularités avec la méthode proposée dans EP 1 109 008 n'est pas assez fiable, et de plus il apparait une difficulté pour identifier de façon sûre certains défauts et en particulier les « défauts d'aspect », à savoir les défauts visuels de tout type : inclusions (de corps étrangers tels que céramiques, métal), bulles, plis, rivières (rainures de surface), glaçures (fissures), ailettes, trapèzes, taches de graisse, zones très minces, infondus. Ces défauts d'aspect se manifestent dans les images par des variations optiques locales, ou des pixels ayant des écarts par rapport à l'arrière-plan. Ces défauts d'aspect peuvent être critiques s'ils conduisent à un risque pour le consommateur, un risque de casse ou une perte de fonctionnalité du récipient. Dans la mesure où la reconnaissance d'un défaut d'aspect d'après une image peut être ambiguë, des marges de sécurité sont prises lors de la détection. Il s'ensuit que des récipients sont considérés comme défectueux alors que ces récipients sont acceptables ou conformes.
[0009] Par ailleurs, il est à noter que dans les images peuvent être distingués des singularités optiques acceptables tels que par exemple des gravures ou des décors, des joints de moule faiblement marqués. Aussi, il apparait le besoin d'identifier exactement la nature des défauts d'aspects pour identifier les défauts critiques en les distinguant des autres défauts. La prévention des défauts critiques nécessite d'améliorer la fiabilité de classification des défauts d'aspect. Outre le fait que l'amélioration de l'identification des défauts améliore le rendement de la production, cette identification des défauts permet de déterminer leurs causes potentielles de sorte que l'installation de fabrication peut être pilotée en fonction de la catégorie des défauts détectés. En effet, sans identification fiable des défauts détectés, aucune décision sûre de correction du procédé de fabrication ne peut être prise, que ce soit manuellement ou automatiquement.
[0010] La demande brevet WO2021/213864 propose un procédé pour inspecter de manière plus fiable, des récipients transportés par un convoyeur sur une ligne notamment d'embouteillage. Les récipients sont transportés vers au moins une première unité d'inspection et une deuxième unité d'inspection comportant chacune un émetteur et un récepteur. Les unités d’inspection peuvent inspecter les récipients avec en tant qu'émetteur, de la lumière blanche, de la lumière laser, des ondes électromagnétiques à haute fréquence, des rayons gamma et/ou des rayons X. Les récipients sont transportés entre l’émetteur et un récepteur tel qu'une caméra permettant d'acquérir avec la première unité d'inspection, des premières données de mesure et avec la deuxième unité d'inspection, des deuxièmes données de mesure. Selon ce procédé, les premières données de mesure et les deuxièmes données de mesure sont combinées pour former des données d'entrée commune pour une unité d'évaluation basée sur l'intelligence artificielle et fournissant en sortie, un résultat d'inspection, tel qu'un niveau de remplissage.
[0011] A titre d'unique exemple de réalisation, ce document décrit la détection du niveau de remplissage de récipients en combinant l'imagerie par rayons X et l'inspection avec une source de lumière infrarouge. Ce document précise qu'un tel procédé peut être utilisé pour vérifier aussi la paroi latérale, le fond, l’embouchure, le contenu du récipient comme par exemple une contamination par des corps étrangers ou des résidus de produit. Le résultat de l’inspection peut également être des défauts, tels que des dommages aux récipients, notamment des fissures et/ou des éclats de verre.
[0012]Toutefois, la demande de brevet WO2021/213864 ne donne aucun enseignement pour détecter ou identifier de manière certaine, notamment les défauts d'aspect. Indépendamment de l'obligation de détecter ces défauts, il apparait le besoin d'identifier exactement la nature des défauts d'aspects pour identifier les défauts d'aspect critiques par rapport aux autres défauts pouvant être considérés comme non critiques. Une identification erronée d'un type de défaut sur un récipient peut conduire au rejet de ce récipient alors qu'une identification correcte de ce défaut aurait permis d'identifier le récipient comme bon, ou bien au non-rejet d'un défaut critique générant une non-qualité grave, ou bien à une correction inadaptée du procédé de fabrication ce qui peut aller jusqu'à le déstabiliser, ou bien encore, à la non prise en compte d'une erreur de procédé car si un système génère trop fréquemment des fausses alarmes, l'exploitant peut finir par ne plus prendre en compte correctement les indications du système d'inspection.
[0013]II est également connu par la demande de brevet EP 3 679 356, un dispositif d'inspection de récipients permettant d'augmenter la fiabilité de détection, en particulier pour pouvoir distinguer de manière fiable des éléments décoratifs par rapport à une contamination ou des salissures. Le dispositif comporte une source de lumière émettant dans des zones spatialement séparées, un rayonnement avec différentes gammes de longueurs d'ondes et d'intensité. Cette source de lumière illumine le récipient à examiner et une caméra couleur est configurée pour détecter le rayonnement émis par la source et ayant traversé le récipient.
[0014] Le dispositif comporte également un dispositif d’évaluation qui est conçu pour analyser l'image d'intensité pour y déterminer des pixels ou des régions qui présentent une intensité différente de celle de leur voisinage pour en déduire la présence d'un défaut absorbant la lumière tel qu'une salissure. Le dispositif d'évaluation permet d'analyser les images couleurs pour déterminer des pixels ou des régions qui présentent une couleur différente de celle de leur voisinage pour en déduire la présence d'éléments réfractant la lumière tels que les éléments décoratifs. Ainsi, si un contraste de luminosité est observé localement et qu’en même temps il n’y a pas de contraste de couleur dans cette zone, la présence d’une contamination dans cette zone est détectée par l’unité d’évaluation. Si un contraste de luminosité local coïncide avec un contraste de couleur local, l’unité d’évaluation détecte la présence d’un élément décoratif.
[0015] L’unité d’évaluation peut également identifier des structures qui provoquent un contraste local de couleur mais pratiquement aucun contraste local de luminosité ou seulement un faible contraste local de luminosité. Par exemple, des copeaux dans le verre ou des gouttelettes d’eau peuvent provoquer un tel contraste local de couleur, alors que la lumière qui brille à travers peut rayonner à travers ces zones sensiblement sans perte de luminosité.
[0016] Un tel dispositif d'inspection permet de distinguer les éléments décoratifs des salissures ou contamination. En d'autres termes, les défauts réfractant la lumière sont distingués des défauts absorbants la lumière. Toutefois, ce dispositif d'inspection ne permet pas de distinguer entre eux les défauts réfractant la lumière, comme indiqué par cette demande notamment en ce qui concerne des inclusions de verre et des gouttelettes d'eau.
[0017] De l'état de la technique antérieure, on connaît également le document JP 4886830 qui décrit l'inspection d'une bouteille en rotation pour faire apparaître une crevasse. Ce document propose de traiter les images, mais reste silencieux sur les méthodes de traitement d'image à utiliser. Le document WO 2018/061196 a un enseignement proche de ce document, et il présente les mêmes lacunes.
[0018]On connaît également le document EP 3180135 qui décrit une acquisition d'images en stéréoscopie pour supprimer les parties d'images visibles dans les deux images stéréoscopique.
[0019] Enfin, on connaît de l'état de la technique antérieure le document EP 4078156 qui décrit l'acquisition de plusieurs images d'un récipient (en plongée et en contre plongée). Des traitements des images individuelles sont divulgués.
[0020] Il ressort des solutions techniques d'inspection de l'art antérieur qu'il apparaît le besoin de fiabiliser la classification des singularités optiques apparaissant dans les images de manière à détecter si le récipient présente ou non un défaut et à reconnaître ces singularités optiques afin de pouvoir appliquer un critère d'acceptation spécifique pour chaque type de singularité optique détecté. La reconnaissance de ces singularités optiques améliore le rendement de la production en optimisant le ratio de détection sur les faux rejets. Cette identification permet de déterminer leurs causes potentielles de sorte que l'installation de fabrication peut être pilotée en fonction de la catégorie des défauts détectés.
Exposé de l'invention
[0021] La présente invention vise à remédier aux inconvénients de l'art antérieur en proposant une méthode de contrôle de la qualité des récipients, conçue pour réaliser une détection plus efficace des défauts en assurant leur identification de manière plus sûre et certaine afin d'optimiser le tri ou le classement des récipients.
[0022] Un objet de l'invention est de proposer une méthode de contrôle permettant de classer chaque récipient selon au moins une classe prise parmi une liste de classes comportant en particulier une classe absence de défaut, une classe présence de défaut, une classe relevant d'une singularité optique normale et/ou une classe relevant d'une singularité optique anormale. [0023] Pour atteindre de tels objectifs, l'objet de l'invention concerne un procédé d'inspection de récipients en matière transparente ou translucide (typiquement en verre ou en plastique, la personne du métier étant en mesure d'identifier les récipients considérés comme transparents ou translucides) en vue de classer un récipient, le procédé comportant; une phase d'utilisation comprenant :
- l'acquisition pour chaque récipient, d'au moins une première et une deuxième images d'au moins une même portion d'un récipient selon deux directions d'observation différentes et selon au moins une modalité;
- la fourniture en entrée d'un modèle d'apprentissage profond, pour chaque récipient, d'un enregistrement des au moins la première et la deuxième images d'au moins une portion du récipient selon au moins une modalité et selon deux directions d'observation différentes ;
- et l'analyse par le modèle d'apprentissage profond, pour chaque récipient, de cet enregistrement pour déterminer l'appartenance de cette portion de récipient, à une classe résultat parmi une liste de classes.
[0024]Ainsi, un unique modèle d'apprentissage profond est ici configuré pour recevoir en entrée au moins deux images et délivrer une appartenance à une classe pour le récipient, sur la base des deux images. Le modèle d'apprentissage profond peut par exemple comprendre un nombre d'entrées choisi pour recevoir en entrée au moins deux images (ou des résultats de traitement de ces deux images si des traitements ou prétraitements sont réalisés sur les images).
[0025] Dans le procédé, les images sont des images d'au moins une portion de récipient. Ainsi, il peut s'agir d'une image acquise par un capteur, d'une portion d'une image acquise par un capteur, d'une image d'un récipient en entier, d'une image d'une partie de récipient. Les au moins deux images visent la même portion.
[0026] Le modèle d'apprentissage profond peut être un réseau de neurones artificiels (typiquement un réseau de neurones avec des couches de convolution) ou un modèle de type transformeur. [0027] Par exemple, pour un réseau de neurones artificiels, le nombre de neurones d'entrée peut correspondre au cumul des nombres de pixels des deux images.
[0028] En d'autres termes, une fusion de données multi-vues est mise en oeuvre avant la classification.
[0029]Selon un mode de réalisation particulier et non limitatif, la fusion multi-vues peut se faire au moyen de techniques de concaténation d'images, de concaténation par canaux, d'addition pixel-à-pixel, ou encore sur des vecteurs représentant des informations des images et en additionnant les vecteurs, en faisant une multiplication élément à élément des vecteurs ou encore par concaténation des vecteurs. L’opération de fusion a pour but de préserver l’information utile des données à fusionner tout en excluant l’information redondante. Cette opération peut s'effectuer à tout moment dans le processus de reconnaissance de défaut et peut se produire à plusieurs reprises.
[0030] Conformément à l'invention, plusieurs images d'une portion d'un récipient sont réalisées avec des directions d'observations différentes afin d'améliorer la reconnaissance du contenu des images en vue de reconnaître les singularités optiques. En effet, les inventeurs ont remarqué que certains défauts vus sous un angle particulier ont une signature qui ne permet pas de façon certaine d'en déterminer le type. Par exemple, la forme de l'image du défaut sous une seule direction d'observation n'est pas toujours suffisamment caractéristique, en raison de différents phénomènes optiques. Typiquement, le défaut n'est pas visible entièrement dans aucune image et/ou le défaut est déformé par réfraction de la lumière à travers la paroi du récipient et/ou son apparence est différente en photométrie et géométrie selon des directions d'observations différentes.
[0031] Lorsqu'un défaut est observé selon différentes directions, son image est transformée d'une vue à l'autre, d'une part car ces deux vues sont deux projections perspectives différentes du même objet, mais aussi parce que la lumière le traverse selon des parcours différents pour les différentes vues, subissant des réfractions ou réflexion différentes, ce qui produit des contrastes et donc une photométrie d'apparence différente. Il a été observé que la déformation d'un défaut entre deux vues différentes, est une caractéristique de chaque défaut, de sa géométrie et de sa photométrie apparentes. Autrement dit, prendre en compte la façon dont l'image d'un défaut varie lorsque sa direction d'observation varie permet d'identifier de manière plus précise le type du défaut.
[0032] Il est à noter également que lorsqu'un défaut est observé selon des directions d'observation différentes, il convient de considérer que c'est le même défaut de sorte qu'il est faux de considérer que le récipient comporte deux défauts. Or généralement selon l'art antérieur, chaque vue est traitée séparément. Ceci est suffisant pour un simple comptage de défauts sans discernement, mais cette technique ne convient pas si l'on souhaite compter séparément les types de défaut. En effet, les systèmes de classification peuvent attribuer à tort, aux deux observations d'un même défaut, un type différent et il n'existe pas de solution adaptée pour favoriser le diagnostic selon l'une ou l'autre des observations. C'est la raison pour laquelle effectuer une fusion des données multi-vues permet d'obtenir un verdict plus fiable, tenant compte directement de plusieurs angles de vue pour un même défaut à catégoriser.
[0033] On peut noter que le modèle d'apprentissage profond peut être précédé par un ou plusieurs modules de traitement traitant individuellement chaque image, les résultats de ces traitements étant ensuite fournis en entrée du modèle d'apprentissage profond.
[0034]A titre indicatif, ces traitements peuvent être mis en oeuvre eux-mêmes par des modèles d'apprentissage, ou par des modèles classiques qui ne sont pas des modèles d'apprentissage. Cela étant dit, la classification, c'est-à-dire la détermination de l'appartenance à une classe par analyse, tient compte d'éléments provenant de chaque image, de manière conjointe.
[0035] En d'autres termes, il y a un traitement conjoint des images qui ont éventuellement subi un traitement (que l'on peut appeler un prétraitement).
[0036]Selon un mode de mise en oeuvre particulier, le procédé comporte :
- la mise à disposition d'un système d'inspection pour acquérir des images selon au moins une première modalité et une deuxième modalité ;
- l'acquisition pour chaque récipient, d'un enregistrement d'au moins une même portion d'un récipient comportant au moins deux images selon au moins deux directions d'observation différentes selon la première modalité et au moins une image selon la deuxième modalité.
[0037]Selon un mode de mise en oeuvre particulier, le procédé comporte la mise à disposition d'un système d'inspection configuré pour acquérir des images d'une même portion d'un récipient selon au moins deux directions d'observation différentes et selon au moins une modalité prise parmi la liste des modalités suivantes : d'absorption, de biréfringence, de réfraction, de réflexion, de rayonnement infrarouge.
[0038]Selon un mode de mise en oeuvre particulier, on classe chaque portion de récipient selon au moins une classe prise parmi une liste de classes comportant au moins une classe absence de défaut dans la portion et une classe présence de défaut dans la portion.
[0039]Selon un mode de mise en oeuvre particulier, on classe chaque portion de récipient selon au moins une classe prise parmi une liste de classes comportant au moins une classe comprenant la présence dans la portion, d'au moins des défauts tels que notamment, trapèze, inclusion, bulle.
[0040]Selon un mode de mise en oeuvre particulier, on classe chaque portion de récipient selon au moins une classe prise parmi une liste de classes comportant au moins une classe comprenant la présence dans la portion, d'au moins une singularité telle qu'un marquage, un joint de moule, une encoche, un filetage, une impression, une piqûre, une anse, une contre bague.
[0041]Selon un mode de mise en oeuvre particulier, le procédé comporte l'acquisition pour chaque récipient présentant un axe central, d'au moins quatre images d'au moins une même portion d'un récipient selon quatre directions d'observation différentes et selon au moins la première modalité, les directions d'observation étant réparties autour de l'axe central deux à deux selon un angle d'azimut d'au moins 45°.
[0042]Selon un mode de mise en oeuvre particulier, on compare au moins une caractéristique de tri à un critère de rejet, la caractéristique de tri et le critère de rejet étant dépendants de la classe d'appartenance pour décider de la conformité ou non du récipient, la caractéristique de tri étant calculée sur au moins une image du récipient selon une modalité.
[0043]Selon un mode de mise en oeuvre particulier, est mise en oeuvre une étape de prise en compte d'au moins un défaut identifié pour en déduire une information d'ajustement pour au moins un paramètre de contrôle d'une installation de fabrication des récipients.
[0044]Selon un mode de mise en oeuvre particulier :
-le modèle d'apprentissage profond associe un score de confiance au classement des récipients faisant partie d'une production inspectée;
-le classement des récipients est pris en compte uniquement lorsque le score de confiance dépasse un seuil de confiance pour;
-comptabiliser les défauts par classe de défauts ;
-et/ou décider du rejet du récipient ;
-et/ou déclencher une alarme de présence d'au moins un défaut critique dans la production inspectée.
[0045] La comptabilisation peut impliquer la mise en oeuvre de statistiques temporelles (fréquences de défauts). Par exemple, on peut délivrer des statistiques temporelles pour une fenêtre glissante afin de déterminer des tendances (émergence/apparition de défauts, dérive dans le procédé, etc.).
[0046] L'invention propose également un procédé d'apprentissage d'un modèle d'apprentissage profond pour l'inspection de récipients en matière transparente ou translucide en vue de classer un récipient, le procédé comprenant une phase de construction comportant :
- une mise à disposition d'un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins une première et une deuxième images d'une même portion de récipient selon deux directions d'observation différentes et selon au moins une modalité;
- une mise à disposition d'au moins un modèle d'apprentissage profond de neurones ayant été entraîné sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins une première et une deuxième images d'une même portion de récipient selon deux directions d'observation différentes et selon au moins une modalité, le modèle d'apprentissage profond déterminant, au moins une classe d'appartenance pour ladite portion parmi une liste des classes.
[0047]Ce procédé d'apprentissage peut être configuré pour obtenir des modèles selon tous les modes de mise en oeuvre du procédé d'inspection défini ci-avant.
[0048]Selon un mode de mise en oeuvre particulier, le procédé comporte une mise à disposition d'au moins un modèle d'apprentissage profond ayant été entraîné sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins deux images d'une même portion de récipient selon des directions d'observation différentes d'au plus de 5° lors de l'acquisition des images.
[0049]Selon un mode de mise en oeuvre particulier, le procédé comporte une mise à disposition d'au moins un modèle d'apprentissage profond ayant été entraîné sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'images d'une même portion de récipient selon des directions et des modalités différentes.
[0050] L'invention propose également un procédé comprenant une phase de construction du procédé d'apprentissage défini ci-avant pour obtenir un modèle d'apprentissage profond, et une phase d'inspection du procédé d'inspection défini ci-avant utilisant le modèle d'apprentissage profond de ladite phase de construction.
[0051]Selon un mode de mise en oeuvre particulier, pendant la phase de construction, les enregistrements d'images sont ordonnés selon une séquence déterminée tandis que pendant la phase d'utilisation, les enregistrements d'images sont ordonnés selon une séquence identique de la séquence de la phase de construction.
[0052] En fait, les images sont ordonnées en fonction par exemple d'une direction d'observation et d'une modalité propre à chaque image, de manière identique au sein de chaque enregistrement. Un enregistrement comprend donc un ensemble d'images pour un récipient, capturées par un dispositif analogue au dispositif d'inspection.
[0053]Aussi, par séquence, on entend une suite ordonnée d'éléments, l'ordre pouvant être fixé par les directions et les modalités.
[0054] L'invention propose également un dispositif d'inspection de récipients en matière transparente ou translucide sortant d'une installation de fabrication ou de récupération en vue de classer les récipients en relation de défauts, le dispositif comportant :
- un système d'inspection comportant au moins une caméra disposée pour récupérer de la lumière ou un rayonnement (par exemple infrarouge) provenant d'au moins une portion d'un récipient et configuré pour acquérir des images d'une même portion d'un récipient selon au moins deux directions d'observation différentes et selon au moins une première modalité;
- une unité de traitement d'informations reliée au système d'inspection et comprenant un modèle d'apprentissage profond , le modèle d'apprentissage profond déterminant, au moins une classe d'appartenance pour ladite portion parmi une liste des classes, le modèle d'apprentissage profond recevant en entrée, pour chaque récipient, un enregistrement des au moins deux images d'au moins une portion du récipient selon la première modalité et selon deux directions d'observation différentes, le modèle d'apprentissage profond, pour chaque récipient, analysant cet enregistrement pour déterminer l'appartenance de cette portion de récipient, à une classe résultat parmi la liste de classes.
[0055] Ce dispositif peut être configuré pour la mise en oeuvre du procédé d'inspection tel que défini ci-avant.
[0056] L'invention propose également un dispositif configuré pour la mise en oeuvre du procédé d'apprentissage défini ci-avant.
[0057] L'invention propose également un modèle d'apprentissage profond obtenu par le procédé d'apprentissage défini ci-avant. [0058] Diverses autres caractéristiques ressortent de la description faite ci-dessous en référence aux dessins annexés qui montrent, à titre d'exemples non limitatifs, des formes de réalisation de l'objet de l'invention.
Brève description des dessins
[0059] [Fig. 1] La figure 1 représente un exemple de réalisation d'une installation de fabrication de récipients inspectés par un dispositif d'inspection conforme à l'invention.
[0060] [Fig. 2] La figure 2 est une vue schématique illustrant un exemple de réalisation d'un dispositif d'inspection conforme à l'invention mettant en oeuvre deux caméras adaptées par exemple pour prendre simultanément, deux images d'un récipient sous deux directions d'observations différentes.
[0061] [Fig. 3A] La figure 3A est une vue schématique de dessus montrant la prise d'images successives, par une caméra, sous une première direction d'observation d'un récipient se déplaçant en translation.
[0062] [Fig. 3B] La figure 3B est une vue schématique de dessus montrant la prise d'images, par une caméra, sous une deuxième direction d'observation d'un récipient déplacé en translation par rapport à sa position illustrée à la figure 3A.
[0063] [Fig. 3C] La figure 3C est une vue schématique de dessus montrant la prise d'images, par une caméra, sous une troisième direction d'observation d'un récipient déplacé en translation par rapport à sa position illustrée à la figure 3B.
[0064] [Fig. 4] La figure 4 est une vue schématique illustrant un exemple de réalisation d'un dispositif d'inspection conforme à l'invention mettant en oeuvre deux caméras adaptées pour obtenir de chacune trois images d'analyse selon trois modalités différentes, afin de constituer un enregistrement d'images d'analyse comportant au moins 6 images de récipient.
[0065] [Fig. 5] La figure 5 est une vue schématique illustrant encore un autre exemple de réalisation d'un dispositif d'inspection conforme à l'invention adaptés pour prendre simultanément, trois images d'un récipient sous trois directions d'observations différentes et analysées par quatre réseaux de neurones qui collaborent pour classer le récipient. [0066] [Fig. 6] La figure 6 est une vue schématique illustrant encore un autre exemple de réalisation d'un dispositif d'inspection conforme à l'invention mettant en oeuvre deux caméras adaptées pour prendre simultanément, deux images d'un récipient sous deux directions d'observations différentes et analysées par des algorithmes de détection de singularités d'images puis d'un réseau de neurones qui classe le récipient.
[0067] [Fig. 7A] La figure 7A est montre un agencement d'une pluralité de caméras agencées selon différentes élévations.
[0068] [Fig. 7B] La figure 7B correspond à l'agencement de la figure 7A mais où les différents azimuts sont visibles.
[0069] [Fig. 8A] La figure 8A est une photographie d'un récipient sur laquelle un défaut est visible.
[0070] [Fig. 8B] La figure 8B est une photographie du récipient de la figure 8A sur laquelle le défaut n'est plus visible.
[0071] [Fig. 9A] La figure 9A montre une photographie d'un autre récipient sur laquelle un défaut est visible.
[0072] [Fig. 9B] La figure 9B est une photographie du récipient de la figure 9A sur laquelle le défaut est toujours visible, mais avec une apparence différente.
[0073] [Fig. 9C] La figure 9C montre comment sont agencées les caméras utilisées pour l'obtention des images des figures 9A et 9C.
[0074] [Fig. 10A] La figure 10A est une photographie d'encore un autre récipient sur lequel un défaut en deux parties est visible.
[0075] [Fig. 10B] La figure 10B est une photographie du récipient de la figure 10A sur lequel le défaut reste visible avec un aspect différent.
Description des modes de réalisation
[0076] Dans la présente description, on utilise des réseaux de neurones artificiels en tant que modèle d'apprentissage profond. L'invention n'est néanmoins nullement limitée à ces réseaux de neurones et peut être adaptée à une utilisation des transformeurs, ou encore à d'autres modèles d'apprentissage. [0077] Les figures 1 et 2 illustrent un dispositif 1 conforme à l'invention permettant d'inspecter des récipients 2 sortant d'une installation 3 de tous types connus en soi. L'installation 3 met à disposition des récipients 2 transparents ou translucides tels que par exemple des bouteilles, des pots, des flacons, des seringues, des ampoules ou des préformes. De manière générale, un récipient 2 présente un axe central R, considéré comme un axe de symétrie, voire un axe de symétrie de révolution. Ces récipients 2 peuvent être réalisés en différents matériaux tels qu'en verre, en matière plastique ou en matière première renouvelable comme le blé, la canne à sucre ou le maïs par exemple. Ces récipients 2 peuvent être remplis ou vides. L'installation 3 assure ainsi la fabrication des récipients 2 voire leur décoration ou habillage, remplissage et fermeture. Il est à noter que l'installation 3 est à même de fabriquer les récipients 2 neufs à partir de matières premières ou recyclées, ou de reconditionner des récipients récupérés. Selon un exemple préféré de mise en oeuvre, l'installation 3 est une installation de formage de laquelle sortent des récipients en verre vide.
[0078] De manière classique, l'installation 3 comporte un calculateur de production 4 permettant de superviser les différentes fonctionnalités de l'installation 3 au cours de la fabrication des récipients. Le calculateur de production 4 est typiquement pour une machine de formage de récipients en verre, un séquenceur qui commande des actionneurs pneumatiques ou motorisés ainsi que des valves contrôlant la circulation de l'air de refroidissement ou la pression de soufflage pour les moules de fabrication.
[0079] En sortie de l'installation 3, les récipients 2 sont pris en charge par un convoyeur de sortie 5 pour former une file de récipients en étant dans l'exemple illustré, posés successivement sur le convoyeur de sortie. Les récipients 2 sont transportés en file par le convoyeur 5 selon une direction de déplacement F afin de les acheminer successivement à différents postes de traitement et/ou de contrôle et en particulier à une arche de recuisson 6 (soit un poste de traitement) et au dispositif d'inspection 1 conforme à l'invention (soit un poste de contrôle). La direction de déplacement F des récipients 1 s'établit selon une trajectoire rectiligne d'axe horizontal X d'un repère orthonormé direct X, Y, Z comportant un axe vertical Z perpendiculaire à l'axe horizontal X et un axe transversal Y perpendiculaire à l'axe vertical Z et à l'axe horizontal X, et les axes X et Y étant dans un plan parallèle à un plan de convoyage Pc des récipients qui est considéré comme horizontal. Le dispositif d'inspection 1 conforme à l'invention peut également, dans une variante, être installé en aval de l'installation 3 et en amont de l'arche de recuisson 6, lorsque les récipients chauds 2' sont transportés en file par le convoyeur 5' vers l'arche. Autrement dit, le dispositif d'inspection 1 conforme à l'invention peut être installé en amont ou aval de tout traitement de récipients formés et transporté selon le déplacement F.
[0080] Le dispositif d'inspection 1 selon l'invention vise à mettre en oeuvre une méthode pour détecter pour chaque récipient 2 défilant en translation, si le récipient présente un défaut et à identifier pour un récipient présentant un défaut, un type de défaut parmi une famille de défauts possibles.
[0081]Le dispositif d'inspection 1 conforme à l'invention comporte un système d'inspection 7 visible sur la figure 2 et comportant au moins une caméra Ci (Cl, C2,...Ci,...Cn, avec i allant de 1 à n) disposée pour récupérer de la lumière ou un rayonnement (par exemple infrarouge) provenant d'au moins une portion d'un récipient 2 et configuré pour acquérir des images d'une même portion d'un récipient selon au moins deux directions d'observation DI, D2 différentes et selon au moins une première modalité d'inspection.
[0082]Chaque caméra Ci comporte de manière classique (figures 3A à 3C), un objectif optique B ayant un centre optique O et un axe optique A, permettant la formation d'une image optique sur un capteur photo-électrique E, linéaire ou matriciel, généralement plan, positionné dans le plan focal de l'objectif. Les images acquises par les caméras Ci sont transmises à une unité électronique de traitement d'informations 9 faisant partie du dispositif d'inspection 1, mais pouvant éventuellement être déportée. Cette unité électronique de traitement d'informations 9 est un système informatique de tous types comportant ordinateurs, périphériques externes (unité d'affichage, unité de stockage, claviers, connexion à différents réseaux d'usine, connexion aux caméras...), équipé de programmes mettant en oeuvre notamment des algorithmes de traitement d'images, bases de données, etc.
[0083]Cette unité de traitement d'informations 9 est reliée au calculateur de production 5 afin de recevoir si besoin du calculateur de production (voire également d'autres périphériques), des informations de fabrication pour une association aux récipients 2, de leurs images et de leurs défauts détectés avec ces données de fabrication. Les informations de fabrication peuvent être des informations temporelles, des numéros de moules ou de cavité de moulage, etc. Dans le cas où le récipient est un récipient en verre, des informations temporelles reçues permettent d'associer les récipients 2, leurs images et leurs défauts détectés, au numéro de moule ou à la cavité de formage ou à un horodatage ou à un identifiant individuel. Typiquement, le fonctionnement du système d'inspection 7 est synchronisé avec le fonctionnement des cavités de formage des récipients notamment dans le cas où il est installé entre l'installation 3 de formage et un poste de traitement tels que l'arche de recuisson 6.
[0084] De manière avantageuse, cette unité de traitement d'informations 9 transmet au calculateur de production 4, les défauts identifiés et les mesures effectuées, afin que le calculateur de production puisse déduire automatiquement une information d'ajustement pour au moins un paramètre de contrôle de l'installation 3 ou de traitement 6. Un tel ajustement des paramètres de contrôle est réalisé de manière manuelle ou automatique. Enfin, l'unité de traitement d'informations 9 est reliée à un éjecteur pour commander l'éjection de récipients identifiés comme défectueux, et/ou à une unité d'affichage pour présenter à un opérateur les défauts identifiés et les images des récipients.
[0085] Conformément à l'invention, le système d'inspection 7 est configuré pour récupérer, par au moins une caméra, la lumière issue du récipient 2 afin d'acquérir des images d'une même portion d'un récipient selon au moins deux directions d'observation différentes DI, D2, D3,...Dj et selon au moins une modalité d'inspection. Tel que cela ressort de la figure 3A à la figure 3C, chaque direction d'observation Dl, D2, D3 correspond à la droite passant par le centre optique O de la caméra et le centre T de la portion P du récipient 2 placée dans le champ d'observation de la caméra.
[0086]Selon un premier mode de réalisation illustré aux figures 3A à 3C, les directions d'observations différentes Dl, D2, D3 sont réalisées pour des positions différentes du récipient dans le champ d'observation de la caméra. Selon ce mode de réalisation, les récipients 2 sont déplacés selon une trajectoire rectiligne représentée par la flèche F de manière à défiler devant une caméra Cl fixe positionnée pour inspecter le corps d'un récipient. Selon cet exemple, le centre T de la portion P du récipient 2 observée par la caméra correspond à l'axe central R du récipient. Comme illustré à la figure 3A, la caméra Cl prend une image ICI 1 du récipient 2 lorsque la direction d'observation Dl forme un angle alpha avec l'axe optique A. Tel que cela ressort de la figure 3B, le déplacement du récipient conduit à son positionnement dans une position pour laquelle la direction d'observation D2 correspond à l'axe optique A. La caméra Cl prend une image IC12 du récipient 2 lorsque la direction d'observation D2 se trouve confondue avec l'axe optique A. La poursuite du déplacement du récipient conduit à son positionnement dans une position pour laquelle la direction d'observation D3 a dépassé l'axe optique A et forme un angle alpha avec l'axe optique A (figure 3C). La caméra Cl prend une image IC13 du récipient 2 lorsque la direction d'observation D3 forme un angle alpha avec l'axe optique A.
[0087] Dans l'exemple de réalisation illustré aux figures 3A à 3C, la direction d'observation est modifiée par le déplacement relatif entre le récipient 3 et la caméra. Selon cet exemple, la caméra est fixe tandis que le récipient est mobile. Bien entendu, l'objet de l'invention s'applique également pour un récipient fixe et une caméra mobile.
[0088]Selon un deuxième mode de réalisation illustré à la figure 2, les directions d'observations différentes Dl, D2 sont réalisées par des caméras possédant des directions d'observation du récipient qui sont différentes au moment de l'acquisition des images. Selon cet exemple, deux caméras Cl, C2 sont positionnées de manière que dans un plan vertical, parallèle à l'axe central R, les axes optiques A des caméras forment entre elles un angle d'élévation alpha déterminé de sorte que si les directions d'observation correspondent aux axes optiques, les directions d'observation sont décalées d'un angle alpha. Bien entendu, il peut être envisagé de répartir les caméras dans le plan d'azimut (plan parallèle au plan de convoyage, comme cela sera visible en référence aux figures 7 A et 7B décrites ci-après) de manière que les axes optiques A des caméras forment entre elles un angle d'azimut alpha déterminé de sorte que si les directions d'observation correspondent aux axes optiques, les directions d'observation sont décalées d'un angle alpha.
[0089]Avantageusement, deux directions d'observations DI, D2, D3...Di possèdent des directions d'observation différentes si ces deux directions d'observation sont décalées d'au moins 5°.
[0090]Quel que soit le système d'inspection 7 mis en oeuvre, ce système d'inspection met à disposition de l'unité de traitement d'informations 9, des images d'une même portion d'un récipient selon au moins deux directions d'observation différentes et selon au moins une première modalité d'inspection. Par d'une même portion, on entend qu'un recouvrement des vues est possible entre les images.
[0091] Une modalité d'inspection correspond à un type d'interaction de la lumière avec la paroi des récipients et avec les défauts à identifier. Typiquement, le système d'inspection 7 est configuré pour acquérir des images d'une même portion d'un récipient selon au moins deux directions d'observation différentes et selon au moins une modalité prise parmi la liste des modalités suivantes : d'absorption, de biréfringence, de réfraction, de réflexion, de rayonnement infrarouge.
[0092]A titre d'exemple, une modalité d'inspection est dite d'absorption. Cette modalité met en évidence principalement l'absorption de la lumière traversante par la paroi traversée du récipient, mais également des effets de réfraction tels que des ombres sur les bords du récipient ou des défauts réfractant ou des variations d'épaisseur. Certains défauts ont un caractère absorbant, totalement ou partiellement absorbant. Ces défauts apparaissent ainsi opaques ou sombres lorsqu'ils sont vus en transmission c'est-à-dire que la lumière traversant une paroi de verre sans défaut subit une absorption dite normale correspondant à la teinte et à l'épaisseur du matériau constituant le récipient, supposées homogènes de la paroi de verre. Mais les défauts absorbants présentent une anomalie locale avec une absorption parfois inférieure (bulle ou mince) mais généralement supérieure à l'absorption normale. Dans la suite on désignera par absorption uniquement l'absorption anormale des défauts absorbants. De tels défauts incluent notamment des inclusions dans le verre, notamment de céramique ou de métaux, et/ou des salissures (graisse, ...) sur le verre. Mais de tels défauts incluent aussi certaines glaçures (fissures) qui seraient orientées dans le verre de manière à bloquer la lumière d'inspection, principalement par le fait que la lumière d'inspection est alors réfléchie dans une direction qui n'est pas vue par la caméra. Du fait de la limitation en dimension de la source de lumière, des ombres apparaissent dans l'image en raison de la réfraction sur les bords extérieurs de la silhouette du récipient. Les ombres ne révèlent généralement pas des défauts. Certaines formes d'ombres révèlent des défauts de répartition de verre. Certains défauts réfractant ont une signature particulière au bord de la silhouette du récipient et une autre signature au centre. Ils se distingueront donc par l'observation sous des angles de vue différents.
[0093] Une autre modalité d'inspection est dite de biréfringence. Cette modalité met en oeuvre principalement une modification de l'état de polarisation de la lumière traversant la paroi du récipient par un défaut dit de stress, qui confère au verre une propriété de biréfringence. Certains défauts ont un caractère biréfringent. Ainsi, certains défauts se traduisent par la présence de contraintes mécaniques résiduelles dans le matériau (parfois appelées contraintes mécaniques internes ou, notamment en langue anglaise, « stress »). Dans la paroi, un défaut biréfringent ou de contrainte, tel qu'une inclusion de corps étrangers (céramique, métal, « verre dévitrifié ») provoque une modification de l'état de polarisation, c'est-à-dire un déphasage de polarisation entre deux composantes du champ électrique ou une modification de la direction d'une lumière repolarisée linéairement. [0094]Une autre modalité d'inspection est dite de réfraction. Cette modalité met en oeuvre principalement une modification de la direction de propagation de la lumière traversant la paroi du récipient par un défaut réfractant, en raison d'un angle entre les surfaces dioptriques traversées et/ou d'une différence d'indice de réfraction. Chaque surface est une interface air/verre ou verre/air donc un dioptre qui réfracte la lumière le traversant. En l'absence de défaut, les surfaces des parois sont sensiblement parallèles et la réfraction ne provoque pas de déviation visible des rayons lumineux traversant le récipient. Un défaut dit réfractant est un défaut qui provoque localement une réfraction anormale, principalement lorsque le défaut se manifeste par des écarts de pente entre des surfaces ou dioptres traversés de la ou des parois. On parlera donc de défaut de réfraction uniquement pour désigner des déviations de la lumière par la réfraction particulière au niveau des défauts dits réfractants. Les défauts réfractants sont les défauts qui sont principalement détectables par les anomalies de réfraction qu'ils engendrent, notamment dans une inspection en lumière traversante. Typiquement, on classe généralement parmi les défauts réfractants les défauts de surface (plis, rivières,) ou de répartition de verre (bouillons, minces, anneau de compression), les trapèzes et les ailettes. Il est à noter que les trapèzes et les ailettes provoquent généralement des réfractions tellement fortes que ces défauts sont généralement nettement visibles également dans les images d'absorption.
[0095]Une autre modalité d'inspection est dite en transmission-réflexion. Il s'agit notamment de la détection des glaçures dans les récipients en verre. Les glaçures sont de fissures très étroites, de différentes formes et longueurs et de différentes orientations dans la matière. Les glaçures se comportent comme des dioptres réfléchissant la lumière. Leur détection consiste à illuminer une partie du récipient selon un ou plusieurs faisceaux directifs ayant des angles d'incidence propres sur la portion de récipient éclairée. La direction de la lumière réfléchie par une glaçure est spécifique de la forme et orientation de la glaçure, et l'image par une caméra recevant ou non la lumière réfléchie permet la détection des glaçures. Autrement dit la direction d'observation est une caractéristique de la glaçure. Selon cette modalité et dans l'exemple de brevet WO 2021/209704, un nombre important de caméras est disposé autour de récipient avec des directions d'observation réparties en azimut et élévation.
[0096] Enfin l'invention n'est pas limitée à ces modalités. Elle peut s'appliquer par exemple dans le cas d'une modalité en réflexion pure, selon laquelle une source de lumière est conçue pour éclairer la surface d'une portion de récipient, la surface réfléchissant la lumière en direction de la caméra. L'image est alors constituée principalement par la lumière réfléchie, et l'on observe comme potentiel défaut, soit des déformations de géométrie de la surface, soit de sa réflectivité, soit l'apparition d'une réflexion en dehors du contour normal de la surface.
[0097] Une autre modalité d'inspection est dite de rayonnement infrarouge. Cette modalité d'inspection, sans utilisation de source de lumière pour éclairer les récipients, vise à inspecter les récipients encore chauds typiquement en verre, en sortie de leur fabrication et émettant compte tenu de leur température, un rayonnement infrarouge dépendant du volume (soit en d'autres termes de l'épaisseur) et/ou de la température de matériau constitutif des récipients. On utilise des caméras dites infrarouges munies de capteurs d'image sensibles au rayonnement infrarouge émis par les récipients encore chauds, dont la température est supérieure à 300°C. Les capteurs utilisés dans ce type de modalité ont un spectre de sensibilité en longueur adapté selon les cas d'emploi, par exemple en proche infrarouge (SWIR ou NIR) et/ou moyen infrarouge (MWIR) Un défaut modifiant l'émissivité, donc l'image du rayonnement infrarouge d'un récipient, peut être lié à une accumulation de matière à un endroit spécifique correspondant par exemple à une surépaisseur de la paroi ou à un défaut de trapèze ou balançoire (défaut d'un fil de verre à l'intérieur du récipient et relié par ses extrémités à la paroi intérieure). Selon l'invention, l'observation du rayonnement infrarouge des récipients chauds selon au moins deux directions d'observation différentes permet par exemple que le réseau de neurones (ou le modèle utilisé) prenne en compte l'émissivité directionnelle et/ou la profondeur du défaut pour en déterminer la classe d'appartenance. [0098] De manière connue, l'inspection des récipients 2 selon l'une et/ou l'autre de ces modalités d'inspection peut être réalisée à l'aide de diverses configurations du système d'inspection 7. Il est considéré que le système d'inspection est configuré pour acquérir des images en vue d'obtenir des images selon au moins une modalité et avantageusement des images relevant de plusieurs modalités. Il est à noter qu'en fonction du système d'inspection 7 utilisé, les images selon ces modalités peuvent être obtenues directement à partir des images acquises ou à partir de calculs ou de traitements.
[0099] La suite de la description décrit à titre d'exemples non limitatifs, diverses méthodes d'obtention des images d'absorption, des images de biréfringence, des images de réfraction et des images de rayonnement infrarouge.
[0100] Pour obtenir des images d'absorption, une première méthode simple est de produire sur la source de lumière un éclairage uniforme en intensité et non polarisé dans une portion active. Une deuxième solution d'obtention de l'image d'absorption est d'utiliser une source de lumière uniforme en intensité polarisée linéairement ou circulairement et de réaliser l'image au moyen d'une caméra sans aucun filtre polariseur entre le récipient et la caméra. L'uniformité en intensité de la source de lumière peut être parfaite c'est-à-dire que l'intensité est constante sur toute la zone active d'une source de lumière plane et étendue émettant une lumière diffuse. L'uniformité peut être également locale, en particulier lorsque le verre des récipients est teinté, il peut être prévu qu'une région de la source éclairant le goulot où la paroi de verre est plus épaisse, émet une intensité uniforme plus forte, tandis qu'une région éclairant le corps du récipient où la paroi est plus mince émet une intensité uniforme plus faible. On considère également comme uniforme ou relativement uniforme, l'intensité d'une source de lumière qui génère comme décrit dans le document FR 2794241, une variation spatiale continue d'intensité plus lente que celle constatée au voisinage d'un défaut, de manière qu'un algorithme d'analyse d'image qui compare les pixels à leurs voisins pour détecter comme défauts des variations locales rapides d'intensité, ne détecte pas les variations d'intensité lentes émises par la source. [0101] Une autre solution d'obtention de l'image d'absorption est décrite dans la demande de brevet EP 3 679 356, qui propose de produire une illumination avec une source dont la couleur varie spatialement et d'acquérir une image composite (RVB) qui est transformée dans l'espace de représentation des couleurs HSV (Teinte, Saturation, Valeur). Il est obtenu l'image d'absorption par l'image V ou une transformation de cette image par exemple au moyen d'un calcul de gradient. Il est à noter qu'une image de réfraction est obtenue par l'image H, ou une transformation de cette image par exemple au moyen d'un calcul de gradient de teinte.
[0102] Une autre solution d'obtention de l'image d'absorption est d'utiliser une source de lumière uniforme en intensité monochrome polarisée linéairement ou circulairement et de réaliser une image polarimétrique composite au moyen d'une caméra polarimétrique, et de calculer l'image d'absorption à partir d'au moins deux images polarimétriques partielles correspondant à des observations à travers deux filtres linéaires de directions d'analyse à 90° l'une de l'autre.
[0103]Une autre solution d'obtention d'une image d'absorption est de produire l'illumination à l'aide d'une source présentant des variations d'une caractéristique de polarisation avec l'intensité restant relativement uniforme et d'acquérir une image composite contenant au moins 2 à 4 images partielles à l'aide d'une caméra polarimétrique et de calculer une image d'absorption à partir de 2 à 4 images partielles prise à travers des analyseurs de polarisation à 90° l'un de l'autre.
[0104] Pour obtenir des images de biréfringence, une première méthode simple est de produire sur la source de lumière, un éclairage uniforme monochrome polarisé linéairement selon une direction déterminée, dans une portion active. L'image est acquise soit par une caméra noir et blanc devant laquelle est placé un analyseur linéaire de polarisation dont la direction est orthogonale à la direction déterminée, soit par une caméra polarimétrique dont on prend en compte les pixels de l'image partielle correspondant à l'analyse à travers un filtre linéaire orthogonal à la direction déterminée. La valeur des pixels de l'image de biréfringence est alors quasi nulle sauf en présence d'un défaut de stress. Lorsque la lumière traverse un défaut de stress, l'intensité lumineuse mesurée/reçue obtenue dépend de la direction et de l'intensité des contraintes.
[0105]Une deuxième méthode pour obtenir une image de biréfringence est de produire sur la source de lumière, un éclairage uniforme monochrome polarisé circulairement selon un sens donné dans une portion active. L'image est acquise avec une caméra noir et blanc devant laquelle est placée une lame retard 1/4 d'onde puis un analyseur linéaire de polarisation. La valeur des pixels de l'image de biréfringence est alors quasi nulle sauf en présence d'un défaut de stress. Lorsque la lumière traverse un défaut de stress, l'intensité lumineuse sortante dépend de l'intensité des contraintes mais pas de la direction des contraintes.
[0106]Une troisième méthode d'obtenir une image de biréfringence est de produire sur la source de lumière, un éclairage uniforme monochrome polarisé linéairement selon une seule direction ou circulairement selon un seul sens dans une portion active. L'image est acquise par une caméra polarimétrique devant laquelle est éventuellement placée une lame retard 1/4 d'onde délivrant une image composite. On calcule à partir de deux ou quatre images partielles, une grandeur de biréfringence qui dépend du déphasage de polarisation entre les composantes Ex et Ey du champ électrique et qui est une mesure de la contrainte. L'homme du métier saura retrouver les formules de calcul à partir l'équation de Mallus et du formalisme de Stockes. Le déphasage de polarisation peut être calculé pour obtenir comme valeurs des pixels dans l'image de biréfringence, une valeur qui dépend de l'intensité des contraintes mais de préférence pas de la direction des contraintes, la détection est donc isotrope et proportionnelle aux contraintes. Selon l'une de ces variantes, le déphasage de polarisation peut être mesuré entre 0 et 90° voire entre 0 et 180°. Cette méthode permet également de calculer une image d'absorption avec l'image composite que délivre la même caméra polarimétrique, en calculant chaque pixel comme expliqué précédemment.
[0107] Pour obtenir des images de réfraction, une première méthode d'obtention d'une image de réfraction est illustrée dans le brevet US4606634, qui décrit un type de détection de défauts réfractant qui consiste à modifier le « spectre angulaire » d'une source de lumière étendue. Une source de lumière de dimension variable, par exemple un disque lumineux de diamètre variable, est au foyer d'une lentille convergente de projection. Dans l'image obtenue à l'aide d'une caméra qui reçoit la lumière ayant traversé le récipient, on obtient un contraste renforcé sur les objets réfractant, ce contraste pouvant être augmenté en réduisant le spectre angulaire, ce qui est produit en réduisant le diamètre du disque lumineux.
[0108]Un deuxième ensemble de méthodes pour obtenir une image de réfraction consiste à faire varier spatialement le long de la surface émettrice d'une source de lumière étendue, de type panneau lumineux, une propriété de la lumière émise par la source que la caméra sait distinguer. En tant que propriété de la lumière qui varie spatialement, on a utilisé initialement son intensité. On acquiert au moins une image avec une caméra sensible à l'intensité, donc a priori monochrome, délivrant des images monochromes. L'intensité de lumière émise par chaque unité de surface émettrice de lumière, varie spatialement selon une loi de variation spatiale en une ou deux dimensions. Autrement dit, ces procédés d'inspection adaptés pour la détection de défauts réfractant mettent en oeuvre des dispositifs d'illumination qui fournissent une lumière qui est parfois dite « structurée », c'est-à-dire disposant d'une surface émettrice, généralement bidimensionnelle, qui présente des variations ou des motifs d'intensité.
[0109]Un troisième ensemble de méthodes pour obtenir une image de réfraction consiste à faire varier spatialement le long de la surface émettrice, en tant que propriété de la lumière émise par la source, une propriété de polarisation, une propriété de couleur et/ou une propriété de phase. A titre d'exemple, les documents WO2020/244815 et EP3679356 illustrent des variantes de ce troisième ensemble de méthodes d'obtention d'une image de réfraction.
[0110] Pour obtenir des images de rayonnement infrarouge, une solution est d'utiliser une caméra sensible au rayonnement infrarouge émis par les récipients 2. Typiquement, le capteur de la caméra sensible au rayonnement infrarouge capte le rayonnement infrarouge dans une gamme de longueur d'onde supérieure à 0,8 pm. [0111]II ressort des exemples donnés ci-dessus que le procédé d'inspection à l'aide du système d'inspection 7 associé à l'unité électronique de traitement d'informations 9, permet l'obtention, d'images selon des directions d'observations différentes et au moins une modalité d'inspection ou plusieurs modalités d'inspection.
[0112]Selon une variante de réalisation, le système d'inspection 7 est configuré pour obtenir des images selon deux modalités d'inspection différentes. Selon une variante préférée de réalisation, le système d'inspection 7 est configuré pour obtenir des images selon trois modalités d'inspection différentes. Ainsi, le procédé selon l'invention vise à inspecter les récipients 2 à l'aide du système d'inspection 7 configuré pour acquérir des images d'absorption, de réfraction et de biréfringence, permettant de reconnaître des défauts caractérisés par l'ensemble de leurs 3 types d'interaction avec la lumière.
[0113] L'invention est également avantageuse pour un système d'inspection pour la détection des glaçures à l'aide d'un dispositif comme décrit dans EP4136434, un certain nombre de caméra observant une même portion de récipients sous des directions d'observation différentes. Dans ce cas, les variations de la forme et la position des reflets correspondant aux glaçures entre les différents images permet principalement de les distinguer de reflets parasites, et un modèle de classification par apprentissage permet une détection/classification efficace alors qu'il est difficile de définir a priori par des connaissances métier, les caractéristiques géométriques de ces défauts de forme très aléatoire.
[0114] L'objectif de la combinaison de ces diverses techniques d'éclairage et d'acquisition d'images est d'obtenir de chaque région inspectée de chaque récipient, au moins deux et de préférence au moins trois images chacune selon une modalité différente et des directions différentes, avec pour chaque modalité, la valeur de chaque pixel qui dépend d'une modalité différente d'interaction de la lumière avec la paroi traversée et avec les défauts à détecter. Bien entendu, la configuration de l'éclairage et des caméras dépend de la région inspectée du récipient qui peut correspondre au corps, au fond, au col, à l'épaule, au jable, à la bague ou à une zone de présence de gravures par exemple. [0115] Les images acquises d'une même portion d'un récipient selon au moins deux directions d'observation différentes et selon au moins une première modalité, sont mises à disposition de l'unité de traitement d'informations 9. Bien entendu, il est possible de préparer les images par des prétraitements, tels que :
- des transformations géométriques (i.e. correction de perspective) ;
- des transformations sur le format de l'image (nombres de canaux, taille de l'image) ;
- des traitements photométriques comme des filtres passe-bas ou passe-haut, ou une élimination d'arrière-plan, etc.
[0116] Conformément à l'invention, cette unité de traitement d'informations 9 comprend un réseau de neurones ayant été entraîné lors d'une phase de construction, sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins deux images d'une même portion d'un même récipient selon au moins deux directions d'observation différentes et selon au moins une modalité. Au cours de cette phase de construction ou d'apprentissage, le réseau de neurones détermine au moins une classe d'appartenance Kj pour ladite portion parmi une liste de classes Kl, K2, ...Kj,...Kp.
[0117] Pendant une phase d'utilisation, le réseau de neurones entraîné reçoit en entrée, pour chaque récipient, un enregistrement des au moins deux images d'au moins une portion du récipient selon une modalité et selon deux directions d'observation différentes, ces images étant acquises à l'aide du système d'inspection 7 lors du défilement des récipients. Pour chaque récipient à inspecter, le réseau de neurones analyse cet enregistrement pour déterminer l'appartenance de cette portion de récipient, à une classe résultat parmi la liste de classes Kl, K2, ...Kj,...Kp.. Pendant cette phase d'utilisation ou d'inspection, chaque récipient 2 défilant devant le dispositif 1 est inspecté en vue de détecter dans les images prises, la présence de défauts et de classer les défauts détectés. De préférence il convient que les classes Ki comportent également des objets non-défauts comme des décorations, des marquages, des ombres, etc...
[0118] L'unité de traitement d'informations 9 est ainsi adaptée pour mettre en oeuvre un procédé d'inspection pour détecter des défauts sur des récipients et classer les récipients, selon des classes préalablement définies. Le procédé d'inspection permet ainsi de classer chaque récipient selon au moins une classe prise parmi une liste de classes comportant en particulier une classe absence de défaut et une classe présence de défaut. Il doit être compris que l'objet de l'invention permet au moins de détecter la présence d'un défaut ou l'absence d'un défaut.
[0119] Avantageusement, l'objet de l'invention permet d'identifier ou de reconnaître les défauts permettant ainsi de les classer. La liste de classes Kl, K2, ...Kj,...Kp comporte au moins une classe comprenant la présence dans la portion d'image, d'au moins une singularité optique anormale correspondant à un défaut. Dans le domaine d'inspection des récipients en verre, certaines des classes correspondent à des défauts verriers c'est-à-dire à des défauts liés au processus de fabrication des récipients. Les défauts verriers concernés sont des défauts verriers ayant des propriétés optiques d'interaction avec la lumière traversant le récipient, telles qu'au moins une part d'absorption, et/ou une part de biréfringence et/ou une part de réfraction, si bien qu'ils sont détectables au moyen des dispositifs précités. Par exemple, ces classes peuvent correspondre à une bulle, une inclusion, un pli, un grain, une pierre, une ailette, un gros bouillon, un trapèze ou une balançoire. Par ailleurs, plusieurs classes peuvent correspondre à un même type de défaut verrier comme par exemple au défaut verrier type trapèze. Selon cet exemple, une classe peut correspondre aux gros trapèzes avec des fils de verre épais et une autre classe aux petits trapèzes avec des petites pointes non reliées. Ces classes sont données uniquement à titre illustratif.
[0120] Avantageusement, la liste de classes Kl, K2, ...Kj,...Kp comporte au moins une classe comprenant la présence dans la portion, d'au moins une singularité optique normale ne correspondant pas à des défauts. Ainsi, des classes peuvent correspondre à des reliefs à fonction technique comme des crans de positionnement ou les stries du plan de pose, à fonction décorative comme des blasons, ou à fonction d'indications techniques ou commerciales telles que marque, contenance, numéro de moule. D'autres classes peuvent correspondre à des éléments pouvant être distingués sur le récipient tels que des joints de moule, qui peuvent être circulaires au fond ou linéaires sur la paroi verticale. La reconnaissance d'un joint de moule dans l'image, donc le classement d'un élément d'image comme joint de moule, permet ensuite une analyse spécifique afin de déterminer si le joint de moule est faiblement marqué, ce qui n'est pas un défaut, ou fortement marqué ce qui nécessite l'éjection du récipient portant un tel joint de moule.
[0121]Avantageusement, il est possible d'associer à chaque classe de la liste des classes, une criticité, c'est-à-dire une valeur forte pour une classe de défauts critiques comme un trapèze, plus faible pour une classe de défauts moins critique comme un pli, encore plus faible pour une classe d'objets non-défaut comme un joint de moule.
[0122]II est à noter que le nombre p de classes d'images est indépendant du nombre de modalités. D'une manière générale, la liste de classes comporte un nombre de classes supérieur au nombre de modalités mises en oeuvre. Par ailleurs, la liste de classes peut comporter des classes ne correspondant pas à des défauts verriers. Par exemple, la liste peut comporter comme classe ne correspondant pas à des défauts verriers, une classe correspondant à un récipient 2 sans défauts, une classe correspondant à un récipient 2 avec un joint de moule, une classe correspondant à un récipient 2 avec un blason. Selon une variante avantageuse de réalisation, la liste de classes contient une classe non- défaut verrier, au moins une classe trapèze, au moins une classe inclusion, et au moins une classe bulle. Ces classes sont enregistrées et accessibles à l'unité de traitement d'informations 9.
[0123] Le nombre de classes est donc déterminé d'abord par le besoin de la production et du contrôle qualité, donc par la nécessité d'identifier les défauts de production pour prendre les bonnes décisions lors du tri et pour permettre la correction éventuelle du procédé. A contrario, le nombre de modalités est seulement déterminé par les limites techniques et économiques des moyens connus de mise en évidence des propriétés d'absorption, de réfraction et de biréfringence.
[0124] Le nombre de classes dépend également de la qualité du tri obtenu au moyen du réseau de neurones. En effet durant l'entraînement du réseau de neurones, il est connu de vérifier sur des ensembles de test, le taux de bons classements obtenu. Il a été observé que le classement est meilleur lorsque la liste des classes contient plusieurs classes pour un même défaut tel que les trapèzes. Autrement dit, le nombre de classes peut être augmenté pour améliorer la qualité du classement automatique.
[0125] Comme indiqué précédemment, l'opération de classement est réalisée par un réseau de neurones recevant en entrée, pour chaque récipient, un enregistrement d'au moins deux images d'au moins une portion du récipient selon une modalité et selon deux directions d'observation différentes. Selon l'invention, les au moins deux images sont analysées en même temps par un réseau de neurones à apprentissage profond qui peut déterminer d'après toutes caractéristiques significatives photométrique et/ou géométriques, l'appartenance d'une singularité d'image à une classe.
[0126] La figure 2 illustre un exemple de réalisation d'un réseau de neurones convolutif CNN1 recevant en entrée les images de portions des récipients selon au moins deux directions d'observation différentes et une modalité. Les sorties du réseau de neurones convolutif CNN1 sont les données d'entrée d'un réseau de neurones NN permettant de classifier les récipients.
[0127] La figure 4 est une vue schématique illustrant un exemple de réalisation d'un dispositif d'inspection conforme à l'invention mettant en oeuvre deux caméras adaptées pour obtenir de chacune trois images d'analyse selon trois modalités différentes, afin de constituer un enregistrement d'images d'analyse comportant au moins 6 images de récipient.
[0128]Sur cette figure, on a représenté un récipient 2 et deux caméras Cl et C2 configurées pour acquérir respectivement des images d'une même portion d'un récipient selon deux directions d'observation DI, D2 différentes. La caméra Cl est configurée pour l'obtention de trois images selon trois modalités différentes, et la caméra C2 est configurée pour l'obtention de trois images selon ces mêmes modalités différentes. Sur la figure, on désigne Kl, K2, des classes possibles pour les enregistrements de ces six images. Lors de la phase d'apprentissage, on peut enregistrer ces six images avec la classe appropriée, et lors de la phase de détection, on peut acquérir les six images pour une classification. On désigne X des données de contexte ou métadonnées concernant les images, qui peuvent être prises en compte comme données d'entrée du classifieur, par exemple X contient des directions d'observation, des différences de directions d'observation, des numéros de caméras, des identifiants de modalité pour chaque image.
[0129] La figure 5 illustre un autre exemple de réalisation d'un système d'inspection 7 permettant l'acquisition d'images de portions de récipients selon trois directions d'observation différentes et une modalité. Une des deux caméras représentées délivre des images selon deux directions d'observation différentes. Trois sous- réseaux de neurones convolutifs CNN1, CNN2, CNN3 reçoivent chacun en entrée, les images de portions des récipients selon une direction d'observation déterminée. Les sorties des trois sous-réseaux de neurones convolutifs CNN1, CNN2, CNN3 sont les données d'entrée respectivement de réseaux de neurones NN1, NN2, NN3 collaborant ensemble avec un sous-réseau de neurones NN4 permettant de classifier les récipients. Les sous-réseaux de neurones convolutifs CNN1, CNN2, CNN3, les sous-réseaux de neurones NN1, NN2, NN3, et le sous- réseau de neurones NN4 forment un réseau de neurones soit un unique modèle d'apprentissage profond au sens de l'invention.
[0130]Selon un mode de réalisation particulier et de manière non limitative décrit dans le présent paragraphe, les sorties des réseaux NN1 NN2 NN3 (non illustrées) sont par exemple, lorsque des singularités telles que des défauts sont présentes dans les images, des singularités DSI DS2 DS3 associées chacune à un vecteur de sortie de leur réseau, les vecteurs pouvant être considérés soit comme des mesures de propriétés morphologiques ou photométriques des singularités, soit comme des classifications des singularités. Le module MC consiste à associer les singularités DSI DS2 DS3 des différentes vues comme étant des descriptions d'une même singularité sous des directions d'observation différentes, et le rôle du sous réseau NN4 est alors de déterminer une classification unique Dj à partir des sorties des réseaux NN1 NN2 NN3. Bien entendu l'exemple de la figure 5 illustre le cas de 3 images, et l'on peut prévoir la même solution avec 2 images ou 4 ou 6 etc. Autrement dit, selon ce mode de réalisation particulier, la fusion de données comprend : structurer le classifieur en sous-réseaux, avec un réseau de sortie NN4 qui fusionne les résultats des sous- réseaux d'entrée NN1 NN2 NN3. Dans la variante illustrée ci-après figure 6, les sous réseaux d'entrée sont remplacés par des modules classiques de segmentation ANDI AND2 et DSI DS2.
[0131] La figure 6 illustre un autre exemple de réalisation d'un système d'inspection 7 permettant l'acquisition d'images de portions de récipients selon deux directions d'observation différentes et une modalité. Un seul réseau NN est utilisé et est représenté sur la figure. Sur chaque image obtenue par la caméra Cl ou par la caméra C2, une opération de détection de singularités est réalisée afin de détecter la présence d'une ou plusieurs singularités quelconques (par le module DSI pour l'image obtenue par la caméra Cl, par le module DS2 pour l'image obtenue par la caméra C2). Cette détection de singularité DSI ou DS2, détecte et localise dans l'image une singularité d'image au sens d'un ensemble connexe ou non connexe de pixels présentant des caractéristiques locales particulières relativement aux pixels voisins ou à l'arrière-plan. La détection de singularité DSI ou DS2 peut implémenter toute méthode de traitement d'image adaptée pour détecter des singularités avec ici une ou plusieurs étapes de traitement préliminaires (AND1 et AND2 sur la figure) telles que filtrage, seuillage, transformations de morphologie mathématique, étiquetage, analyse de variance, détection de contours etc. Un résultat typique de la détection de singularité de DSI ou de DS2 peut comprendre seulement la position d'un pixel ou d'un ensemble de pixels (typiquement les pixels connexes qui forment la singularité). En d'autres termes, la détection de singularité met en oeuvre une segmentation des images. On peut aisément envoyer sur le réseau de neurone pour chaque image, un rectangle encadrant la singularité détectée. Il est possible d'associer des informations supplémentaires aux singularités détectées, telles que des primitives d'images (périmètre, contraste) ou des informations relatives au récipient comme son orientation sur le convoyeur. Aussi, les deux modules de détection de singularité peuvent délivrer la position et les dimensions d'un rectangle encadrant (« bounding box » en anglais) qui contient une singularité détectée. [0132] Ayant réalisé cette segmentation/détection de singularité sur les au moins deux images, une mise en correspondance est mise en oeuvre au moyen du module MC entre les deux singularités détectées par les modules DSI et DS2, sur la base de leurs positions dans les images ou sur le récipient. Par exemple, si relativement à l'image du récipient ou à ses contours extérieurs, les deux rectangles encadrants (si les modules DSI et DS2 délivrent de tels rectangles) se chevauchent, ou bien sont à la même hauteur pour des images de la paroi verticale, ou bien sur un même cercle lors d'un contrôle de fond, etc., on les considère comme correspondant à la même partie ou à une même singularité du récipient. Alternativement on peut réaliser une mise en correspondance précise selon la position sur le récipient de la ou des singularités détectées par les modules DSI et DS2, connaissant la géométrie du récipient et du dispositif d'acquisition.
[0133]Selon l'exemple de la figure 6, si l'on détecte une singularité dans une seule image et pas dans l'autre au moyen des modules DSI et DS2, on peut néanmoins envoyer sur le réseau NN deux rectangles encadrant (ou tout autre sortie des modules DSI et DS2) se correspondant, l'image sans détection de singularité pouvant néanmoins comporter de l'information utile à la classification d'après 2 directions d'observation. Enfin, lorsque le réseau NN de la figure est de type CNN, peu importe la qualité et la précision de la détection amont de singularité, pourvu que cette détection détecte toutes les singularités, y compris de fausses détections, le réseau NN de type CNN comportant des étapes dites de convolution aptes à détecter des artefacts, singularités, et à en déterminer des formes de primitives pour effectuer une classification dont le résultat peut être l'absence de singularité, la présence ou absence défaut, ou le type de singularité normale ou de défaut.
[0134] Dans l'exemple de la figure 6, seul le réseau NN est modifié au cours de l'apprentissage, les modules MC, DSI, et DS2 n'étant pas ici des modules modifiables par apprentissage. En d'autres termes, la rétro-propagation du résultat d'une fonction de coût ne change que des paramètres du réseau NN et pas des modules MC, DSI et DS2 (on peut noter que l'apprentissage tel qu'il peut être mis en œuvre par exemple pour l'exemple de la figure 2 est avantageux en ce qu'il modifie des paramètres qui ont un impact qui est moins limité que ceux de l'exemple de la figure 6).
[0135] Les figures 7A et 7B montrent un agencement d'une pluralité de caméras agencées selon différents azimuts et élévations et utilisables pour mettre en œuvre l'invention, dans un système d'inspection 7.
[0136] En figure 7A, on a représenté pour un récipient 2 circulant sur une voie de convoyage Pc, la position de caméras Ci et de projecteurs Ei, agencés avec un angle d'élévation El visible sur la figure et mesuré par rapport à un plan d'inspection de référence Prib. Ici, les caméras Ci et les projecteurs Ei coopèrent pour permettre la détection de glaçures, comme expliqué dans le document W02021/209704.
[0137] En figure 7B, on a représenté la position de caméras Ci et de projecteurs Ei, agencés avec un angle d'azimut Az visible sur la figure.
[0138] Les figures 8A et 8B sont deux images d'une même portion d'un même récipient, ici deux images de la base d'une même bouteille en verre. Sur la figure, on a également représenté les orientations des caméras Cl et C2 utilisées respectivement pour l'obtention de deux images II et 12 selon des directions opposées et se faisant face (angle de 180°).
[0139]Le défaut DF1 n'est ici visible que sur l'image II. Un modèle selon l'invention peut être en mesure de déduire de la visibilité du défaut sur la seule image II que le défaut est de type « bouillon crevé » (soit « open blister » en anglais). Ainsi, l'invention permet de mieux classer des défauts de récipients en verre.
[0140] Les figures 9A et 9B sont deux images d'une même portion d'un même autre récipient, acquises par deux caméras dont l'agencement est visible sur la figure 9C. Ici deux images d'une même bouteille en verre sont obtenues, le fond de cette bouteille reposant sur un convoyeur, l'axe de symétrie du récipient étant vertical. Sur la figure 9C, plus précisément, on a également représenté les orientation des caméras Cl et C2 utilisées respectivement pour l'obtention de deux images II et 12 selon des directions d'observation formant un angle dans un plan vertical noté P (qui est une différence d'élévation) et un angle dans le plan horizontal noté o(qui est une différence d'azimut). L'aspect d'un même défaut DF2 diffère entre les deux images.
[0141] En fait, dans l'image 12 un défaut apparaît avec une apparence peu contrastée donc le modèle peut délivrer une classe de défaut avec un indice de confiance faible, voire une erreur de classe.
[0142] Dans II l'image, le défaut DF2 est plus contrasté, un modèle entraîné pour traiter des images seules pourrait donner la classe bouillon avec une certitude élevée, mais néanmoins, la prise en compte de l'image 12 peut baisser le taux de confiance. Sans l'invention, on compterait deux défauts et un des deux étant mal classé. Mais en combinant les deux images en entrée d'un modèle unique, le classifieur prend la bonne décision, et attribue aux deux portion d'image une seule classe avec une confiance élevée.
[0143] L'invention renforce donc la confiance dans la classification des défauts.
[0144] Les figures 10A et 10B sont deux images d'une même portion d'encore un même autre récipient, ici deux images d'une même bouteille en verre. Sur la figure, on a également représenté les orientations des caméras Cl et C2 utilisées respectivement pour l'obtention de deux images II et 12 selon des directions formant un angle dans un plan horizontal noté a.
[0145] On voit apparemment deux défauts DFA et DFB sur les deux images, ces défauts semblant être de type ailette. Sur aucune des vues prise seule il n'est possible de détecter et classer l'artefact comme ailette avec certitude. En fait, ces deux défauts de type ailette, résultent d'une seule cause, à savoir une mauvaise fermeture d'un moule utilisé pour le formage de la bouteille. On a donc un unique défaut en deux parties.
[0146] DFA1 est la vue face avant, par la caméra Cl, d'une première partie DFA du défaut (plus grosse)
[0147] DFB1 est la vue face arrière (caméra Cl) de d'une deuxième partie DFB du défaut (petite) [0148] DFA2 est la vue face arrière (caméra C2) de la première partie DFA du défaut (plus grosse)
[0149] DFB2 est la vue face avant (caméra C2) de deuxième partie DFB du défaut (petite)
[0150] Avec l'invention, la reconnaissance du défaut face avant (DFA1 ou DFB2) malgré un arrière-plan (face arrière) comportant des ombres provoquées par la contre bague, est possible par l'analyse combinée des images selon des directions différentes.
[0151] L'angle a entre les 2 directions d'observation est ici d'au moins 60°.
[0152] L'invention permet de détecter et reconnaître/classer automatiquement des défauts visibles que partiellement dans une unique direction d'observation.
[0153] Préalablement à l'inspection de récipients (phase d'utilisation), l'objet de l'invention vise à entrainer un réseau de neurones (phase de construction ou d'apprentissage) sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins une première et une deuxième image d'une même portion de récipient selon deux directions d'observation différentes et selon au moins une modalité.
[0154]Selon une variante avantageuse de réalisation, les enregistrements de cet ensemble d'apprentissage sont réalisés par un système d'inspection 7 qui est le même système utilisé pour la phase d'utilisation. En d'autres termes, les systèmes d'inspection 7 utilisés pour acquérir les images lors la phase de construction et la phase d'utilisation sont les mêmes. Avantageusement, ce sont sensiblement les mêmes directions d'observation que celles lors de l'inspection, avec la même modalité.
[0155] A titre indicatif, la phase de construction peut précéder la phase d'utilisation/d'inspection. Aussi, une phase de construction peut être mise en oeuvre après une phase d'utilisation d'inspection. Par exemple, des enregistrements utilisables pour l'apprentissage peuvent être obtenus postérieurement à une première mise en oeuvre de la phase d'utilisation/d'inspection, et la mise en oeuvre d'une phase de construction postérieure à la phase d'utilisation/d'inspection permet d'améliorer encore plus le fonctionnement du modèle selon l'invention. Une phase de construction postérieure à une phase d'utilisation est analogue à une phase de construction qui précède une phase d'utilisation, et elle peut elle-même être suivie d'une phase d'utilisation.
[0156] Selon une caractéristique avantageuse, pendant la phase de construction, les enregistrements d'images sont ordonnés selon une séquence déterminée. Ainsi, les images provenant des différentes caméras sont classées selon un ordre déterminé. Pendant la phase d'utilisation, les enregistrements d'images sont ordonnés selon une séquence identique de la séquence de la phase de construction. Autrement dit, la façon dont les images sont organisées ou disposées entre elles au sein des enregistrements pour être présentées comme entrées du réseau classifieur, que ce soit dans une phase d'inspection, donc de classement que dans une phase de construction donc d'entraînement, est le même. Les images obtenues selon une direction d'observation donnée et une modalité donnée seront de préférence présentée aux mêmes connecteurs d'entrée du modèle dans les deux phases (typiquement aux mêmes neurones d'entrée). Toutefois, bien que l'ordre identique pour les deux phases est une méthode préférée, il est possible alternativement, par exemple lorsque les images sont obtenues au moyen d'un dispositif dans lequel les directions d'observation sont distribuées en azimut autour de l'axe des récipients, et compte tenu que les récipients lors de l'inspection peuvent arriver dans le dispositif avec une orientation indéterminée, seule compte la disposition relative modulo 360° des directions d'observation pour chaque image d'un enregistrement.
[0157] Pour construire la base d'apprentissage, on sélectionne plusieurs récipients présentant des défauts à reconnaître mais également plusieurs récipients sans défauts, plusieurs récipients portant des singularités optiques normales à reconnaître : décors, codes, cran, moulages de vis, de crans de positionnement, etc., et/ou plusieurs récipients présentant des singularités optiques acceptables commercialement. [0158] Il doit être compris que les images de ces enregistrements montrent au moins une portion d'un récipient à inspecter correspondant à des régions d'intérêt du récipient telles que la bague, le col, l'épaule, le corps, le jable ou bien un demi- côté droit ou gauche ou une zone de présence de gravures. Certaines de ces images comportent des singularités optiques normales à reconnaître ou des singularités optiques anormales correspondant à des défauts. Ces images peuvent se limiter à ces singularités optiques ou prendre en compte un rectangle encadrant ces singularités optiques. Ces images peuvent aussi prendre en compte un rectangle élargi encadrant ces singularités optiques, prenant en compte le contexte ou le positionnement de ces singularités dans l'image.
[0159] Le procédé vise à réunir ces enregistrements dans une base d'apprentissage, en un nombre important, typiquement au moins mille enregistrements. Pour chaque classe, plusieurs enregistrements sont réalisés comportant des images de défauts à reconnaître, des images avec des singularités optiques normales à reconnaître ou des images de récipients sans défauts. Il est à noter que les récipients sont préférentiellement de même matière (verre)ou matière plastique) que ceux à inspecter, et sont fabriqués préférentiellement selon le même procédé. Ces récipients peuvent être de même modèle, de même teinte, etc. mais de préférence le procédé consiste inclure dans la base d'apprentissage des images de plusieurs récipients de modèles différents pour chaque type de défaut et plusieurs types de défauts pour chaque modèle de récipient.
[0160]Conformément à l'invention, la phase de construction est un apprentissage supervisé. En d'autres termes, le réseau de neurones est entraîné par apprentissage supervisé, c'est-à-dire par des opérations lui imposant le classement à réaliser avec une erreur à minimiser pour un ensemble donné d'enregistrements. On associe à chaque enregistrement de la base d'apprentissage, au moins comme étiquette, une classe d'appartenance telle un type de défaut ou un type de non-défaut.
[0161]Selon cette méthode d'apprentissage supervisé, on fournit au système un ensemble d'enregistrements triés, étiquetés selon une des classes préalablement définies. Chaque enregistrement est associé, via le tri et l'étiquetage, à une desdites classes, ce qui va permettre à l'algorithme de calculer un modèle plus général permettant par la suite d'associer n'importe quelle donnée non connue, non étiquetée, à une des classes préalablement définies. Cette méthode d'apprentissage supervisé se distingue de la méthode d'apprentissage non supervisé (étant sans a priori sur les classes). Selon cette méthode non supervisée, on fournit des données en vrac au système, sans aucune forme de tri ou d'étiquetage. Le système se charge lui-même de définir le nombre de classes qui lui semble le plus pertinent et associe à chaque donnée une desdites classes (exemple : algorithme de clustering X-Means). La méthode d'apprentissage supervisé se distingue également de l'apprentissage non supervisé (avec un a priori sur le nombre de classes) : on fournit des données en vrac au système, sans aucune forme de tri ou d'étiquetage. En revanche, on indique au système le nombre p de classes attendues. Le système associe ensuite automatiquement chaque donnée à une des p classes attendues (exemple : algorithme de clustering K-Means). L'apprentissage non supervisé n'est pas adapté à l'objectif de classification des défauts selon une nomenclature de défaut en particulier pour le verre, qui serait déterminée a priori. En revanche dans le cas de la détection de glaçures au moyen de l'invention, un apprentissage non supervisé peut être plus efficace, les classes déterminées automatiquement permettant un meilleur classement par le fait que le modèle appris serait apte à prendre en compte des caractéristiques des glaçures qui correspondent à leur « signature » visuelle sans lien avec leur cause. Comme expliqué précédemment il est difficile à l'homme du métier de déterminer des formes particulières de glaçures, en dehors de leur orientation (Horizontales Verticales, inclinées), et cette orientation faisant que seulement certains groupes émetteurs récepteurs sont dédiés à certaine orientation de glaçure.
[0162] Le procédé selon l'invention vise à entraîner le réseau de neurones de manière qu'il reconnaisse les types de défaut et les récipients ne comportant pas de défauts. Cette phase d'apprentissage est réalisée par un homme du métier de l'intelligence artificielle qui choisit en particulier, un modèle de réseau de neurones, une base d'apprentissage et un algorithme d'apprentissage. Ce réseau de neurones est entraîné et testé de manière itérative jusqu'à obtenir le résultat voulu (matrice de confiance, metrics (precision, recall, fl-score, mAP50 et mAP75 (mAP étant un acronyme anglo-saxon signifiant « mean Average Precision » soit moyenne de la précision moyenne). Eventuellement, les bases de données de ces enregistrements d'images sont réorganisées avec des ajouts ou des suppressions et/ou le modèle de réseau de neurones est changé ainsi que l'algorithme d'apprentissage.
[0163]II ressort de la description qui précède que l'objet de l'invention repose sur le constat que la forme (morphologie) et parfois la photométrie (contraste au sens large, donc intensité ou couleur ainsi que séparation de l'intensité et la couleur) d'une singularité de type défaut ou non défaut varie selon la direction d'observation et de manière spécifique du type de singularité. Le changement d'aspect (morphologie et/ou photométrie) dans l'image d'un défaut en fonction des directions d'observation voire aussi de l'éclairage est une caractéristique qui permet de différencier les défauts.
[0164] Pour détecter un défaut de type glaçures comme décrit dans la demande de brevet WO 2021/209704, une région du récipient est illuminée sous des incidences précises, par des faisceaux lumineux dirigés atteignant la surface du récipient selon une incidence précise de manière que la majeure partie du faisceau pénètre dans la paroi de verre et se propage dans le verre. Si une glaçure est présente sur le trajet de lumière dans la paroi, alors la glaçure réfléchit le faisceau qui repart dans une direction modifiée pour sortir de la paroi selon un angle de sortie précis, qui est fonction de l'angle incident et de la position et forme de la glaçure. Un défaut de type glaçure dans une image de forme observée différente selon l'angle d'observation, ou bien est invisible selon une autre direction même voisine (+/-100) de la première direction. Or dans un système d'observation de glaçures apparaissent dans les images des singularités correspondant à des lumières parasites (dit « parasites »), souvent liées à des reliefs volontaires qui varient peu ou pas ou différemment avec la direction d'observation. La modification de l'image par le changement de direction d'observation permet donc de différencier un type glaçure d'un parasite. [0165] Pour les récipients transparents éclairés en transmission par des panneaux lumineux comme décrit dans la demande de brevet WO 2023/052732, les ombres sur les bords des récipients ont une forme et une position dépendant de la répartition du verre mais aussi des angles d'observation et des angles d'éclairages. En transmission, la modification de la morphologie et/ou de la photométrie d'un défaut varie selon la position relative du récipient par rapport aux directions d'observation et en particulier :
- pour un défaut absorbant, principalement la forme varie mais la photométrie varie peu ;
- pour un défaut réfractant, la morphologie et la photométrie varient.
[0166] Par ailleurs la façon dont l'image d'un défaut varie quand on change de point de vue ou de direction d'éclairage dépend de la position du défaut en profondeur (surface, intérieur paroi, intérieur récipient). Les défauts de type trapèze peuvent ainsi être reconnus. La forme des défauts de type trapèze dans les images prises change selon la direction d'observation d'une manière propre à ce défaut, notamment parce que :
- il est constitué de matière s'étendant à l'intérieur du récipient en verre. Il a donc des caractéristiques liées à sa forme tridimensionnelle qui ne sont pas prises en compte dans une image selon une seule direction d'observation ;
- dans le cas d'une machine avec six caméras décrite dans la demande de brevet WO 2023/052732, le trapèze peut être vu comme :
* un petit objet, rattaché à une paroi ;
* deux petits objets rattachés chacun à une paroi ;
* un grand objet rattaché à deux parois
* un petit objet circulaire apparemment sur la paroi.
[0167]Aussi, pour des récipients transparents éclairés en transmission par des panneaux lumineux, comme cela est décrit dans la demande de brevet WO 2023/052732, il apparait avantageux d'acquérir pour chaque récipient, au moins quatre images d'au moins une même portion d'un récipient selon quatre directions d'observation différentes et selon au moins la première modalité, les directions d'observation étant réparties autour de l'axe central R du récipient deux à deux selon un angle d'azimut d'au moins 45°.
[0168] Par ailleurs, une bulle dans un récipient transparent a une forme observée différente selon l'angle d'observation, et cette différence n'est pas déductible directement par une transformation géométrique. En effet, la forme observée de la bulle et même les contrastes de la bulle dépendent de la positon relative de i) la source de lumière, ii) la bulle dans le récipient (position/ orientation du récipient) et iii) la direction d'observation. A l'inverse, une inclusion ou une tache de graisse en surface aura une forme d'image qui varie avec la direction d'observation mais de manière quasi déterministe par la géométrie du récipient et la direction d'observation, tandis que la photométrie varie peu. Il s'ensuit que la variation de la géométrie et de la photométrie entre différents points de vue est une caractéristique discriminante les bulles et des taches ou inclusions.
[0169] Les inventeurs ont déduit donc de ces constats que la façon dont change l'apparence d'une singularité du récipient ou de l'image, entre deux observations sous une direction différente est une caractéristique du défaut bulle par rapport au défaut tache de surface.
[0170]Toutefois la prise en compte de ces comportements est complexe et difficilement modélisable tant les défauts sont de forme complexe très changeante. Il est extrêmement illusoire de chercher à modéliser de manière générique les transformations accompagnant la modification du point de vue, qui ne peuvent pas se réduire à une modification de primitives simples. Par ailleurs, la forme des récipients a un impact sur la modélisation des défauts, ce qui rend difficile ces modélisations.
[0171]C'est pourquoi on a constaté que les réseaux de neurone, sont aptes à analyser (prendre en compte)
- les formes et contrastes (Morphologie / géométrie) des images des défauts
- les variations desdits formes et contrastes entre des images prises sous des directions d'observation différentes, et ce malgré que ces formes et/ou contrastes ainsi que leurs variations selon la direction d'observation sont complexes et très difficilement prédictibles ou modélisables par une connaissance a priori de la géométrie du système d'acquisition.
[0172]II ressort de la description qui précède que le procédé selon l'invention permet non seulement d'identifier les défauts verriers des récipients, mais également de classer ces défauts pour permettre de passer de l'inspection à l'optimisation du procédé de fabrication. Une des caractéristiques de l'invention est de définir une liste de classes comportant des classes de défauts, ce qui permet de mettre en relation les défauts verriers avec des caractéristiques du procédé de fabrication à réguler. L'amélioration de la classification des défauts verriers permet de mieux remonter aux causes des défauts verriers.
[0173] L'objet de l'invention est avantageusement exploité dans le cadre des installations de fabrication pour permettre une meilleure détection et catégorisation des défauts présents au sein des récipients. Certains défauts peuvent être vus, détectés et catégorisés plus facilement grâce aux directions d'observation différentes combinées éventuellement à des modalités différentes.
[0174] De préférence, le procédé d'inspection selon l'invention est conçu de manière que le réseau de neurones associe un score de confiance au classement de chaque récipient inspecté d'une production. Le score de confiance est typiquement la probabilité d'appartenance du récipient à la classe d'appartenance. Le score peut s'exprimer comme un % ou une valeur entre 0 et 1.
[0175]II est à noter qu'un récipient peut comporter plusieurs défauts. Il y a plusieurs manières de classer de tels récipients. Dans les variantes du procédé qui comportent une étape de segmentation, comme illustré sur la figure 6, on peut extraire des images d'analyse d'un même récipient, plusieurs régions d'image et par exemple plusieurs segments SR sont reconnus comme appartenant à des classes de défaut. Dans ce cas, selon une première variante, la classe d'appartenance du récipient sera celle du segment classé dans la classe de défaut ayant la plus forte criticité. Il est également possible de prendre en compte le score de confiance du classement, c'est-à-dire que la classe affectée au récipient sera celle du segment classé avec un score de confiance supérieur au seuil de confiance. Selon une deuxième variante, on peut comptabiliser l'ensemble des défauts portés par un seul récipient, notamment lorsqu'un récipient porte plusieurs défauts critiques. Ainsi l'analyse statistique de la production qui sera présentée plus loin, peut rendre compte de la distribution des défauts indépendamment du nombre de récipients rejetés.
[0176] Le réseau de neurones et en particulier de tpe CNN détecte les défauts et donne également comme information, leur position dans le récipient. Cette position est utile pour corriger le procédé, par exemple il est utile de savoir si un défaut est dans le corps ou le col. De plus, le CNN peut prendre en compte la position des singularités dans le récipient pour réaliser le classement. Selon l'invention, réseau de neurones prend en compte aussi la position relative du défaut dans les images selon des direction d'observation différentes.
[0177] L'objet de l'invention est exploité pour le tri de la production de récipients de la manière suivante. Après classement d’un récipient, on compare au moins une caractéristique de tri de récipient, à un critère de rejet, et lorsque la caractéristique de tri dépasse le critère de rejet pour un récipient, le récipient est considéré non conforme et rejeté. En effet, l'installation comporte un éjecteur pour retirer les récipients défectueux de la production. La caractéristique de tri et le critère de rejet sont dépendants de la classe d'appartenance pour décider de la conformité ou non du récipient, la caractéristique de tri étant calculée sur au moins une image du récipient selon une des deux ou trois modalités. La caractéristique de tri et le critère de rejet sont par exemple une dimension de défaut telle que sa surface ou sa longueur mesurée dans au moins une image d'analyse. On peut éventuellement prendre en compte pour le tri, le score de confiance, en ne rejetant des récipients appartenant à une classe de défaut peu critique que si le score de confiance est élevé et inversement en rejetant des récipients appartenant à une classe de défaut critique même si le score de confiance est faible. Puisque le réseau de neurones est apte à déterminer la position d'un défaut, avec une confiance élevée grâce aux différentes directions d'observation, selon une variante de l'invention la position est un critère supplémentaire de rejet, car la positon d'un défaut peut influencer sa criticité. [0178]Selon l'invention, il est possible de définir des critères de rejets différents selon la position des défauts dans le récipient.
[0179] L'objet de l'invention est exploité pour réaliser une analyse statistique d'une production de récipients, c'est-à-dire une analyse de la fréquence ou distribution des différents types de défauts et de leur criticité, les types de défaut inclus dans la liste des classes et leur criticité étant déterminés par avance pour le besoin du contrôle du procédé.
[0180]Certains défauts sont provoqués durant les étapes de formage des récipients dans les moules, et sont donc à mettre en relation des paramètres de formage qui sont différents d'une section à l'autre ou d'une cavité à l'autre. Il est donc préférable de comptabiliser les classes de défaut selon la section ou cavité d'origine des récipients. Lorsque l'installation est installée en sortie de machines de formage, donc en amont de l'arche de recuisson 6, l'inspection est immédiate après la fabrication donc on connaît l'horodatage de la fabrication du récipient, et l'on connaît également par synchronisation, les cavités ou sections d'origine des récipients puisque l'ordre de sortie des récipients de la machine de formage est connu. Lorsque le dispositif d'inspection 1 conforme à l'invention est installé en aval de l'arche de recuisson 5, il est de préférence équipé d'un dispositif de lecture d'informations portées sur les récipients et indiquant le moule ou la section d'origine des récipients et/ou un horodatage de leur fabrication et/ou un identifiant unique de chaque récipient tel un numéro de série, ou bien relié à un tel dispositif de lecture. Il est donc possible et préférable de réaliser l'analyse statistique de la production, à partir du classement des récipients par le procédé d'inspection, selon la distribution des défauts en relation directe avec les paramètres de production au moment de la fabrication de chaque récipient et/ou en fonction des différentes cavités et sections de la machine de fabrication.
[0181] L'analyse statistique de la production des récipients, permet ainsi de mettre en relation les défauts avec leurs causes, pour obtenir deux résultats : - d'une part, l'on peut déterminer des corrélations entre les paramètres de fabrication et les défauts qui en découlent, permettant ainsi de définir des méthodes de régulation manuelle plus performantes du procédé ; - d'autre part connaissant les relations de cause à effet, délivrer en temps réel au calculateur de production 7, la possibilité de réaliser une boucle de réaction automatique pour réguler le procédé en corrigeant les défauts donc les écarts entre qualité voulue et qualité estimée des récipients.
[0182] Pour résumer ce qui précède, l'objet de l'invention est avantageusement exploité pour différentes opérations de production décrites ci-après:
- tri de la production ;
- analyse statistique de la production ;
- détermination des relations de cause à effet entre paramètres de production et défauts ;
- contrôle et commande du procédé en réduisant les défauts constatés ;
- avertissement des opérateurs de l'apparition de défauts critiques par une alarme.
[0183]Selon une variante préférée de l'invention, on ne prend en compte le classement des récipients que lorsque le score de confiance de la classe attribuée dépasse un seuil de confiance pour :
- comptabiliser les défauts par classe de défauts dans une statistique de fréquences des défauts,
- et/ou décider du rejet du récipient,
- et/ou déclencher une alarme de présence d'un ou plusieurs défauts critiques dans la production inspectée.
[0184]II est à noter que le seuil de confiance correspond à une valeur minimale prédéterminée ou réglable du score de confiance comme paramètre de fonctionnement du dispositif d'inspection, le réglage étant fait sur son IHM ou à distance.

Claims

Revendications
[Revendication 1] Procédé d'inspection de récipients en matériau transparent ou translucide (2) en vue de classer un récipient, le procédé comportant; une phase d'utilisation comprenant :
- l'acquisition pour chaque récipient, d'au moins une première et une deuxième images (le) d'au moins une même portion d'un récipient selon deux directions d'observation différentes et selon au moins une modalité;
- la fourniture en entrée d'un modèle d'apprentissage profond (NN), pour chaque récipient, d'un enregistrement des au moins la première et la deuxième images d'au moins une portion du récipient selon au moins une modalité et selon deux directions d'observation différentes ;
- et l'analyse par le modèle d'apprentissage profond, pour chaque récipient, de cet enregistrement pour déterminer l'appartenance de cette portion de récipient, à une classe résultat parmi une liste de classes, une fusion de données multi-vues étant mise en oeuvre avant la détermination de l'appartenance à une classe par analyse, et la détermination de l'appartenance à une classe tient compte d'éléments provenant de chaque image, de manière conjointe, et dans lequel lorsqu'un défaut est observé selon des directions d'observation différentes, il est considéré que c'est le même défaut.
[Revendication 2] Procédé selon la revendication 1 selon lequel le procédé comporte :
- la mise à disposition d'un système d'inspection pour acquérir des images selon au moins une première modalité et une deuxième modalité ;
- l'acquisition pour chaque récipient, d'un enregistrement d'au moins une même portion d'un récipient comportant au moins deux images selon au moins deux directions d'observation différentes selon la première modalité et au moins une image selon la deuxième modalité.
[Revendication 3] Procédé selon l'une des revendications précédentes selon lequel le procédé comporte la mise à disposition d'un système d'inspection configuré pour acquérir des images d'une même portion d'un récipient selon au moins deux directions d'observation différentes et selon au moins une modalité prise parmi la liste des modalités suivantes : d'absorption, de biréfringence, de réfraction, de réflexion, de rayonnement infrarouge.
[Revendication 4] Procédé selon l'une des revendications précédentes selon lequel on classe chaque portion de récipient selon au moins une classe prise parmi une liste de classes comportant au moins une classe absence de défaut dans la portion et une classe présence de défaut dans la portion.
[Revendication 5] Procédé selon l'une des revendications précédentes selon lequel on classe chaque portion de récipient selon au moins une classe prise parmi une liste de classes comportant au moins une classe comprenant la présence dans la portion, d'au moins des défauts tels que notamment, trapèze, inclusion, bulle.
[Revendication 6] Procédé selon l'une des revendications précédentes selon lequel on classe chaque portion de récipient selon au moins une classe prise parmi une liste de classes comportant au moins une classe comprenant la présence dans la portion, d'au moins une singularité telle qu'un marquage, un joint de moule, une encoche, un filetage, une impression, une piqûre, une anse, une contre bague.
[Revendication 7] Procédé selon l'une des revendications précédentes selon lequel le procédé comporte l'acquisition pour chaque récipient présentant un axe central, d'au moins quatre images d'au moins une même portion d'un récipient selon quatre directions d'observation différentes et selon au moins la première modalité, les directions d'observation étant réparties autour de l'axe central deux à deux selon un angle d'azimut d'au moins 45°.
[Revendication 8] Procédé selon l'une des revendications précédentes selon lequel on compare au moins une caractéristique de tri à un critère de rejet, la caractéristique de tri et le critère de rejet étant dépendants de la classe d'appartenance pour décider de la conformité ou non du récipient, la caractéristique de tri étant calculée sur au moins une image du récipient selon une modalité.
[Revendication 9] Procédé selon l'une des revendications précédentes selon lequel est mise en oeuvre une étape de prise en compte d'au moins un défaut identifié pour en déduire une information d'ajustement pour au moins un paramètre de contrôle d'une installation de fabrication des récipients.
[Revendication 10] Procédé selon l'une des revendications précédentes selon lequel :
-le modèle d'apprentissage profond associe un score de confiance au classement des récipients faisant partie d'une production inspectée;
-le classement des récipients est pris en compte uniquement lorsque le score de confiance dépasse un seuil de confiance pour;
-comptabiliser les défauts par classe de défauts ;
-et/ou décider du rejet du récipient ;
-et/ou déclencher une alarme de présence d'au moins un défaut critique dans la production inspectée.
[Revendication 11] Procédé d'apprentissage d'un modèle d'apprentissage profond pour l'inspection de récipients en matière transparente ou translucide en vue de classer un récipient, le procédé comprenant une phase de construction comportant :
- une mise à disposition d'un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins une première et une deuxième images d'une même portion de récipient selon deux directions d'observation différentes et selon au moins une modalité;
- une mise à disposition d'au moins un modèle d'apprentissage profond de neurones ayant été entraîné sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins une première et une deuxième images d'une même portion de récipient selon deux directions d'observation différentes et selon au moins une modalité, le modèle d'apprentissage profond déterminant, au moins une classe d'appartenance (Kj) pour ladite portion parmi une liste des classes, une fusion de données multi-vues étant mise en oeuvre avant la détermination de l'appartenance à une classe par analyse, et la détermination de l'appartenance à une classe tient compte d'éléments provenant de chaque image, de manière conjointe, et dans lequel lorsqu'un défaut est observé selon des directions d'observation différentes, il est considéré que c'est le même défaut..
[Revendication 12] Procédé selon la revendication 11, selon lequel le procédé comporte une mise à disposition d'au moins un modèle d'apprentissage profond ayant été entraîné sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'au moins deux images d'une même portion de récipient selon des directions d'observation différentes d'au plus de 5° lors de l'acquisition des images.
[Revendication 13] Procédé selon l'une des revendications 11 ou 12 selon lequel le procédé comporte une mise à disposition d'au moins un modèle d'apprentissage profond ayant été entraîné sur un ensemble d'apprentissage comportant des enregistrements composés chacun d'images d'une même portion de récipient selon des directions et des modalités différentes.
[Revendication 14] Procédé comprenant une phase de construction du procédé selon l'une quelconque des revendications 11 à 13 pour obtenir un modèle d'apprentissage profond, et une phase d'inspection du procédé selon l'une quelconque des revendications 1 à 10 utilisant le modèle d'apprentissage profond de ladite phase de construction.
[Revendication 15] Procédé selon la revendication 14, selon lequel pendant la phase de construction, les enregistrements d'images sont ordonnés selon une séquence déterminée tandis que pendant la phase d'utilisation, les enregistrements d'images sont ordonnés selon une séquence identique de la séquence de la phase de construction.
[Revendication 16] Dispositif d'inspection de récipients en matière transparente ou translucide sortant d'une installation de fabrication ou de récupération en vue de classer les récipients en relation de défauts, le dispositif comportant :
- un système d'inspection comportant au moins une caméra disposée pour récupérer de la lumière ou un rayonnement provenant d'au moins une portion d'un récipient et configuré pour acquérir des images d'une même portion d'un récipient selon au moins deux directions d'observation différentes et selon au moins une première modalité;
- une unité de traitement d'informations reliée au système d'inspection et comprenant un modèle d'apprentissage profond , le modèle d'apprentissage profond déterminant, au moins une classe d'appartenance pour ladite portion parmi une liste des classes, le modèle d'apprentissage profond recevant en entrée, pour chaque récipient, un enregistrement des au moins deux images d'au moins une portion du récipient selon la première modalité et selon deux directions d'observation différentes, le modèle d'apprentissage profond, pour chaque récipient, analysant cet enregistrement pour déterminer l'appartenance de cette portion de récipient, à une classe résultat parmi la liste de classes, une fusion de données multi-vues étant mise en oeuvre avant la détermination de l'appartenance à une classe par analyse, et la détermination de l'appartenance à une classe tient compte d'éléments provenant de chaque image, de manière conjointe, et dans lequel lorsqu'un défaut est observé selon des directions d'observation différentes, il est considéré que c'est le même défaut..
[Revendication 17] Modèle d'apprentissage profond obtenu par le procédé d'apprentissage selon l'une quelconque des revendications 11 à 15.
PCT/FR2024/050859 2023-06-30 2024-06-28 Procede et dispositif pour inspecter des recipients selon au moins deux directions d'observation differentes en vue de classer les recipients Ceased WO2025003618A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP24746007.4A EP4736111A1 (fr) 2023-06-30 2024-06-28 Procede et dispositif pour inspecter des recipients selon au moins deux directions d'observation differentes en vue de classer les recipients
CN202480055769.5A CN121773452A (zh) 2023-06-30 2024-06-28 用于根据至少两个不同观察方向检查容器以对容器进行分类的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2307021A FR3150596A1 (fr) 2023-06-30 2023-06-30 Procédé et dispositif pour inspecter des récipients selon au moins deux directions d’observation différentes en vue de classer les récipients
FRFR2307021 2023-06-30

Publications (1)

Publication Number Publication Date
WO2025003618A1 true WO2025003618A1 (fr) 2025-01-02

Family

ID=89767074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2024/050859 Ceased WO2025003618A1 (fr) 2023-06-30 2024-06-28 Procede et dispositif pour inspecter des recipients selon au moins deux directions d'observation differentes en vue de classer les recipients

Country Status (4)

Country Link
EP (1) EP4736111A1 (fr)
CN (1) CN121773452A (fr)
FR (1) FR3150596A1 (fr)
WO (1) WO2025003618A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121114039A (zh) * 2025-11-13 2025-12-12 陕西鹤鸣健康科技有限公司 一种保健胶囊类产品的异物检测方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4606634A (en) 1984-07-27 1986-08-19 Owens-Illinois, Inc. System for detecting selective refractive defects in transparent articles
FR2794241A1 (fr) 1999-05-25 2000-12-01 Emhart Glass Sa Machine pour l'inspection de recipients
EP1109008A1 (fr) 1999-12-15 2001-06-20 Saint Gobain Cinematique Et Controle Procédé de contrôle de la qualité d'un article notamment en verre
JP4886830B2 (ja) 2009-10-15 2012-02-29 東洋ガラス株式会社 透明ガラス容器の焼傷検査方法及び装置
EP3180135A1 (fr) 2014-08-14 2017-06-21 Krones AG Procédé d'inspection optique et dispositif d'inspection optique de récipients
WO2018061196A1 (fr) 2016-09-30 2018-04-05 東洋ガラス株式会社 Dispositif d'inspection de marques de brûlure sur un récipient en verre
EP3679356A1 (fr) 2017-09-07 2020-07-15 Heuft Systemtechnik GmbH Dispositif d'inspection comprenant un éclairage de couleur
EP3745298A1 (fr) * 2019-05-28 2020-12-02 SCHOTT Schweiz AG Procédé et système de classification pour articles transparents à haut rendement
WO2020244815A1 (fr) 2019-06-06 2020-12-10 Krones Ag Procédé et dispositif d'inspection optique de contenants
WO2021209704A1 (fr) 2020-04-16 2021-10-21 Tiama Poste et procédé pour détecter en translation des défauts de glaçures sur des récipients en verre
WO2021213864A1 (fr) 2020-04-24 2021-10-28 Krones Ag Procédé et dispositif d'inspection de contenants
EP4078156A1 (fr) 2019-12-16 2022-10-26 Applied Vision Corporation Imagerie séquentielle pour l'inspection de parois latérales de récipients
WO2023052732A1 (fr) 2021-09-30 2023-04-06 Tiama Procede et dispositif d'inspection pour des recipients deplaces selon une trajectoire rectiligne

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4606634A (en) 1984-07-27 1986-08-19 Owens-Illinois, Inc. System for detecting selective refractive defects in transparent articles
FR2794241A1 (fr) 1999-05-25 2000-12-01 Emhart Glass Sa Machine pour l'inspection de recipients
EP1109008A1 (fr) 1999-12-15 2001-06-20 Saint Gobain Cinematique Et Controle Procédé de contrôle de la qualité d'un article notamment en verre
JP4886830B2 (ja) 2009-10-15 2012-02-29 東洋ガラス株式会社 透明ガラス容器の焼傷検査方法及び装置
EP3180135A1 (fr) 2014-08-14 2017-06-21 Krones AG Procédé d'inspection optique et dispositif d'inspection optique de récipients
WO2018061196A1 (fr) 2016-09-30 2018-04-05 東洋ガラス株式会社 Dispositif d'inspection de marques de brûlure sur un récipient en verre
EP3679356A1 (fr) 2017-09-07 2020-07-15 Heuft Systemtechnik GmbH Dispositif d'inspection comprenant un éclairage de couleur
EP3745298A1 (fr) * 2019-05-28 2020-12-02 SCHOTT Schweiz AG Procédé et système de classification pour articles transparents à haut rendement
WO2020244815A1 (fr) 2019-06-06 2020-12-10 Krones Ag Procédé et dispositif d'inspection optique de contenants
EP4078156A1 (fr) 2019-12-16 2022-10-26 Applied Vision Corporation Imagerie séquentielle pour l'inspection de parois latérales de récipients
WO2021209704A1 (fr) 2020-04-16 2021-10-21 Tiama Poste et procédé pour détecter en translation des défauts de glaçures sur des récipients en verre
EP4136434A1 (fr) 2020-04-16 2023-02-22 Tiama Poste et procédé pour détecter en translation des défauts de glaçures sur des récipients en verre
WO2021213864A1 (fr) 2020-04-24 2021-10-28 Krones Ag Procédé et dispositif d'inspection de contenants
WO2023052732A1 (fr) 2021-09-30 2023-04-06 Tiama Procede et dispositif d'inspection pour des recipients deplaces selon une trajectoire rectiligne

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIANG QIAOKANG ET AL: "Real-time comprehensive glass container inspection system based on deep learning framework", ELECTRONICS LETTERS, THE INSTITUTION OF ENGINEERING AND TECHNOLOGY, GB, vol. 55, no. 3, 7 February 2019 (2019-02-07), pages 131 - 132, XP006075830, ISSN: 0013-5194, DOI: 10.1049/EL.2018.6934 *
MIGUEL CARRASCO: "Visual inspection of glass bottlenecks by multiple-view analysis", INTERNATIONAL JOURNAL OF COMPUTER INTEGRATED MANUFACTURING., vol. 23, no. 10, 1 October 2010 (2010-10-01), GB, pages 925 - 941, XP093161205, ISSN: 0951-192X, DOI: 10.1080/0951192X.2010.500676 *
PRZEMYSLAW DOLATA: "Double-stream Convolutional Neural Networks for Machine Vision Inspection of Natural Products", vol. 31, no. 7-8, 14 September 2017 (2017-09-14), US, pages 643 - 659, XP093161211, ISSN: 0883-9514, Retrieved from the Internet <URL:https://dx.doi.org/10.1080/08839514.2018.1428491> DOI: 10.1080/08839514.2018.1428491 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121114039A (zh) * 2025-11-13 2025-12-12 陕西鹤鸣健康科技有限公司 一种保健胶囊类产品的异物检测方法及系统

Also Published As

Publication number Publication date
EP4736111A1 (fr) 2026-05-06
CN121773452A (zh) 2026-03-31
FR3150596A1 (fr) 2025-01-03

Similar Documents

Publication Publication Date Title
EP4457507B1 (fr) Procede et dispositif d&#39;inspection de recipients chauds en verre en vue d&#39;identifier des defauts
TWI698628B (zh) 用於檢查潮溼眼用鏡片的系統及方法
EP3963284B1 (fr) Ligne de contrôle de récipients vides en verre
EP2856122B1 (fr) Procede optique d&#39;inspection de recipients transparents ou translucides portant des motifs visuels
EP4558810A1 (fr) Procede et dispositif pour inspecter des recipients en verre selon au moins deux modalites en vue de classer les recipients selon des defauts verriers
EP1891419B1 (fr) Procede et installation pour la detection de defauts de surface et de structure d un produit long en defilement
US20240420314A1 (en) Foreign material inspection system
EP4736111A1 (fr) Procede et dispositif pour inspecter des recipients selon au moins deux directions d&#39;observation differentes en vue de classer les recipients
EP3443330A1 (fr) Méthode et système de vérification d&#39;une installation d&#39;inspection optique de récipients en verre
FR3098583A1 (fr) Installation et procédé pour mesurer l’épaisseur des parois de récipients en verre
WO2014041416A1 (fr) Dispositif de controle de pieces en defilement
WO2024141740A1 (fr) Dispositif et procédé d&#39;analyse d&#39;un relief d&#39;inspection d&#39;une paroi d&#39;un récipient en verre
Liu et al. Automatic detection technology of surface defects on plastic products based on machine vision
EP3956652B1 (fr) Système et procédé de détection de vitrocéramique
WO2023098187A1 (fr) Procédé de traitement, appareil de traitement et système de traitement
EP1109008A1 (fr) Procédé de contrôle de la qualité d&#39;un article notamment en verre
WO2020212266A1 (fr) Procede de detection de vitroceramique
US20260141681A1 (en) Method and device for inspecting glass containers according to at least two modes with a view to classifying the containers by their glass defects
WO2001055705A1 (fr) Installation et procede pour la detection de glacures
WO2022136761A1 (fr) Procede pour detecter des defauts du joint horizontal de moule pour des recipients en verre
CN115239709B (zh) 一种玻璃瓶烫金工艺的质量检测方法
Tellbach et al. Multimodal Optical Telemetry for Defect Detection in Vaccine Vials
EP4413356A1 (fr) Dispositif et procede opto-informatique d&#39;analyse en lumiere traversante d&#39;un recipient en materiau transparent ou translucide a l&#39;aide d&#39;une camera numerique polarimetrique
WO2025017257A1 (fr) Procédé de tri de déchets combinant une analyse de composition chimique et l&#39;usage de marqueurs
Huang et al. Feature area size prediction method of spherical fruit based on projection transformation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24746007

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024746007

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024746007

Country of ref document: EP

Effective date: 20260130

ENP Entry into the national phase

Ref document number: 2024746007

Country of ref document: EP

Effective date: 20260130

WWP Wipo information: published in national office

Ref document number: 2024746007

Country of ref document: EP