FR3146076A1 - Procede de discrimination entre des contenants dans une ligne de tri et installation associee - Google Patents

Procede de discrimination entre des contenants dans une ligne de tri et installation associee Download PDF

Info

Publication number
FR3146076A1
FR3146076A1 FR2301782A FR2301782A FR3146076A1 FR 3146076 A1 FR3146076 A1 FR 3146076A1 FR 2301782 A FR2301782 A FR 2301782A FR 2301782 A FR2301782 A FR 2301782A FR 3146076 A1 FR3146076 A1 FR 3146076A1
Authority
FR
France
Prior art keywords
article
probability
packaging
digital image
statistical parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2301782A
Other languages
English (en)
Inventor
Hicham El Bernoussi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solystic SAS
Original Assignee
Solystic SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Solystic SAS filed Critical Solystic SAS
Priority to FR2301782A priority Critical patent/FR3146076A1/fr
Priority to EP24700312.2A priority patent/EP4673921A1/fr
Priority to PCT/EP2024/050727 priority patent/WO2024179730A1/fr
Publication of FR3146076A1 publication Critical patent/FR3146076A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional [3D] objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Sorting Of Articles (AREA)

Abstract

Procédé (400) de discrimination d’articles entre des articles selon un type d’emballage choisi parmi un emballage rigide et un emballage souple, comprenant les étapes d’acquérir (S10) au moins une image numérique (NUM) d’un article au moyen d’un appareil de prises de vue, calculer (S20) des paramètres statistiques (PARAM) représentatifs d’une pluralité de points se situant sur une surface de l’article dans l’image numérique (NUM), construire (S30) un vecteur (VECT) ayant des composantes définies par des valeurs des paramètres statistiques (PARAM), sur la base du vecteur (VECT), calculer (S40) une probabilité (PROBA) pour l’article d’être un article à emballage rigide ou d’être un article à emballage souple, comparer (S50) la probabilité (PROBA) à au moins une valeur de seuil et, en réponse à la comparaison, générer un paramètre (DET) représentatif du type d’emballage de l’article. Figure à publier avec l’abrégé : Fig. 4

Description

PROCEDE DE DISCRIMINATION ENTRE DES CONTENANTS DANS UNE LIGNE DE TRI ET INSTALLATION ASSOCIEE DOMAINE TECHNIQUE DE L’INVENTION
L'invention concerne un procédé de discrimination entre des articles en circulation sur une ligne de tri d’articles, dans le but d’adapter la manipulation de chacun de ces articles à leurs contenants respectifs.
ARRIERE PLAN TECHNOLOGIQUE
Le tri d’articles tels que des colis postaux se fait au sein de centre de tris comprenant des lignes de tri destinées à procéder à un tri automatisé d’articles, chacune traitant un flux d’articles. Les articles sont manipulés le long des lignes au moyen de systèmes de convoyage collectifs mais nécessitent, par exemple pour du dévracage ou du placement individuel, d’être prélevés individuellement lors d’une opération dite « prélève et place », ou « pick and place » en terminologie anglaise, mise en œuvre eu moyen d’un bras manipulateur robotisé, comme décrit par exemple dans le document FR 3 019 068 B1. Un exemple de bras manipulateur utilisant des ventouses comme dispositif de préhension des articles est décrit dans le document FR 3 031 046 A1. Bien entendu, afin de rentabiliser les lignes de tri, celles-ci doivent traiter un flux d’articles aussi important que possible et la rapidité d’exécution de l’opération de « pick and place » est primordiale.
La fonction du bras manipulateur est de saisir l’article, le déplacer jusqu’à un emplacement prédéterminé puis le relâcher. Cette opération doit être rapide tout en restant fiable afin de limiter les erreurs de manipulation. Un exemple d’erreur de manipulation est le « fly-out » en terminologie anglaise, qui consiste en un lâcher imprévu de l’article alors que celui-ci est déplacé à grande vitesse par le bras et peut résulter en une éjection de l’article hors de la ligne de tri.
Il existe donc un besoin de maximiser la vitesse des opérations de « pick and place » tout en limitant les erreurs de manipulation.
Les articles à trier circulant sur une ligne de tri peuvent être contenus dans différents types d’emballage, en particulier des emballages de plastique souple dits « polybags » et des emballages rigides dits « box » tels que des boîtes en carton. La qualité de la saisie d’un box par un bras manipulateur est meilleure que la qualité de saisie d’un polybag, de sorte que l’accélération imposée à un box par un bras manipulateur sans provoquer de fly-out peut être plus élevée que celle imposée à un polybag par le même bras manipulateur. Ainsi, on comprend que pour un niveau donnée de fiabilité de la manipulation d’un article par le bras manipulateur, celui-ci pourra imposer à un box une accélération plus forte et une vitesse plus élevée que celle qu’il pourra imposer à un polybag.
Partant de ce constat, la demanderesse propose un procédé de tri ayant un traitement différencié entre un box et un polybag : il s’agit de faire travailler le bras manipulateur à un niveau plus proche de ses capacités maximales, en termes de vitesse d’exécution du déplacement de l’article, lorsqu’il manipule un box que lorsqu’il manipule un polybag.
Un tel procédé, incluant un traitement différencié entre un box et un polybag, requiert la capacité à distinguer automatiquement le box du polybag.
En vue de la réalisation de ce but, un premier aspect de l’invention est un procédé de discrimination d’articles entre des articles selon un type d’emballage choisi parmi un emballage rigide et un emballage souple, comprenant les étapes d’acquérir au moins une image numérique d’un article au moyen d’un appareil de prises de vue, calculer des paramètres statistiques représentatifs d’une pluralité de points se situant sur une surface de l’article dans l’image numérique, construire un vecteur ayant des composantes définies par des valeurs des paramètres statistiques, sur la base du vecteur, calculer une probabilité pour l’article d’être un article à emballage rigide ou d’être un article à emballage souple, comparer la probabilité à au moins une valeur de seuil et, en réponse à la comparaison, générer un paramètre représentatif du type d’emballage de l’article.
Ce procédé permet la discrimination entre des articles emballés dans un emballage souple tel qu’un polybag et des articles emballés dans un emballage rigide tel qu’un box. Ainsi, intégré dans une procédure de tri, ce procédé permet par exemple l’optimisation du débit d’un dispositif d’insertion d’articles à trier dans une machine de tri à l’aide d’un bras de manipulation robotisé.
Selon des caractéristiques additionnelles non-limitatives du premier aspect de l’invention, considérées individuellement ou selon toute combinaison techniquement réalisable :
- les étapes de calculer des paramètres statistiques, de construire un vecteur, de calculer une probabilité et de comparer la probabilité à au moins une valeur de seuil peuvent être mises en œuvre au moyen d’un calculateur numérique ;
- l’étape d’acquérir au moins une image numérique d’un article peut en outre comprendre les étapes d’acquérir une image numérique d’une scène comprenant l’article au moyen de l’appareil de prise de vue et de segmenter l’image numérique de la scène de manière à isoler l’article et obtenir l’image numérique de l’article ;
- à l’étape de calculer une probabilité, les composantes du vecteur peuvent être pondérées par des coefficients de pondération déterminés à l’avance lors d’une étape d’apprentissage automatique sur la base d’images annotées ;
- on peut établir une carte de profondeur, et les paramètres statistiques peuvent être représentatifs d’une topographie de la surface ;
- les paramètres statistiques peuvent être représentatifs d’écarts de points constituant la surface à un plan approximant cette surface ;
- des composantes du vecteur peuvent être choisie parmi une moyenne, une médiane un écart-type des écarts, un premier, un second, un troisième et un quatrième moment d’un histogramme normalisé des écarts, une valeur d’un histogramme cumulé des écarts, et des intégrales de l’histogramme cumulé ;
- les paramètres statistiques sont représentatifs d’une teinte ou d’une texture de la surface de l’article dans l’image numérique, l’image numérique étant en couleur ;
- l’étape de calculer des paramètres statistiques peut comprendre une sous-étape de détermination d’une pluralité de points répartis sur la surface et une sous-étape de définition, pour chacun des points, de zones de surfaces croissantes, chacune centrées sur le point considéré, les paramètres statistiques étant calculés sur la base de ces surfaces ;
- des composantes du vecteur sont choisies parmi une moyenne de niveaux de gris de pixels de l’une ou plusieurs des zones, et parmi des moyennes respectives des niveaux de couleurs de pixels de l’une ou de plusieurs des zones ; et
- le procédé peut combiner un calcul de probabilité basé sur des paramètres statistiques pouvant être représentatifs d’écarts de points constituant la surface à un plan approximant une surface de l’article dans l’image avec un calcul de probabilités basé sur une teinte ou d’une texture d’une surface de l’article dans l’image numérique.
L’invention s’étend à un procédé de traitement d’articles mettant en œuvre le procédé de discrimination d’articles selon l’invention, et comprenant en outre l’étape d’émettre un signal de commande à destination d’un dispositif de traitement d’article en réponse à la génération du paramètre représentatif du type d’emballage de l’article.
Ce procédé permet un traitement différencié entre les articles selon leur emballage, et donc d’optimiser la vitesse de traitement selon les objectifs prioritaires (vitesse, fiabilité) fixés par le praticien.
Un second aspect de l’invention porte sur un système configuré pour mettre en œuvre le procédé du premier aspect de l’invention au sein d’une installation de tri.
En vue de la réalisation de ce but, un second aspect de l’invention est une installation de tri d’articles configurée pour mettre en œuvre le procédé de traitement d’article selon l’invention.
Cette installation permet le traitement efficace d’un flux d’articles à manipuler individuellement, avec un traitement adapté à leurs types d’emballage respectifs, box ou polybag. Plus spécifiquement, pour un niveau de fiabilité donné, le traitement individuel des articles peut être accéléré lorsque l’article est emballé dans un box.
Selon des caractéristiques additionnelles non-limitatives du second aspect de l’invention, considérées individuellement ou selon toute combinaison techniquement réalisable :
- le dispositif de traitement d’article peut être un bras manipulateur robotisé ;
- le bras manipulateur robotisé peut être d’équipé d’un dispositif de saisie par aspiration.
BREVE DESCRIPTION DES FIGURES
D’autres caractéristiques et avantages de l’invention ressortiront de la description détaillée de l’invention qui va suivre en référence aux figures annexées sur lesquels :
La représente une portion d’une installation de traitement d’articles ;
La représente un histogramme normalisé obtenu dans un premier mode de mise en œuvre ;
La représente un histogramme cumulé de l’histogramme normalisé de la ;
La illustre le principe d’un procédé de discrimination entre un box et un polybag ;
La illustre un premier mode de mise en œuvre du procédé de la .
La illustre un second mode de mise en œuvre du procédé de la .
La illustre un troisième mode de mise en œuvre du procédé de la .
La illustre le second mode de mise en œuvre.
DESCRIPTION DETAILLEE DE L’INVENTION
Principe général
Le principe de la solution proposé par la demanderesse, qui consiste en un procédé 400 de discrimination entre un des articles IT emballés dans un box et des articles emballés dans un polybag est mis en contexte à l’aide de la , qui représente une portion d’une installation FAC de traitement d’articles comprenant une ligne de tri SL équipée d’un système SYS configuré pour mettre en œuvre le procédé de discrimination.
La ligne de tri SL comprend un bras manipulateur MA robotisé muni d’un dispositif de saisie GH et une bande de convoyage CB déplaçant des articles arrivant dans la direction Dir représentée par une flèche. Le dispositif de saisie GH peut comprendre des ventouses. Les articles peuvent arriver en vrac dans une zone de travail WZ, le bras manipulateur étant chargé de les dévraquer, c’est-à-dire de les saisir un à un pour les placer en ordre sur la bande de convoyage CB.
Le système SYS comprend un appareil de prises de vues numérique CAM et un calculateur CALC fonctionnellement connecté à l’appareil de prises de vues numérique CAM et au bras manipulateur MA.
Le procédé 400, illustré par la , consiste à une étape S10 à acquérir au moins une image numérique NUM d’une scène englobant la zone de travail WZ du bras manipulateur MA au moyen de l’appareil de prises de vues numérique CAM, dans laquelle un ou plusieurs articles IT, destinés à être manipulés individuellement au moyen du bras manipulateur, sont visibles. Une pluralité de points de l’image se situe à la surface SURF d’un article d’intérêt parmi les un ou plusieurs articles IT.
A une étape S20, une pluralité de paramètres statistiques PARAM représentatifs d’une pluralité des points situés à la surface SURF de l’article d’intérêt sont calculés au moyen du calculateur numérique CALC.
A une étape S30, le calculateur CALC construit au moins un vecteur VECT dont les composantes sont respectivement définies par l’un des paramètres statistiques PARAM calculés à l’étape S20.
A une étape S40, le calculateur CALC calcule, sur la base du au moins un vecteur VECT, une probabilité PROB associée au fait pour l’article d’intérêt d’être emballé dans un emballage de type box ou d’être emballé dans un emballage de type polybag.
Le nombre de composantes définissant le vecteur est défini par le praticien, selon un compromis entre le temps de calcul nécessaire et un niveau de fiabilité-cible, l’augmentation du nombre de composantes améliorant la fiabilité de la discrimination, mais seulement marginalement au-delà d’un certain nombre, alors que les temps de calcul croissent de manière importante avec le nombre de composantes. Or, le temps de calcul est une données cruciale, considérant qu’il s’agit d’un calcul en temps réel et s’intégrant dans une chaîne de calculs comprenant, outre le calcul des paramètres statistiques et le calcul de probabilité mentionnés ci-dessus, l’acquisition d’une image numérique, la segmentation des objets visibles dans cette image numérique par un réseau de neurones de manière à identifier les articles visibles, la détermination de l’ordre de saisie de ces articles, ou encore la détermination de la trajectoire du bras manipulateur pour la saisie de l’article. Ainsi, pour un bras manipulateur ayant un cycle de l’ordre de 2 secondes, on considère qu’un temps de l’ordre de la dizaine de milliseconde peut être consacré au calcul des composantes du vecteur VECT et de la probabilité associée.
A une étape S50, la probabilité PROB est comparée à une ou plusieurs valeurs de seuil prédéterminées pour permettre d’associer la probabilité PROB à un type d’emballage, box ou polybag, ou à un statut d’indétermination du type d’emballage du à une trop forte possibilité d’erreur quant à cette association. L’étape S50 résulte en la génération d’un paramètre DET, représentatif de la détermination du type d’emballage de l’article, box, polybag, ou indéterminé.
A une étape S60, en réponse à la comparaison de l’étape S50 et au paramètre DET, le calculateur envoie une commande COM au bras manipulateur MA. Le bras manipulateur MA est configuré pour, en réponse à la réception de la commande COM, ajuster sa vitesse opérationnelle, c’est-à-dire l’accélération imposée à un article qu’il saisit et déplace, la vitesse de déplacement maximale de cet article, ou ces deux paramètres simultanément.
Ainsi, le système SYS est configuré pour adapter la vitesse de manipulation de chaque article individuellement à son type d’emballage. En particulier, lorsque l’article est emballé dans un box, la vitesse et l’accélération peuvent être maximales, alors qu’elles seront relativement moins élevées lorsque l’article est emballé dans un polybag. Le résultat est une augmentation de débit des articles manipulés par le bras manipulateur pour un taux donné d’erreur.
La illustre un exemple particulier d’application du procédé de discrimination selon l’invention, qui consiste en un dévracage mis en œuvre au moyen d’un bras manipulateur. Les applications du procédé ne se limitent cependant pas à cet exemple particulier, considéré à des fins d’explication.
Le principe décrit ci-dessus est applicable à plusieurs types d’images numériques, et plusieurs types de paramètres statistiques peuvent être employés, comme décrit plus précisément dans les deux modes de mise en œuvre pris en exemples ci-dessous.
Premier mode de mise en œuvre
Le premier mode de mise en œuvre est un procédé 500 de discrimination entre un article emballé dans un box et un article emballé dans un polybag, illustré par la . Ce procédé repose sur les différences entre les géométries apparentes d’un box et d’un polybag. Alors que le polybag est par nature souple et présente donc une surface de topographie irrégulière, un box est par nature rigide, de sorte que ses faces présentent une topographie régulière, se rapprochant plus d’une surface parfaitement plane qu’un polybag. Ainsi, ce premier mode de mise en œuvre met à profit l’aspect « plan » des surfaces d’un box pour identifier ce type d’emballage.
Dans ce premier mode de mise en œuvre, l’appareil de prise de vue numérique CAM est une caméra numérique possédant trois objectifs : deux objectifs dédiés à la vision stéréoscopique et un troisième objectif dédié à l’acquisition d’une image en couleur. Ainsi, l’au moins une image numérique de l’étape S10 est constituée d’au moins trois images capturées simultanément, deux destinées à la formation d’une carte de profondeur et la troisième à une image couleur bidimensionnelle.
La caméra est configurée de manière à former en interne, à une sous-étape S10a de l’étape S10, ladite carte de profondeur et à procéder à un alignement pixel par pixel entre l’image couleur et la carte de profondeur. Une telle carte de profondeur permet de positionner chaque point visible de l’image dans un référentiel tridimensionnel de positionnement. Ce mode de mise en œuvre emploie une caméra numérique possédant trois objectifs, mais l’invention ne se limite pas à ce moyen particulier, et ce mode de mise en œuvre ne requiert qu’une carte de profondeur et une image couleur alignées l’une sur l’autre, indépendamment du ou des moyens d’obtention de cette carte et de cette image.
A une sous-étape S10b de l’étape S10, les articles visibles sont identifiés dans l’image couleur par segmentation au moyen d’un réseau de neurones. Par identification entre l’image couleur et la carte de profondeur sur laquelle elle est alignée, on récupère un nuage de points localisés dans un espace tridimensionnel pour chacun des articles.
A une sous-étape S10c de l’étape S10, l’un des articles visibles est choisi, par exemple selon un critère d’ordre des saisies des articles déterminé de manière conventionnelle pour optimiser le traitement du flux d’articles arrivants. Une face visible de l’article choisi, représentée par la surface SURF sur la , est employée pour traitement numérique lors de la suite du procédé. Il peut s’agir d’une face supérieure de l’article, face présentant une orientation sensiblement parallèle à un plan de travail sur lequel repose l’article, ou bien la face visible de l’article présentant l’orientation la plus proche de celle du plan de travail, ou encore la face présentant l’aire la plus importante parmi les faces visibles de l’article. Par la suite, les points du nuage associés à cette face de l’article choisi sont utilisés par le calculateur CALC.
L’étape S20 consiste pour le calculateur CALC à exploiter le positionnement des points constituant la face de l’article dans la carte de profondeur, correspondant à la surface SURF sur la .
A une sous-étape S20a de l’étape S20, un premier plan est défini de manière à approximer la face choisie, chaque point de la face choisie étant utilisé dans la détermination des paramètres a, b et c déterminant l’équation Eq. 1 de ce premier plan.
Eq. 1
La face choisie est formées par un nuage de points de la carte de profondeur, chacun de ces points étant situé dans l’espace par trois coordonnées xi, yiet zi, où l’indice i identifie un point i, par exemple dans un repère orthonormé. Les paramètres a, b et c sont déterminés de manière conventionnelle par réduction de l’erreur quadratique E pouvant s’exprimer par l’équation Eq. 2
Eq. 2
A une sous-étape S20b de l’étape S20, un filtrage est appliqué de manière à éliminer les points considérés comme aberrants, générés par exemple par le bruit de la caméra stéréoscopique. Le filtrage peut par exemple consister à éliminer une certaine proportion des points, 10% par exemple, les points éliminés étant ceux dont les distances au premier plan sont les plus élevées. Un autre filtrage pourrait être l’utilisation d’un seuil sur la distance séparant un point du premier plan, seuil au-delà duquel un point est considéré comme aberrant. Ce seuil est déterminé par le praticien afin de l’adapter à son équipement et aux algorithmes utilisés par exemple dans la détermination de la carte de profondeur.
Par la suite, les points considérés sont les points ayant passé l’étape de filtrage, c’est-à-dire l’ensemble des points de la surface choisie à l’exception des points considérés comme aberrants.
A une sous-étape S20c de l’étape S20, l’étape S20a est répétée afin de déterminer les paramètres a’, b’ et c’ d’un second plan approximant la face choisie, représentée par la surface SURF dans la , à la différence près que les points aberrants éliminés sont exclus du calcul des paramètres a’, b’ et c’. En procédant de la sorte, le second plan constitue une meilleure approximation de la face choisie que le premier plan.
A une sous-étape S20d de l’étape S20, le calculateur CALC calcule une pluralité de caractéristiques basées sur les positions relatives des points de la face choisie par rapport au second plan défini par les paramètres a’, b’ et c’.
Plus spécifiquement, à la sous-étape étape S20d, le calculateur calcule une erreur relative ou écart pour chacun des points de la surface choisie sur la base de l’équation Eq. 3.
Eq. 3
Les écarts se définissent comme la distance de chacun des points considérés au second plan, et peuvent être considérées comme des variables aléatoires en termes de probabilités. On peut considérer, pour un box et un polybag, un histogramme des écarts , qui s’interprète de la manière suivante :H(x)=ysignifie qu’il y aypoints de la surface choisie qui sont associés à une erreur relative comprise entre x et x+0,5, si l’on travaille avec un pas de 0,5 (quantification des valeurs de ). La figure 2 représente un tel histogramme normalisé selon l’équation Eq. 4.
Eq. 4
La figure 3 représente la fonction de répartition, ou histogramme cumulé , de l’histogramme , qui peut se calculer selon l’équation Eq. 5.
Eq. 5
Les figures 2 et 3 illustrent le fait qu’un polybag et un box présentent des caractéristiques bien différentes quant à leurs écarts respectifs. De telles caractéristiques statistiques peuvent donc être utilisées dans le but de déterminer le type d’emballage, box ou polybag, d’un article quelconque. A cette fin, les seules caractéristiques illustrées par les figures 2 et 3 sont insuffisantes, et un jeu plus étoffé de caractéristiques doit être calculé pour chaque point de la surface choisie.
A une sous-étape S20e de l’étape S20, le calculateur CALC calcule un jeu de caractéristiques statistiques basées sur les écarts , ces caractéristiques constituant des paramètres statistiques PARAM représentatifs de la topographie des points situés à la surface de l’article d’intérêt, et plus spécifiquement des écarts des points de la surface à un plan approximant cette surface. Un jeu de caractéristiques peut être constitué des dix caractéristiques suivantes : moyenne, médiane et écart-type des , premier, second, troisième et quatrième moment de l’histogramme normalisé des écarts , une valeur de l’histogramme cumulé , et les deux intégrales, respectivement de 0 à 9 et de 10 à 19 de l’histogramme cumulé
Le jeu de caractéristiques défini ci-dessus a été déterminé comme un compromis entre le temps de calcul nécessaire et la fiabilité de la discrimination entre box et polybag. En pratique, d’autres choix de caractéristiques pour constituer le jeu de revendication sont possibles, et leur nombre pourrait également être différent. Le nombre de caractéristiques constituant le vecteur VECT est compris entre 6 et 14, préférablement entre 8 et 12, plus préférablement entre 9 et 11. Il est de 10 dans le présent exemple.
A l’étape S30, le calculateur CALC construit le vecteur VECT sur la base des écarts , de l’histogramme normalisé , et de l’histogramme cumulé . Plus spécifiquement, chacune des 10 caractéristiques du jeu de caractéristiques calculé à l’étape S20 constitue l’une des composantes Xmdu vecteur VECT, m étant ici un entier naturel variant de 1 à 10.
A l’étape S40, au moyen d’un calcul d’une régression logistique, le calculateur CALC calcule la probabilité PROBA associée au fait pour l’article d’intérêt d’être emballé dans un box, selon l’équation Eq. 6
Eq. 6
dans laquelle les composantes sont chacune pondérées par un coefficient de pondération .
La probabilité PROBA est destinée à être comparée à des valeurs de seuil Thr1 et Thr2 afin de déterminer si l’emballage de l’article est un box, un polybag, ou bien doit être considérée comme indéterminée, comme détaillée plus bas. A une étape préparatoire, des valeurs optimales des coefficient de pondération sont déterminées à cette fin par apprentissage machine (« machine learning » en terminologie anglaise) au moyen d’une base de données de jeux d’images d’articles emballés dans des box ou dans des polybags, annotées de manière à indiquer la nature de l’emballage d’articles, ces images étant de natures similaires à celles obtenues à l’étapes S10 de ce premier mode de mise en œuvre, avec une carte de profondeur et une image couleur utilisée pour l’identification des articles. L’apprentissage est conçu de manière à minimiser le nombre de confusions entre les types d’emballage d’article, entre box et polybag au cours de l’étape S50 qui suit.
A l’étape S50, le calculateur CALC compare la probabilité PROBA à deux valeurs de seuil prédéterminées Thr1 et Thr2. Si PROBA est plus petite ou égale à la première valeur de seuil Thr1, alors il est considéré que l’emballage de l’article d’intérêt est un polybag. Si PROBA est plus grande ou égale à la seconde valeur de seuil Thr2, alors il est considéré que l’emballage de l’article d’intérêt est un box. Si PROBA est plus grand que Thr1 et plus petit que Thr2, alors il est considéré que l’emballage de l’article d’intérêt est incertain.
La première valeur de seuil Thr1 et la seconde valeur de seuil Thr2 peuvent être respectivement fixées aux valeurs (1/2 - incert_margin) et (1/2 + incert_margin), où incert_margin représente un paramètre d’ajustement du compromis à établir entre la performance de la manipulation par le bras manipulateur et la minimisation des confusions entre un box et un polybag. Ce paramètre permet d’ajuster très simplement les compromis performances / confusions en fonction de l’application visée, qui peut être caractérisée par un flux d’articles à manipuler, une dynamique de dévracage d’articles, ou encore le type du bras manipulateur utilisé, et en particulier son mécanisme de préhension des articles.
L’étape S50 résulte en la génération d’un paramètre DET, représentatif de la détermination du type d’emballage de l’article, box, polybag, ou indéterminé.
A l’étape S60, en réponse à la comparaison de l’étape S50, le calculateur envoie au bras manipulateur MA robotisé une commande COM représentative du résultat de la comparaison et donc de l’opération de discrimination entre polybag et box. Le bras manipulateur MA est configuré pour employer une vitesse d’accélération ou une vitesse maximale plus élevées lorsqu’il est considéré que l’article est emballé dans un box que lorsqu’il est emballé dans un polybag.
Par exemple, le bras manipulateur peut être configuré pour employer 100% de sa vitesse opérationnelle lorsque l’article est emballé dans un box et seulement 80% ou moins de sa vitesse opérationnelle lorsque l’article est emballé dans un polybag.
Lorsque l’emballage de l’article est indéterminé, un traitement différencié est appliqué, il peut par exemple s’agir de manipuler l’article comme s’il s’agissait d’un article emballé dans un polybag, par sécurité, ou bien d’utiliser un dispositif d’identification et/ou de tri auxiliaire configuré pour identifier et/ou isoler l’article des autres articles à trier.
Second mode de mise en œuvre
Le second mode de mise en œuvre est un procédé 600 de discrimination entre un article emballé dans un box et un article emballé dans un polybag, illustré par la . Ce procédé repose sur les différences de teintes et de textures entre un box et un polybag. En effet, les box sont majoritairement faits de cartons présentant une couleur et une texture particulière due à leur matériau de base qui est le carton ondulé. La demanderesse propose d’utiliser ces caractéristiques pour identifier les articles emballés dans un box.
Dans ce second mode de mise en œuvre, l’appareil de prise de vue numérique CAM est une caméra numérique capable de produire des prises de vue en couleur, par exemple sous forme d’images RGB, c’est-à-dire constituées de trois canaux, respectivement rouge, vert et bleu. L’au moins une image numérique de l’étape S10 est constituée d’au moins une image numérique en couleur.
A une sous-étape S10a’ de l’étape S10, le calculateur 40 exploite cette au moins une image numérique en couleur pour identifier dans articles dans l’image par segmentation au moyen d’un réseau de neurones.
A une sous-étape S10b’ de l’étape S10, de la même manière qu’à la sous-étape S10c du premier mode de réalisation, l’un des articles est choisi par le calculateur CALC. Une face de l’article choisi correspond à la surface SURF de la . A des fins explicatives, on considèrera une face sensiblement rectangulaire, avec quatre arêtes se faisant face deux à deux, ce qui représente le cas de figure le plus fréquent, et a pour avantage de s’appliquer tant aux polybags qu’aux box, ces derniers étant généralement parallélépipédiques.
Bien entendu, d’autres surfaces peuvent être employées. Il est ainsi possible de considérer le plus petit rectangle orienté (ses côtés ne sont pas nécessairement parallèles aux axes de l’image NUM) qui englobe le nuage de points correspondant à l’article choisi. Cette méthode s’applique également aussi bien à un box qu’à un polybag.
A l’étape S20, le calculateur extrait de l’image de la face choisie une pluralité de paramètres statistiques PARAM représentatifs chacun de points situés à la surface de l’article d’intérêt et de leurs environnements respectifs. Plus spécifiquement, les paramètres statistiques employés dans ce second mode de mise en œuvre sont représentatifs des teintes et des textures dans les environnements locaux respectifs des points considérés. On entend par environnements locaux pour chacun des points des zones centrées respectivement sur les points considérés, suffisamment réduites pour ne pas se chevaucher entre elles, et de préférence de dimensions identiques.
A une sous-étape S20a’ de l’étape S20, une pluralité de points P répartis sur l’image de la face choisie sont déterminés. Comme illustré par la , il peut s’agir par exemple de 9 points comprenant le barycentre de la surface SURF, des quatre milieux des quatre segments reliant le barycentre aux milieux des quatre arêtes de la surface SURF, et des quatre milieux des quatre segments reliant le barycentre aux quatre coins de la surface. Il est pratique de d’assimiler chacun de ces points à l’un des pixels formant l’image de la surface SURF.
A une sous-étape S20b’ de l’étape S20, pour chacun des 9 points P déterminés, une pluralité de zones Z de surfaces croissantes, chacune centrées sur le point auxquelles elles sont respectivement associées, sont définies. De telles zones ont pour avantage de faire ressortir, outre la teinte, la texture du matériau constituant la surface SURF, dans la paramètres statistiques calculés à l’étape S20c’. On peut par exemple considérer pour chaque point une première zone Z1 définie par un carré de 3 pixel de côté, une seconde zone Z2 définie par un carré de 5 pixels de côtés, une troisième zone Z3 définie par un carré de 11 pixels de côtés, et une quatrième zone Z4 définie par un carré de 21 pixels de côtés, chacun des carrés étant centré sur le point considéré.
A une sous-étape S20c’ de l’étape S20, le calculateur CALC calcule, pour chacun des points P déterminés, un jeu des paramètres statistiques PARAM basées sur informations de teintes associées à des pluralités de surfaces croissantes chacune centrées sur un point de la face choisie. Par exemple, un jeu de 10 paramètres statistiques PARAM peut être constitué de la moyenne des niveaux de gris (moyenne des valeurs des trois canaux rouge, vert et bleu) des pixels de la première zone, des moyennes respectives des niveaux de rouge, de vert et de bleu des pixels de la seconde zone, des moyennes respectives des niveaux de rouge, de vert et de bleu des pixels de la troisième zone, et des moyennes respectives des niveaux de rouge, de vert et de bleu des pixels de la quatrième zone, les première, deuxième, troisième et quatrième zone étant de surfaces croissantes. Pour les raisons expliquées dans le premier mode de mise en œuvre, le nombre de paramètres statistiques PARAM, destinés à la construction du vecteur VECT, est compris entre 6 et 14, préférablement entre 8 et 12, plus préférablement entre 9 et 11. Il est de 10 dans le présent exemple.
A l’étape S30, le calculateur CALC construit pour chacun des 9 points déterminés un vecteur VECT dont les composantes Xmsont respectivement définies par l’un des paramètres statistiques PARAM associés au point considéré, m étant ici un entier naturel variant de 1 à 10.
A l’étape S40, le calculateur CALC calcule pour chacun des 9 points P considérés une probabilité élémentaire PROBA_n, n représentant un entier allant de 1 à 9, associée au fait pour l’article d’intérêt d’être emballé dans un box. Chacune des probabilités PROBA_n est calculée par régression logistique selon la même procédure qu’à l’étape S40 du premier mode de mise en œuvre, à la différence près que les coefficients de pondérations sont obtenus au moyen d’une base d’images numériques annotées qui sont adaptées au second mode de mise en œuvre, de natures similaires à celles obtenues à l’étapes S10 de ce second mode de mise en œuvre, avec des images en couleur utilisées pour identification des articles et caractériser les teintes et les textures associées aux points de l’une de leurs faces. L’apprentissage est conçu de manière à minimiser le nombre de confusions entre les types d’emballage d’article, entre box et polybag au cours de l’étape S50 qui suit. Le calculateur CALC calcule la probabilité PROBA associée au fait pour l’article d’intérêt d’être emballé dans un box par la moyenne arithmétique des neuf probabilités élémentaires PROBA_n.
Les étapes S50 et S60 du second mode de mise en œuvre sont les mêmes que celles du premier mode de mise en œuvre.
Troisième mode de mise en œuvre
Les deux modes de mise en œuvre décrits ci-dessus peuvent être utilisés de manières indépendantes. Il est également possible d’améliorer la robustesse du procédé de discrimination par combinaison de ces deux modes, selon le procédé 700 illustré par la . L’intérêt principal est de limiter les faux positifs, c’est-à-dire de faussement considérer qu’un article est emballé dans un box.
Dans cette combinaison, les procédés 500 et 600 sont mis en œuvre en parallèle de leurs étapes S10 jusqu’à leurs étapes S40 respectives. L’image numérique couleur NUM du second mode de mise en œuvre peut avantageusement être obtenue au moyen du troisième objectif de la caméra numérique employée à l’étape S10 du premier mode de mise en œuvre.
A la suite des étapes S40, les deux procédés aboutissent à deux probabilités PROBA respectives, Pr1 et Pr2, distinctes l’une de l’autre. On procède alors à une agrégation de ces deux probabilités au cours d’une étape d’agrégation AGG, puis on applique au résultat de cette agrégation les étapes S50 et S60, qui sont les mêmes pour les deux modes de mise en œuvre.
Le bras manipulateur est ainsi commandé d’une manière plus fiable, avec un niveau de confusions entre les types d’emballage box et polybag réduit par rapport au premier mode de mise en œuvre et au second mode de mise en œuvre.
Le choix de l’opérateur d’agrégation est dicté par des choix opérationnels : si le praticien souhaite, par exemple, minimiser les erreurs de discrimination, alors il peut choisir d’appliquer un opérateur de minimisation MIN aux probabilités Pr1 et Pr2, ce qui résulte en la probabilité la plus petite entre Pr1 et Pr2, ou il peut choisir de calculer le produit des probabilités Pr1 et Pr2. A l’inverse, si le praticien souhaite obtenir un résultat de discrimination sur un maximum d’articles, il peut appliquer un opérateur d’agrégation plus laxiste tel qu’un opérateur de maximisation Max aux probabilités Pr1 et Pr2, ce qui résulte en la probabilité la plus grande entre Pr1 et Pr2, ou il peut calculer l’expression Pr1+Pr2 – Pr1*Pr2. Les opérateurs et les calculs mentionnés dans ce paragraphe ne représentent que quelques exemples parmi toutes les possibilités s’offrant au praticien, parmi lesquelles il choisira selon ses objectifs.
Bien entendu l'invention n'est pas limitée aux modes de mise en œuvre décrits ci-dessus et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications.

Claims (14)

  1. Procédé (400 ; 500 ; 600 ; 700) de discrimination d’articles (IT) entre des articles selon un type d’emballage choisi parmi un emballage rigide et un emballage souple, comprenant les étapes de :
    - acquérir (S10) au moins une image numérique (NUM) d’un article (IT) au moyen d’un appareil de prises de vue (CAM) ;
    - calculer (S20) des paramètres statistiques (PARAM) représentatifs d’une pluralité de points se situant sur une surface (SURF) de l’article (IT) dans l’image numérique (NUM) ;
    - construire (S30) un vecteur (VECT) ayant des composantes (Xm) définies par des valeurs des paramètres statistiques (PARAM) ;
    - sur la base du vecteur (VECT), calculer (S40) une probabilité (PROBA) pour l’article d’être un article à emballage rigide ou d’être un article à emballage souple ; et
    - comparer (S50) la probabilité (PROBA) à au moins une valeur de seuil et, en réponse à la comparaison, générer un paramètre (DET) représentatif du type d’emballage de l’article.
  2. Procédé (400 ; 500 ; 600 ; 700) selon la revendication 1, dans lequel les étapes de calculer des paramètres statistiques, de construire un vecteur, de calculer une probabilité et de comparer la probabilité à au moins une valeur de seuil sont mises en œuvre au moyen d’un calculateur numérique (CALC).
  3. Procédé (400 ; 500 ; 600 ; 700) selon la revendication 1 ou 2, l’étape (S10) d’acquérir au moins une image numérique (NUM) d’un article (IT) comprenant en outre les étapes de :
    - acquérir une image numérique d’une scène comprenant l’article au moyen de l’appareil de prise de vue ; et
    - segmenter (S10b ; S10a’) l’image numérique de la scène de manière à isoler l’article et obtenir l’image numérique de l’article.
  4. Procédé (400 ; 500 ; 600 ; 700) selon l’une quelconque des revendications 1 à 3, dans lequel, à l’étape (S40) de calculer une probabilité (PROBA), les composantes du vecteur sont pondérées par des coefficients de pondération ( ) déterminés à l’avance lors d’une étape d’apprentissage automatique sur la base d’images annotées.
  5. Procédé (500) selon l’une quelconque des revendications 1 à 4, dans lequel on établit (S10a) une carte de profondeur, et dans lequel les paramètres statistiques (PARAM) sont représentatifs d’une topographie de la surface (SURF).
  6. Procédé (500) selon la revendication 5, dans lequel les paramètres statistiques (PARAM) sont représentatifs d’écarts ( ) de points constituant la surface (SURF) à un plan approximant cette surface (SURF).
  7. Procédé (500) selon la revendication 6, dans lequel des composantes (Xm) du vecteur sont choisie parmi une moyenne, une médiane un écart-type des écarts ( ), un premier, un second, un troisième et un quatrième moment d’un histogramme normalisé ( ) des écarts ( ), une valeur ( ) d’un histogramme cumulé ( ) des écarts ( ), et des intégrales de l’histogramme cumulé.
  8. Procédé (600) selon l’une quelconque des revendications 1 à 4, dans lequel les paramètres statistiques (PARAM) sont représentatifs d’une teinte ou d’une texture de la surface (SURF) de l’article (IT) dans l’image numérique (NUM), l’image numérique étant en couleur.
  9. Procédé (600) selon la revendication 8, dans lequel l’étape de calculer (S20) des paramètres statistiques (PARAM) comprend une sous-étape (S20a’) de détermination d’une pluralité de points (P) répartis sur la surface (SURF) et une sous-étape (S20b’) de définition, pour chacun des points (P), de zones (Z, Z1, Z2, Z3, Z4) de surfaces croissantes, chacune centrées sur le point considéré, les paramètres statistiques (PARAM) étant calculés sur la base de ces surfaces.
  10. Procédé (600) selon la revendication 9, dans lequel des composantes (Xm) du vecteur (VECT) sont choisies parmi une moyenne de niveaux de gris de pixels de l’une ou plusieurs des zones (Z1), et parmi des moyennes respectives des niveaux de couleurs de pixels de l’une ou de plusieurs des zones (Z2, Z3, Z4).
  11. Procédé (700) combinant le procédé (500) selon l’une quelconque des revendications 5 à 7 et le procédé (600) selon l’une quelconque des revendication 8 à 10, dans lequel l’étape (S50) de comparer la probabilité (PROBA) à au moins une valeur de seuil s’applique à une agrégation de la probabilité obtenue par le procédé (500) selon l’une quelconque des revendications 5 à 7 et de la probabilité obtenue par le procédé (600) selon l’une quelconque des revendication 8 à 10.
  12. Procédé (400 ;500 ;600 ;700) de traitement d’articles mettant en œuvre le procédé de discrimination d’articles selon l’une quelconque des revendications précédentes 1 à 11, et comprenant en outre l’étape d’émettre un signal de commande (COM) à destination d’un dispositif de traitement d’article en réponse à la génération du paramètre (DET) représentatif du type d’emballage de l’article.
  13. Installation (FAC) de tri d’articles configurée pour mettre en œuvre le procédé de traitement d’article selon la revendication 12, le dispositif de traitement d’article étant un bras manipulateur (MA) robotisé.
  14. Installation (FAC) de tri d’articles selon la revendication 13, le bras manipulateur (MA) robotisé étant d’équipé d’un dispositif de saisie (GH) par aspiration.
FR2301782A 2023-02-27 2023-02-27 Procede de discrimination entre des contenants dans une ligne de tri et installation associee Pending FR3146076A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR2301782A FR3146076A1 (fr) 2023-02-27 2023-02-27 Procede de discrimination entre des contenants dans une ligne de tri et installation associee
EP24700312.2A EP4673921A1 (fr) 2023-02-27 2024-01-12 Procede de discrimination entre des contenants dans une ligne de tri et installation associee
PCT/EP2024/050727 WO2024179730A1 (fr) 2023-02-27 2024-01-12 Procede de discrimination entre des contenants dans une ligne de tri et installation associee

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2301782A FR3146076A1 (fr) 2023-02-27 2023-02-27 Procede de discrimination entre des contenants dans une ligne de tri et installation associee
FR2301782 2023-02-27

Publications (1)

Publication Number Publication Date
FR3146076A1 true FR3146076A1 (fr) 2024-08-30

Family

ID=86604614

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2301782A Pending FR3146076A1 (fr) 2023-02-27 2023-02-27 Procede de discrimination entre des contenants dans une ligne de tri et installation associee

Country Status (3)

Country Link
EP (1) EP4673921A1 (fr)
FR (1) FR3146076A1 (fr)
WO (1) WO2024179730A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100286827A1 (en) * 2009-05-08 2010-11-11 Honda Research Institute Europe Gmbh Robot with vision-based 3d shape recognition
FR3031046A1 (fr) 2014-12-24 2016-07-01 Solystic Installation pour la separation et l'individualisation d'objets postaux heterogenes
FR3019068B1 (fr) 2014-03-25 2017-10-20 Solystic Machine de tri postal avec des bras de manutention robotises
US20200269429A1 (en) * 2019-02-22 2020-08-27 Dexterity, Inc. Robotic handling of soft products in non-rigid packaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100286827A1 (en) * 2009-05-08 2010-11-11 Honda Research Institute Europe Gmbh Robot with vision-based 3d shape recognition
FR3019068B1 (fr) 2014-03-25 2017-10-20 Solystic Machine de tri postal avec des bras de manutention robotises
FR3031046A1 (fr) 2014-12-24 2016-07-01 Solystic Installation pour la separation et l'individualisation d'objets postaux heterogenes
US20200269429A1 (en) * 2019-02-22 2020-08-27 Dexterity, Inc. Robotic handling of soft products in non-rigid packaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DI ZANG ET AL: "Object rigidity and reflectivity identification based on motion analysis", 2010 17TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP 2010); 26-29 SEPT. 2010; HONG KONG, CHINA, IEEE, PISCATAWAY, NJ, USA, 26 September 2010 (2010-09-26), pages 4573 - 4576, XP031813751, ISBN: 978-1-4244-7992-4 *
WANG CHAO ET AL: "Feature Sensing and Robotic Grasping of Objects with Uncertain Information: A Review", SENSORS, vol. 20, no. 13, 2 July 2020 (2020-07-02), pages 1 - 30, XP093075252, DOI: 10.3390/s20133707 *

Also Published As

Publication number Publication date
WO2024179730A1 (fr) 2024-09-06
EP4673921A1 (fr) 2026-01-07

Similar Documents

Publication Publication Date Title
US11868863B2 (en) Systems and methods for joint learning of complex visual inspection tasks using computer vision
EP3566193B1 (fr) Systèmes et procédés d'extraction d'objet basée sur la forme
US11144787B2 (en) Object location method, device and storage medium based on image segmentation
EP1298588A1 (fr) Procédé de traitement d'images pour l'extraction automatique d'éléments sémantiques
EP3712807B1 (fr) Procédé d'identification de bagages
CN115321090A (zh) 机场行李自动接取方法、装置、设备、系统及介质
FR3025918A1 (fr) Procede et systeme de modelisation automatisee d'une piece
Chen et al. Image feature based machine learning approach for road terrain classification
WO2024179730A1 (fr) Procede de discrimination entre des contenants dans une ligne de tri et installation associee
CN117710947A (zh) 堆垛识别方法、装置和设备
FR3105503A1 (fr) Procédé de sélection de points de surface à partir d'un modèle CAO pour la localisation d'objets 3D industriels, application de ce procédé à la localisation d’objets 3D industriels, et système de réalité augmentée exploitant des objets 3D ainsi localisés
Hasan et al. 2D geometric object shapes detection and classification
EP4634093A1 (fr) Systeme et procede de gestion du chargement et du dechargement des pneumatiques dans un arrangement inconnu
WO2024246318A1 (fr) Procede de picking dans une ligne de tri et installation associee
JP7708017B2 (ja) 画像処理装置
FR3112011A1 (fr) Système et procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients
WO2025119525A1 (fr) Système de manutention individuelle d'articles capable de traitement des prises multiples, et procede associe
FR3135555A1 (fr) Procédé de préhension d’objets disposés en vrac
Gu et al. Apple Target Detection Task in Complex Scenes Based on Yolov5 Method
FR3158825A1 (fr) Procédé de classification d’objets, en particulier des chaussures, en vue de leur tri puis leur recyclage.
WO2025131368A1 (fr) Procédé d'apprentissage renforcé pour un système de manutention individuelle d'articles
EP4731429A1 (fr) Chainage de pneumatiques par moyens robotiques employant la vision tridimensionnelle
Goonewardena Leveraging RGB‑D Data and SAM Segmentation for Object Segmentation in Industrial Bin Picking: Master’s thesis
CA2811391C (fr) Procede de tri postal avec un recouvrement des informations de traitement usager entre les passes de tri
FR3106680A1 (fr) Procédé d’estimation d’une pose d’un objet

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20240830

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4