FR3139224A1

FR3139224A1 - Synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique

Info

Publication number: FR3139224A1
Application number: FR2214031A
Authority: FR
Inventors: François Mourougaya; Guillaume DEAU
Original assignee: Compagnie Generale des Etablissements Michelin SCA
Current assignee: Compagnie Generale des Etablissements Michelin SCA
Priority date: 2022-08-23
Filing date: 2022-12-21
Publication date: 2024-03-01
Also published as: FR3139225A1

Abstract

L’invention concerne un système (100) de transfert de style comprenant un ou des processeurs connectés de manière opérationnelle à une mémoire configurée pour stocker un module d’exécution de l'application d'analyse qui réalise le traitement des données représentatives de pneumatiques imagés dont le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié. Figure pour l’abrégé : Fig 2

Description

Synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique

L’invention concerne le domaine du contrôle visuel des pneumatiques. Plus particulièrement,

l’invention concerne la synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique.

Contexte

Dans le domaine de processus industriels, les surfaces des pneumatiques destinés à équiper les véhicules roulants sont difficiles à contrôler. Ces pneumatiques ont généralement une couleur noire du fait de la matière gomme noire qui les constitue (en raison de l’utilisation du carbone pour renforcer les mélanges élastomériques). Ainsi, la détection automatisée d’anomalies de surface (qui inclut, sans limitation, les tâches diverses (y compris des tâches de graisse), les griffures, les manques de matière, les excès de matière, les différences de teintes de noir, les fissures, les matériaux gravés et les décolorations localisées) est très difficile à réaliser. Comme utilisé ici, le terme « anomalie » (dans le singulier ou dans le pluriel) fait référence à une différence détectée (représentée, par exemple, par un écart à une valeur standard) sans autre information (donc, une « anomalie » n’est pas automatiquement interprétée comme un « défaut »).

Il existe des solutions dans l’art antérieur pour surmonter ce défi. Par exemple, le brevet FR3103555 de la Demanderesse divulgue un système permettant l’évaluation de l’état d’un pneumatique par l’acquisition d’une image visuelle. En se référant à la (qui correspond à la figure 5 du brevet FR3103555), le système divulgué réalise une acquisition des images d’un pneumatique 10 ayant des zones externes (y compris les flancs 12, les épaules 14 et la bande de roulement (ou « sommet ») 16 ) et les zones internes (y compris les côtés internes 18 et la couronne intérieure 20) en utilisant à la fois des caméras (ou « capteurs ») en deux dimensions et en trois dimensions. Les capteurs en deux dimensions sont utilisés à la fois pour l’intérieur et l’extérieur (dans des modes de réalisation incorporant les capteurs trois dimensions, ces capteurs sont utilisés uniquement pour les surfaces externes du pneumatique 10). Au cours d’un procédé réalisé par le système divulgué, le pneumatique 10 entre dans le système où il est bloqué et il est mis en rotation pour que les différents capteurs puissent prendre les images du pneumatique (par exemple, en descendant rapidement le capteur jusqu’à proximité de la zone où il doit se situer, puis en passant en vitesse lente pour ajuster précisément la position).

Il existe aussi des développements récents qui emploient des méthodes d’intelligence artificielle (ou « IA »), et en particulier par apprentissage profond (ou « deep learning ») permettant d’interpréter les images acquises d’un pneumatique (y compris le moyen d’acquisition employé dans la publication WO2021/105597). Ces techniques nécessitent de grandes quantités de données annotées pour révéler toute leur efficacité. En conséquence, leur coût initial de mise en place n’est pas négligeable.

En dehors de l’obtention « brutale » (c’est-à-dire coûteuse mais simple de nouvelles données réelles), il est classiquement possible d’améliorer les performances d’un réseau de neurones profond par des techniques d’augmentation (voir, par exemple, Li, Wei et al.,Data Augmentation for Hyperspectral Image Classification With Deep CNN, IEEE Geoscience and Remote Sensing Letters 16.4, 593-597 (2018)(qui propose une méthode d'augmentation des données à partir d’un CNN profond (ou « deep CNN »)) pour augmenter le nombre d'échantillons d'entraînement (« l'augmentation du nombre d’échantillons par trois est souvent suffisante pour atteindre la limite supérieure »). Il existe aussi des travaux qui proposent des méthodes d’apprentissage few-shot (ou « few-shot learning » ou « FSL ») qui visent à obtenir de bonnes performances d'apprentissage compte tenu d'informations supervisées limitées fournies dans l'ensemble d'apprentissage pour alléger la charge que représente la collection de données supervisées à grande échelle (voir, par exemple, Jing, Bai et al.,Class Incremental Leanring With Few-Shots Based on Linear Programming for Hyperspectral Image Classification, IEEE Transactions on Cybernetics (2020)) (voir aussi, par example, Fei-Fei, Li, Fergus, Rob et Perona Pietro,One-Shot Learning of Object Categories", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, Issue 4, p. 594-611 (April 2006)).

Toutefois, avec les changements d’éléments de design de pneumatiques et l’évolution des procédés de leur fabrication, le modèle initialement entraîné est de moins en moins bien adapté aux produits à contrôler (voir Castro, Francisco et al.,End-to-End Incremental Learning, Proceedings of the European Conference on Computer Vision (ECCV)(2018))(« Bien que les approches d'apprentissage profond se soient démarquées au cours des dernières années en raison de leurs résultats de pointe, elles continuent de souffrir d'un oubli catastrophique. »). Dans une application réelle à l’échelle industrielle, avant même de considérer une amélioration des performances, avoir un lot d’apprentissage le plus représentatif possible de la diversité des anomalies à détecter et de l’aspect conforme des produits sert déjà en premier lieu à maintenir les performances dans le temps.

La génération d’images de synthèse peut être employée pour séparer et pour recombiner le contenu et le style d'images des surfaces de pneumatiques différentes où des anomalies de surface pourraient être présentes. Par exemple, un algorithme neuronal de style artistique permettant de produire de nouvelles images de haute qualité perceptuelle peut être employé, qui combine le contenu d'une image arbitraire avec l'apparence de nombreuses images connues (voir Gatys, L.A. et el., Image Style Transfer Using Convolutional Neural Networks”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 2414-2423 (June 2016)) ( « …les représentations du contenu et du style dans le réseau neuronal convolutif sont bien séparables...nous pouvons manipuler les deux représentations indépendamment pour produire de nouvelles images perceptivement significatives. Pour démontrer cette découverte, nous générons des images qui mélangent la représentation du contenu et du style à partir de deux images sources différentes. »).

Dans un autre exemple, un type de méthode paramétrique qui a été largement appliqué et étudié pour la synthèse d'images implique les réseaux du type adversaires génératifs (ou « generative adversarial networks » ou « GAN »). En cours d’entrainement des réseaux générateurs et discriminateurs, l'objectif du discriminateur est de classifier les images "réelles" et les images "fausses" générées. Le générateur vise à tromper le discriminateur en générant des images qui sont indiscernables des images réelles. Une fois entraîné, le générateur peut être utilisé pour synthétiser des images lorsqu'il est ensemencé avec un vecteur de bruit. Même si le GAN "classique" est capable de générer des images réalistes à partir de bruit, il n'est pas facilement contrôlable.

Il existe donc des propositions pour la synthèse de texture et transfert de style (voir, par exemple, Xian, W., et al.,TextureGAN: Controlling Deep Image Synthesis with Texture Patches, Computer Vision and Pattern Recognition (CVPR)(2018))(discutant les GANs conditionnels « qui synthétisent des images en fonction de modalités d'entrée autres que le simple bruit, offrant ainsi un meilleur contrôle des résultats générés…pour fonctionner de manière interactive lorsque les utilisateurs modifient les suggestions d'esquisses ou de textures. »). La synthèse de texture et le transfert de style sont deux sujets étroitement liés à la synthèse d'images. La synthèse de texture prend en entrée une image de texture d'entrée pour générer de nouvelles images ayant des textures visuellement similaires. Le transfert de style prend en entrée des images de contenu et de style pour synthétiser des images ayant la disposition et la structure de l'image de contenu et la texture de l'image de style (par exemple, « TextureShop » utilise la synthèse de texture non-paramétrique et le « shape-from-shading » pour raccourcir la texture afin qu'elle semble suivre la surface d'un objet photographié (voir « Textureshop : Texture Synthesis as a Photograph Editing Tool », Hang, Fui et Hart, John C.,ACM Transactions on Graphics(June 2004)) (DOI:10.1145/1186562.1015728).

La résolution et la qualité des images produites par des méthodes génératives (telles que les réseaux du type GAN) se sont rapidement améliorées. A titre d’exemple, la publication US2021/0012486 divulgue un appareil pour effectuer une synthèse d'images médicales dont l’appareil réalise la génération d'une image cible dans une première modalité d'imagerie à partir d'une image source dans une deuxième modalité d'imagerie sur la base d'une opération de propagation de texture dans un réseau adversaire génératif (GAN) bidirectionnel. Dans un mode de réalisation de l’appareil divulgué, l'opération de propagation de texture comprend la propagation de détails de texture de l'image source à l'image cible en utilisant une pluralité de cartes de caractéristiques d'un réseau profond pour préserver les détails de texture locaux au niveau d'une pluralité de couches de convolution du réseau profond.

D’autres exemples sont divulgués dans le domaine médical (voir, par exemple, la publication chinoise CN112862738 qui divulgue une méthode, un dispositif, un support de stockage et un processeur de synthèse d'image multimodale, de manière à résoudre l'incapacité à effectuer un calcul de dose pour les images médicales)(voir aussi la publication chinoise CN111402179 qui divulgue un procédé et un système de synthèse d'image qui combine un auto-encodeur et un réseau de génération pour amplifier les données d'échantillon sur un ensemble limité de données d'image médicale).

Il n’existe rien dans l’art antérieur qui implique des propositions pour la synthèse de texture et transfert de style des pneumatiques de manière à construire et mettre à jour les modèles entraînés. En effet, les approches GAN de l’art antérieur prennent en entrée du générateur une source de bruit aléatoire. L’apport d’une image de synthèse apporte non seulement beaucoup d’information a priori, mais aussi potentiellement la possibilité d’avoir des images du domaine « synthèse » et du domaine « acquisition » parfaitement recalées, ce qui démultiplie l’efficacité (ratio performance / nombre d’images nécessaires à l’entraînement) des GAN.

Ainsi, l’invention divulguée concerne un système permettant la génération d’images de synthèse à partir de représentations trois-dimensionnelles (ou « 3D ») de pneumatiques. En utilisant la connaissance de l’objet recherché (ou « CAO ») des pneumatiques, l’invention divulguée optimise l’utilité des données disponibles afin de générer une image de synthèse comme si elle provenait d’une machine d’acquisition et de guider le transfert de style.

L’invention concerne un système de transfert de style pour mettre en œuvre un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié, le système comprenant au moins une mémoire configurée pour stocker une application d'analyse des données représentatives des pneumatiques imagés, caractérisé en ce que le système comprend :
- un ou des serveurs de communication comprenant chacun au moins un ou des processeurs connectés de manière opérationnelle à la mémoire, le ou les processeurs comprenant un ou des logiciels de modélisation 3D qui sont capables d'exécuter des instructions programmées stockées dans la mémoire pour créer une ou des images de synthèse ;
- un dispositif de traitement qui utilise les données provenant d’au moins un modèle de conception assistée par ordinateur (fichier CAO) d’un pneumatique identifié, avec le ou les fichiers CAO comprenant une ou des images sources dont un contenu source sémantique est incorporé ;
- un synthétiseur qui est capable d’alimenter des données supplémentaires aux fichiers CAO à partir de paramètres de rendu fournis par le synthétiseur ;
- une base de données dans laquelle des images cibles comprenant des images de pneumatiques réels sont stockées pour construire un ou des modèles de l’aspect réaliste à partir d’une base d’acquisitions visuelles existantes ; et
- au moins un réseau de transfert de style qui fonctionne sur le processeur du système, le réseau de transfert de style comprenant :
- au moins un encodeur qui encode le contenu d’une image source reçue du processeur du système et qui génère les caractéristiques de l'image source ; et
- au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes ;
de sorte que le système utilise les données disponibles dans une séquence d’images obtenues des pneumatiques identifiés pour effectuer un transfert de style de manière à modéliser un aspect réaliste et à transférer cet aspect aux images photoréalistes obtenues.

Dans certains modes de réalisation du système de l’invention, le réseau de transfert de style comprend au moins un réseau adversaire génératif (GAN) comprenant :
- un générateur qui prend en entrée les images de synthèse synthétisées par le synthétiseur et les images cibles de la base de données comme les images sources, le générateur comprenant :
- au moins un encodeur qui encode le contenu d’une image source reçue du processeur du système et qui génère les caractéristiques de l'image source ;
- au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes ; et
- et au moins un discriminateur qui compare les images photoréalistes générées par le générateur et des images cibles obtenues de la base de données .
Dans certains modes de réalisation du système de l’invention, le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser les étapes suivantes :
- une étape de réception d’une ou des images de référence réalisée par le dispositif de traitement ;
- une étape de génération d’images de synthèse de pneumatiques identifiés réalisée par le synthétiseur ;
- une étape de création d’une ou des images de synthèse du pneumatique identifié à partir des fichiers CAO et des paramètres de rendu ;
- une étape de construction d’un ou des modèles de l’aspect réaliste à partir de la base d’acquisitions visuelles existantes stockées dans la base de données ;
- une étape d’entrainement du réseau de transfert de style ;
- une étape d’extraction des données de caractéristiques sémantiques sources du contenu sémantique source de l'image source réalisée par l’encodeur ;
- une étape d’introduction au décodeur les données de caractéristiques sémantiques extraites par l’encodeur pour que le décodeur puisse sortir une image synthétique comprenant au moins une partie de contenu sémantique de l'image source dans un style cible ;
- une étape de détermination d’une perte de contenu en utilisant les données de caractéristiques sémantiques sources et les données de caractéristiques synthétiques ;
- une étape d’introduction des images photoréalistes incorporant des données caractéristiques synthétiques et les images cibles ;
- une étape de détermination d’une perte de style ;
- une étape de détermination d’une perte totale en fonction de la perte du contenu et la perte du style, réalisée par le processeur du système ; et
- une étape d’entrainement du modèle d’évaluation pour construire un modèle d’images photoréalistes représentant le ou les pneumatiques identifiés dans un état sans anomalies.

Dans certains modes de réalisation du système de l’invention, les fichiers CAO comprennent des zones d’une surface d’un pneumatique identifié à soumettre à un contrôle visuel.

Dans certains modes de réalisation du système de l’invention, une image de référence acquise par le dispositif de traitement comprend une image moyenne issue d’une pluralité de modèles des pneumatiques incorporés dans les fichiers CAO et considérés comme des pneumatiques de référence.

Dans certains modes de réalisation du système de l’invention, la perte de contenu est calculée par une distance Euclidienne entre une représentation intermédiaire des caractéristiques de niveau supérieur de l'image d'entrée et l'image de contenu dans une couche de l’encodeur.

Dans certains modes de réalisation du système de l’invention, le synthétiseur emploie une opération de simulation des interactions lumières-matières.

Dans certains modes de réalisation du système de l’invention, le modèle d’évaluation est entrainé sur un ou des composants CNN du type ImageNet-VGG.

D’autres aspects de l’invention vont devenir évidents grâce à la description détaillée suivante.

La nature et les divers avantages de l’invention vont devenir plus évidents à la lecture de la description détaillée qui suit, conjointement avec les dessins annexés, sur lesquels les mêmes numéros de référence désignent partout des parties identiques, et dans lesquels :
La représente les différentes zones d’un pneumatique où des images doivent être acquises pendant un procédé effectué par un système d’évaluation de l’art antérieur permettant l’évaluation de l’état d’un pneumatique par l’acquisition d’une image visuelle.
La représente une architecture globale d’un système de l’invention qui réalise un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique.

Description détaillée

En se référant maintenant aux figures, sur lesquelles les mêmes numéros identifient des éléments identiques, la représente une architecture globale d’un système 100 de l’invention qui réalise un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié (ou « procédé ») de l’invention. Le procédé de l’invention concerne un procédé de génération d’images de synthèses à partir de représentations trois-dimensionnelles (ou « 3D ») de pneumatiques. Ces représentations sont dérivées des modèles de conception assistée par ordinateur (ou « fichiers CAO ») des pneumatiques identifiés. Ainsi, le procédé divulgué incorpore une méthode d’apprentissage automatique dont l’algorithme employé utilise les données disponibles dans une séquence d’images obtenues des pneumatiques identifiés pour effectuer une synthèse de texture et transfert de style de manière à modéliser un aspect réaliste et transférer cet aspect aux images synthétiques obtenues.

Tel qu'utilisé ici, le terme “procédé” ou “processus” peut comprendre une ou plusieurs étapes effectuées par au moins un système informatique comportant un ou des processeurs pour exécuter des instructions qui effectuent les étapes. Sauf indication contraire, toute séquence d'étapes est donnée à titre d’exemple et ne limite pas les procédés décrits à une quelconque séquence particulière.

En se référant à la , pour mettre en œuvre le procédé de l’invention par moyen d’ordinateur, le système 100 comprend un réseau de communication (ou « réseau »)(non-représenté) qui gère les données entrantes au système des sources variées. Le réseau de communication incorpore un ou des serveurs de communication (ou « serveurs ») (non représentés) comprenant chacun un ou des processeurs connectés de manière opérationnelle à une mémoire. La mémoire est configurée pour stocker une application d'analyse des données représentatives des pneumatiques (y compris des segments partiels des pneumatiques) imagés. Le ou les processeurs comprennent un module d’exécution d’application d’analyse qui réalise le traitement des images, dont le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser le procédé de l’invention.

Le terme « processeur » (ou, alternativement, le terme "circuit logique programmable") désigne un ou plusieurs dispositifs capables de traiter et d'analyser des données et comprenant un ou plusieurs logiciels pour leur traitement (par exemple, un ou plusieurs circuits intégrés connus par l’homme de métier comme étant inclus dans un ordinateur, un ou plusieurs contrôleurs, un ou plusieurs microcontrôleurs, un ou plusieurs micro-ordinateurs, un ou plusieurs automates programmables (ou « PLC »), un ou plusieurs circuits intégrés spécifiques à une application, un ou plusieurs réseaux de neurones, et/ou un ou plusieurs autres circuits programmables équivalents connus). Le processeur comprend un ou des logiciels pour le traitement des données capturées et/ou traitées par le système 100 (et les données correspondantes obtenues) ainsi qu'un ou des logiciels pour l'identification et la localisation des variances et l’identification de leurs sources pour les corriger.

Le réseau de communication du système 100 peut comprendre un ou d’autres dispositifs de communication (ou « dispositifs ») qui capturent et qui transmettent des données recueillies de l’environnement physique dont le système 100 fonctionne. Le ou les dispositifs de communication peuvent communiquer par fil ou sans fil (par exemple, via WiFi, Bluetooth, infrarouge, transmission RFID, Universal Serial Bus (USB), cellulaire, et/ou autres moyens de communication sans fil) sur le réseau de communication du système 100. Le ou les dispositifs de communication peuvent comprendre un ou des dispositifs portables tels qu'un dispositif de réseau mobile d’un opérateur identifié (par exemple, un téléphone mobile, un ordinateur portable, un ou des dispositifs portables connectés au réseau, y compris des dispositifs du type « réalité augmentée » et/ou « réalité virtuelle », et/ou toutes combinaisons et/ou tous équivalents). Le ou les dispositifs de communication peuvent comprendre aussi un ou des ordinateurs à distance pouvant transférer des données par le réseau de communication.

Tel qu'utilisé ici, “opérateur” se réfère à un seul utilisateur comprenant un participant individuel d’un processus et/ou d’un procédé prédéterminé. L’opérateur peut être un membre individuel d'une équipe ou d'un groupe qui participe à un processus et/ou un procédé prédéterminé. L’opérateur peut inclure une machine (par exemple, un robot ou un cobot) ayant des droits intégrés qui répliquent des mouvements de manière anthropomorphique. Un opérateur humain (ou pas) pourrait gérer une telle machine en gérant à distance un processus et/ou un procédé prédéterminé en direct. Il est entendu qu’un opérateur (soit humain soit machine) peut employer un ou des systèmes et/ou appareils électroniques configuré pour recevoir une entrée de commande et configuré pour envoyer automatiquement des données à au moins un autre opérateur (par exemple, un opérateur humain qui gère un processus en amont ou en aval du processus et/ou procédé prédéterminé en cours de réalisation).

Dans le système 100, la mémoire peut comprendre à la fois des dispositifs de mémoire volatiles et non volatiles. La mémoire non volatile peut comprendre des mémoires à l'état solide, telles que la mémoire flash NAND, la mémoire « vive » (ou « keep-alive memory » ou « KAM ») pour sauvegarder des variables diverses de fonctionnement pendant que le processeur est hors tension, des supports de stockage magnétiques et optiques, ou tout autre dispositif de stockage de données approprié qui conserve les données lorsque le système 100 est désactivé ou perd son alimentation électrique. La mémoire volatile peut comprendre une mémoire statique et dynamique RAM qui stocke des instructions de programme et des données, y compris une application d'apprentissage automatique. A titre d’exemple, une application d'apprentissage automatique peut comprendre une application d’apprentissage profond et/ou une application d'apprentissage few-shot.

Le système 100 permet de générer une image du domaine cible à partir d'une image du domaine source. Un programme s'exécute dans la mémoire du système 100 qui collecte des images (par exemple, au moyen d'un capteur, d'un scanner, d'une caméra, etc.) et les stocke dans une base de données. Un programme peut parcourir et sélectionner des images, et celles-ci sont chargées dans une base de données locale et/ou une base de données distante. Le programme lit les attributs d'un modèle et présente les attributs de ce modèle à l'opérateur.

Pour fournir des données aussi pertinentes que possible, le système 100 comprend un dispositif de traitement 102 d’une ou des images de référence proviennent d’au moins un modèle de conception assistée par ordinateur (ici, un « fichier CAO ») d’un pneumatique identifié. Comme utilisé ici, un « fichier CAO » peut incorporer plusieurs modèles de pneumatiques identifiés et pour lesquels l’inspection ultérieure est souhaitée pendant des processus de leur production.

Pendant le procédé de l’invention réalisé par le système 100, le dispositif de traitement 102 reçoit un fichier CAO d’un ou des modèles des pneumatiques identifiés avant leur mise en production en leur forme finale. Le dispositif de traitement 102 utilise les données des fichiers CAO de ces pneumatiques dont les représentations trois-dimensionnelles (ou « 3D ») servent à une « densification du stockage » pour mettre en correspondance l'emplacement d’une anomalie à partir du fichier CAO. Dans un mode de réalisation, le travail de densification du stockage peut comprendre un ensemble entièrement homogène de pneumatiques identiques (dont on renseigne la dimension une fois puis le système 100 les traite automatiquement). Dans un autre mode de réalisation, le travail de densification du stockage peut comprendre une lecture au cas par cas de la référence du pneumatique identifié et l’appel à ses dimensions dans une base de données CAO. Il est entendu que le dispositif de traitement 102 peut recevoir le ou les fichiers CAO par des méthodes de transmission de données connues par l'homme du métier.

Les fichiers CAO comprennent des zones d’une surface d’un pneumatique identifié à inspecter (par exemple, des zones accidentées, des zones de fort relief, des zones lisses, et des zones planes). Il est entendu qu’une image de référence acquise par le dispositif de traitement 102 peut comprendre une image moyenne issue d’une pluralité de modèles CAO considérés comme des pneumatiques de référence. Le ou les fichiers CAO comprennent des données d’une ou des images sources dont un contenu source sémantique (ou « contenu sémantique ») est incorporé. Comme utilisé ici, le terme « contenu sémantique » fait référence à des objets dans l’image source et leur agencement dans l’image source. Dans le cas d’un pneumatique identifié, le contenu sémantique pourrait comprendre les caractéristiques principales de la bande de roulement du pneumatique identifié (par exemple, les rainures, les lamelles et les blocs) représentées dans le fichier CAO correspondant.

Le système 100 comprend en outre un dispositif de rendu (ou « synthétiseur ») 104 qui alimente des données supplémentaires aux fichiers CAO pour générer d’images de synthèse de pneumatiques identifiés dites « photo-réalistes » (ou « images photo-réalistes »). Pendant une étape d’entrainement du système 100 réalisée pendant le procédé de l’invention, le synthétiseur 104 permet de produire des paramètres de rendu qui fournissent une imagerie cohérente. Pour réduire la variabilité, le synthétiseur 104 apprend à sortir des paramètres de rendu pour modéliser l'image rendue résultante pour un ensemble de données sur une image souhaitée. Les ensembles de paramètres appris établissent une conception de visualisation qui peut être réutilisée lorsque de nouvelles données sont introduites dans le système 100 afin de fournir des images rendues cohérentes. Comme utilisé ici, un rendu « cohérent » (ou la « cohérence ») fait référence à une manipulation cohérente des données, une visualisation cohérente et/ou des styles visuels cohérents.

Pendant le procédé de l’invention réalisé par le système 100, le synthétiseur 104 simule la physique de la propagation de la lumière pour créer une image au lieu d'accumuler des échantillons avec une machine de contrôle automatique (par exemple, une machine du type divulgué par le brevet FR3103555 de la Demanderesse). Le synthétiseur 104 peut aussi employer une opération de simulation des interactions lumières-matières, tant d’un point de vue du matériau du pneumatique que des modalités particulières d’éclairage des moyens d’acquisition des images du pneumatique (par exemple, l’éclairage, le laser, et un ou des moyens équivalents). Le synthétiseur 104 peut comprendre un moyen de traitement graphique, un réseau de moyens de traitement graphique, un serveur, un ordinateur ou toute autre machine capable d'effectuer les calculs requis. Tout algorithme de rendu capable de calculer le transport de lumière peut être utilisé (par exemple, le traçage de chemin, y compris, sans limitation, le traçage de chemin sans biais, le traçage de chemin de Monte-Carlo ou le transport de lumière de Metropolis).

Le processeur du système 100 comprend un ou des logiciels de modélisation 3D 103 qui sont capables d'exécuter des instructions programmées stockées dans la mémoire pour créer une ou des images de synthèse 105. Le système 100 utilise les représentations 3D créées pour générer une ou des images de synthèse 105 du pneumatique identifié à partir des fichiers CAO et des paramètres de rendu. Les logiciels de modélisation 3D sont connus pour numériser de sujets d’un environnement physique (ou « monde réel ») en un ensemble de points de données. Le logiciel de modélisation 3D 103 peut être choisi parmi les logiciels de modélisation 3D disponibles dans le commerce.

Le système 100 comprend en outre une base de données 106 dont les images des pneumatiques réels (ou des « images cibles ») sont stockées pour construire un ou des modèles de l’aspect réaliste à partir d’une base d’acquisitions visuelles existantes. Pour transférer cet aspect réaliste aux images photo-réalistes synthétisées, la base de données 106 comprend une identification et une description d’un ou des pneumatiques existants (y compris, sans limitation, l’aspect réel du matériau de la surface du chaque pneumatique existant). Ainsi, la base de données 106 incorpore un lexique commun pour faire référence aux caractéristiques des pneumatiques destinés au marché, ce qui permet à l’aspect réaliste d’être appliqué à l’aspect des anomalies recherchées par des modèles d’évaluation de la surface de pneumatiques (employés, par exemple, pendant des séances d’inspection des pneumatiques fabriqués avant leur mise au marché). Le système 100 comprend en outre au moins un réseau de transfert de style qui fonctionne sur les processeurs du système. Les réseaux de transfert de style utilisent des réseaux neuronaux profonds pour apprendre une représentation artistique d’une ou des images originales et pour les appliquer à de nouvelles images originales. Les réseaux neuronaux profonds extraient les caractéristiques statistiques des images liées au contenu et au style, de sorte qu’on peut quantifier l'efficacité du transfert de style sans les paires d'images explicites.

Le réseau de transfert de style comprend au moins un encodeur qui encode le contenu d’une image source reçue par le processeur du système 100 et qui génère les caractéristiques de l'image source. Le réseau de transfert de style comprend aussi au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes (par exemple, des images photoréalistes 113 décrites en dessous).

Dans le mode de réalisation du système 100 représenté dans la , le réseau de transfert de style comprend au moins un réseau adversaire génératif (ou « generative adversarial network » ou « GAN ») qui fonctionne sur le processeur du système 100. Pour capter des éléments particuliers liés au procédé de fabrication du pneumatique identifié, le GAN est entrainé de sorte qu’il puisse propager des styles et/ou des textures qui sont présents dans l’image source vers une image cible. Cette technique est reconnue comme « transfert de style » (ou « style transfer » en anglais). Le terme « style » fait référence aux couleurs moyennes dans l’espace et la texture d’une image source (tels que l’équilibre des blancs, la saturation de couleurs et la luminosité de l’image).

Il est entendu que le GAN représenté dans la est donné à titre d’exemple et que le système 100 pourrait employer un ou d’autres réseaux de transfert de style connus par l’homme du métier (y compris, sans limitation, le transfert par les coefficients d’un encodeur, Cycle GAN, et d’autres techniques de transfert de style neuronal connu). A titre d’exemple, on pourrait utiliser un algorithme du type transfert de style arbitraire dont les premières couches d’un réseau VGG-19 pour encoder les images de contenu et les images de style. Une couche AdaIN est utilisée pour réaliser le transfert de style, et un décodeur est entrainé pour inverser la sortie AdaIN vers les epsaces d’image (voir Huang, Xun et Belongie, Serge, « Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization », arXiv :1703.06868 (3à juillet 2017).

Au cours du procédé de l’invention réalisé par le système 100, le GAN (ou un autre réseau de transfert de style choisi) est entraîné par la réception d'un corpus d'échantillons source et d'un corpus d'échantillons cible. Un « corpus » est une collection d'échantillons de données du même type, et chaque échantillon a une étendue bidimensionnelle (par exemple, pixel), tridimensionnelle (par exemple, voxel) ou à N dimensions. Une collection peut être formée de types similaires d'échantillons ayant un ou des attributs en commun (par exemple, des attributs d’un flanc, d’une gomme intérieure et/ou d’un sommet du pneumatique identifié).

Le GAN comprend un réseau de générateur d’image (ou « générateur ») 108 qui prend en entrée les images de synthèse 105 synthétisées par le synthétiseur 104 et les images cibles de la base de données 106 (ici, « les images sources »). Le générateur 108 comprend au moins un encodeur 108a auquel le processeur du système 100 entre les images sources . L’encodeur 108a comprend une pluralité de couches de codage 108a’ dont chaque couche de codage réalise une convolution avec un banc de filtres pour produire un ensemble de cartes de caractéristiques (ou « feature maps »). L’encodeur 108a encode le contenu de chaque l'image source, et il génère les caractéristiques des images sources.

Le générateur 108 comprend aussi au moins un décodeur 108b qui reçoit les cartes de caractéristiques de l’encodeur 108a. Le décodeur 108b, ayant une pluralité de couches de décodage108b’, décode les caractéristiques des images sources, et il applique le style d’images cibles pour générer des images photo-réalistes 113.

Il est apprécié que le générateur 108 est un générateur à plusieurs couches afin d'augmenter la capacité de l’encodeur 108a à représenter les caractéristiques du contenu de l'entrée (c.-à-d., les fichiers CAO et donc les données des fichiers CAO).

Le GAN comprend en outre un réseau discriminateur (ou « discriminateur ») 110 qui compare une image photoréaliste 113 (générée par le générateur 108) et des images cibles (obtenues de la base de données 106) pour déterminer si l’image photoréaliste (comprenant une image synthétique stylisée) est réelle ou fausse. En conséquence, le GAN essaie de " tromper " le discriminateur 110 en produisant une image synthétique qui semble provenir d'une vraie distribution de données du domaine d'image cible (c'est-à-dire, une image capturée par une caméra d’un pneumatique réel). Pendant l'entrainement du GAN, le discriminateur 110 apprend à distinguer l'image photoréaliste 113 générée par le générateur 108 et des images réelles du domaine cible. Pendant l'entrainement, le générateur 108 apprend une modélisation des images sources au style cible, et il s'entraîne à produire des échantillons cibles qui trompent le discriminateur 110.

L’encodeur 108a du générateur 108 extrait les données de caractéristiques sémantiques sources du contenu sémantique source des images sources. Ces données extraites sont entrées dans le décodeur 108b qui génère (ou « sort ») une image synthétique (ou « image photoréaliste ») 113. L’image photoréaliste comprend une partie ou la totalité du contenu sémantique d’une ou des images sources (étant une ou des images des pneumatiques photo-réalistes synthétisées) dans un style cible (étant le style des images des pneumatiques réels) en utilisant les données de caractéristiques sémantiques extraites par l’encodeur 108a. Le discriminateur 110 prend en entrée les images photo-réalistes 113 synthétisées, et il extrait des données caractéristiques synthétiques des images photoréalistes.

Afin de produire une image photoréaliste du pneumatique identifié, le générateur 108 est configuré pour synthétiser (ou « générer ») une image de domaine cible à partir d'une image de domaine source (ici, « l’image photoréaliste synthétisée »)(ici, les termes « synthétiser » et « générer » sont utilisés de manière interchangeable). Il est entendu qu’une séquence d'images peut être fournie à mesure que l'image est construite ou rendue. Il est également entendu qu’une seule image peut être produite sur la base d’un ensemble donné de valeurs de paramètres de rendu. Dans les deux cas, l'image photoréaliste 113 est rendue à l'aide de préréglages provenant, au moins en partie, d’un modèle appris par le système 100. Avec le synthétiseur 104, un opérateur peut modifier les valeurs des paramètres de rendu pour personnaliser les valeurs standards associées avec chaque modèle de pneumatique, ce qui rend les données correspondantes plus réutilisables.

Ainsi, à la fin d’une étape de génération des images photo-réalistes 113 du procédé de l’invention réalisé par le système 100, des données exploitables sont déjà fournies dans un modèle déjà entrainé. Il est entendu que ce modèle pourrait être entraîné sur un ou des composants CNN du type ImageNet-VGG dans Tensorflow et/ou ses équivalents. Les données exploitables obtenues sont utilisées dans la construction d’un modèle d’images photoréaliste représentant le ou les pneumatiques identifiés dans un état « parfait » (c.-à-d., un état sans anomalies avant leur utilisation).

Pour rendre proches les images photoréalistes et les images cibles en termes de caractéristiques de contenu (et donc accélérer l'apprentissage), le processeur du système 100 détermine une perte d’encodeur (ou « perte de contenu ») 115 en utilisant les données de caractéristiques sémantiques sources et les données de caractéristiques synthétiques. La perte de contenu est calculée par une distance Euclidienne entre une représentation intermédiaire des caractéristiques de niveau supérieur de l'image d'entrée et l'image de contenu dans une couche. Ainsi, le générateur 108 peut être considéré comme un encodeur suivi d'un décodeur dont l’encodeur donne une représentation raccourcie du contenu pour extraire les caractéristiques sémantiques de base de l'entrée. A titre d’exemple, il est connu d’utiliser une ou des fonctions objectives pour la régression (par exemple, l’erreur absolue moyen (« EAM ») et l’erreur quadratique moyenne (« EQM »). Il est aussi connu d’utiliser une ou des mesures de similarité d’une image synthétisée par rapport à une image cible (par exemple, le rapport signal de crête sur bruit (ou « peak signal-to-noise ratio » ou « PSNR » en anglais)). Il est également connu d’utiliser des mesures de luminance, de contraste et de structure pour mesurer la similarité entre deux ou plusieurs images (par exemple, la mesure de l'indice de similarité structurelle (ou « structural similarity index measure » ou « SSIM » en anglais)). Le système pourrait mettre en œuvre un ou des moyens pour déterminer la perte de contenu 115comme entendu par l’homme du métier.

Dans le système 100 qui réalise le procédé de l’invention, le discriminateur 110 prend en entrée les images photoréalistes 113 synthétisées (et donc les données caractéristiques synthétiques). En outre, le processeur du système 100 introduit les images cibles t (et donc les données d'images cibles) de la base de données 106 au discriminateur 110. Le discriminateur 110 permet de classer ces données d'images cibles à partir des données caractéristiques synthétiques. Pour rendre proche les images photoréalistes et les images cibles en termes de caractéristiques de style, le discriminateur 110 détermine et sort une perte de réseau adversaire génératif (GAN)(ou « perte de style »)(ou « style loss »). La perte de style peut être mesurée comme le degré de corrélation présente entre les cartes de caractéristiques dans une couche donnée. Elle concerne un argument mathématique selon lequel l'entraînement du générateur 108 devrait chercher à minimiser la distance entre la distribution des données observées dans l'ensemble de données d'entraînement et la distribution observée dans les images photoréalistes générées. A titre d’exemple, les matrices de Gram, qui montrent la distribution globale des caractéristiques dans une couche donnée, pourraient être utilisées pour interpréter les informations de style dans une image. A titre d’exemple, d’autres mesures de distance de distribution pourraient être utilisées, y compris, sans limitation, la fonction de perte de Wasserstein (ou « the Wasserstein loss funciton »)(qui cherche à augmenter l’écart entre les scores des images réelles et ceux des images générées), la divergence de Kullback-Leibler (ou « KL divergence ») et la divergence de Jensen-Shannon (ou « JS divergence »).

Le processeur du système 100 détermine ensuite une perte totale en fonction de la perte du contenu et la perte du style. La perte représente une variation totale qui aide à réduire le bruit dans les images photoréalistes 113. Lorsque l'apprentissage du modèle est terminé, le système 100 sort les paramètres d’un modèle de transfert de style pour générer une ou des images synthétisées finales.

Dans tous les modes de réalisation de l’invention, le système 100 peut réaliser une ou plusieurs étapes du procédé (et le procédé entier) de manière itérative. Par conséquent, en répétant ce procédé, le processeur entraîne le générateur 108 et le discriminateur 110 en utilisant la perte de contenu et la perte du style, jusqu'à ce que la perte totale soit égale ou inférieure à un seuil de perte prédéterminé ou atteigne le nombre maximum d'itérations afin de minimiser la distorsion de l'image pendant le transfert du style d'image.

Il est entendu que l'architecture du système 100 peut être adaptée de telle sorte qu'elle peut appliquer un seul style dans une image (par exemple, une seule image réelle) ou elle peut mélanger et assortir plusieurs styles (par exemple, deux ou plusieurs images réelles).

L’invention divulguée permet de capter des éléments particuliers liés au procédé de fabrication du pneumatique identifié qui n’apparaissent pas dans les fichiers CAO initiaux (par exemple, les données correspondantes à des évents, à des anomalies de matières, et à des bavures aux jonctions des pièces de moule produisant le pneumatique qui sont présentes à la surface du pneumatique identifié). Ainsi, l’invention divulguée rend disponible les données correspondantes à des phénomènes optiques du moyens d’acquisition qui sont auparavant indisponibles en raison des difficultés et des coûts à les reproduire par simulation physique.

Comme utilisé ici, « image », au singulier ou au pluriel, fait respectivement référence aux images fixes et aux images capturées dans des séquences vidéo. La caméra peut être choisie parmi les caméras disponibles dans le commerce, y compris, sans limitation, des caméras de profondeur et des caméras à lumière visible (caméra RVB). Il est entendu que les termes « caméra vidéo », "caméra", "appareil photo", "capteur" et "capteur optique" peuvent être utilisés de manière interchangeable et peuvent se référer à un ou plusieurs appareils configurés pour capturer des images vidéos et fixes.

Dans tous les modes de réalisation de l’invention, au moins un réseau neuronal peut être entraîné pour permettre de reconnaitre des anomalies caractéristiques dans des images de synthèse réalistes de pneumatiques sortant du GAN et de créer à minima des boîtes englobantes (ou « régions encadrées ») autour des anomalies caractéristiques reconnues, et au mieux une détermination précise des frontières des anomalies. Pendant cet entraînement, les coordonnées de la boîte englobante de l’anomalie caractéristique sont mises en corrélation avec les coordonnées des positions prédéterminées sur la surface du pneumatique identifié. Les régions recadrées et les anomalies caractéristiques sont transmises à un réseau neuronal (par exemple, un ou des CNNs) pour apprendre conjointement la représentation de l’anomalie caractéristique dans des pneumatiques différents.

Le système informatique peut inclure des préprogrammations des informations de gestion. Par exemple, un réglage du procédé réalisé par le système 100 peut être associé avec les paramètres des environnements physiques typiques dans lesquels le système fonctionne.

Dans des modes de réalisation de l’invention, le système 100 (et/ou une installation incorporant le système 100) peut recevoir des commandes vocales ou d'autres données audio représentant, pour exemple, une démarche ou un arrêt du procédé de l’invention mis en œuvre par le système 100. La commande peut inclure une demande pour l'état actuel du procédé prédéterminé. Une réponse générée peut être représentée de manière audible, visuelle, tactile (par exemple, en utilisant une interface haptique) et/ou virtuelle et/ou augmentée. Cette réponse, ainsi que les données correspondantes, peuvent être enregistrées dans le réseau neuronal.

Les termes « au moins un(e) » et « un(e) ou plusieurs » sont utilisés de manière interchangeable. Les gammes qui sont présentées comme se situant « entre a et b » englobent les valeurs « a » et « b ».

Bien que des modes de réalisation particuliers de l’appareil révélé aient été illustrés et décrits, on comprendra que divers changements, additions et modifications peuvent être pratiqués sans s’écarter de l’esprit ni de la portée du présent exposé. Par conséquent, aucune limitation ne devrait être imposée sur la portée de l’invention décrite à l’exception de celles exposées dans les revendications annexées.

Claims

Système (100) de transfert de style pour mettre en œuvre un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié, le système (100) comprenant au moins une mémoire configurée pour stocker une application d'analyse des données représentatives des pneumatiques imagés, caractérisé en ce que le système comprend :
- un ou des serveurs de communication comprenant chacun au moins un ou des processeurs connectés de manière opérationnelle à la mémoire, le ou les processeurs comprenant un ou des logiciels de modélisation 3D (103) qui sont capables d'exécuter des instructions programmées stockées dans la mémoire pour créer une ou des images de synthèse (105) ;
- un dispositif de traitement (102) qui utilise les données provenant d’au moins un modèle de conception assistée par ordinateur (fichier CAO) d’un pneumatique identifié, avec le ou les fichiers CAO comprenant une ou des images sources dont un contenu source sémantique est incorporé ;
- un synthétiseur (104) qui est capable d’alimenter des données supplémentaires aux fichiers CAO à partir de paramètres de rendu fournis par le synthétiseur ;
- une base de données (106) dans laquelle des images cibles comprenant des images de pneumatiques réels sont stockées pour construire un ou des modèles de l’aspect réaliste à partir d’une base d’acquisitions visuelles existantes ; et
- au moins un réseau de transfert de style qui fonctionne sur le processeur du système (100), le réseau de transfert de style comprenant :
- au moins un encodeur qui encode le contenu d’une image source reçue du processeur du système (100) et qui génère les caractéristiques de l'image source ; et
- au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes (113) ;
de sorte que le système (100) utilise les données disponibles dans une séquence d’images obtenues des pneumatiques identifiés pour effectuer un transfert de style de manière à modéliser un aspect réaliste et à transférer cet aspect aux images photoréalistes (113) obtenues.
Système (100) de la revendication 1, dans lequel le réseau de transfert de style comprend au moins un réseau adversaire génératif (GAN) comprenant :
- un générateur (108) qui prend en entrée les images de synthèse (105) synthétisées par le synthétiseur (104) et les images cibles de la base de données (106) comme les images sources, le générateur (108) comprenant :
- au moins un encodeur (108a) qui encode le contenu d’une image source reçue du processeur du système (100) et qui génère les caractéristiques de l'image source ;
- au moins un décodeur (108b) qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes (113) ;
- et au moins un discriminateur (110) qui compare les images photoréalistes (113) générées par le générateur (108) et des images cibles obtenues de la base de données (106) .
Système (100) de la revendication 2, dans lequel le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser les étapes suivantes :
- une étape de réception d’une ou des images de référence réalisée par le dispositif de traitement (102) ;
- une étape de génération d’images de synthèse de pneumatiques identifiés réalisée par le synthétiseur (104) ;
- une étape de création d’une ou des images de synthèse (105) du pneumatique identifié à partir des fichiers CAO et des paramètres de rendu ;
- une étape de construction d’un ou des modèles de l’aspect réaliste à partir de la base d’acquisitions visuelles existantes stockées dans la base de données (106) ;
- une étape d’entrainement du réseau de transfert de style ;
- une étape d’extraction des données de caractéristiques sémantiques sources du contenu sémantique source de l'image source réalisée par l’encodeur ;
- une étape d’introduction au décodeur des données de caractéristiques sémantiques extraites par l’encodeur pour que le décodeur puisse sortir une image synthétique comprenant au moins une partie de contenu sémantique de l'image source dans un style cible ;
- une étape de détermination d’une perte de contenu (115) en utilisant les données de caractéristiques sémantiques sources et les données de caractéristiques synthétiques ;
- une étape d’introduction des images photoréalistes (113) incorporant des données caractéristiques synthétiques et les images cibles ;
- une étape de détermination d’une perte de style ;
- une étape de détermination d’une perte totale en fonction de la perte du contenu et la perte du style, réalisée par le processeur du système (100) ; et
- une étape d’entrainement du modèle d’évaluation pour construire un modèle d’images photoréalistes (113) représentant le ou les pneumatiques identifiés dans un état sans anomalies.
Système (100) de l’une quelconque des revendications 1 à 3, dans lequel les fichiers CAO comprennent des zones d’une surface d’un pneumatique identifié à soumettre à un contrôle visuel.
Système (100) de l’une quelconque des revendications 1 à 4, dans lequel une image de référence acquise par le dispositif de traitement (102) comprend une image moyenne issue d’une pluralité de modèles des pneumatiques incorporés dans les fichiers CAO et considérés comme des pneumatiques de référence.
Système (100) de l’une quelconque des revendications 3 à 5, dans lequel la perte de contenu est calculée par une distance Euclidienne entre une représentation intermédiaire des caractéristiques de niveau supérieur de l'image d'entrée et l'image de contenu dans une couche (108a’) de l’encodeur (108a).
Système (100) de l’une quelconque des revendications 1 à 6, dans lequel le synthétiseur (104) emploie une opération de simulation des interactions lumières-matières.
Système (100) de l’une quelconque des revendications 1 à 7, dans lequel le modèle d’évaluation est entrainé sur un ou des composants CNN du type ImageNet-VGG.