FR3132370A1 - Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle - Google Patents

Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle Download PDF

Info

Publication number
FR3132370A1
FR3132370A1 FR2200757A FR2200757A FR3132370A1 FR 3132370 A1 FR3132370 A1 FR 3132370A1 FR 2200757 A FR2200757 A FR 2200757A FR 2200757 A FR2200757 A FR 2200757A FR 3132370 A1 FR3132370 A1 FR 3132370A1
Authority
FR
France
Prior art keywords
color
product
virtually
body surface
lips
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2200757A
Other languages
English (en)
Other versions
FR3132370B1 (fr
Inventor
Alexandre BOUCHEZ
Theo PHAN VAN SONG
Yue Qiao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
L'Oréal SA
Original Assignee
L'Oréal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to FR2200757A priority Critical patent/FR3132370B1/fr
Application filed by L'Oréal SA filed Critical L'Oréal SA
Priority to US18/833,722 priority patent/US20250148723A1/en
Priority to JP2024538440A priority patent/JP7761767B2/ja
Priority to CN202380018791.8A priority patent/CN118742923A/zh
Priority to EP23700073.2A priority patent/EP4469976A1/fr
Priority to PCT/EP2023/050196 priority patent/WO2023143886A1/fr
Priority to KR1020247018173A priority patent/KR20240104135A/ko
Publication of FR3132370A1 publication Critical patent/FR3132370A1/fr
Application granted granted Critical
Publication of FR3132370B1 publication Critical patent/FR3132370B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Cosmetics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

La présente invention se rapporte à un procédé de simulation d’une application d’un produit de maquillage sur une surface corporelle comprenant la mise en œuvre d’un moteur de rendu configuré pour appliquer un effet de maquillage comprenant au moins une transformation colorielle à au moins une partie de données d’image entrantes comprenant la surface corporelle à maquiller virtuellement, et générer des données d’image transformée simulant ladite application de produit de maquillage selon au moins un paramètre coloriel caractéristique du produit de maquillage à appliquer virtuellement, caractérisé en ce qu’il comprend une étape préalable de détermination dudit paramètre coloriel caractéristique comprenant :- l’obtention d’une donnée de couleur de ladite surface corporelle à maquiller virtuellement,- l’obtention d’une valeur du paramètre coloriel caractéristique du produit de maquillage en fonction de ladite donnée de couleur de la surface corporelle à maquiller virtuellement. Figure pour l’abrégé : Fig 2

Description

Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle
La présente invention se rapporte à un procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle.
Par « produit cosmétique », on entend tout produit tel que défini dans le règlement (CE) N°1223/2009 du Parlement Européen et du Conseil du 30 novembre 2009, relatif aux produits cosmétiques. Un produit cosmétique de maquillage est plus particulièrement destiné à recouvrir une surface corporelle en vue d’en modifier la couleur perçue et/ou la texture.
La présente demande concerne plus particulièrement la simulation d’une application d’un produit coloré pour les lèvres ou d’un fond de teint pour la peau. Elle peut toutefois trouver application pour la simulation d’une application de produits de coloration capillaire ou de vernis à ongles.
Le choix d’un produit de maquillage satisfaisant peut relever de la gageure pour une utilisatrice tant le choix de produits, et en particulier de teintes, est vaste. L’utilisatrice est notamment confrontée au fait de devoir acheter et essayer plusieurs produits ce qui peut la rebuter fortement, en particulier si elle juge décevant le résultat de tout ou partie de produits essayés. Par ailleurs, alors qu’il reste relativement aisé d’appliquer et enlever un rouge à lèvres ou un fond de teint, une telle méthode d’essayage s’avère beaucoup plus gênante pour les colorations capillaires et les vernis à ongles.
Le large déploiement des technologies numériques dans la société a permis de développer et proposer des logiciels de réalité augmentée permettant à une utilisatrice d’essayer virtuellement des produits cosmétiques. Ainsi, les marques L’OREAL (https://www.loreal.com/en/articles/science-and-technology/l-oreal-modiface-brings-ai-powered-virtual-makeup-try-ons-to-amazon/), MAYBELLINE (https://www.maybelline.com/virtual-try-on-makeup-tools) et NYX (https://www.nyxcosmetics.com/try-it-on.html) par exemple, proposent chacune la possibilité d’essayer virtuellement des produits de maquillage de leurs gammes respectives. De manière générale, un tel logiciel permet, à partir d’une image numérique d’une utilisatrice, de calculer et générer une image correspondante montrant l’effet de maquillage susceptible d’être obtenu en appliquant le produit considéré. On connait de tels systèmes pour l’essayage virtuel de fonds de teint, de rouges à lèvres, ou encore de coloration capillaire tout comme il en existe pour vêtements ou encore des lunettes de vue.
Grâce à de tels système, une utilisatrice peut aisément évaluer directement et immédiatement le résultat maquillage de plusieurs produits sans avoir à les acheter, s’en maquiller et s’en démaquiller.
Des exemples de procédés d’essayage virtuel (« virtual try-on ») de produits de maquillage sont décrits, par exemple, dans les documents US20200160153A1 et US9449412B1 ainsi que dans les demandes FR21/06030, FR21/11155 et FR21/11164 au nom de la demanderesse et non encore publiées.
De manière générale, de tels procédé mettent en œuvre un ou plusieurs moteurs de rendu configurés pour appliquer un ensemble de transformations ou d’effets à une image d’entrée en fonction d’un ou plusieurs paramètres caractéristiques correspondant au produit cosmétique à appliquer virtuellement. Ces transformations peuvent notamment comprendre une ou plusieurs étapes de segmentation destinées notamment à localiser et isoler la surface corporelle à traiter virtuellement, avant d’y appliquer, entre autres, des modifications de formes, de modifications de couleurs, de modifications de rendu de texture. Ces moteurs de rendus peuvent utiliser différentes méthodes de calculs pour effectuer ces transformations et en particulier mettre en œuvre des techniques d’apprentissage automatique et de réseaux neuronaux ayant été entrainés dans ces buts.
Ainsi, un système d’essayage virtuel reçoit une image à modifier, généralement la photo d’une utilisatrice et en particulier une photo de son visage, et un ensemble de paramètres de rendu caractéristiques d’un produit cosmétique sélectionné. Ces paramètres comprennent notamment des paramètres de couleur et/ou de forme et/ou de texture. En appliquant les transformations du moteur de rendu à l’image d’entrée en fonction des paramètres représentatifs, le système d’essayage virtuel génère une image résultante simulant l’application du produit cosmétique sur la zone corporelle concernée. Cette image résultante est présentée à l’utilisatrice.
Dans le cas particulier de l’essayage virtuel de produits cosmétiques de maquillage, le paramètre de couleur est bien évidemment particulièrement important. Considérant qu’un produit de maquillage s’applique sous la forme d’une couche sur une surface corporelle pouvant être elle-même plus ou moins colorée, sa couleur résultante, et donc perçue, après application dépend de plusieurs facteurs dont son pouvoir couvrant ou opacité et la couleur de la surface corporelle sur laquelle il est appliqué.
Or, par souci de simplification de mise en œuvre, de nombreux systèmes d’essayage virtuel ne prennent pas en compte cette spécificité et utilisent des paramètres fixes prédéfinis. Des variations dans le rendu de l’application du produit cosmétique selon l’utilisatrice peuvent être prises en compte en aval par traitement algorithmique par le moteur de rendu. Toutefois ce traitement peut être complexe, nécessiter des ressources de calcul importantes tout en manquant de précision dans le rendu coloriel.
Dernièrement ont été développés de nouveaux systèmes cherchant non plus à utiliser des paramètres fixes prédéfinis, mais à les extraire d’images de personnes portant ces produits. Cela permet notamment d’essayer virtuellement sur soi un produit cosmétique, par exemple un rouge à lèvres, porté par une autre personne, notamment une personnalité connue. Le problème est similaire en ce qu’une telle méthode acquiert la couleur résultante sur la personne de référence et la transfère virtuellement sur l’utilisatrice sans nécessairement pouvoir apporter les ajustements nécessaires tenant à sa propre couleur de peau.
Ainsi, il existe un besoin pour une solution simple permettant d’améliorer le rendu coloriel d’un produit de maquillage dans un système d’essayage virtuel.
Pour ce faire, la présente demande propose un procédé de simulation d’une application d’un produit de maquillage sur une surface corporelle comprenant la mise en œuvre d’un moteur de rendu configuré pour appliquer un effet de maquillage comprenant au moins une transformation colorielle à au moins une partie de données d’image entrantes comprenant la surface corporelle à maquiller virtuellement, et générer des données d’image transformée simulant ladite application de produit de maquillage selon au moins un paramètre coloriel caractéristique du produit de maquillage à appliquer virtuellement.
Le procédé est caractérisé en ce qu’il comprend une étape préalable de détermination d’une valeur dudit paramètre coloriel caractéristique comprenant :
- l’obtention d’une donnée de couleur de ladite surface corporelle à maquiller virtuellement,
- l’obtention d’une valeur du paramètre coloriel caractéristique du produit de maquillage en fonction de ladite donnée de couleur de la surface corporelle à maquiller virtuellement.
Selon une première variante de mise en œuvre, l’obtention de la donnée de couleur de ladite surface corporelle à maquiller virtuellement est réalisée à partir des données d’image entrantes. Selon une deuxième variante, la donnée de couleur de la surface corporelle à maquiller virtuellement peut être obtenue séparément, les données d’image entrantes pourront alors être une image de la zone corporelle maquillée avec un produit de maquillage présentant une finition ou texture particulière souhaitée.
Préférentiellement, la donnée de couleur de la surface corporelle à maquiller virtuellement est obtenue à partir d’une zone corporelle nue, c’est-à-dire, non maquillée et, de préférence, ne portant aucun produit cosmétique.
Ainsi, en prévoyant de fournir au moteur de rendu une valeur du paramètre coloriel qui n’est plus indépendante de l’utilisatrice mais est déterminée à partir de la couleur de la zone corporelle à maquiller, il est possible de passer aisément et directement au moteur de rendu une valeur de couleur résultante adaptée à l’utilisatrice sans avoir à intégrer au moteur de rendu des transformations et calculs complexes additionnels.
Autrement dit, alors que généralement, la sélection d’un produit cosmétique d’une certaine teinte, se traduira par une valeur de paramètre coloriel passée au moteur de rendu qui est déterminée et indépendante de la couleur de la zone corporelle considérée, le présent procédé prévoit de passer au moteur de rendu une valeur de paramètre coloriel déterminée non seulement par rapport au produit cosmétique de maquillage souhaité mais également par rapport à une couleur de zone corporelle de manière à injecter dans le moteur de rendu une valeur de paramètre coloriel caractéristique la plus adaptée possible à l’utilisatrice.
Ainsi pour une utilisatrice qui souhaiterait essayer virtuellement un rouge à lèvres Absolu Rouge de Lancôme de teinte 397 « berry noir matte », il est possible d’obtenir une valeur du paramètre coloriel fonction de sa couleur de lèvres. En effet, le même rouge à lèvre appliqué sur des lèvres à peau claire ne donnera pas le même rendu qu’appliqué sur des lèvres de peau foncée. Pour cette raison, il est important de pouvoir fournir au moteur de rendu une valeur de paramètre coloriel adaptée et non une valeur de paramètre coloriel indépendante de l’utilisatrice, voire obtenue sur une autre utilisatrice.
De manière préférentielle, les valeurs et données de couleurs sont exprimées sous la forme de coordonnées dans un espace colorimétrique donné, notamment dans un espace colorimétrique percéptuellement uniforme tel que l’espace colorimétrique CIELAB (notamment L*, a*, b* ou utilisant les coordonnées polaires L*, C*, h*). Un espace percéptuellement uniforme permet notamment de déterminer aisément des écarts de couleur delta E représentatifs de différences visuelles. Bien évidemment, à titre alternatif ou complémentaire, les couleurs peuvent être exprimées dans d’autres espaces colorimétriques, notamment RGB voire directement en code informatique hexadécimal, notamment selon les besoins de traitement informatique.
Le procédé objet de la présente demande concerne plus particulièrement, le maquillage virtuel d’une zone de lèvres, le produit cosmétique de maquillage étant un produit de maquillage des lèvres, notamment un rouge à lèvres, de préférence du type en bâtonnet solide, ou un vernis à lèvres (gloss). Bien évidemment, le procédé peut également être mise en œuvre pour le maquillage virtuel d’autres zones corporelles telles qu’une zone de peau, notamment de peau du visage ou des paupières, le produit cosmétique de maquillage étant respectivement un fond de teint ou un fard à paupières.
Selon une variante de mise en œuvre préférée, la valeur de paramètre coloriel est obtenue depuis une base de données associant au moins une référence de produit cosmétique de maquillage avec une pluralité de couleurs de référence de la zone corporelle considérée. Ainsi, pour chaque référence de produit cosmétique (e.g. rouge à lèvres), la base de données pourra contenir des valeurs du paramètre coloriel correspondant aux couleurs de rendu dudit produit cosmétique sur, par exemple, une zone corporelle (e.g. des lèvres) de ton clair / medium / foncé.
De manière avantageuse, la valeur du paramètre coloriel caractéristique du produit cosmétique est choisie dans la base de données comme étant celle affectée à la couleur de référence de la zone corporelle considérée la plus proche de la couleur de la zone corporelle à maquiller virtuellement, obtenue notamment des données d’image entrantes. La proximité pourra notamment être déterminée par calcul d’un écart coloriel dans l’espace colorimétrique considéré, par exemple par calcul du paramètre ΔE dans l’espace CIELAB.
Le recours à une base de données contenant des valeurs du paramètre coloriel pour un plusieurs couleurs de référence de la zone corporelle considérée permet de conserver un système simple d’accès, aisément interrogeable, et permettant de stocker un grand nombre de références de produits cosmétiques tout en conservant un degré de précision et d’adaptabilité à la couleur de la zone corporelle de l’utilisatrice suffisante.
Les valeurs des paramètres coloriels pour les différents produits cosmétiques et les différentes couleurs de référence de la zone corporelle peuvent être obtenues de différentes manières, par exemple par mesure de couleur sur des produits réellement appliqués ou par simulation à l’aide de modèle de rendus colorimétriques (approximation de Kubelka-Munk par exemple) comme décrit au paragraphe suivant.
Alternativement à la mise en œuvre d’une base de données contenant les différentes valeurs de paramètres coloriel, la valeur du paramètre coloriel caractéristique du produit cosmétique peut être obtenue par application d’un modèle de rendu colorimétrique à une donnée de couleur intrinsèque ou propre du produit cosmétique considéré et à une valeur de couleur de la zone corporelle à maquiller, obtenue notamment des données d’image entrantes. Ainsi, la couleur de la zone corporelle à maquiller virtuellement n’est plus mise en correspondance avec une couleur de référence proche mais directement utilisée pour déterminer la valeur dudit paramètre coloriel à passer au moteur de rendu du système d’essayage virtuel. Par couleur intrinsèque du produit cosmétique considéré, on entend une couleur indépendante de la couleur de la surface de peau sur laquelle il est destiné à être appliqué. Cette couleur peut être obtenue par mesurein vitrodans des conditions normalisées, par exemple après application (par enduction d’une couche d’épaisseur définie par exemple) du produit sur un support de mesure d’opacity comprenant une surface d’enduction noire et une surface d’enduction blanche (« opacity chart » tel que des cartes Leneta®) et de préférence dans des conditions d’éclairage également standardisé (D65 notamment). La couleur de la surface corporelle sera de préférence acquise dans des conditions d’éclairage similaires ou identique, par exemple en utilisant un dispositif tel que la CHROMASPHERE®. L’image de l’utilisatrice alimentant le moteur de rendu pourra avantageusement également être prise dans les mêmes conditions d’éclairage.
Selon le fonctionnement du moteur de rendu du système d’essayage virtuel, une valeur du paramètre coloriel unique peut être obtenue pour une couleur moyenne globale de la surface corporelle à maquiller virtuellement. Toutefois, afin d’améliorer la précision de rendu et compte tenu du fait que la couleur de la surface corporelle à maquiller virtuellement peut ne pas être totalement uniforme, il est possible de subdiviser la surface corporelle à maquiller virtuellement en une pluralité de sous-zones plus petites pour chacune desquelles une valeur du paramètre coloriel pourra être obtenue. Une valeur de paramètre coloriel peut même être obtenu pixel par pixel le cas échéant.
De manière avantageusement complémentaire, le moteur de rendu est apte à recevoir un paramètre de brillance / matité.
Alternativement ou de manière complémentaire, comme expliqué précédemment, la couleur de la surface corporelle à maquiller peut être obtenue séparément des données d’images entrantes à partir de la surface corporelle nue / non maquillée. Les données d’images entrantes fournies au moteur de rendu peuvent alors comprendre une surface corporelle maquillée d’un produit présentant le fini (matte / brillant) et/ou la texture souhaitée, le moteur de rendu n’effectuant qu’une transformation colorielle.
La présente invention sera mieux comprise à l’aide de la description détaillée qui suit en regard des dessins annexés sur lesquels :
montre un exemple schématique d’un flux de traitement d’un système d’essayage virtuel mettant en œuvre un moteur de rendu R configuré pour générer un rendu photoréaliste d’un produit de maquillage de lèvres appliqué sur une personne.
est une représentation schématique d’un procédé de détermination d’une valeur d’un paramètre coloriel du moteur de rendu de la .
est une représentation schématique d’un procédé de détermination d’une couleur de rendu d’un produit de maquillage de lèvres en fonction de la couleur desdites lèvres, en vue de son enregistrement dans une base de données du procédé de détermination des figures 2 et 3 ou en vue de son utilisation directement comme paramètre coloriel du moteur de rendu de la .
Bien qu’illustré à titre d’exemple par le maquillage virtuel d’une surface de lèvres d’une utilisatrice par un rouge à lèvres, le présent procédé est applicable à d’autres surfaces corporelles (peau, notamment du visage, cheveux) et à d’autres produits de maquillage destinés à être appliqués sur lesdites surfaces corporelles. La présente demande concerne en particulier les produits cosmétique de maquillage présentant une grande diversité de teintes et les surfaces corporelles présentant une grande diversité de couleur parmi la population.
La montre un exemple de flux de traitement d’un système d’essayage virtuel mettant en œuvre un moteur de rendu R configuré pour générer un rendu photoréaliste d’un produit de maquillage de lèvres PM appliqué sur une personne P3. Comme indiqué précédemment, les étapes génériques décrites peuvent être appliquéesmutatis mutandisà d’autres types de produits cosmétiques pour d’autres surfaces corporelles.
Le moteur de rendu R reçoit à l’étape 20, des paramètres caractérisant relatifs à la couleur COL du produit de maquillage à lèvres PM, à la réflexion REF de ce produit PM et à la texture TXT de ce produit PM.
Le moteur de rendu R reçoit également à l’étape 21 une image source X_S de lèvres de la personne P3. Le moteur de rendu R peut alors ensuite calculer, à l’étape 22, un modèle M3D des lèvres de l’image source X_S. Le moteur de rendu R peut également estimer, à l’étape 23, les réflexions de lumières sur les lèvres de l’image source X_S.
Comme il est connu en soi, l’image source X_S peut être classiquement obtenue par segmentation et détourage d’une zone d’intérêt (les lèvres) sur une image X_I plus large de la personne comprenant notamment son visage.
Selon la complexité du système, le moteur de rendu R peut déterminer ensuite, à l’étape 24, des paramètres corrigés de couleur à partir des paramètres de couleur du produit de maquillage PM renseignés en entrée. Ces paramètres corrigés de couleur prennent, par exemple, en compte la luminosité sur les lèvres de l’image source. Les paramètres de luminosité peuvent être extraits de l’image source X_I et de son environnement. Dans certains cas, notamment en milieu professionnel, l’acquisition de l’image source peut se faire en conditions normalisées (cf. supra), sensiblement identique aux conditions de détermination des paramètres caractérisant du produit cosmétique PM à essayer virtuellement. Dans de tels cas, une transformation supplémentaire peut ne pas être nécessaire.
Ensuite, à l’étape 25, le moteur de rendu R génère une première image intermédiaire IM1 dans laquelle le moteur de rendu applique les paramètres corrigés de couleur sur les lèvres du l’image source, en prenant en compte le modèle des lèvres calculé précédemment.
Le moteur de rendu R génère ensuite, de manière optionnelle, à l’étape 26, une deuxième image intermédiaire IM2 dans laquelle les paramètres de réflexion renseignés en entrée sont appliqués aux lèvres de la première image intermédiaire IM1 en prenant également en compte les réflexions de lumières sur les lèvres de l’image source.
Le moteur de rendu R génère ensuite en sortie, de manière optionnelle, à l’étape 27, une image transformée IMT dans laquelle les paramètres de texture renseignés en entrée sont appliqués aux lèvres de la deuxième image intermédiaire.
L’image transformée IMT (IMT = IM1 si les étapes de transformation optionnelles ne sont pas présentes) remplace l’image source X_S sur l’image plus large X_I de manière à générer une image X_V comprenant la zone d’intérêt maquillée virtuellement qui peut être présentée à l’utilisatrice.
Conformément à la présente demande, la valeur du paramètre caractérisant relatif à la couleur COL du produit cosmétique de maquillage PM est obtenue à travers une étape préalable de détermination dudit paramètre dont un exemple de mise en œuvre est schématiquement représenté sur la .
La détermination de la valeur du paramètre coloriel COL du produit cosmétique PM comprend l’obtention d’une donnée de couleur des lèvres LIP_P3 de la personne P3 à maquiller virtuellement. Cette donnée de couleur est obtenue directement d’une image I1 de la personne P3, de préférence prise dans des conditions d’éclairage normalisée et calibrée (notamment D65). Elle peut éventuellement être acquise séparément, notamment à l’aide d’un colorimètre ou d’un spectrophotomètre. Comme indiqué précédemment, la donnée de couleur des lèvres est obtenue à partir des lèvres non maquillées (nues) de la personne.
Selon la variante de mise en œuvre, l’image I1 de la personne P3 prise lèvres nues peut servir d’image entrante X_S du moteur de rendu.
Alternativement comme expliquésupra, la donnée de couleur de la surface corporelle à maquiller virtuellement est obtenue séparément de l’image I1 servant à l’obtention de la couleur des lèvres (image lèvres non maquillée). L’image entrante X_S peut alors être une image I2 de la zone corporelle maquillée avec un produit de maquillage présentant une finition ou texture particulière souhaitée. En l’espèce, la couleur de rendu du rouge à lèvre sélectionné est obtenue à partir de la couleur des lèvres non maquillée de l’utilisatrice (image I1). Il est également procédé à l’acquisition d’images (I2, I3) de la personne P3 dont la surface corporelle est maquillée respectivement avec un rouge à lèvres de finition matte et un rouge à lèvres de finition brillante. Selon la finition souhaitée pour le produit cosmétique à essayer virtuellement, l’une ou l’autre de ces images pourra constituer les données d’image entrantes X_S. Le moteur de rendu R pourra alors effectuer une simple transformation colorielle et éviter des calculs de transformation de rendu supplémentaires.
A partir de la donnée de couleur des lèvres LIP_P3 ainsi déterminée et de la référence du produit cosmétique PM LS C à essayer virtuellement, il est procédé à l’interrogation d’une base de données DB comprenant, pour un produit cosmétique référencé, une pluralité de valeurs du paramètre coloriel enregistrées pour différentes valeurs de couleur de référence desdites lèvres.
Plus précisément, la base de données comprend un tableau associant une ou plusieurs références de produits cosmétiques PM, en l’occurrence des rouges à lèvres LS A, LS B, LS C, LS D, avec plusieurs couleurs de lèvres de référence LIPS 1, LIPS 2, LIPS 3. Pour chaque couple produit cosmétique / couleur de lèvre (LS i ; LIPS j), la base de données peut stocker une valeur de couleur représentant la couleur de rendu du produit cosmétique PM (LS i) tel qu’appliqué sur des lèvres de couleur LIP j.
A partir de la couleur des lèvres LIP_P3 de la personne à maquiller virtuellement, on détermine la couleur LIP j(P3) la plus proche pour laquelle une valeur de couleur correspondant au produit cosmétique PM (LS C) est renseignée (ici LIPS 2). La valeur de couleur pour le produit cosmétique PM (ici LS C), tel qu’appliqué sur des lèvres LIPS 2 est alors extraite de la base de données pour être passée au moteur de rendu comme paramètre coloriel COL du produit cosmétique PM (LS C) à rendre virtuellement sur l’image de la personne P3.
Les différentes couleurs de référence de lèvres peuvent être déterminées par partitionnement de données de mesures de couleurs réelles sur un échantillon de population. La couleur des lèvres peut être mesurée notamment avec un colorimètre ou un spectrophotomètre, avantageusement dans des conditions d’illumination normalisées et calibrées (D65, notamment à l’aide d’un dispositif CHROMASPHERE®). Ainsi, on pourra déterminer entre trois et dix familles de couleurs de lèvres, en particulier, des couleurs de lèvres claires, médiums et foncées, avec d’éventuelles gradation intermédiaires. On pourra notamment utiliser des méthodes de « K-MEANS CLUSTERING » et sélectionner les couleurs de lèvres au centre de chaque cluster.
Les valeurs de couleurs des différents produits de maquillage pour les différentes couleurs de référence de lèvres peuvent être obtenues par mesure de la couleur du produit tel qu’appliqué réellement sur des lèvres de couleur correspondante et/ou peuvent être obtenues par calcul à partir d’un modèle de rendu colorimétrique (KM) mettant par exemple en œuvre une approximation de Kubelka-Munk ou un autre modèle de rendu physique tel que représenté sur la . Le modèle de rendu colorimétrique KM simule une couleur rendue à partir de mesures colorimétriques des lèvres nues (ex vivo) et de mesures colorimétriques du produit cosmétique PM (in vitro) correspondant à une valeur de couleur intrinsèque indépendante de la couleur de surface corporelle. Une correction colorimétrique peut être appliquée à l’aide d’un paramètre de déviation colorimétrique pouvant être déterminée par comparaison(s) entre les résultats de simulations de couleur et des valeurs réelles acquises sur le produit réellement appliqué sur les lèvres. Tout ou partie d’un tel système de simulation peut mettre en œuvre des techniques d’apprentissage machine, notamment pour la détermination du paramètre de déviation colorimétrique permettant d’apporter une correction de couleur au modèle physique théorique. Un tel système est décrit notamment dans la demande FR3094201 pour des colorations capillaires.
Ainsi défini, le système de simulation de rendu coloriel permet de précalculer les valeurs de rendus coloriels pour les différents produits cosmétiques pouvant être essayés virtuellement pour chaque couleur de lèvres de référence. Ces valeurs sont enregistrées dans la base de données.
Dans une variante de réalisation, le système de simulation peut directement générer une valeur du paramètre coloriel COL passée au moteur de rendu R. Dans ce cas, une couleur des lèvres de l’utilisatrice est obtenue comme précédemment et soumise au système de simulation avec les données de couleurs intrinsèques connues pour le produit cosmétique PM à essayer virtuellement. Le système de simulation retourne alors une valeur correspondant à une estimation ou prédiction de la couleur rendu par l’application du produit cosmétique PM sur les lèvres de l’utilisatrice.
Afin d’améliorer le rendu du système d’essayage virtuel, il est également possible de passer au moteur de rendu un paramètre de matité / brillance permettant de refléter une finition matte ou satin du rouge à lèvre virtuellement appliqué. Ce paramètre peut notamment faire partie des paramètres de réflexion pouvant être fournis au moteur de rendu pour optimisation du rendu lumière.
Bien que non détaillé, la sélection du produit cosmétique à essayer virtuellement peut être effectuée classiquement depuis une interface présentant tout ou partie d’un catalogue de produits pour lequel les paramètres sont disponibles et l’essayage virtuel possible.
Par ailleurs, tout ou partie des étapes sont destinées à être mise en œuvre par ordinateur et la présente demande vise également à ce titre un produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent à la mise en œuvre d’au moins les étapes caractéristiques du procédé. De préférence, le programme met également en œuvre le système d’essayage virtuel et le moteur de rendu. La présente demande vise également un système comprenant une mémoire dans laquelle est stocké le produit programme. Le système peut également comprendre tout dispositif additionnels nécessaire à la mise en œuvre du procédé, notamment tout appareil d’acquisition de données colorimétrique.

Claims (10)

  1. Procédé de simulation d’une application d’un produit de maquillage (PM) sur une surface corporelle comprenant la mise en œuvre d’un moteur de rendu (R) configuré pour appliquer un effet de maquillage comprenant au moins une transformation colorielle à au moins une partie de données d’image entrantes (X_S) comprenant la surface corporelle à maquiller virtuellement, et générer des données d’image transformée (X_V) simulant ladite application de produit de maquillage selon au moins un paramètre coloriel (COL) caractéristique du produit de maquillage à appliquer virtuellement,
    caractérisé en ce qu’il comprend une étape préalable de détermination dudit paramètre coloriel caractéristique comprenant :
    - l’obtention d’une donnée de couleur de ladite surface corporelle à maquiller virtuellement (LIPS_P3),
    - l’obtention d’une valeur du paramètre coloriel caractéristique du produit de maquillage en fonction de ladite donnée de couleur de la surface corporelle à maquiller virtuellement.
  2. Procédé selon la revendication 1, caractérisé en ce que la zone corporelle à maquiller virtuellement est une zone de lèvres, le produit cosmétique de maquillage (PM) étant un produit de maquillage des lèvres, notamment un rouge à lèvres (LS C).
  3. Procédé selon l’une quelconque des revendications 1 ou 2, caractérisé en ce que la donnée de couleur de la surface corporelle (LIPS_P3) à maquiller virtuellement est obtenue à partir des données d’image entrantes (X_S).
  4. Procédé selon l’une quelconque des revendications 1 ou 2, caractérisé en ce que la donnée de couleur de la surface corporelle (LIPS_P3) à maquiller virtuellement est obtenue séparément des données d’images entrantes (X_S), notamment par mesure de couleur à l’aide d’un colorimètre ou spectrophotomètre.
  5. Procédé selon l’une quelconque des revendications 1 à 4, caractérisé en ce que les données d’image entrantes (X_S) sont une image (I2) de la zone corporelle maquillée avec un produit de maquillage présentant une finition ou texture particulière souhaitée.
  6. Procédé selon l’une quelconque des revendications 1 à 5, caractérisé en ce que la valeur de paramètre coloriel (COL) est obtenue depuis une base de données (DB) associant au moins une référence de produit cosmétique de maquillage (PM LS C) avec une pluralité de couleurs de référence (LIPS 1, LIPS 2, LIPS 3) de la zone corporelle considérée.
  7. Procédé selon la revendication 6, caractérisé en ce que la valeur du paramètre coloriel (COL) caractéristique du produit cosmétique (PM) est choisie dans la base de données comme étant celle affectée à la couleur de référence de la zone corporelle considérée la plus proche de la couleur de la zone corporelle à maquiller virtuellement obtenue des données d’image entrantes.
  8. Procédé selon l’une quelconque des revendications 1 à 7, caractérisé en ce que la valeur du paramètre coloriel (COL) caractéristique du produit cosmétique (PM) est obtenue par application d’un modèle de rendu colorimétrique (KM) à une donnée de couleur intrinsèque du produit cosmétique considéré et à une donnée de couleur de la zone corporelle à maquiller obtenue des données d’image entrantes (X_S).
  9. Procédé selon l’une quelconque des revendications 1 à 8, caractérisé en ce qu’une valeur du paramètre coloriel (COL) est obtenue pour différentes sous zones de la surface corporelle à maquiller virtuellement, et notamment pour un traitement coloriel pixel par pixel.
  10. Procédé selon l’une quelconque des revendications 1 à 9 caractérisé en ce que le moteur de rendu (R) est apte à recevoir un paramètre de brillance / matité.
FR2200757A 2022-01-28 2022-01-28 Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle Active FR3132370B1 (fr)

Priority Applications (7)

Application Number Priority Date Filing Date Title
FR2200757A FR3132370B1 (fr) 2022-01-28 2022-01-28 Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle
JP2024538440A JP7761767B2 (ja) 2022-01-28 2023-01-05 化粧メークアップ製品の体表面への塗布をシミュレートする方法
CN202380018791.8A CN118742923A (zh) 2022-01-28 2023-01-05 用于模拟将化妆品产品施用于身体表面的方法
EP23700073.2A EP4469976A1 (fr) 2022-01-28 2023-01-05 Procédé de simulation d'une application d'un produit cosmétique de maquillage sur une surface corporelle
US18/833,722 US20250148723A1 (en) 2022-01-28 2023-01-05 Method for simulating an application of a cosmetic make-up product to a body surface
PCT/EP2023/050196 WO2023143886A1 (fr) 2022-01-28 2023-01-05 Procédé de simulation d'une application d'un produit cosmétique de maquillage sur une surface corporelle
KR1020247018173A KR20240104135A (ko) 2022-01-28 2023-01-05 신체 표면에 대한 화장 메이크업 제품의 도포를 시뮬레이션하는 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2200757 2022-01-28
FR2200757A FR3132370B1 (fr) 2022-01-28 2022-01-28 Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle

Publications (2)

Publication Number Publication Date
FR3132370A1 true FR3132370A1 (fr) 2023-08-04
FR3132370B1 FR3132370B1 (fr) 2024-08-16

Family

ID=81448333

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2200757A Active FR3132370B1 (fr) 2022-01-28 2022-01-28 Procédé pour la simulation d’une application d’un produit cosmétique de maquillage sur une surface corporelle

Country Status (7)

Country Link
US (1) US20250148723A1 (fr)
EP (1) EP4469976A1 (fr)
JP (1) JP7761767B2 (fr)
KR (1) KR20240104135A (fr)
CN (1) CN118742923A (fr)
FR (1) FR3132370B1 (fr)
WO (1) WO2023143886A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7669562B1 (ja) 2024-04-30 2025-04-28 楽天グループ株式会社 化粧品の試用システム、試用方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203724A1 (en) * 2000-06-27 2005-09-15 Rami Orpaz Make-up and fashion accessory display and marketing system and method
US9449412B1 (en) 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
US20200160153A1 (en) 2018-11-15 2020-05-21 L'oreal System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models
FR3094201A1 (fr) 2019-03-26 2020-10-02 L'oreal Procédé de détermination de paramètres spécifiques à la coloration personnalisée de poils d’un individu donné

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3321794B2 (ja) * 1995-12-22 2002-09-09 花王株式会社 化粧肌色の予測方法
WO2014167831A1 (fr) 2013-04-08 2014-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Dispositif de traitement d'image, procédé de traitement d'image et programme permettant une reproduction virtuelle d'un état d'application de maquillage
US11373336B1 (en) * 2013-05-22 2022-06-28 Sephora USA, Inc. Skin tone scanning tool for cosmetics products matching
TW201931179A (zh) * 2017-07-13 2019-08-01 美商美國資生堂公司 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法,以及用於建議化妝之方法
EP3628187A1 (fr) * 2018-09-26 2020-04-01 Chanel Parfums Beauté Procede de simulation du rendu d'un produit de maquillage sur une zone corporelle
EP3664035B1 (fr) * 2018-12-03 2021-03-03 Chanel Parfums Beauté Procédé pour simuler le rendu réaliste d'un produit de maquillage
EP4012604B1 (fr) * 2020-12-09 2024-02-21 Chanel Parfums Beauté Procédé d'identification d'un produit de maquillage des lèvres apparaissant sur une image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203724A1 (en) * 2000-06-27 2005-09-15 Rami Orpaz Make-up and fashion accessory display and marketing system and method
US9449412B1 (en) 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
US20200160153A1 (en) 2018-11-15 2020-05-21 L'oreal System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models
FR3094201A1 (fr) 2019-03-26 2020-10-02 L'oreal Procédé de détermination de paramètres spécifiques à la coloration personnalisée de poils d’un individu donné

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "L'Oréal's Modiface Brings AI-powered Virtual Makeup Try-on To Amazon", 2020, pages 1 - 3, XP055959969, Retrieved from the Internet <URL:https://www.loreal.com/en/articles/science-and-technology/l-oreal-modiface-brings-ai-powered-virtual-makeup-try-ons-to-amazon/> [retrieved on 20220912] *

Also Published As

Publication number Publication date
EP4469976A1 (fr) 2024-12-04
KR20240104135A (ko) 2024-07-04
US20250148723A1 (en) 2025-05-08
FR3132370B1 (fr) 2024-08-16
CN118742923A (zh) 2024-10-01
JP7761767B2 (ja) 2025-10-28
WO2023143886A1 (fr) 2023-08-03
JP2024546329A (ja) 2024-12-19

Similar Documents

Publication Publication Date Title
EP0569291B1 (fr) Procédé de maquillage du visage, en particulier des yeux, et dispositif pour sa mise en oeuvre
CA2364110C (fr) Nuancier
CA2364194C (fr) Nuancier et procede de fabrication
US11995567B2 (en) Apparatuses and methods for color matching and recommendations
EP2768339A2 (fr) Methode de simulation d&#39;une chevelure a colorimetrie variable et dispositif pour la mise en oeuvre de la methode
EP1089191A1 (fr) Dispositif d&#39;aide au maquillage
KR20180130778A (ko) 화장품 추천 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체, 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 및 화장품 추천 시스템
EP3652701A1 (fr) Retrait de maquillage facial virtuel, détection faciale rapide et suivi de points de repère
JP2020526756A (ja) 髪の状態の情報を管理するシステムと、美容コンサルテーションを最適化する方法
EP3948751A1 (fr) Procédé de détermination de paramètres spécifiques à la coloration personnalisée de poils d&#39;un individu donné
EP1523937A1 (fr) Ensemble comportant un système d&#39;analyse du niveau de clarté de la peau et des gammes de produits cosmétiques
CA3181954A1 (fr) Systeme intelligent permettant un test de peau puis une formulation et une fabrication de cosmetique sur mesure
FR2711822A1 (fr) Procédé pour le choix d&#39;une couleur de verres de lunettes .
FR2883395A1 (fr) Procede d&#39;assistance au maquillage en temps reel et son dispositif de mise en oeuvre
WO2023143886A1 (fr) Procédé de simulation d&#39;une application d&#39;un produit cosmétique de maquillage sur une surface corporelle
WO2023194466A1 (fr) Procédé de recommandation de produits cosmétiques en utilisant un algorithme knn
FR3049344A1 (fr) Procede de determination de la couleur d&#39;un produit cosmetique adaptee pour une peau d&#39;un porteur
ES3062083T3 (en) Method for determining at least one colour compatible with an outfit of a user
Yuan et al. Multispectral imaging colorimetric measurement method with illumination-adaptive white calibration
Oh et al. A quantitative and qualitative study on virtual makeup of instant beautifying application-Focus on color and shape
FR3109005A1 (fr) Systeme et procede d’evaluation de ton en vrac et d’application de rouge a levres
FR3110013A1 (fr) Système et procédé d’évaluation de ton brut et d’application de fard à lèvres
FR3144688A1 (fr) Procédé de détermination d’une composition cosmétique cible pour la coloration de poils, notamment des cheveux, dispositif électronique de détermination et produit programme d’ordinateur associés
FR3144689A1 (fr) Procédé d’adaptation d’une composition cosmétique initiale destinée à la coloration de poils, notamment de cheveux, produit programme d’ordinateur et dispositif électronique d’adaptation associés
FR3118521A1 (fr) Procédé de détermination d’au moins une couleur compatible avec une tenue vestimentaire d’un utilisateur

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20230804

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5