ES3014739T3 - Machine for dispensing a controlled amount of a cosmetic composition - Google Patents

Abstract

La presente solicitud se refiere a un dispositivo para dispensar un peso determinado de un producto cosmético en un receptáculo desde un depósito, comprendiendo el dispositivo al menos un elemento electromecánico capaz de mover una cantidad de producto cosmético desde dicho depósito instalado en el dispositivo hasta una zona de dispensación de dicho dispositivo donde dicha cantidad de producto puede ser transferida a través de una boquilla al interior del receptáculo recibido en dicha zona de dispensación, comprendiendo el dispositivo un controlador configurado para entregar una señal de control al elemento electromecánico en función de un error con respecto a un punto de consigna correspondiente al peso determinado de producto cosmético a entregar, determinándose dicho error a partir de un dato de pesaje obtenido por al menos una célula de pesaje para el depósito instalado en la zona de recepción, caracterizándose el dispositivo porque el controlador es un controlador de aprendizaje por refuerzo. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Máquina para dispensar una cantidad controlada de una composición cosmética

La presente invención se refiere a una máquina para la dispensación controlada de una cantidad determinada de al menos un producto cosmético en un receptáculo desde un depósito, comprendiendo la máquina una zona de dispensación configurada para recibir el receptáculo susceptible de contener dicha cantidad de producto cosmético a dispensar.

Se entiende por un "producto cosmético" cualquier producto según se define en el Reglamento (CE) n.° 1223/2009 del Parlamento Europeo y del Consejo, de 30 de noviembre de 2009, sobre los productos cosméticos. Por lo tanto, un producto cosmético se define generalmente como una sustancia o una mezcla que tiene por objetivo ponerse en contacto con las partes superficiales del cuerpo humano (epidermis, sistema piloso del cuerpo y de la cabeza, uñas, labios y genitales externos) o con los dientes y las mucosas orales con el fin, exclusivo o principal, de limpiarlos, perfumarlos, modificar su aspecto, protegerlos, mantenerlos en buen estado o corregir olores corporales.

La industria cosmética tiene como objetivo siempre mejorar la experiencia del consumidor y ofrecer productos y composiciones cada vez más adaptados a las necesidades del consumidor y a sus características específicas. Esta tendencia generalmente se denomina "personalización".

Por tanto, por ejemplo, es conocida la práctica de recomendar bases de maquillaje basándose en una o más características de la piel del usuario (véase, por ejemplo, los documentos US5478238 y US9519927). El tratamiento o producto cosmético diseñado según las características específicas del usuario puede ser un producto terminado ya formulado seleccionado de un catálogo o base de datos, o un producto personalizado cuya propia composición ha sido determinada basándose en las características individuales obtenidas (por ejemplo, "Le Teint Particulier"® ofrecido por LANCOME®).

También es conocida la práctica de ofrecer productos capilares personalizados cuya composición se determina basándose en diferentes propiedades del cabello del usuario (por ejemplo, el documento US20150089751).

El producto podrá entonces adquirirse de la forma convencional o solicitarse por el propio interesado. En el caso de un producto "personalizado", dicho producto podrá fabricarse directamente en el punto de venta (tienda o salón, por ejemplo) mediante un dispositivo capaz de dispensar componentes según la composición personalizada determinada de antemano.

Los dispositivos de este tipo se describen, por ejemplo, en el documento US2017151538A1 en el caso de una base de maquillaje y en los documentos EP0443741, US20150089751, citados anteriormente, en el caso de productos para teñir el cabello.

En general, dichas máquinas comprenden un cuerpo configurado para recibir una pluralidad de cartuchos de diferentes productos cosméticos elaborados a partir de ingredientes adecuados para ser combinados para formar una composición cosmética final. Por tanto, la máquina puede comprender uno o varios cartuchos de una o varias bases cosméticas (en forma, por ejemplo, de crema) y/o uno o varios cartuchos de productos cosméticos activos (colorantes, pigmentos, productos de cuidado activo, etc.) destinados a ser añadidos a una de las bases cosméticas para formar la composición final según los deseos del consumidor.

Las máquinas comprenden también una zona de dispensación configurada para recibir un receptáculo capaz de contener dicha composición cosmética. En el caso de productos de tipo crema o base de maquillaje, el receptáculo puede ser convencionalmente un frasco o tarro. En el caso de un producto para teñir el cabello, el receptáculo puede ser, en particular, un cuenco de mezcla (véanse, por ejemplo, los documentos EP1093842A1, US20050092772 y US20090218007A1).

Los sistemas electromecánicos de tipo bomba o pistón toman una cantidad de producto cosmético y la trasladan desde el depósito o cartucho deseado hasta la zona de dispensación donde el producto puede ser transferido al receptáculo a través de una boquilla de dispensación dispuesta, o susceptible de estar dispuesta, frente a una abertura de dicho receptáculo. Entre los sistemas de dispensación usados se pueden mencionar bombas peristálticas, sistemas de pistón y sistemas de jeringa (admisión/entrega). El documento WO2019161360A1 describe por tanto varios sistemas de dispensación usados convencionalmente.

En el caso de un producto cosmético personalizado cuya composición se define a gusto del usuario y se fabrica bajo demanda, ya sea en tienda o en el domicilio del usuario, es importante poder controlar con precisión el peso de cada ingrediente dispensado en el receptáculo, incluso si la máquina está equipada con sistemas electromecánicos con movimiento controlado de tipo bomba dosificadora o pistón dosificador.

En concreto, una dificultad es que, independientemente del grado de precisión del miembro de dispensación, la cantidad de producto recogido y desplazado por el sistema de dispensación corresponde generalmente a un volumen dado de producto y no directamente a su peso. Por tanto, en el caso de un pistón dosificador, por ejemplo, es el movimiento del pistón lo que define el volumen de producto dispensado. La cantidad de producto en términos de peso depende por tanto de la densidad de dicho producto. Lo mismo se aplica a los sistemas de bombeo, en los que la viscosidad del producto también juega un papel importante.

Por lo tanto, dichos miembros de dispensación deben calibrarse en relación con el producto que se pretende entregar y con los componentes usados (diámetro de tuberías, estanqueidad del sistema, boquillas, etc.) para determinar el peso del producto distribuido basándose en un parámetro de funcionamiento del sistema de dispensación, como la duración de funcionamiento de la bomba (posiblemente en asociación con un regulador de caudal, véase, por ejemplo, el documento WO2008046518A1), el movimiento del pistón o el número de revoluciones de un pistón montado sobre un vástago roscado (véase el documento US2017208920A1) o de una bomba peristáltica (véase el documento WO2017213834).

Para proporcionar un mejor control de las cantidades de productos dispensados, una solución común es equipar la zona de recepción con un sensor de peso (celda de carga) como se describe en varios documentos citados anteriormente. Este sensor de peso puede adoptar en particular la forma de una balanza que comprende un platillo sobre el cual se coloca el receptáculo en la zona de dispensación. El dato de peso devuelto por el sensor es usado por un controlador para regular y controlar el miembro de dispensación.

Un método conocido de regulación y control es controlar el sistema de dispensación paso a paso, o revolución a revolución, y verificar si se ha alcanzado o no el peso objetivo en cada etapa del sistema. Por supuesto, este método de control aumenta enormemente el tiempo necesario para dispensar la cantidad deseada. Adicionalmente, el grado de precisión del sistema depende de la amplitud de la etapa de control y del movimiento unitario definido. Cuanto menor sea la etapa de control, más preciso podrá ser el sistema, pero el tiempo necesario para dispensar el peso deseado de producto será consecuentemente mayor.

Un segundo método común de regulación y control es usar un controlador de tipo PID que permite, por ejemplo, una dispensación continua del producto con una dispensación inicial más rápida del producto seguida de una desaceleración del miembro de dispensación a medida que se acerca al peso objetivo hasta llegar lo más cerca posible de este objetivo. Este tipo de controlador es totalmente conocido y se usa ampliamente en todas las áreas de la industria, incluida la cría de ganado para la dispensación controlada de alimentos. Este tipo de controlador PID es particularmente adecuado para el control de sistemas lineales y generalmente es adecuado para aquellos sistemas de dispensación cuyas reglas de funcionamiento pueden conocersea priori.

Una alternativa a un controlador PID podría ser un controlador de lógica difusa o FLC. Sin embargo, la implementación de un controlador de este tipo requiere una potencia de cálculo relativamente alta y su ajuste es extremadamente complejo. Asimismo, generalmente se recomienda la lógica difusa para abordar, más particularmente, el problema de obtener información vaga e imprecisa sobre el estado del sistema. No ocurre lo mismo con una máquina dispensadora de cosméticos equipada con una celda de pesaje, ya que sería difícil calificar de vagos e imprecisos los datos devueltos por esta celda de pesaje. Por lo tanto, un sistema de este tipo no sería especialmente adecuado para controlar un sistema simple, como una máquina para dispensar un producto cosmético cuyas reglas de control son fácilmente determinables o conocidasa priori.

Por tanto, aunque potencialmente complejo de optimizar, un controlador PID puede ser preferible, y, más aún, con la disponibilidad de métodos que facilitan su ajuste usando, por ejemplo, algoritmos genéticos.

Sin embargo, se ha observado que este tipo de control y regulación común tiene límites y podría ser insuficiente para lograr un control y regulación óptimos de la dispensación de un producto cosmético en un receptáculo mediante un miembro electromecánico accionado. Por tanto, existe la necesidad de una máquina para dispensar un producto cosmético cuyo sistema de dispensación sea fácilmente adaptable y que tenga una necesidad reducida de mantenimiento, calibración y ajuste.

La presente solicitud pretende abordar estas limitaciones y para ello propone un dispositivo para dispensar un peso determinado de un producto cosmético en un receptáculo desde un depósito, comprendiendo el dispositivo al menos un miembro electromecánico capaz de desplazar una cantidad de producto cosmético desde dicho depósito instalado en el dispositivo hasta una zona de dispensación de dicho dispositivo donde dicha cantidad de producto puede ser transferida a través de una boquilla hacia el interior del receptáculo recibido en dicha zona de dispensación, comprendiendo el dispositivo un controlador configurado para entregar una señal de control al miembro electromecánico basándose en un error con respecto a un punto de consigna correspondiente al peso de producto cosmético a dispensar y determinado basándose en un dato de pesaje obtenido por al menos una celda de pesaje para el depósito instalado en la zona de recepción, estando el dispositivo caracterizado por que el controlador es un controlador de aprendizaje por refuerzo.

De esta forma, al implementar un controlador de aprendizaje por refuerzo, es posible obtener un dispositivo de dispensación extremadamente adaptable con respecto a su entorno externo y a sus cambios.

Más precisamente, el controlador de aprendizaje por refuerzo implementa una estrategia (función de política) que define una acción que debe realizar el miembro electromecánico según un estado del dispositivo durante una operación de dispensación de un producto cosmético. La estrategia está adaptada para optimizar una recompensa cuantitativa a lo largo del tiempo.

Dada la precisión requerida y el hecho de que no es deseable superar la cantidad objetivo de producto a dispensar, podría ser útil elegir una estrategia del tipo "prudente". La función de recompensa dependerá directamente del error, es decir, de la diferencia entre la cantidad objetivo a dispensar y la cantidad realmente dispensada determinada a partir del estado del dispositivo. Por supuesto, son posibles otros métodos para tener en cuenta el error y, en particular, su historial a lo largo de la dispensación (uso de una función de valor).

El estado del dispositivo está definido por el dato de pesaje que representa el peso del producto cosmético dispensado en el receptáculo y la diferencia o error con respecto al peso objetivo del producto a dispensar.

El estado del dispositivo se puede definir con mayor precisión usando otros sensores ambientales (por ejemplo, sensor de temperatura, higrómetro, etc.). Preferiblemente, sin embargo, solo se usa el dato de pesaje para representar el estado del dispositivo con respecto al peso nominal que se debe dispensar.

La acción a realizar consiste en una señal de control destinada al miembro electromecánico y se elige entre un conjunto de acciones disponibles para accionar directamente el miembro electromecánico. La acción puede ser una acción unitaria o corresponder a un perfil de control.

Más precisamente, las acciones consisten en mover un actuador del miembro de dispensación electromecánico mediante comandos de control numérico. Dependiendo del tipo de miembro de dispensación, las acciones disponibles podrían, por ejemplo, ser del tipo:rotar N pasos; mover un pistón durante x segundos a una velocidad v, mover el pistón una distancia d, detener el comando de control, etc.

Estas acciones disponibles pueden combinarse para formar comandos de control de alto nivel. Estos comandos de control de alto nivel pueden definir por sí mismos un perfil de control y/o una acción unitaria para un sistema complejo que combina miembros adicionales con el miembro de dispensación electromecánica, tales como válvulas de suministro o de cierre que deben controlarse junto con el actuador.

El estado del dispositivo puede obtenerse durante la operación de dispensación (para un refuerzo continuo) y/o al final de una operación de dispensación (para un refuerzo global de una acción global correspondiente a un perfil de dispensación). El estado del dispositivo puede obtenerse durante la operación de dispensación de forma continua o discontinua, preferiblemente a intervalos regulares, en particular después de cada acción unitaria realizada.

En concreto, aunque un sistema de este tipo para dispensar productos cosméticos podría considerarse un sistema lineal simple, se ha observado que existen muchas causas de variabilidad, no sólo en el entorno sino también en la propia dispensación.

Como se ha explicado anteriormente, en caso de variación de las características físico-químicas del producto, por ejemplo, debido a las condiciones del entorno en el que se usa la máquina o al envejecimiento del producto a lo largo del tiempo, la calibración inicial de los miembros de dispensación ya no será válida, lo que puede dar lugar a errores en la dispensación. Por tanto, si el miembro de dispensación ha sido calibrado para suministrar una cantidad determinada de producto en condiciones normales de temperatura y presión (por ejemplo, 25° a 1 atm, humedad normal), el uso de la máquina en un entorno muy húmedo a 40° y a altitud podría requerir un nuevo procedimiento de calibración en el sitio.

Las tolerancias de fabricación de las distintas partes del sistema y su desgaste a lo largo del tiempo también pueden ser un factor de variación. Por esta razón lo ideal es calibrar cada máquina individualmente.

Asimismo, si se sustituye un producto por un producto diferente que presenta características fisicoquímicas diferentes para las que la máquina no ha sido calibrada, también será necesario calibrar el miembro de dispensación. Por tanto, un cartucho de un producto nuevo y, por ejemplo, mucho más viscoso que el producto inicial, no podrá ser dispensado con precisión directamente por la máquina sin una intervención específica. El sistema no es "plug and play".

Aunque estas variaciones tendrán sólo un efecto pequeño o fácilmente corregible para grandes cantidades o para un producto fabricado bajo condiciones conocidas, la cantidad relativamente pequeña de producto a entregar para un producto "personalizado" hace que tales errores de medición sean particularmente sensibles.

En el caso particular de la coloración del cabello, donde la variación en la cantidad de tinte puede tener un efecto sustancial en el color final obtenido, es especialmente importante implementar sistemas de dispensación fiables y precisos.

Aunque el control de aprendizaje por refuerzo ya es conocido y usado en diversos sectores, generalmente está orientado al control de sistemas complejos cuyas reglas que rigen el entorno no son conocidas o son altamente inciertas. Es por esto que este tipo de controlador se usa comúnmente en aplicaciones aeronáuticas o de automoción para controlar drones y vehículos autónomos, por ejemplo.

Por tanto, el control de aprendizaje por refuerzo se aplica con éxito en campos tan diversos como el vuelo autónomo de helicópteros, el movimiento de robots dotados de "patas" que han de "aprender" a controlar, el enrutamiento en redes de telefonía celular, el control de fábricas o la indexación de páginas web por un motor de búsqueda.

Más en particular, se conoce el documento WO2015067956A1 que describe el uso de un controlador de aprendizaje por refuerzo para dispensar un producto anestésico a un paciente. La elección de dicho control está motivada por el hecho de que el estado del paciente es difícil de determinar y predecir mediante ecuaciones usando sus signos vitales ("política específica del paciente", determinación de reglas de administración específicas para el paciente).

En el presente campo de aplicación, se ha observado que a pesar de quea priorise pueden obtener de forma precisa y fiable reglas de funcionamiento sencillas del sistema y datos de pesaje, en realidad existen muchas causas de variabilidad en el sistema, en particular debido a los propios productos a dispensar o a partes de la propia máquina y no únicamente a un entorno externo impredecible o difícil de medir.

por tanto, a diferencia del documento WO2015067956A1 citado anteriormente que prevé un módulo de aprendizaje que tiene como objetivo determinar una "función de política" específica del paciente al que se dispensa el producto, la presente solicitud prevé un módulo de aprendizaje que tiene como objetivo determinar una "función de política" específica de la máquina y de los productos dispensados.

La posición del solicitante es por tanto que los casos conocidos anteriores de uso de un módulo de aprendizaje de este tipo, incluso en una máquina para dispensar un producto, no incitan en modo alguno a usar este tipo de módulo para una máquina dispensadora en la que la variabilidad proviene realmente de la propia máquina (componentes o productos a dispensar).

Asimismo, del documento WO2015067956A1 se desprende que la acción que debe seleccionar el módulo de aprendizaje es una acción que determina la cantidad de producto que se debe administrar al paciente (Reivindicación 1). Se trata por lo tanto de usar el módulo de aprendizaje por refuerzo para determinar y adaptar una cantidad objetivo (punto de consigna) de dispensación y no, como en la presente solicitud, de comprobar que la cantidad dispensada es conforme a la cantidad objetivo y, en su caso, adaptar el perfil de dispensación (conjunto de acciones de accionamiento del miembro electromecánico) para corregir las variaciones. El documento WO2019180252A1 es similar en la medida en que se usa el módulo de aprendizaje por refuerzo para determinar el tamaño de las tazas de café introducidas en la máquina y deducir la cantidad de café a usar de las mismas. En la presente solicitud se determina la cantidad de producto a dispensar (fijada, por la receta de la composición, etc.) y se implementa el módulo de aprendizaje por refuerzo para controlar que los miembros de dispensación (bombas, tubos, producto cosmético en el depósito) permitan dispensar la cantidad deseada y, en su caso, adaptar el perfil de dispensación. Se trata, por tanto, en esencia, de adaptarse a una variabilidad interna de la máquina dispensadora, más que directamente a una variabilidad externa.

La implementación de una unidad de control que usa un módulo de aprendizaje por refuerzo que adapta el perfil de control del miembro electromecánico en lugar del punto de consigna que fija la cantidad de producto ofrece, en particular, las siguientes ventajas:

- adaptabilidad a un producto cosmético que presente características físico-químicas diferentes del producto usado anteriormente en la máquina dispensadora, sin necesidad de calibración o recalibración previa,

- una dispensación fiable y robusta capaz de adaptarse a las variaciones del entorno, como la temperatura, la humedad y la presión, y a su efecto sobre el producto cosmético a dosificar, en particular su densidad, sin necesidad de recalibración,

- dispensación fiable y robusta respecto a las variaciones de fabricación y tolerancias en la máquina dispensadora, sin necesidad de recalibración,

- dispensación fiable y robusta respecto a la sustitución de elementos de la máquina en operaciones de mantenimiento,

- independencia relativa con respecto a la tecnología de dispensación empleada.

Para obtener explicaciones más precisas de los principios de funcionamiento y los conceptos relacionados con el aprendizaje por refuerzo, se puede consultar el artículo"Playing Atari with Deep Reinforcement Learning",que describe la implementación de dicho sistema, y"Reinforcement Learning: An Introduction"de Richard S. Sutton y Andrew G. Barto.

Según una primera variante de realización, el controlador de aprendizaje por refuerzo usa un algoritmo de regresión según un proceso gaussiano.

En el caso del proceso gaussiano se requiere una fase de calibración previa. En la fase de calibración, el controlador y su modelo de aprendizaje explorarán varias acciones de control para el miembro electromecánico, o incluso todas las acciones disponibles, y observarán las cantidades correspondientes entregadas (estado obtenido asociado). En esta fase de calibración no se controla la cantidad dispensada y posteriormente el producto se desecha.

El uso de la regresión del proceso gaussiano permite, en particular, obtener una estimación de la confianza del sistema en su rendimiento basándose en la cantidad objetivo. Esta confianza puede integrarse en la estrategia. Por tanto, en una fase de calibración, el sistema puede explorar las distintas estrategias para las distintas cantidades con el fin de minimizar el riesgo de error para todas las cantidades.

Según una segunda variante, el controlador de aprendizaje por refuerzo usa un algoritmo de aprendizaje por refuerzo profundo.

En el caso del aprendizaje por refuerzo profundo, es posible entrenar al modelo para que se calibre dinámicamente mientras realiza la tarea de dispensación. Por ejemplo, la estrategia adoptada podría ser inicialmente de tipo "prudente" con un comportamiento cercano al "paso a paso", o revolución a revolución, y a medida que el módulo de aprendizaje adquiera más confianza en su capacidad de dispensar con precisión, la estrategia podría adaptarse en consecuencia.

Según una primera realización, el controlador de aprendizaje por refuerzo se basa en un modelo predictivo inicial. Este tipo de construcción permite una adaptación más rápida del controlador a los cambios en su entorno.

Alternativamente, el controlador de aprendizaje por refuerzo opera sin un modelo predictivo inicial. Este tipo de construcción permite una mayor versatilidad respecto a posibles cambios en el entorno y especialmente en los componentes de la máquina. Por tanto, incluso si, por ejemplo, se tuviera que sustituir el miembro de dispensación electromecánico por otro de tecnología diferente, sería posible adaptar el controlador para alcanzar un buen grado de precisión de dispensación (esto también es posible con un modelo predictivo inicial, pero con menor adaptabilidad).

En el caso de adaptación según regresión de proceso gaussiano, será necesaria una fase de calibración como la mencionada anteriormente después de modificar un componente de la máquina. Sin embargo, en el caso de una adaptación de tipo aprendizaje profundo, dicha fase de calibración no es estrictamente necesaria.

Según una primera opción, el controlador de aprendizaje por refuerzo ha sido entrenado previamente antes del uso comercial del dispositivo. Este entrenamiento previo permite que el dispositivo esté inmediatamente operativo en el lugar de venta y también permite una adaptación más rápida a las condiciones ambientales locales. Por supuesto, el dispositivo puede ser entrenado nuevamente en su lugar de uso comercial para adaptar el controlador más finamente a las particularidades de su entorno de uso.

Según una segunda opción, el controlador de aprendizaje por refuerzo no ha sido entrenado previamente antes del uso comercial del dispositivo.

Según una primera realización, el controlador de aprendizaje por refuerzo está configurado para realizar una adaptación de la estrategia de control después de una pluralidad de operaciones de dispensación, en particular después de un número determinado de operaciones de dispensación y/o después de un período de tiempo dado, basándose en las operaciones realizadas durante este período de tiempo, definiendo juntas un perfil de dispensación. En particular, el controlador puede por tanto actualizar su estrategia de control usando todas las operaciones de dispensación de un día.

De manera alternativa o adicional, dependiendo del tipo de aprendizaje implementado por el controlador, este controlador está configurado para realizar una o más adaptaciones de la estrategia de control durante una operación de dispensación, en particular a intervalos regulares después de una acción de control unitaria (o una acción de alto nivel que define una acción unitaria para un miembro de dispensación electromecánico complejo). De esta forma, el aprendizaje del modelo de dispensación por parte del controlador podrá realizarse "sobre la marcha" o en vivo, con adaptación del modelo en tiempo real. Este tipo de operación es especialmente adecuada para máquinas en las que un producto a dispensar puede ser sustituido por un producto con características físico-químicas diferentes para permitir una adaptación durante la propia dispensación. Esto limita el riesgo de una dispensación errónea o imprecisa antes de la adaptación del modelo basándose en una pluralidad de operaciones de dispensación completas previas.

Preferiblemente, el miembro de dispensación electromecánico es una bomba volumétrica, por ejemplo, una bomba peristáltica.

Alternativamente, el miembro de dispensación electromecánico es una jeringa que dispensa por admisión seguida de entrega. El miembro de dispensación electromecánico también puede ser un pistón.

Ventajosamente, el dispositivo está configurado para recibir una pluralidad de depósitos que están configurados para ingredientes cosméticos funcionalmente diferentes, siendo dichos ingredientes cosméticos funcionalmente diferentes capaces de combinarse para formar un producto cosmético. Cada conjunto formado por un depósito de un ingrediente cosmético y por un miembro de dispensación electromecánico asociado tiene un controlador y un modelo de dispensación asociados. Si bien físicamente el controlador puede ser común, funcionalmente cada módulo de dispensación tiene su propio modelo de aprendizaje.

La presente invención se refiere también a un método de control de un miembro de dispensación electromecánico con el que está equipado un dispositivo según la invención, caracterizado porque comprende las etapas de:

- proporcionar un punto de consigna que represente un peso determinado de producto a dispensar,

- enviar una señal de control al miembro electromecánico,

- obtener, a partir de la celda de pesaje, el peso del producto dispensado tras la ejecución del comando de control por el miembro de dispensación electromecánico,

- determinar una diferencia entre el peso del producto dispensado tras la ejecución del comando de control y el punto de consigna,

- modificar la señal de control mediante un proceso de aprendizaje por refuerzo con vistas a minimizar la diferencia.

Según una primera realización, la señal de control corresponde a un perfil de dispensación completo del punto de consigna y se modifica después de al menos una operación de dispensación completa, preferiblemente después de una pluralidad de operaciones de dispensación completas, en particular después de un número predeterminado de operaciones y/o después de un intervalo de tiempo determinado.

Según una segunda realización, la señal de control corresponde a una acción de dispensación incompleta unitaria, modificándose la señal de control al menos una vez a lo largo del proceso de dispensación completo, repitiéndose las etapas de envío de la señal de control al miembro de dispensación electromecánico, de obtención y de determinación de la diferencia de dispensación y de adaptación de la señal de control mientras dicha diferencia obtenida sea mayor que cero y, preferiblemente, mayor que una cantidad mínima que puede ser dispensada por el miembro electromecánico.

La invención se puede comprender mejor con la lectura de la siguiente descripción, acompañada de ejemplos de aplicación no restrictivos de la misma, con referencia a los dibujos adjuntos, en los que:

[Figura 1] es una fotografía de una máquina dispensadora según la invención que implementa un miembro de dispensación electromecánico de tipo jeringa-pistón motorizado para dispensar una cantidad de producto cosmético contenido en un depósito principal.

[Figura 2] es una representación esquemática funcional de la máquina de la Figura 1.

[Figura 3] es una representación de otra realización de una máquina dispensadora según la presente solicitud que implementa miembros de dispensación electromecánicos de tipo bomba peristáltica para dispensar, en cantidades determinadas, dos productos cosméticos diferentes contenidos cada uno de ellos en un depósito principal asociado.

[Figura 4] es una representación esquemática funcional de la máquina de la Figura 3.

Es importante señalar que, aunque se ilustra para mayor claridad mediante máquinas que usan sólo un pequeño número de depósitos (un único depósito principal para el sistema de la Figura 1 y dos depósitos para el sistema de la Figura 3), la presente solicitud, por supuesto, no se limita a un número dado, mínimo o máximo, de depósitos, y se dirige de forma más general a máquinas dispensadoras que comprenden una pluralidad de depósitos capaces de contener juntos ingredientes cosméticos funcionalmente diferentes que pueden combinarse entre sí para formar una composición cosmética final. Por tanto, en el caso particular de una máquina para preparar una composición colorante del cabello personalizada, uno o más depósitos principales podrían contener una o más cremas base a las que se añadirán uno o más colorantes contenidos en otros depósitos para obtener la composición colorante del cabello deseada. Como se ha mencionado anteriormente, y se ilustra en las Figuras 1 y 2, la presente solicitud puede aplicarse a la dispensación en forma suelta de una cantidad determinada de un producto cosmético del cual una cantidad mayor está contenida en el depósito. La máquina puede por tanto disponer de un único depósito desde el que se dispensará una cantidad relativamente pequeña del producto contenido en dicho depósito. La presente invención es más particularmente relevante para máquinas no industriales diseñadas para dispensar cantidades relativamente pequeñas que corresponden sustancialmente a las cantidades presentes en una botella destinada a la venta. Por tanto, la cantidad máxima de producto a dispensar (punto de consigna) es preferiblemente inferior a 100 g, preferiblemente inferior a 50 g, o incluso inferior a diez gramos o incluso inferior a un gramo para ingredientes que figuran como aditivos en una base cosmética dispensada en mayor cantidad.

Para especificaciones más detalladas se puede consultar los documentos citados anteriormente que describen en detalle la composición de dichas máquinas. También es importante señalar que la presente solicitud no se limita a una aplicación en particular, y aunque se ilustra usando una máquina para producir un tinte para el cabello personalizado, es aplicable a otros productos como, por ejemplo, una base personalizada o una composición de lápiz labial personalizada.

Asimismo, aunque la presente solicitud se ilustra preferiblemente usando sistemas para dispensar productos líquidos o en crema, es aplicable a sistemas para dispensar productos sólidos, en forma de polvo fluido, o de perlas o tabletas.

La Figura 1 es una ilustración de una primera realización ilustrativa de una máquina 1 para dispensar un producto cosmético. La Figura 2 es una representación esquemática funcional de la máquina de la Figura 1.

La máquina 1 comprende un depósito principal 12 que contiene inicialmente una cantidad sustancial (capacidad, por ejemplo, superior a / litro, o incluso superior a 1 litro) de un producto cosmético P para ser dispensado en cantidades más pequeñas, normalmente del orden de algunos gramos para un aditivo cosmético a algunas decenas de gramos para una base cosmética.

Ventajosamente, el depósito 12 toma la forma de un cartucho extraíble que puede sustituirse, en particular cuando un cartucho está vacío, por un cartucho del mismo producto o de un producto diferente. Un cartucho extraíble de este tipo puede adoptar en particular la forma de un cartucho con un cuerpo rígido o de una bolsa flexible. La conexión desmontable de los depósitos no es objeto de la presente solicitud y un experto en la materia podrá usar cualquier solución conocida que permita instalar los depósitos de forma desmontable. Soluciones de ejemplo se describen en particular en los documentos citados anteriormente. Otro ejemplo ventajoso de conexión amovible de una bolsa de producto líquido se describe en la solicitud FR18/71211, todavía pendiente de publicación.

La máquina 1 comprende también una zona de dispensación 4 destinada a recibir un receptáculo 10, en particular una botella, un tarro o un cuenco, en el que debe dosificarse el producto cosmético contenido en el depósito 12, y dispensarse en una cantidad controlada. Según la presente solicitud, la zona de recepción 4 está equipada con una balanza 13 que comprende un platillo sobre el cual se coloca el receptáculo 10. La balanza constituye una celda de pesaje que permite medir el peso del receptáculo y seguir su variación a lo largo de una operación de dispensación. La celda de pesaje permite determinar en cualquier momento el peso de un producto realmente dispensado.

El depósito 12 está asociado a un sistema de dispensación electromecánico capaz de tomar, desde dicho depósito 12, una cantidad determinada de producto cosmético y de transportarla a la zona de dispensación 4 de la máquina 1 donde dicha cantidad de producto cosmético puede ser transferida al interior del receptáculo 10 a través de una boquilla de dispensación correspondiente 20.

Dichos sistemas electromecánicos no son objeto de la presente invención y un experto en la materia es libre de elegir el sistema de transferencia apropiado. Según una variante de realización, el sistema de dispensación puede ser común a una pluralidad de depósitos. Por tanto, se conocen sistemas en los que los depósitos son soportados por un carrusel capaz de llevar cada depósito a la zona de recepción donde un pistón común permite expulsar la cantidad deseada de producto cosmético en el receptáculo situado debajo de una boquilla soportada por dicho depósito. Como se ha indicado anteriormente, los documentos citados anteriormente ofrecen ejemplos de sistemas de captación y dispensación. Dado que la presente solicitud tiene por objeto el control y accionamiento de los mismos, no se describirán con más detalle.

En este caso, la máquina 1 implementa un sistema de captación y dispensación de tipo pistón-jeringa 30 cuyo funcionamiento general se describe en el documento WO2019161360A1. La jeringa 30 comprende un pistón 31 cuyo movimiento está controlado por un motor. La jeringa 30 está conectada de forma fluida tanto al depósito 12, para poder recoger su contenido, como a la boquilla de dispensación 4. Una primera válvula antirretorno 13 está dispuesta entre el depósito 12 y la jeringa 30 y una segunda válvula antirretorno 14 está dispuesta entre la jeringa 30 y la boquilla de dispensación 20, garantizando de este modo que el producto cosmético fluya del depósito 12 a la boquilla de dispensación 20.

El sistema electromecánico de captación y dispensación es capaz de ser controlado y accionado por un controlador 50 configurado para entregar una señal de control al miembro electromecánico basándose en el peso determinado de producto a dispensar (punto de consigna) y del dato de pesaje representativo de la cantidad de dicho producto cosmético dispensado.

Una vez transmitido al controlador el peso del producto a dispensar para el punto de consigna, el producto cosmético se dispensa de la siguiente manera.

Después de ajustar el peso del receptáculo (peso dispensado = 0) y retraer el pistón lo máximo posible para llenar la jeringa con el producto cosmético a dispensar, se mueve el pistón de manera controlada para expulsar el producto cosmético previamente recogido y dispensarlo en el receptáculo a través de la boquilla.

Se debe tener en cuenta que también es posible lo inverso, es decir, retraer el pistón de manera controlada para tomar una cantidad esperada de producto antes de empujar el pistón hasta el final para dispensar toda la cantidad tomada.

Según la presente solicitud, el controlador 50 implementa un algoritmo de aprendizaje por refuerzo para determinar la señal de control enviada al miembro electromecánico.

Con referencia a la Figura 5 y a las definiciones comúnmente usadas en el campo del aprendizaje por refuerzo, el controlador del miembro electromecánico que implementa el algoritmo de aprendizaje por refuerzo constituye el "agente" A, mientras que el miembro electromecánico capaz de dispensar el producto cosmético contenido en el depósito asociado constituye el "entorno" E sobre el que actúa dicho agente enviando la señal de control que constituye la "acción" at..

El "estado" S del sistema corresponde a la diferencia (o error) entre el peso de producto dispensado y el peso determinado de producto a dispensar (punto de consigna). El objetivo del "agente" A es entonces acercarse lo más posible a cero y define la "recompensa" R recibida en cada etapa de dispensación y el "valor" durante toda la operación de dispensación.

El controlador "agente" actúa por tanto sobre el miembro electromecánico "entorno" a través de la señal de control que envía en respuesta al "estado" de dispensación obtenido a través del dato de pesaje.

A diferencia de un controlador de tipo PID como el descrito anteriormente en el que la señal es una función dada del error o diferencia (los parámetros proporcional, integral y derivativo se fijan basándose en la dinámica deseada del sistema), el uso de un módulo de aprendizaje por refuerzo permite la adaptación y modificación de la señal.

En el contexto de la presente solicitud, todas o algunas de las señales de control que pueden enviarse para controlar el miembro electromecánico constituyen la totalidad de las acciones disponibles para el controlador en el contexto de una secuencia de dispensación. Las acciones disponibles para el controlador también pueden ser una señal representativa de un perfil de dispensación y cuyos parámetros pueden ajustarse (ajuste por refuerzo de coeficientes PID, por ejemplo).

Más particularmente, en el presente caso, las características dimensionales de la jeringa 30 permiten establecer una correspondenciaa priorientre el movimiento del pistón 31 y la cantidad de producto dispensado, constituyendo por tanto la distancia de movimiento del pistón desde su posición de máxima retracción un parámetro de dispensación a optimizar según el peso a dispensar.

Este modelo de dispensación puede constituir un modelo predictivo usado por el algoritmo de aprendizaje por refuerzo. Alternativamente, el algoritmo de aprendizaje por refuerzo puede implementarse sin un modelo predictivo y construir su propio modelo.

Por tanto, cuando el controlador recibe un punto de consigna que representa un peso determinado de producto cosmético a dispensar, el modelo de dispensación permite al controlador convertir el peso solicitado en una amplitud de movimiento del pistón 31 y accionar dicho pistón 31 en consecuencia.

Una vez realizada la dispensación, el peso del producto realmente dispensado se compara con el punto de consigna y la diferencia se usa para modificar la estrategia de control del controlador para operaciones de dispensación posteriores.

La estrategia de control puede adaptarse después de cada operación de dispensación o posteriormente a una pluralidad de operaciones de dispensación, en particular después de un número determinado de operaciones de dispensación y/o después de un período de tiempo dado.

En tal caso, el controlador de aprendizaje por refuerzo podría usar ventajosamente un algoritmo de regresión según un proceso gaussiano.

La Figura 6 muestra por tanto la adaptación de la estrategia de control según una función de simulaciónsimque representa el peso del producto dispensadowbasándose en un parámetro de dispensaciónd,es decir, la distancia de movimiento del pistón de la jeringa. Los puntosOcorresponden a "observaciones", es decir, estados discretos de la función de simulación proporcionada al modelo para el aprendizaje y el refuerzo. La curva discontinua y la envolvente asociada corresponden, respectivamente, al modelo estimadompor el controlador y al intervalo de confianzaICasociado al mismo mediante el módulo de inteligencia artificial.

Se puede observar que, para una función de simulación relativamente compleja y no lineal, solo se necesitan nueve operaciones de dispensación de prueba para obtener un modelo particularmente confiable.

También se han llevado a cabo experimentos en los que se ha cambiado la boquilla de distribución y se ha sustituido una boquilla de distribución con un diámetro de 0,61 mm por una boquilla de distribución con un diámetro de 1,54 mm. Este cambio podría producirse en caso de mantenimiento de la máquina 1 para la que ya no se dispone de una porción del sistema de dispensación de la que ya no se dispone de la parte original idéntica. Se ha observado que unas pocas operaciones de dispensación permiten ajustar rápidamente el modelo de dispensación del controlador para volver rápidamente a una dispensación fiable y precisa de la cantidad deseada de producto.

También se han realizado experimentos en los que se ha sustituido el producto cosmético inicial por un producto cosmético que presenta características físico-químicas diferentes. De manera similar, el controlador pudo adaptar rápidamente su estrategia de control a las nuevas propiedades de dispensación del producto.

Según otra realización, el controlador de aprendizaje por refuerzo usa un algoritmo de aprendizaje por refuerzo profundo que permite ajustar la estrategia de dispensación a lo largo de una operación de dispensación, casi en tiempo real.

Como se ha mencionado anteriormente, el controlador de aprendizaje puede usar un modelo predictivo o implementarse sin un modelo predictivo. Por tanto, el controlador de aprendizaje por refuerzo puede realizar una o más adaptaciones de la estrategia de control a lo largo de una operación de dispensación, en particular a intervalos regulares después de una acción de control unitaria. Por tanto, el número de observaciones de estado que se tienen en cuenta en el modelo se incrementa y se adapta en tiempo real para alcanzar el punto de consigna de dispensación de la forma más fiable posible.

Las etapas de envío de una señal de control al miembro de dispensación electromecánico, de obtención y de determinación de la diferencia de dispensación y de adaptación de la señal de control se repiten mientras dicha diferencia obtenida sea mayor que cero y, preferiblemente, mayor que una cantidad mínima que puede ser dispensada por el miembro electromecánico.

De forma general y complementaria, el responsable del tratamiento podrá ser entrenado previamente o no entrenado previamente antes del uso comercial del dispositivo.

Las Figuras 3 y 4 muestran una máquina 2 que se diferencia de la máquina 1 principalmente en que implementa dos depósitos 22a, 22b que contienen cada uno un producto cosmético diferente P<a.>, P<b>para ser dispensado en cantidades determinadas.

La máquina 2 se diferencia también en que el sistema de dispensación asociado a cada depósito es una bomba peristáltica 35a, 35b capaz de tomar, del depósito correspondiente, una cantidad determinada del producto cosmético y de transportarla a la zona de dispensación 4 de la máquina 2 donde dicha cantidad de producto cosmético puede ser transferida al interior del receptáculo 10 a través de una boquilla de dispensación correspondiente 20a.

A diferencia del sistema de dispensación anterior de tipo jeringa, donde el peso del producto cosmético dispensado depende de la distancia de movimiento de un pistón, para una bomba peristáltica, el parámetro de dispensacióndpodría consistir en el número de revoluciones de un rotor que aprieta un tubo para transportar el producto.

Cada bomba peristáltica 35a, 35b puede ser controlada por un controlador 51. El controlador 51 es común a ambas bombas 35a, 35b y puede accionarlas secuencialmente, una tras otra. Las bombas se accionan una tras otra debido a la presencia de un único juego de básculas debajo del receptáculo, ya que es necesario controlar el peso de cada producto dispensado. Sin embargo, cada bomba se acciona con su propio punto de consigna para el peso del producto a dispensar y según un proceso de control específico con su propio aprendizaje por refuerzo.

Cuando sea apropiado, también es posible prever un aprendizaje común por refuerzo, agrupando todas las etapas de dispensación tanto de bombas como de productos, si bien esto incrementa enormemente la complejidad de accionamiento y los requisitos en términos de capacidad de procesamiento informático.

Se debe tener en cuenta que, en general, el peso del producto cosmético que se va a dispensar, que sirve como punto de consigna de dispensación para el controlador 50, 51, se puede determinar y transmitir al controlador 50, 51 de múltiples maneras y no es objeto de la presente solicitud.

Por tanto, el peso de producto a dispensar determinado para cada componente sirve como punto de consigna de dispensación para el controlador del miembro electromecánico del depósito asociado. Los datos sobre el peso a dispensar podrán ser transmitidos a la máquina y al controlador por cualquier medio. En particular, la información puede obtenerse a través de una interfaz implementada en un dispositivo portátil, tal como una tableta con pantalla táctil, y transmitirse a la máquina de forma inalámbrica, en particular por Bluetooth o Wi-Fi, directamente o a través de un servidor remoto.

Las cantidades o proporciones de los diversos componentes de la formulación final pueden ser ingresadas manualmente por el usuario o un operador desde una interfaz adecuada o pueden calcularse basándose en la composición final deseada.

Por ejemplo, un usuario podría indicar, a través de una interfaz adecuada, el color de pelo que desea. Un ordenador, integrado o no en la máquina, podría entonces determinar, potencialmente con el uso de información adicional específica del usuario, una composición de coloración del cabello correspondiente para un tratamiento capilar. El ordenador controlará entonces la dispensación de cada componente.

Para un usuario que desee obtener un producto cosmético P que le permita obtener un color de pelo o un color de base C, un ordenador determinará, por ejemplo, que esto corresponde a un 90 % en peso de una crema base incolora o blanca B, a un 5 % en peso de un primer colorante A1 y a un 5 % en peso de un segundo colorante A2. A partir de esta información, el ordenador determinará que para una cantidad de composición de, por ejemplo, 30 g, será necesario dosificar en el receptáculo 27 g de crema base B y 1,5 g de cada uno de los colorantes A1 y A2. Como se ha mencionado, la determinación de la composición a suministrar no es objeto de la presente solicitud y para mayores ejemplos y detalles al respecto se puede hacer referencia a los documentos citados anteriormente y, en particular, a los documentos EP0443741, WO2019161360, US2015089751A1 y a US2017208920A1, US5478238A y US9519927 para bases, etc.

También cabe destacar que los modelos de aprendizaje de las distintas máquinas que forman parte de un grupo operativo pueden centralizarse y compararse para detectar desviaciones y anticipar posibles operaciones de mantenimiento. De esta forma es posible detectar, por ejemplo, una boquilla o un tubo de transporte bloqueados, o incluso que un producto en un depósito principal está casi agotado y, por tanto, indicar una futura sustitución.

Claims (15)

REIVINDICACIONES

1. Dispositivo (1,2) para dispensar un peso determinado de un producto cosmético (P, Pa, Pb) en un receptáculo (10) desde un depósito (12, 22a, 22b), comprendiendo el dispositivo al menos un miembro electromecánico (30, 35a, 35b) capaz de desplazar una cantidad de producto cosmético desde dicho depósito instalado en el dispositivo hasta una zona de dispensación (4) de dicho dispositivo donde dicha cantidad de producto puede ser transferida a través de una boquilla (20) hacia el interior del receptáculo recibido en dicha zona de dispensación, comprendiendo el dispositivo un controlador (50, 51) configurado para entregar una señal de control al miembro electromecánico basándose en un error con respecto a un punto de consigna correspondiente al peso determinado de producto cosmético a dispensar, determinándose dicho error basándose en un dato de pesaje obtenido por al menos una celda de pesaje (13) para el depósito instalado en la zona de recepción, estando el dispositivo caracterizado por que el controlador es un controlador de aprendizaje por refuerzo.

2. Dispositivo (1, 2) según la reivindicación 1, caracterizado por que el controlador de aprendizaje por refuerzo (50, 51) usa un algoritmo de regresión según un proceso gaussiano.

3. Dispositivo (1, 2) según la reivindicación 1, caracterizado por que el controlador de aprendizaje por refuerzo (50, 51) usa un algoritmo de aprendizaje por refuerzo profundo.

4. Dispositivo (1, 2) según una cualquiera de las reivindicaciones 1 a 3, caracterizado por que el controlador de aprendizaje por refuerzo (50, 51) está basado en un modelo predictivo inicial.

5. Dispositivo (1, 2) según una cualquiera de las reivindicaciones 1 a 3, caracterizado por que el controlador de aprendizaje por refuerzo (50, 51) funciona sin modelo predictivo inicial.

6. Dispositivo (1, 2) según una cualquiera de las reivindicaciones 1 a 5, caracterizado por que el controlador de aprendizaje por refuerzo (50, 51) ha sido entrenado previamente antes del uso comercial del dispositivo.

7. Dispositivo (1, 2) según una cualquiera de las reivindicaciones 1 a 5, caracterizado por que el controlador de aprendizaje por refuerzo (50, 51) no ha sido entrenado previamente antes del uso comercial del dispositivo.

8. Dispositivo (1, 2) según una cualquiera de las reivindicaciones 1 a 7, caracterizado por que el controlador de aprendizaje por refuerzo (50, 51) está configurado para realizar una adaptación de la estrategia de control después de una pluralidad de operaciones de dispensación, en particular después de un número determinado de operaciones de dispensación y/o después de un período de tiempo dado, basándose en las operaciones realizadas durante este período de tiempo, definiendo juntas un perfil de dispensación.

9. Dispositivo (1, 2) según una cualquiera de las reivindicaciones 1 a 8, caracterizado por que el controlador de aprendizaje por refuerzo está configurado para realizar una o más adaptaciones de la estrategia de control a lo largo de una operación de dispensación, en particular a intervalos regulares después de una acción de control unitaria.

10. Dispositivo (1,2) según una cualquiera de las reivindicaciones 1 a 9, caracterizado por que el miembro de dispensación electromecánico (35a, 35b) es una bomba volumétrica, por ejemplo, una bomba peristáltica.

11. Dispositivo (1,2) según una cualquiera de las reivindicaciones 1 a 9, caracterizado por que el miembro de dispensación electromecánico (30) es una jeringa.

12. Dispositivo (1, 2) según una cualquiera de las reivindicaciones 1 a 9, caracterizado por que el dispositivo está configurado para recibir una pluralidad de depósitos (22a, 22b) que están configurados para ingredientes cosméticos funcionalmente diferentes, siendo dichos productos cosméticos funcionalmente diferentes susceptibles de ser combinados para formar un producto cosmético.

13. Método para controlar un miembro de dispensación electromecánico (30, 35a, 35b) con el que está equipado un dispositivo (1,2) según una cualquiera de las reivindicaciones 1 a 12, caracterizado por que comprende las etapas de: - proporcionar un punto de consigna que represente un peso determinado de producto a dispensar,

- enviar una señal de control al miembro electromecánico,

- obtener, a partir de la celda de pesaje (13), el peso del producto dispensado tras la ejecución del comando de control por el miembro de dispensación electromecánico,

- determinar una diferencia entre el peso del producto dispensado tras la ejecución del comando de control y el punto de consigna,

- modificar la señal de control mediante un proceso de aprendizaje por refuerzo con vistas a minimizar la diferencia.

14. Método de control según la reivindicación 13 para controlar un dispositivo según la reivindicación 8, caracterizado por que la señal de control corresponde a un perfil de dispensación completo del punto de consigna y se modifica después de al menos una operación de dispensación completa, preferiblemente después de una pluralidad de operaciones de dispensación completas, en particular después de un número predeterminado de operaciones y/o después de un intervalo de tiempo determinado.

15. Método de control según la reivindicación 13 para controlar un dispositivo según la reivindicación 9, caracterizado por que la señal de control corresponde a una acción de dispensación incompleta unitaria, modificándose la señal de control al menos una vez a lo largo del proceso de dispensación completo, repitiéndose las etapas de envío de la señal de control al miembro de dispensación electromecánico, de obtención y de determinación de la diferencia de dispensación y de adaptación de la señal de control mientras dicha diferencia obtenida sea mayor que cero y, preferiblemente, mayor que una cantidad mínima que puede ser dispensada por el miembro electromecánico.