ES2989343T3

ES2989343T3 - Marco de referencia de aprendizaje para la reparación robótica de pintura

Info

Publication number: ES2989343T3
Application number: ES19779999T
Authority: ES
Inventors: Brett R Hemes; John W Henderson; Nathan J Herbst; Steven P Floeder; Jeffrey P Adolf
Original assignee: 3M Innovative Properties Co
Current assignee: 3M Innovative Properties Co
Priority date: 2018-08-27
Filing date: 2019-08-21
Publication date: 2024-11-26
Anticipated expiration: 2039-08-21
Also published as: EP3843908B1; EP4421578A3; EP3843908A1; EP4421578A2; FI3843908T3; JP7447086B2; JP2021535502A; CN112601618A; US20210323167A1; WO2020044178A1

Abstract

Un método y un sistema asociado para proporcionar una reparación robótica de pintura incluye recibir coordenadas de defectos identificados en un sustrato junto con características de los defectos, y comunicar las coordenadas a un módulo controlador de robot junto con datos adicionales necesarios para controlar un manipulador de robot para acercar un efector final del manipulador de robot al defecto identificado en el sustrato. Las características del defecto y el estado actual de al menos el efector final se proporcionan a un servidor de políticas que proporciona acciones de reparación basadas en una política de control previamente aprendida que se actualiza mediante una unidad de aprendizaje automático. La acción de reparación se ejecuta comunicando instrucciones para la acción de reparación al módulo controlador de robot y al efector final. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Marco de referencia de aprendizaje para la reparación robótica de pintura

Campo técnico

Esta solicitud está dirigida a un marco de referencia para aprender y ejecutar reparaciones automatizadas específicas de defectos para aplicaciones de pintura (p. ej., lijado de imprimación, eliminación de defectos de capas transparentes, pulido de capas transparentes, etc.). Las técnicas descritas automatizan la generación y la utilización de conocimientos técnicos sobre procesos específicos del dominio utilizando métodos de aprendizaje automático del estado de la técnica para la inspección, clasificación y optimización de políticas.

Antecedentes

La reparación de capas transparentes es una de las últimas operaciones automatizadas en el sector de la fabricación de equipos originales (Original Equipment Manufacturing - OEM) para automóviles. Se desean técnicas para automatizar este proceso, así como otras aplicaciones de pintura (p. ej., lijado de imprimación, eliminación de defectos de la capa transparente, pulido de la capa transparente, etc.) que permitan el uso de abrasivos y/o la inspección y reparación robóticas. De forma adicional, este problema no se ha resuelto en el sector de posventa.

Los intentos anteriores para automatizar la detección y reparación de defectos de pintura incluyen el sistema descrito en la publicación de patente US 2003/0139836, que describe el uso de imágenes electrónicas para detectar y reparar defectos de pintura en la carrocería de un vehículo. El sistema compara los datos de imágenes del vehículo con los datos CAD del vehículo para desarrollar coordenadas tridimensionales de defectos de pintura para cada defecto de pintura. Los datos de defectos de pintura y las coordenadas de defectos de pintura se utilizan para desarrollar una estrategia de reparación para la reparación automatizada utilizando una pluralidad de robots automatizados que realizan una variedad de tareas que incluyen lijar y pulir el defecto de pintura. La estrategia de reparación incluye los parámetros del recorrido y de procesamiento, las herramientas y la elección del robot. Se pueden usar sensores de retroalimentación de fuerza para controlar el proceso de reparación. Las tareas adicionales pueden incluir generar recorridos del robot y parámetros de herramientas, realizar un registro de datos de calidad e informar de errores. Sin embargo, no se proporcionan detalles del proceso de reparación. Además, el sistema no aplica técnicas de coincidencia de patrones o aprendizaje automático para ayudar a identificar los defectos o determinar el proceso óptimo para corregir el defecto.

La publicación de patente US 2017/0277979 describe el uso de un clasificador de patrones en un sistema de inspección de vehículos para identificar defectos a partir de imágenes generadas al hacer brillar luz sobre una superficie especular en una posición fija y medir la luz reflejada usando una cámara fija. El clasificador de patrones está entrenado para mejorar los resultados de detección de defectos usando las imágenes para crear un conjunto de entrenamiento de imágenes para el modelo y el color de un vehículo. Un humano o una máquina examinan las imágenes del conjunto de entrenamiento para identificar qué imágenes y qué píxeles tienen defectos. Sin embargo, no se describen técnicas automatizadas para corregir los defectos identificados.

La patente US-9.811.057 describe el uso del aprendizaje automático para predecir la vida útil de un motor mediante la observación de una variable de estado que comprende datos de salida de un sensor que detecta el estado de funcionamiento del motor y datos relacionados con la presencia o ausencia de un fallo en el motor. Una unidad de aprendizaje aprende la condición asociada a la vida útil prevista del motor de acuerdo con un conjunto de datos de entrenamiento creado basándose en una combinación de la variable de estado y la vida real medida del motor.

US5477268 A, publicada el 19-12-1995, describe un aparato para detectar defectos y terminar una superficie de una pieza de trabajo que se mueve a una velocidad predeterminada a lo largo de una línea de acabado automática.

US2003139836 A1, publicada el 24-07-2003, describe un método para detectar y reparar defectos de pintura en la carrocería de un vehículo.

El artículo “Virtual-Reality-Based Point-and-Direct Robotic Inspection in Manufacturing” de Collin Wang; David J Cannon (ISSN 1042-296X) describe un paradigma de fabricación flexible en el que el agarre del robot se especifica de forma interactiva y las imágenes esqueléticas se utilizan de manera eficiente en combinación para permitir configurar rápidamente las tareas de identificación de desperfectos en la fabricación de pequeñas cantidades o grandes variedades.

El solicitante no puede encontrar ninguna aplicación de técnicas de aprendizaje automático para identificar y reparar los defectos de la pintura de forma automatizada. Además, los sistemas del estado de la técnica no tienen en cuenta las variaciones en los procesos automatizados utilizados por los clientes para inspeccionar y corregir los defectos de pintura. Se desean técnicas mejoradas para automatizar estos procesos.

Resumen

La invención se define mediante las reivindicaciones adjuntas. A continuación se describen varios ejemplos para introducir una selección de conceptos de forma simplificada que se describen con mayor detalle más adelante en la Descripción detallada. El resumen no pretende identificar las características clave o esenciales del objeto reivindicado, ni pretende usarse para limitar el alcance del objeto reivindicado.

Los sistemas y métodos descritos en la presente memoria abordan el problema del procesamiento abrasivo con robots al ofrecer procesos óptimos específicos para cada dominio y problema basados en la geometría por pieza y la inspección/retroalimentación, junto con la capacidad de aprender nuevos procesos y/o adaptarse a las desviaciones del proceso del cliente. Los sistemas y métodos descritos en la presente memoria sirven para digitalizar las técnicas tradicionales de ingeniería de aplicaciones de una manera que puede revolucionar la forma en que se consumen los abrasivos al ofrecer soluciones óptimas y rentables que se adaptan tanto a la aplicación del cliente como a un producto abrasivo particular del fabricante de abrasivos de una manera que protege el conocimiento específico del dominio del cliente y del fabricante de abrasivos. Aunque se describen para proporcionar la reparación robótica de pintura, que incluye la reparación de imprimaciones, pinturas y capas transparentes, se apreciará que las técnicas descritas en la presente memoria se prestan a otras aplicaciones industriales más allá de la reparación de pintura.

Realizaciones ilustrativas de un método implementado por ordenador para proporcionar una reparación robótica de pintura, tal como se describe en la presente memoria, incluyen las etapas de recibir las coordenadas de cada defecto identificado en un sustrato junto con las características de cada defecto, comunicar las coordenadas de un defecto identificado en el sustrato a un módulo controlador de robot junto con cualquier dato adicional necesario para que el módulo controlador de robot controle un robot manipulador para acercar un efector de extremo del robot manipulador al defecto identificado en el sustrato, proporcionar características del defecto y de un estado actual de al menos el efector de extremo del robot manipulador a un servidor de políticas, recibir una acción de reparación del servidor de políticas en función de una política de control previamente aprendida y ejecutar la acción de reparación comunicando instrucciones al módulo controlador del robot y al efector de extremo para implementar la acción de reparación. En realizaciones ilustrativas, la acción de reparación incluye al menos uno de los puntos de ajuste de las RPM de una herramienta de lijado, una entrada de control para una brida de fuerza adaptable, una trayectoria del robot manipulador y el tiempo total de procesamiento. La acción de reparación puede incluir lijar el sustrato en la ubicación del defecto identificado y pulir o bruñir el sustrato en la ubicación del defecto identificado.

En realizaciones ilustrativas, la trayectoria del robot manipulador se comunica al robot manipulador en forma de desplazamientos posicionales variables en el tiempo con respecto al origen del defecto que se esté reparando. Un dispositivo de procesamiento también recibe las características de cada defecto, incluidos los datos de inspección recopilados in situ localmente de los sensores del efector de extremo. En tal caso, el método incluye las etapas adicionales de proporcionar los datos in situ a una unidad de aprendizaje automático para crear actualizaciones de aprendizaje utilizando al menos una de las mediciones de proyección de patrones marginales, deflectometría e intensidad de la luz blanca normal o reflejada difusa utilizando una cámara. En las realizaciones ilustrativas, las etapas desde proporcionar las características del defecto y el estado actual del efector de extremo al servidor de políticas hasta la etapa de proporcionar los datos de inspección in situ se repiten hasta que el defecto identificado esté reparado satisfactoriamente.

En otras realizaciones, el dispositivo de procesamiento recibe además datos de calidad relacionados con la calidad de una reparación resultante de la acción de reparación y proporciona las características del defecto y los datos de calidad al servidor de políticas para su registro. Las características del defecto también pueden comprender imágenes en bruto sin procesar.

En otras realizaciones adicionales, el dispositivo de procesamiento implementa un módulo de aprendizaje automático que ejecuta actualizaciones de aprendizaje para mejorar las futuras acciones de reparación desde el servidor de políticas en función de un defecto identificado en particular y la posterior evaluación de una reparación ejecutada. El dispositivo de procesamiento también puede identificar una reparación como buena o mala utilizando la retroalimentación del sensor recopilada durante y/o después de la ejecución de la acción de reparación e implementar el aprendizaje por refuerzo para desarrollar una acción de reparación para un defecto identificado. El aprendizaje por refuerzo se implementa mapeando imágenes en bruto de los defectos identificados para las acciones de reparación, asignando recompensas en función de la calidad de la acción de reparación e identificando una política que maximice la recompensa. En realizaciones alternativas, el método puede incluir además encontrar la política de control aprendida utilizando defectos simulados físicamente. La política de control aprendida también puede usar datos de utilización de abrasivos para tomar decisiones basadas en la vida útil restante del abrasivo.

El aprendizaje por refuerzo también puede implementarse como una tarea de aprendizaje por refuerzo basada en un proceso de decisión de Markov (Markov Decision Process - MDP). El MDP puede ser un MDP finito que tiene tareas implementadas en un gráfico de transición del MDP que utilice al menos los estados de Inicial, Lijado, Pulido y Completado, en donde el estado Inicial se aumenta para incluir el defecto identificado en su estado original e inalterado, el estado Lijado y el estado Pulido se producen después de las acciones de lijado y pulido, respectivamente, y el estado Completado marca el final del proceso de reparación. En configuraciones opcionales, el estado Lijado y el estado Pulido incluyen datos de inspección in situ recopilados localmente de los sensores del efector de extremo.

En otras realizaciones adicionales, las tareas implementadas en el gráfico de transición del MDP incluyen acciones que comprenden al menos una de completar, atender disco, lijar y pulir, en donde la acción completar lleva un proceso inmediatamente al estado Completado, la acción atender disco indica al robot manipulador que humedezca, limpie o reemplace un disco abrasivo para el efector de extremo, y la acción de lijar y la acción de pulir se implementan utilizando parámetros que incluyen al menos una de las RPM de una herramienta de lijado del efector de extremo, la presión aplicada, el tiempo de permanencia/procesado y la trayectoria de reparación del robot manipulador. La acción de lijar y la acción de pulir pueden ser funciones paramétricas continuas para parámetros continuos. Las tareas implementadas en el gráfico de transición del MDP pueden incluir además una única acción de atender disco seguida de una única acción de lijar seguida de una única acción de pulir.

Los métodos se implementan mediante un sistema robótico de reparación de pintura. En ejemplos ilustrativos, el sistema robótico de reparación incluye: un robot manipulador que controla un efector de extremo que incluye al menos uno de los elementos de lijado y pulido para al menos uno de lijar y pulir un sustrato, un módulo controlador de robot que controla los movimientos y el funcionamiento del robot manipulador, un servidor de políticas que mantiene una política o políticas aprendidas actuales que relacionan un defecto identificado con una o más acciones de reparación y proporciona salidas de control basadas en consultas de estado y observación, y una unidad de control. La unidad de control tiene uno o más procesadores que procesan las instrucciones para implementar las etapas de recibir las coordenadas de cada defecto identificado en el sustrato junto con las características de cada defecto, comunicar las coordenadas de un defecto identificado en el sustrato al módulo controlador del robot junto con cualquier dato adicional necesario para que el módulo controlador del robot controle el robot manipulador para acercar el efector de extremo al defecto identificado en el sustrato, recibir una acción de reparación del servidor de políticas basada en las características del defecto y una política de control previamente aprendidas, proporcionar al servidor de políticas las características del defecto y un estado actual de al menos el efector de extremo del robot manipulador, y ejecutar la acción de reparación comunicando instrucciones al módulo controlador del robot y al efector de extremo para implementar la acción de reparación. La unidad de control incluye además instrucciones para implementar las otras etapas del método tal como se describe en la presente memoria.

Cualquiera de los ejemplos anteriores puede combinarse con uno o más de los otros ejemplos anteriores para crear una nueva realización dentro del alcance de la presente descripción.

Breve descripción de los dibujos

En los dibujos, que no están necesariamente dibujados a escala, números similares pueden describir componentes similares en diferentes vistas. Generalmente los dibujos ilustran, a modo de ejemplo, pero no de forma excluyente, varias realizaciones explicadas en el presente documento.

La Fig. 1 ilustra la reparación robótica de pintura para aplicaciones en la OEM y de posventa.

La Fig. 2 ilustra los componentes de un bloque de reparación robótica de pintura desglosados esquemáticamente.

La Fig. 3 ilustra la reparación robótica de pintura que incluye un componente de aprendizaje y una planificación y optimización de procesos basadas en la nube según una realización ilustrativa.

La Fig. 4 ilustra un flujo de proceso ilustrativo de una realización ilustrativa para la reparación robótica de pintura en una realización ilustrativa.

La Fig. 5 ilustra un gráfico de transición del proceso de decisión de Markov (MDP) de un proceso de lijado y pulido adecuado para el aprendizaje por refuerzo en una realización ilustrativa.

La Fig. 6 ilustra un gráfico de transición del MDP simplificado de un proceso de lijado y pulido adecuado para el aprendizaje por refuerzo en otra realización ilustrativa.

La Fig. 7 ilustra un sustrato de aprendizaje de defectos de alta densidad en el que el defecto causado por la introducción de suciedad sintética de un tamaño particular bajo la capa transparente es más visible en los límites de la reflexión de la luz del techo.

La Fig. 8 ilustra patrones de pulido ilustrativos.

La Fig. 9 ilustra un ejemplo de inclusión de alta eficiencia de los patrones de pulido.

La Fig. 10 ilustra imágenes de defectos de pintura de CONTROL de reflejo Micro-Epsilon proporcionadas por el fabricante.

La Fig. 11 muestra ocho imágenes, cuatro de un patrón marginal vertical desviado y cuatro de un patrón marginal horizontal desviado, cada una desplazada en múltiplos de n /2.

La Fig. 12 muestra los mapas de curvatura horizontal y vertical calculados usando el arco tangente de los píxeles a lo largo de los cuatro patrones marginales desviados con el posterior desenrollado de fase.

La Fig. 13 es el mapa de curvatura local compuesto (raíz cuadrada de la suma de cuadrados) que combina los resultados horizontales y verticales visualizados como un mapa de intensidad y una cuadrícula.

La Fig. 14 muestra una imagen ilustrativa reflejada en campo oscuro cercano.

La Fig. 15 ilustra un ordenador de uso general que puede programarse en un ordenador especializado adecuado para implementar una o más realizaciones del sistema descrito en las realizaciones ilustrativas.

Descripción detallada

Debe entenderse desde el principio que, aunque a continuación se proporciona una implementación ilustrativa de una o más realizaciones, los sistemas y/o métodos descritos con respecto a las Figs. 1-15 pueden implementarse usando cualquier número de técnicas, ya sean conocidas actualmente o existentes. La descripción no debe limitarse de ninguna manera a las implementaciones, dibujos y técnicas ilustrativos que se ilustran a continuación, incluidos los diseños e implementaciones ejemplares ilustrados y descritos en la presente memoria, sino que pueden modificarse dentro del alcance de las reivindicaciones adjuntas junto con sus equivalentes en todo su alcance.

Las funciones o los algoritmos descritos en la presente memoria pueden implementarse en software en una realización. El software puede consistir en instrucciones ejecutables por ordenador almacenadas en un medio legible por ordenador o en un dispositivo de almacenamiento legible por ordenador, tal como una o más memorias no transitorias u otro tipo de dispositivos de almacenamiento basados en hardware, ya sean locales o en red. Además, tales funciones corresponden a módulos, que pueden ser software, hardware, firmware o cualquier combinación de los mismos. Se pueden realizar múltiples funciones en uno o más módulos, según se desee, y las realizaciones descritas son meros ejemplos. El software puede ejecutarse en un procesador de señales digitales, ASIC, microprocesador u otro tipo de procesador que funcione en un sistema informático, tal como un ordenador personal, un servidor u otro sistema informático, convirtiendo este sistema informático en una máquina programada específicamente.

Visión general

Se describen sistemas y métodos para automatizar el proceso de reparación de defectos para aplicaciones de pintura mediante el procesamiento abrasivo automatizado y el posterior pulido. Los sistemas y métodos incluyen combinaciones novedosas de herramientas robóticas (inteligentes) y/o manipulación de piezas, técnicas de detección, una política estocástica de procesos que da como resultado el comportamiento deseado del sistema en función del estado actual de la pieza/sistema y la retroalimentación proporcionada, y un componente de aprendizaje opcional capaz de optimizar la política de proceso proporcionada, adaptar continuamente la política debido a las variaciones del proceso anterior del cliente y/o aprender la política de proceso desde cero con poca o ninguna intervención humana.

Los avances recientes en la potencia computacional han hecho posible el proceso de inspección de capas transparentes a velocidades de producción. En particular, recientemente se ha demostrado que la deflectometría estéreo es capaz de proporcionar información espacial de los defectos de pintura y capa transparente con una resolución adecuada para permitir la posterior reparación puntual automática. Utilizando métodos de inspección convencionales, un sistema automatizado 100 de reparación puntual de capas transparentes, en una realización ilustrativa, podría parecerse al dibujo esquemático de la Fig. 1 para aplicaciones en la OEM de automóviles. En la Fig. 1, los recuadros respectivos representan varios componentes de hardware del sistema, incluidos el controlador 102 del robot, el robot manipulador 104 y el bloque 106 de reparación robótica de pintura, que incluye la unidad 108 de control de la fuerza de adaptación, las herramientas 110 y los artículos/compuestos abrasivos 112. El flujo de datos se ilustra mediante la flecha 114 de fondo, que comienza con el módulo 116 de datos previos a la inspección, que proporciona datos de inspección que incluyen los defectos identificados en el sustrato, y termina con el módulo 118 de datos de defectos posteriores a la inspección, para procesar los datos generados del sustrato 120 durante el proceso de reparación del defecto.

En una realización ilustrativa, el sustrato 120 puede ser la propia carrocería del automóvil y el acabado puede ser cualquier estado del automóvil durante todo el proceso de fabricación. Típicamente, el automóvil o los paneles de interés se han pintado, se han revestido de forma transparente y se han curado de alguna forma (p. ej., horneo) y se han comprobado para detectar defectos. Durante la operación, las ubicaciones y características de los defectos se envían desde el módulo 116 de datos previos a la inspección al controlador 102 del robot, que controla el robot manipulador 104, en el que un programa guía un efector 106 de extremo (bloque) al defecto identificado para ejecutar alguna política del programa de reparación predeterminado (determinista). En algunos casos excepcionales, la política podría adaptarse dependiendo de las características del defecto proporcionadas.

Para aplicaciones de reparación de pintura, el bloque 106 de reparación robótica de pintura comprende herramientas abrasivas 110 y artículos y compuestos abrasivos 112 junto con cualquier equipo auxiliar, tal como la unidad 108 de control de fuerza (adaptable). Como se usa en la presente memoria, el bloque 106 de reparación robótica de pintura es más o menos sinónimo del término efector de extremo; sin embargo, en este documento, el término “bloque” es el efector de extremo en el contexto de la reparación robótica de pintura. Además, aunque se describen para proporcionar la reparación robótica de pintura, que incluye la reparación de imprimaciones, pinturas y capas transparentes, se apreciará que las técnicas descritas en la presente memoria se prestan a otras aplicaciones industriales más allá de la reparación de pintura.

La Fig. 2 ilustra los componentes del bloque 106 de reparación robótica de pintura desglosados esquemáticamente. Como se ilustra, el bloque 106 de reparación robótica de pintura comprende un brazo robótico 200, sensores y dispositivos 108 de control de fuerza, una herramienta 110 de esmerilado/pulido, un dispositivo 202 de integración de hardware, una o más almohadillas y compuestos abrasivos 112, un proceso 204 de diseño de abrasivos y datos y servicios 206. Estos elementos pueden trabajar juntos para identificar las ubicaciones de los defectos y para implementar un programa de reparación predeterminado utilizando una política determinista para el defecto identificado.

La Fig. 1 y la Fig. 2 implementan así el enfoque bastante directo de automatizar la reparación de la capa transparente basándose en los métodos de inspección recientemente disponibles (es decir, la deflectometría). Las realizaciones de los sistemas y métodos descritos a continuación se diferencian del sistema y el método de la Fig. 1 y la Fig. 2 en que utilizan datos adicionales de la inspección, la celda de trabajo o las herramientas para modificar en tiempo real y por defecto el programa robótico (es decir, la política) para la reparación. En este sentido, el programa se adapta en función de las observaciones para ejecutar una estrategia (política) de reparación óptima (o casi óptima) que se encuentra en el espectro entre una receta determinista derivada empíricamente (servicio tecnológico/ingeniería de aplicaciones) y una política estocástica que se mejora constantemente en función del rendimiento (es decir, el aprendizaje por refuerzo). De forma adicional, se pueden aplicar otras formas de aprendizaje, tal como la clasificación (aprendizaje supervisado) o la agrupación (aprendizaje no supervisado) para ayudar a realizar la reducción de la dimensionalidad en los datos de detección o similares. Estos enfoques juntos comprenden un módulo de aprendizaje que se describirá con respecto a una realización ilustrativa a continuación.

Realización ilustrativa

La Fig. 3 ilustra una realización ilustrativa de un sistema de reparación robótica de pintura que incluye un componente de aprendizaje y una planificación y optimización de procesos basados en la nube. En la realización de la Fig. 3, el bloque 300 de reparación robótica de pintura se ha ampliado con respecto al bloque 106 de reparación robótica de pintura explicado anteriormente para incluir además sensores adicionales 302, herramientas inteligentes 303, una unidad 304 de control auxiliar y un sistema 306 de computación en la nube que incluye una base de datos 307 que es local o se mantiene en el sistema 306 de computación en la nube y es responsable de ejecutar y mantener la política de control del bloque 300 de reparación de pintura, incluidas las políticas y procedimientos recomendados por una unidad 308 de aprendizaje automático y mantenidos por el servidor 309 de políticas. La base de datos 307 y el servidor 309 de políticas pueden estar en la nube o en servidores locales in situ u ordenadores periféricos.

El módulo 304 de control auxiliar reemplaza al código determinista que anteriormente residía en el controlador 102 del robot y proporciona las señales inmediatas en tiempo real y el procesamiento para la ejecución del robot manipulador 104 y las herramientas inteligentes 303. En este sentido, el robot manipulador 104 desempeña ahora un papel reaccionario en el sistema 300 accionado por el controlador auxiliar 304. La base de datos 307 del sistema 306 de computación en la nube sirve como un repositorio de datos a largo plazo que almacena las observaciones del procesamiento, incluidas las variables de estado, las mediciones y el rendimiento resultante que se correlacionan con los defectos identificados, para generar políticas implementadas por el servidor 309 de políticas. Por último, el módulo 308 de aprendizaje automático es responsable de mejorar continuamente la política de reparación en función de las observaciones (datos de estado/sensor) y la posterior recompensa (calidad de la reparación). El aprendizaje en línea se logra mediante una forma de aprendizaje por refuerzo, tal como el aprendizaje por diferencia temporal (Temporal Difference - TD), el aprendizaje profundo basado en la calidad, la optimización de políticas de región de confianza, etc.

En la realización de la Fig. 3, el robot manipulador 104 es capaz de posicionar suficientemente las herramientas 305 del (bloque) efector de extremo para lograr la inspección y reparación de defectos descritos en la presente memoria. Para el dominio del problema (reparación de imprimación, pintura o capa transparente) descrito en la presente memoria con respecto a las realizaciones ilustrativas, los defectos se encuentran generalmente en la superficie exterior de un sustrato 120 de la carrocería del vehículo (un conjunto de piezas con múltiples formas de chapa metálica, plástico, fibra de carbono, etc.) que generalmente presenta una estructura bidimensional múltiple (es decir, es localmente “plana” o “ lisa” ). Si bien en teoría podrían usarse sistemas de menor grado de libertad, se ha descubierto que los robots manipuladores en serie de seis grados de libertad estándares de la industria son los más adecuados para este proceso. Algunos ejemplos incluyen la serie M-20 de Fanuc, la IRB 1600 de ABB o la serie KR 60 de Kuka. Por ejemplo, la serie KR 60 HA de Kuka tiene 6 ejes y grados de libertad, soporta una carga útil de 60 kg y tiene un alcance de 2,033 m. Las herramientas específicas del proceso (es decir, el efector de extremo) se tratan con más detalle en la descripción del bloque 305 más adelante.

El módulo controlador 102 del robot es el controlador de robot proporcionado para la OEM para el robot manipulador 104 seleccionado. El módulo controlador 102 del robot es el responsable de enviar órdenes de movimiento directamente al robot manipulador 104 y de supervisar cualquier problema de seguridad relacionado con la celda. En la práctica, el módulo controlador 102 del robot generalmente incluye un controlador de robot junto con uno o más controladores lógicos programables (Programmable Logic Controllers - PLC) de seguridad para la monitorización de celdas. En una realización ilustrativa, el módulo controlador 102 del robot está configurado para recibir entradas de la unidad 304 de control auxiliar que proporciona información y/u órdenes específicas del defecto. Esto ocurre, dependiendo de la implementación deseada, ya sea fuera de línea mediante descargas de programas o ejecución paramétrica de funciones predeterminadas o en tiempo real mediante transmisión de compensación posicional/de velocidad. Un ejemplo del enfoque fuera de línea sería un programa de robot previamente procesado en el lenguaje nativo del robot (p. ej., RAPID, KRL, Karel, Inform, etc.) que ejecuta el módulo 102 controlador del robot. Por otro lado, ejemplos de interfaces de transmisión serían a través de paquetes de interfaces de sensores proporcionados para el robot para la OEM, tal como el paquete de modificación dinámica de recorridos de Fanuc o la interfaz de sensores de robots de Kuka. En esta realización en tiempo real, el controlador auxiliar 304 (descrito con más detalle a continuación) enviaría compensaciones posicionales en línea y en tiempo real al módulo controlador 102 del robot en función del defecto que se esté reparando.

En una realización ilustrativa, el controlador KR C4 de Kuka con el paquete de opciones KUKA.RobotSensorInterface para la transmisión en línea en tiempo real de correcciones posicionales se puede usar como controlador 102 del robot con el robot manipulador 104 serie KR 60 HA de Kuka.

En la realización de la Fig. 3, el módulo 116 de datos previos a la inspección y el módulo 118 de datos posteriores a la inspección proporcionan los datos de inspección de toda la carrocería para cada automóvil o pieza que procesar. El tipo de sensor 302 requerido aquí depende de las características del problema en cuestión (es decir, la reparación de la imprimación o capa transparente). En particular, la especularidad de la superficie del sustrato 120 dirige la selección del sensor 302. Para superficies muy especulares (reflectantes), usualmente se seleccionan los enfoques reflectantes y una de las principales técnicas es la deflectometría estéreo calibrada. Para escenarios no reflectantes (es decir, reparación de imprimación), se prefieren los enfoques de proyección. Ambos enfoques son similares en sus principios matemáticos subyacentes y se diferencian principalmente por su enfoque en cuanto a la iluminación de la superficie (es decir, deflexión/reflexión frente a proyección). Además de los enfoques de proyección, también es beneficioso utilizar luz difusa reflejada o no estructurada con obtención de imágenes monocromáticas o RGB convencionales para escenarios mixtos o no especulares.

En una realización ilustrativa para la reparación de la capa transparente y la suficiente especularidad de la carrocería del automóvil, se utiliza un sistema de obtención de imágenes de CONTROL de reflejo Micro-Epsilon tanto para el módulo 116 previo a la inspección como para el módulo 118 posterior a la inspección, lo que permite el aprendizaje continuo in situ y las mejoras en las políticas y la compensación de la deriva del proceso.

El controlador auxiliar 304 sirve como centro de comunicación entre el efector 305 de extremo especializado para la reparación de pintura, el robot manipulador 104 y el sistema 306 de computación en la nube y/o los servidores locales in situ o los ordenadores periféricos. El controlador auxiliar 304 recibe todos los datos de inspección de defectos para la reparación en cuestión (a partir de los datos de inspección previa y/o de cualquier hardware montado en un robot, tal como los sensores 302 del efector de extremo) y transmite la política resultante al módulo controlador 102 del robot y al bloque 305 de efector de extremo, como se ilustra en la Fig. 3. Como se indicó anteriormente, esta transmisión puede ser en línea o fuera de línea dependiendo de la implementación particular. El controlador auxiliar 304 también es el responsable de controlar cualquier hardware 305 de efector de extremo propio, tal como la unidad 108 de control de fuerza adaptable, las herramientas neumáticas/con servomecanismo, los dispensadores de agua/compuestos, los sensores 302 y similares.

En una realización ilustrativa, el controlador auxiliar 304 comprende un PC de proceso integrado (modificado para resistir condiciones más exigentes industrialmente) que ejecuta un núcleo Linux en tiempo real/de baja latencia. La comunicación con el módulo controlador 102 del robot (a través de la interfaz KUKA.RobotSensorInterface) se realiza a través del protocolo UDP. La comunicación con los diversos componentes del efector 305 de extremo puede ser una mezcla de UDP, TCP, USB (en serie), entradas/salidas digitales, etc.

El bloque (herramienta de efector terminal) 305 puede incluir cualquier herramienta específica del proceso requerida para el objetivo en las realizaciones ilustrativas. Con respecto a las realizaciones que incluyen la eliminación de material (lijado, reparación de imprimación, reparación de capa transparente, pulido, etc.), se requiere algún tipo de control de presión/fuerza o adaptabilidad. En general, el propio robot manipulador 104 es demasiado rígido para aplicar adecuadamente las fuerzas de procesamiento correctas para la reparación de la capa transparente y, por lo tanto, frecuentemente es necesaria o deseable alguna forma de adaptación activa. Además de las herramientas 303 y el sistema abrasivo 112, los sensores 302 también son deseables, ya que la inspección in situ permite realizar mediciones locales de alta fidelidad en el momento del proceso, junto con la capacidad de adquirir retroalimentación a mitad del proceso, lo que no se puede lograr con enfoques que usen solo la inspección previa y posterior. Por ejemplo, la retroalimentación a mitad del proceso es útil para el correcto funcionamiento de un algoritmo de aprendizaje.

Para la aplicación de la reparación robótica de pintura (y en general el lijado robótico), los sensores deseables para su uso como sensores 302 incluyen (aunque no de forma limitativa) los siguientes:

1. Sensores propioceptivos que detectan vibraciones utilizando acelerómetros o micrófonos y dinámicas usando herramientas que operan a diferentes RPM, esfuerzos conjuntos (es decir, fuerza, par, aceleraciones y/o velocidades), esfuerzo lineal (efector de extremo) (es decir, fuerza y/o par), incluidas aceleraciones y/o velocidades, y herramientas de fuerza/presión.

2. Sensores exteroceptivos que incluyen sensores de obtención de imágenes, sensores de temperatura y/o sensores de humedad. Los sensores de obtención de imágenes pueden ser sensores visuales, incluidos sensores RGB, monocromáticos, infrarrojos, de turbidez, de reflectividad y/o difusividad, o pueden ser sensores topográficos incluidos los de RGB-D (luz estructurada, tiempo de vuelo y/o fotogrametría estéreo), deflectometría estéreo, perfilometría y/o microscopía. Los sensores exteroceptivos también pueden incluir sensores táctiles para la obtención de imágenes elastoméricas (es decir, GelSight).

3. También se pueden usar sensores de temperatura, incluidos termopares y/o imágenes térmicas IR.

4. También se pueden usar sensores de humedad.

En una implementación ilustrativa para aplicaciones de lijado, reparación de imprimación, reparación de capas transparentes y pulido, el abrasivo/compuesto 112 puede comprender un sistema abrasivo Trizact Finesse-it de 3M utilizado con una lijadora orbital aleatoria neumática de 3M como herramienta 303. En una implementación ilustrativa de este tipo, la unidad de control de adaptación de la fuerza puede comprender una brida de contacto activo de FerRobotics y los sensores 302 pueden comprender un proyector Pico, una micropantalla LCD 4K de 5 pulgadas, una cámara Ethernet y/o una unidad GelSight. Además se proporcionan otros ejemplos de sensores 302 más adelante. El proceso manual de reparación de capas transparentes, de alto nivel, es bien conocido y aceptado en la industria. Es un proceso de dos etapas: abrasión/lijado y pulido/bruñido. Desde la perspectiva de la automatización, las siguientes entradas y salidas pueden ser relevantes en diferentes realizaciones (con ejemplos del sistema Finesse-it de 3M):

Entradas:

Compartido (lijado y pulido)

Velocidad de la herramienta [frecuencia]

Órbita de la herramienta [longitud]

Aleatoriedad (es decir, orbital aleatoria frente a orbital)

Patrón de recorrido

Velocidad de recorrido [velocidad]

Fuerza aplicada

Ángulo (es decir, alejado de la normal)

Tiempo total de proceso

Específico para lijado

Almohadilla de soporte

Dureza

Disco abrasivo

Producto

p. ej., {468LA, 366LA, 464LA, 466LA}

Calidad

p. ej., {A3, A5, A7}

Diámetro/Festoneado

p. ej., {festoneado a 1-1/4 pulg., 1-3/8 pulg.}

Estado

Edad (p. ej., edad ~ f (presión, tiempo))

Limpieza (p. ej., ¿se ha limpiado el disco?)

Específico para pulido

Almohadilla de bruñido

Espuma

p. ej., {Gris, naranja, rojo, verde, blanco}

Diámetro

p. ej., {3-1/4 pulg., 3-3/4 pulg., 5-1/4 pulg.}

Perfil de superficie

p. ej., {plana, en forma de huevera}

Pulido

Cantidad

Distribución

Fin

p. ej., {FM, P, EF, K211, FF, UF}

Salidas:

Uniformidad

Rugosidad

Porcentaje de brillo

Tiempo para bruñir

Calidad final del bruñido (p. ej., uniformidad, turbidez, etc.)

En un escenario de reparación ilustrativo, el flujo del proceso que incluye estas entradas y salidas puede implementarse como se ilustra en la Fig. 4. Como se ilustra en la Fig. 4, el flujo de proceso 400 incluye proporcionar datos previos a la inspección al controlador auxiliar 304 desde el módulo 116 de datos previos a la inspección en 402. Los datos previos a la inspección contienen las coordenadas globales centradas en la carrocería de cada defecto identificado, junto con los datos/perfiles geométricos (opcionales) y/o la clasificación del defecto en sí. Las coordenadas globales de los defectos identificados se comunican al módulo controlador 102 del robot en 404 junto con cualquier eje externo, tal como la posición de la cinta transportadora, de manera que el robot manipulador 104 pueda acercar el efector de extremo a los defectos identificados sucesivamente. Si se proporcionó la información o la clasificación de defectos locales opcionales, estas se pueden usar para seleccionar los defectos que se procesarán u omitirán. A continuación, el módulo controlador auxiliar 304, junto con el módulo controlador 102 del robot, mueve el robot manipulador 104 y activa la detección del efector de extremo mediante los sensores 302 en 406 para tomar datos de inspección de defectos locales in situ utilizando información deflectométrica local sin calibrar.

En 408, los datos previos a la inspección, los datos de inspección in situ y el estado actual del sistema (p. ej., abrasivo/compuesto cargado, vida útil del abrasivo, herramientas actuales, etc.) se transfieren al servidor 309 de políticas en el sistema 306 de computación en la nube, que toma todos los datos de inspección y el estado actual del sistema y devuelve las acciones de reparación utilizando una política de control previamente aprendida. Las acciones de lijado devueltas (etapa una de reparación en dos partes) a partir de la política aprendida son ejecutadas a continuación en 410 por el controlador auxiliar a través de una comunicación simultánea con el módulo controlador 102 del robot y el bloque 305 de efector de extremo. Las acciones en este ejemplo incluyen los puntos de ajuste para las RPM de la herramienta, la presión (entrada de control en la brida de fuerza adaptable), la trayectoria del robot y el tiempo total de procesamiento. En una realización ilustrativa, la trayectoria del robot se comunica como desplazamientos posicionales variables en el tiempo con respecto al origen de los defectos mediante la interfaz de paquete KUKA.RobotSensorInterface. Los datos in situ se recopilan utilizando los sensores 302 para garantizar la calidad de la reparación. Los datos in situ se guardan para actualizaciones de aprendizaje posteriores mediante la proyección de patrones marginales o la obtención de imágenes tradicionales con cámaras monocromáticas o RGB y luz blanca difusa reflejada o desestructurada para capturar los reflejos difusos de las áreas recién sometidas a abrasión.

Todos los datos de imágenes in situ pueden utilizarse, además de para dirigir la política de reparación seleccionada, para localizar o usar la información del defecto para ajustar el proceso cuando se guía el robot y, de este modo, eliminar cualquier error en el sistema de fabricación. En general, los datos globales previos a la inspección, si se recopilan, se toman muy en cuenta al inicio del proceso de fabricación y los errores de posicionamiento pueden ser fácilmente del orden de pulgadas cuando la pieza llega a la estación de reparación de pintura.

Si se determina en 414 que las reparaciones no son satisfactorias, las etapas 406-412 pueden repetirse hasta que la reparación se considere satisfactoria, pero estas iteraciones no son necesarias en el caso de una ejecución óptima de la política de reparación.

Las etapas 406-414 también pueden repetirse para las órdenes de bruñido (etapa dos de la reparación en dos partes) devueltas desde el servidor 309 de políticas en el sistema 306 de computación en la nube.

Finalmente, los datos posteriores a la inspección son recopilados por el módulo 118 de datos posteriores a la inspección sobre la calidad final de la reparación en 416 y los datos posteriores a la inspección se envían al controlador auxiliar 304 para su procesamiento. Todos los datos (previos a la inspección, in situ, y posteriores a la inspección) se envían al servidor 309 de políticas en el sistema 306 de computación en la nube para su registro y para las actualizaciones de aprendizaje. El proceso termina entonces en 418.

El servidor 309 de políticas se ha descrito en la presente memoria como ubicado en el sistema 306 de computación en la nube. Sin embargo, se apreciará que el servidor 309 de políticas puede estar ubicado cerca del resto del bloque 300 de reparación robótica de pintura en la planta de fabricación, dependiendo de la implementación deseada y/o las necesidades de seguridad. Durante la operación, el servidor de políticas mantiene la política (o políticas) aprendidas actuales y proporciona salidas de control basadas en consultas de estado y observación. Las políticas se obtienen mediante un algoritmo de aprendizaje apropiado (que se describe más adelante). La naturaleza particular de las salidas del servidor 309 de políticas depende del modo de comunicación usado por el controlador auxiliar 304 (es decir, en línea o fuera de línea). En un enfoque fuera de línea, las salidas del servidor 309 de políticas corresponden a parámetros del proceso tales como el tiempo de permanencia, la presión, la velocidad, etc. Por otro lado, un enfoque en línea es capaz de generar una política que controle directamente los esfuerzos en las articulaciones del robot (accionadores). En este escenario, la latencia es un problema y, usualmente, requiere un servidor 309 de políticas local (no basado en la nube).

En un ejemplo de configuración basada en la nube del servidor 309 de políticas, el servidor 309 de políticas recibe datos previos a la inspección y el estado del sistema como entrada y emite el tiempo de proceso, la presión del proceso, la velocidad del proceso (RPM), el patrón de órbita (trayectoria de la herramienta) y similares. El servidor de políticas también puede recibir opcionalmente datos de inspección in situ.

La unidad 308 de aprendizaje automático es un módulo que se ejecuta en tándem con el servidor 309 de políticas y ejecuta actualizaciones de aprendizaje para mejorar la política cuando se solicita. El procedimiento de aprendizaje automático incluye aprender buenas políticas para la reparación de defectos, donde una política es simplemente un mapeo entre situaciones (observaciones de defectos) y comportamiento (acciones del robot/estrategia de reparación). Idealmente, el sistema 308 de aprendizaje automático proporciona un rendimiento superior al humano y, por lo tanto, no puede suponer que exista un conjunto de datos codificado significativamente grande de estrategias de defectos y reparación. Debido a que el conocimiento existente puede ser incompleto, el sistema no utiliza técnicas de aprendizaje supervisado como una solución total. Sin embargo, el sistema tiene la capacidad de identificar una reparación como buena o mala (o cualquier punto intermedio) utilizando la retroalimentación de los sensores recopilada durante el procesamiento y, además, tiene la capacidad de utilizar el aprendizaje por refuerzo para abordar la falta de un gran conjunto de datos codificados de estrategias de defectos y reparación.

El aprendizaje por refuerzo es una clase de problemas y soluciones que tienen como objetivo mejorar el rendimiento a través de la experiencia. En general, un sistema de aprendizaje por refuerzo tiene cuatro elementos principales: una política, una función de recompensa, una función de valor y un modelo opcional del sistema. La política es principalmente lo que nos interesa encontrar, ya que mapea los estados percibidos del sistema en acciones. En el escenario ilustrativo descrito en la presente memoria, se trata de un mapeo entre las imágenes de defectos y las acciones de reparación del robot. Las imágenes pueden procesarse previamente y/o tener características extraídas, pero estos no son requisitos. La función de recompensa define el objetivo del problema como un mapeo entre estados (o pares de estado-acción) y una única recompensa numérica que captura la deseabilidad de la situación. El objetivo del sistema es identificar una política que maximice la recompensa. La función de valor es una predicción de las recompensas futuras que se pueden lograr a partir de un estado actual y que se utiliza para formular políticas. El modelo opcional es una aproximación del entorno que se puede utilizar para la planificación.

En general, la mayoría de las tareas de aprendizaje por refuerzo, incluidas las utilizadas en las realizaciones ilustrativas, satisfacen la propiedad de Markov y constituyen un proceso de decisión de Markov (MDP). A un alto nivel, el problema de reparación de defectos de un proceso de lijado y pulido mediante aprendizaje automático puede representarse como un MDP finito mediante el gráfico de transición 500 del MDP ilustrado en la Fig. 5. En el gráfico de transición 500 del MDP de la Fig. 5, la tarea se representa usando cuatro estados con S = {Inicial (502), Lijado (504), Pulido (506), Completado (508)}. El estado Inicial 502 es el defecto en su estado original, inalterado. El estado Lijado 504 y el estado Pulido 506 se producen después de las acciones de lijado y pulido, respectivamente, y el estado Completado 508 marca el final de la reparación (así como el final del episodio de aprendizaje). Por otro lado, las acciones están representadas por el conjunto A = {completar (510), atender disco () (512), lijar () (514), pulir () (516)}. Como se ilustra, la acción completar 510 lleva el sistema inmediatamente al estado Completado 508 (terminal). Una acción Completar 510 desde el estado Inicial 502 es análoga a un escenario de “ no reparar” y brinda al sistema la posibilidad de excluir las reparaciones en los casos en los que el defecto sea irreparable y/o una reparación deje el sistema en un estado peor que su estado original. La acción de Atender disco () 512 indica al robot manipulador 104 que consiga un nuevo disco abrasivo 112 para el bloque 305 de efector de extremo, que aplique agua al disco actual 112 o que realice una operación de limpieza del disco actual 112 para eliminar el material cargado. En general, la vida útil del abrasivo es mayor que la de una única reparación. Sin embargo, el rendimiento del disco abrasivo 112 a lo largo del tiempo no es constante. Tener esta acción permite al sistema decidir (de manera óptima) cuándo es necesario o deseable un nuevo disco abrasivo 112. De forma adicional, una política óptima tendrá en cuenta la compensación aprendida de la vida útil del abrasivo del disco y seleccionará las acciones de reparación en consecuencia (p. ej., a medida que la almohadilla se desgaste o se cargue, podría necesitarse más fuerza, etc.). Las dos últimas acciones, lijar () 514 y pulir () 516, son las funciones de procesamiento y, en general, son paramétricas. Los parámetros incluyen información de procesamiento, tal como las RPM de la herramienta, la presión aplicada, el tiempo de permanencia/proceso, la trayectoria de reparación, etc. Son posibles varias parametrizaciones diferentes según la naturaleza del defecto identificado y la acción de reparación que se deba tomar.

Si bien el problema se ha expresado como un MDP finito, se apreciará que cada estado y cada acción residen en dominios continuos. Por ejemplo, el estado Lijado 504 desde un nivel alto representa el defecto después de que se haya lijado, pero el estado en sí mismo incluye datos de imágenes del defecto después del lijado que son intrínsecamente continuos y de alta dimensión. Además, las acciones de lijado y pulido 514 y 516, respectivamente, son funciones paramétricas en las que los propios parámetros son continuos.

Un gráfico de transición 600 del MDP simplificado alternativo, tal como se muestra en la Fig. 6, es posible cuando una reparación perfecta consiste en una única acción de lijado 514 seguida de una única acción de pulido 516. El gráfico de transición 600 del MDP reduce el número de acciones en cualquier estado dado y, por lo tanto, la dimensionalidad del problema en cuestión. Si bien el gráfico de transición 600 del MDP constituye una simplificación, el problema puede expresarse de manera mucho más general de una manera completamente continua, donde el estado se expande para incluir las posiciones/velocidades de las articulaciones del robot y las acciones se expanden para consistir en comandos de posición, velocidad o esfuerzo. En este escenario, al robot manipulador 104 no se le proporciona ningún conocimiento del dominio empírico del proceso de reparación en forma de transiciones de estado finitas y, en cambio, tiene que aprender acciones de control en tiempo real que logren el proceso deseado. Sin embargo, la formulación de este problema requiere mucha más experiencia para converger en políticas útiles y podría decirse que es innecesariamente general para la tarea industrial en cuestión.

Durante el uso, el sistema continúa tomando imágenes y proporcionando retroalimentación a los sensores durante el proceso, que se utiliza para ajustar los parámetros del sistema sobre la marcha.

También se puede implementar una realización ilustrativa del sistema de aprendizaje automático en el sistema automatizado de reparación robótica de defectos de la capa transparente ilustrado. Se describen dos posibles implementaciones de algoritmos: una para cada uno de los gráficos de transición del MDP ilustrados en la Fig. 5 y la Fig. 6. Para ambos ejemplos, se usa la misma configuración de hardware, que incluye un robot manipulador 104 y un controlador 102 del robot implementados usando un KR10 R900 sixx con un controlador compacto KR C4 de Kuka; herramientas 303 que incluyen una lijadora orbital aleatoria (Random Orbital Sander - ROS) personalizada montada en un robot junto con una brida de contacto activo ACF/111/01 XSHD de FerRobotics; un disco abrasivo/pulidor que incluye un sistema Finesse-it de 3M (p. ej., discos abrasivos Trizact de 3M con pulidor 3M y las correspondientes almohadillas o accesorios de soporte); y sensores 302 que comprenden una pantalla LED 4K de 5 pulgadas, un proyector Pico de 1080P y una cámara CCD en color de 5 M<p>para obtener imágenes de la modalidad tanto especular (deflectometría) como difusa (proyección marginal).

Usando la configuración anterior, el sistema y el método descritos anteriormente se aplicaron usando el gráfico de transición del MDP de n etapas más grande de la Fig. 5. En este caso, se utilizaron gradientes de políticas deterministas profundos (Deep Deterministic Policy Gradients - DDPG) junto con la reproducción jerárquica de experiencia (Deep Deterministic Policy Gradients - HER) y recompensas dispersas (mediante un clasificador previamente entrenado).

El sistema y el método descritos anteriormente también se aplicaron utilizando la transición del MDP simplificada de 2 etapas más pequeña de la Fig. 6 , asumiendo las etapas de procesamiento de lijar y pulir con obtención de imágenes inmediatamente antes de cada etapa. En este caso, se volvieron a utilizar gradientes de políticas deterministas profundos (DDPG), pero en su lugar se utilizaron recompensas con forma de imagen (similar al trabajo de las funciones de recompensa perceptivas) basadas en medidas de similitud del área reparada en comparación con la zona circundante “ buena” . Este enfoque se basa en la observación de que una reparación perfecta es indistinguible de la zona circundante buena sin reparar.

El sistema y el método descritos anteriormente también se aplicaron utilizando la transición del MDP simplificada de 2 etapas más pequeña de la Fig. 6 , asumiendo las etapas de procesamiento de lijar y pulir con obtención de imágenes inmediatamente antes de cada etapa. En este caso, las acciones paramétricas continuas se utilizaron con parámetros discretizados como entradas, permitiendo así el uso del aprendizaje profundo basado en la calidad (Deep Q-Learning - DQN). Este caso puede usar recompensas dispersas o modelizadas.

Recopilación de datos

Una cuestión importante en cualquier problema de aprendizaje por refuerzo es generar suficiente experiencia para que el algoritmo de aprendizaje converja hacia la política óptima deseada. En las aplicaciones de procesamiento industrial, generar suficiente experiencia es una cuestión importante y, frecuentemente, es prohibitivamente cara y/o lleva mucho tiempo. Un enfoque común en todo el aprendizaje por refuerzo es aprovechar simulaciones informáticas (digitales) suficientemente buenas para la generación de experiencias. Sin embargo, para las tareas industriales y el procesamiento en general, la tarea de construir una simulación informática precisa puede ser tan difícil o incluso más difícil que el problema de encontrar una política óptima. Dicho esto, frecuentemente es importante encontrar formas eficientes e inteligentes de producir una experiencia del mundo real rica en datos y de bajo coste. En este sentido, se generan simulaciones físicas que reflejan suficientemente el proceso de fabricación real de interés.

Con respecto al dominio en cuestión, la reparación robótica de pintura, el problema es aún más difícil debido al hecho de que el proceso es intrínsecamente “destructivo” por naturaleza y, por lo tanto, irreversible (es decir, cualquier procesamiento aplicado a un defecto de pintura alterará el estado del defecto). A continuación, se describen unas realizaciones tanto para el procedimiento de recopilación de datos como para la creación de piezas defectuosas.

Simulación de defectos

Frecuentemente es deseable alguna forma de simulación (digital o física) para generar cantidades suficientes de experiencia para los algoritmos de aprendizaje aplicados. A continuación, se resumen varios métodos posibles en el contexto de la reparación de pintura.

En primer lugar, se observa que una mayoría significativa de las reparaciones de pintura se producen en regiones de la carrocería de automóviles que presentan una estructura bidimensional múltiple (es decir, están planas localmente en el contexto de una única reparación). Las áreas de gran curvatura de la carrocería de un automóvil (p. ej. alrededor de las molduras, los tiradores de las puertas, etc.) son la excepción, pero, en general, las políticas aprendidas de las superficies planas se pueden aplicar a las superficies curvas con algunas modificaciones en la trayectoria del robot. Teniendo esto en cuenta, una estandarización conveniente (tanto desde el punto de vista del coste como de la manipulación) es utilizar sustratos pintados planos para la mayor parte de la recopilación de datos y la generación de experiencia.

Hay paneles para pruebas pintados rectangulares planos disponibles comercialmente en varios sustratos diferentes con distintos espesores, tamaños, pinturas, capas transparentes, capas inferiores, etc. Los paneles pueden o bien adquirirse de esta fuente comercial o prepararse utilizando métodos y equipos iguales o similares a los del proceso que se va a aprender.

Lo ideal es que nunca se introduzcan defectos de pintura en las piezas de fabricación y, por lo tanto, el proceso de fabricación esté diseñado para producir las mejores piezas posibles. Siendo realistas, existen defectos; sin embargo, desde una perspectiva de aprendizaje por refuerzo, la densidad de defectos en cualquier pieza de producción o sustrato simulado de prueba/aprendizaje es relativamente baja. Cada proceso de fabricación es diferente en términos de calidad, pero no es raro tener del orden de menos de un defecto por cada mil pulgadas cuadradas de pintura. Por lo tanto, puede resultar muy caro encontrar cantidades suficientes de defectos para generar experiencia para el algoritmo de aprendizaje.

Para resolver este problema, se han desarrollado métodos para generar sustratos con una densidad de defectos suficiente. Para cualquier sustrato plano de tamaño estándar conveniente, se genera pintura defectuosa y/o capa transparente con una densidad de defectos del orden de más de una por pulgada cuadrada. La densidad exacta es ajustable, pero la densidad particular da como resultado una alta probabilidad de que cualquier discretización arbitraria de la cuadrícula de un sustrato de aprendizaje contenga al menos un defecto.

Es posible imitar la mayoría de los defectos de interés de origen natural, tales como puntas (contaminantes), cráteres, ojos de pez, goteos, hundimientos, etc., utilizando combinaciones de velocidades/patrones de rociado de contaminantes (sintéticos), silicona, pintura/capa transparente, disolvente, etc. La Fig. 7 muestra el resultado de introducir suciedad sintética de un tamaño particular debajo de la capa transparente. La Fig. 7 ilustra un sustrato de aprendizaje con una alta densidad de defectos donde los defectos son más visibles en los límites de la reflexión de la luz del techo. Para hacer este sustrato de aprendizaje, se comienza con un panel de prueba pintado y con revestimiento transparente disponible en el mercado. El panel se lijó en su totalidad (usando un disco Trizact de 6 pulgadas de 3M en una herramienta orbital aleatoria) y, a continuación, se trató con la suciedad sintética antes de volver a aplicar la capa transparente y el curado final.

Un método adicional implica usar paneles suficientemente delgados y perforar la cara trasera de manera controlada (p. ej., con un punzón accionado por resorte) para crear un defecto elevado en la parte superior. Si bien son convenientes, estos defectos no siempre imitan el comportamiento exacto de reparación que los que se producen de forma natural y en los entornos de la OEM.

Procedimiento de recopilación de datos

El siguiente es un ejemplo de procedimiento para recopilar datos de reparación de defectos. El sistema realiza reparaciones de defectos en el sustrato en una serie de ubicaciones discretas predeterminadas independientemente del tipo, el número y/o la presencia de defectos (véase abajo un ejemplo de discretización y su explicación). Dejando a un lado las diferencias entre los algoritmos de aprendizaje y optimización, la estructura básica de procesamiento de un único sustrato es la siguiente:

Para el sustrato proporcionado q

Imagenq

Para célula de cachéi jdeq

Tomar accióntendDiscO

Tomar acciónsandQ

Fin de

Imagenq

Para célula de cachéi jdeq

Tomar acciónpolish()

Tomar accióncompleted

Fin de

Imagenq

Fin de

Los estados especificados Lijado y Completado se toman de los MDP de la Fig. 5 y la Fig. 6 y cualquier parámetro tomado por las acciones lo proporciona el algoritmo de aprendizaje/optimización especificado.

Como se ha señalado, primero se obtienen imágenes del sustrato y posteriormente se presenta al robot para su lijado. El sustrato se asegura mediante un mecanismo de sujeción (p. ej., imanes, aspiradores, pinzas, etc.). Por celda de la cuadrícula predefinida, el algoritmo primero realiza la atención del disco mediante la acción atender disco (). Esto da como resultado una combinación de limpieza, humectación y/o cambio del disco abrasivo. La acción de lijar () se toma entonces en función de los datos de imagen (características de los defectos) proporcionados por la política actual a través del servidor de políticas.

Después de lijar cada ubicación de la cuadrícula, se vuelven a obtener imágenes del panel antes de pulirlo. Una vez más, por celda, el robot pule cada una de las ubicaciones de la cuadrícula predeterminadas del sustrato con un pulido específico aplicado a cada celda de la cuadrícula. Después de pulir, se vuelven a obtener imágenes del panel.

Después de procesar un panel completo como se indicó anteriormente, las características del defecto a través de los datos de imagen están disponibles para cada una de las celdas de la cuadrícula antes, durante y después del proceso de reparación. De forma adicional, las políticas ejecutadas se almacenan para cada celda junto con los datos de imagen característicos. Las actualizaciones del aprendizaje por refuerzo se ejecutan para cada una de las celdas después de que se hayan procesado un número determinado de sustratos.

Lo anterior se puede implementar en un espectro de automatización basado en los requisitos de velocidad y coste. Una implementación sencilla podría utilizar robots independientes para cada una de las acciones de lijado y pulido y una configuración de obtención de imágenes en laboratorio a pequeña escala en la que un operador humano es el encargado de mover los sustratos entre las celdas y de cambiar los discos cuando se le solicite. Una configuración totalmente automatizada puede incluir el cambio de herramienta para el efector de extremo y, por lo tanto, puede implementarse con un único robot. De forma adicional, se pueden usar transportadores para manipular el sustrato o la obtención de imágenes puede producirse dentro de la celda del robot mediante cámaras montadas en la celda o efectores de extremo de obtención de imágenes.

Con el enfoque anterior con sustratos pintados con alta densidad de defectos y una ejecución automatizada de políticas basada en cuadrículas, es deseable hacer que la discretización de la cuadrícula sea lo más ajustada posible para maximizar la porción utilizada de cada sustrato. Se prevén medidas de manera que ninguna reparación interfiera con sus celdas vecinas durante el procedimiento de procesamiento del sustrato. Un enfoque consiste en seleccionar la discretización de celdas más ajustada de manera que cualquier acción de reparación particular exista completamente dentro de una única celda. Este enfoque simplista, si bien es factible, puede generar una mala utilización del sustrato.

Se resume una discretización ilustrativa para un procesamiento eficiente del sustrato utilizando el sistema Finesse-it de 3M como ejemplo. En este sistema, los discos de lijado son significativamente más pequeños que las almohadillas de bruñido (p. ej., almohadillas de lijado de 1-1/4 pulgadas de diámetro frente a almohadillas de bruñido de 3-1/2 pulgadas de diámetro). De forma adicional, los alcances de las herramientas orbitales aleatorias son de 1/4 de pulgada y 1/2 pulgada respectivamente. Suponiendo trayectorias circulares con una superposición de al menos medio diámetro, las áreas mínimas afectadas reparadas para el lijado y el pulido son círculos de 2-1/4 pulgadas y 6 pulgadas de diámetro, respectivamente. Aquí se puede observar que el área de bruñido requerida es mucho mayor y, por lo tanto, contribuye significativamente al desperdicio del sustrato al limitar en gran medida la densidad de inclusión de celdas para reparar.

Para superar esta limitación, es posible diseñar un procedimiento modificado de procesamiento de paneles en el que el pulido se comparta entre las celdas vecinas. Un grupo adyacente de celdas se puede lijar de forma independiente y luego pulir juntas utilizando una trayectoria de pulido creada a partir de la concatenación de las trayectorias de pulido de las celdas individuales.

Como ejemplo se utiliza la trayectoria de pulido en forma de “ L” sugerida para el Finesse-it de 3M en la que el defecto se encuentra en el vértice inferior izquierdo de la “ L” y la almohadilla de pulido se mueve con movimientos alternantes de arriba a abajo y de izquierda a derecha. Con este patrón es posible, mediante la rotación y la traslación, juntar cuatro “ L” para formar un cuadrado. Por lo tanto, se pueden lijar cuatro celdas de forma independiente que formen juntas un cuadrado y luego pulirse utilizando una trayectoria de pulido cuadrada. Este método mejora en gran medida la densidad de celdas alcanzable y permite reparar hasta 24 celdas en un sustrato de 12 por 18 pulgadas. La Fig. 8 ilustra patrones de pulido ilustrativos representados por círculos transparentes 800. Las ubicaciones de los defectos se ilustran como puntos 802. Los círculos con contornos discontinuos representan el área 804 de reparación. El patrón en “ L” 806 (izquierda) y el patrón cuadrado 808 (derecha) se representan mediante flechas 810 con números para cada vez que la pulidora se detiene. La Fig. 9 ilustra un ejemplo de inclusión de alta eficiencia de los patrones 900 de pulido con las dimensiones del accesorio Finesse-it antes mencionadas en un sustrato 902 de panel de 18 por 24 pulgadas. Cada conjunto de cuatro reparaciones de lijado comparte una única trayectoria de pulido cuadrada en la Fig. 8 (derecha).

Características del defecto

En general, las características del defecto se pueden considerar como cualquier combinación de las siguientes:

Características de ingeniería (tamaño, tipo, etc.)

Datos de imagen en bruto (matriz/tensor de valores de intensidad)

Recopilación previa, intermedia (in situ) o posterior a la reparación

Los enfoques actuales utilizan características de ingeniería que, en general, están centradas en el trabajo humano. Es decir, existen sobre la base de la experiencia histórica del proceso manual actual. Estas características incluyen medidas “significativas” tales como el tipo de defecto, el tamaño del defecto, la gravedad del defecto, etc. En la práctica, cada fabricante tiene su propio conjunto de características y clasificaciones respectivas que han evolucionado con el tiempo en forma de un procedimiento operativo para el proceso de reparación de pintura. De forma adicional, muchas de las nuevas ofertas de inspección automatizada vienen con sus propias clasificaciones y características. Por ejemplo, la Fig. 10 ilustra una serie de imágenes 1000 de defectos de pintura proporcionadas por un dispositivo 1002 de CONTROL de reflejo Micro-Epsilon. Estas clasificaciones se diseñan tradicionalmente de forma empírica basándose en la experiencia/pericia en el procesamiento humano, pero otros enfoques han utilizado con éxito técnicas de aprendizaje automático más nuevas, tales como el aprendizaje supervisado y no supervisado.

Si bien parece atractivo, un proceso robótico no se beneficia necesariamente de tales características, clasificaciones y/o descriptores centrados en el trabajo humano. Al utilizar técnicas de aprendizaje por refuerzo junto con redes neuronales profundas, el sistema tiene la libertad de aprender sus propias representaciones internamente a través de núcleos de convolución que capturan mejor las características del defecto en el contexto del dominio del proceso (es decir, la reparación robótica de pintura).

Los inventores han descubierto beneficios al usar datos de imágenes sin procesar, sin calibrar y/o en bruto en lugar de los descriptores de características de ingeniería tradicionales antes mencionados. Los datos de deflectometría sin calibrar se usan en una realización ilustrativa. Este enfoque reduce en gran medida la complejidad del sistema, ya que la calibración, la alineación y el procesamiento son, sin duda, las partes más difíciles de la implementación de este procesamiento de visión. De forma adicional, el uso de imágenes sin calibrar o en bruto reduce en gran medida las cargas de mantenimiento y permite que los sistemas más pequeños (montados en robots) puedan obtener imágenes y datos para el procesamiento in situ. Esto puede mejorar en gran medida tanto la velocidad de aprendizaje del sistema como la capacidad global, el rendimiento, la retroalimentación, las opciones analíticas, etc.

Las Figs. 11-13 muestran cómo se pueden usar imágenes de deflectometría sin calibrar para calcular mapas de curvatura local de los defectos. La Fig. 11 muestra ocho imágenes, cuatro de un patrón 1100 marginal vertical desviado y cuatro de un patrón 1102 marginal horizontal desviado, cada una tomadas cuando la fuente del patrón se desplazó en múltiplos de n/2. La Fig. 12 muestra los mapas de curvatura horizontal y vertical calculados usando el arco tangente de píxeles a través de los cuatro patrones marginales desviados. Los superiores 1200 son el resultado del arco tangente (módulo 2n), los centrales 1202 representan los cambios de fase desenrollada y los inferiores 1204 son la curvatura local aproximada utilizando diferencias finitas de primer orden en píxeles. La Fig. 13 es el mapa de curvatura local compuesto (raíz cuadrada de la suma de cuadrados) que combina los resultados horizontales y verticales visualizados como un mapa 1300 de intensidad y una red mallada 1302.

El acto más común de calcular un mapa de altura de una superficie usando deflectometría requiere la integración de los cambios de fase medidos y, por lo tanto, es muy sensible a la calibración y al ruido. La curvatura local utiliza en su lugar la derivada y, por lo tanto, es menos sensible. De forma adicional, si se centra únicamente en un área significativamente pequeña (es decir, una reparación de un único defecto), se puede suponer que las características de baja curvatura no son relevantes (es decir, bidimensional múltiple,) y, por lo tanto, pueden utilizar la curvatura relativa como indicador del tamaño y la intensidad del defecto.

En el ejemplo anterior, la curvatura local se extrajo manualmente, pero solo para mostrar que esta información existe dentro de los datos de imágenes en bruto y es útil. En la práctica, el algoritmo de aprendizaje por refuerzo descubrirá características y mapeos similares (quizás más relevantes).

Otro uso interesante del ejemplo anterior es en la construcción de funciones de recompensa y clasificación de defectos. Los mapas de curvatura local proporcionan un enfoque de umbrales simple en el que una región se marca como defectuosa si la curvatura local máxima supera algún umbral.

También se puede encontrar utilidad en enfoques más simples que utilizan luz reflejada en campo oscuro cercano e imágenes convencionales con luz blanca no estructurada y cámaras RGB/monocromáticas. El primero funciona tanto especular (procesado previo/posterior) como in situ mate/difuso (proceso intermedio) y el segundo in situ. La Fig. 14 muestra una imagen 1400 ilustrativa reflejada en campo oscuro cercano. En este método, la intensidad de los píxeles se puede interpretar (con algunas suposiciones con respecto a la uniformidad de la superficie) como una aproximación del gradiente de la superficie (es decir, la pendiente). Por lo tanto, estas imágenes tienen la capacidad de proporcionar información sobre la superficie/el defecto sin la carga computacional del desenrollado de fase, como ocurre con los métodos de deflectometría.

Del mismo modo que el aprendizaje por refuerzo es capaz de inferir su propia representación de características, también es capaz de aprender el efecto del uso en el rendimiento futuro del abrasivo. En otras palabras, los abrasivos funcionan de manera diferente a lo largo de su vida útil. Al codificar el uso del disco en los aumentos de estado del MDP, la política puede elegir acciones basadas en el estado previsto del abrasivo. Algunas codificaciones posibles incluyen simplemente el número de reparaciones o funciones más complicadas de fuerza, tiempo, etc. Otro enfoque consiste en incorporar, mediante la recopilación de datos in situ del efector de extremo, mediciones indicativas del rendimiento, tales como vibración, calor, etc., o incluso colocar sensores dentro del propio artículo abrasivo (o almohadilla de pulido). En este enfoque, el algoritmo de aprendizaje por refuerzo puede identificar y aprovechar directamente los mapeos entre las observaciones en proceso y el rendimiento previsto.

Realización del ordenador

La Fig. 15 ilustra un ordenador típico de uso general que puede programarse en un ordenador especializado adecuado para implementar una o más realizaciones del sistema descrito en la presente memoria. El módulo 102 controlador del robot, el módulo 304 de control auxiliar, la unidad 308 de aprendizaje automático y el sistema 306 de computación en la nube descritos anteriormente pueden implementarse en dispositivos de procesamiento especializados o en cualquier componente de procesamiento de uso general, tal como un ordenador con suficiente potencia de procesamiento, recursos de memoria y capacidad de transmisión de comunicaciones para gestionar la carga de trabajo necesaria que se le imponga. Este componente 1500 de procesamiento de uso general incluye un procesador 1502 (que puede denominarse unidad de procesador central o CPU) que está en comunicación con dispositivos de memoria que incluyen el almacenamiento secundario 1504, la memoria de solo lectura (ROM) 1506, la memoria de acceso aleatorio (RAM) 1508, los dispositivos 1510 de entrada/salida (I/O) y los dispositivos 1512 de conectividad de red. El procesador 1502 puede implementarse como uno o más chips de CPU o puede ser parte de uno o más circuitos integrados de aplicación específica (Application Specific Integrated Circuits - ASIC).

El almacenamiento secundario 1504 típicamente se compone de una o más unidades de disco o unidades de cinta y se usa para el almacenamiento no volátil de datos y como un dispositivo de almacenamiento de datos de reserva si la RAM 1508 no es lo suficientemente grande como para almacenar todos los datos de trabajo. El almacenamiento secundario 1504 se puede usar para almacenar programas que se cargan en la RAM 1508 cuando estos programas se seleccionan para su ejecución. La ROM 1506 se usa para almacenar instrucciones y quizás datos que se leen durante la ejecución del programa. La ROM 1506 es un dispositivo de memoria no volátil que típicamente tiene una capacidad de memoria pequeña en relación con la mayor capacidad de memoria del almacenamiento secundario 1504. La RAM 1508 se usa para almacenar datos volátiles y quizás para almacenar instrucciones. El acceso tanto a la ROM 1506 como a la RAM 1508 es típicamente más rápido que al almacenamiento secundario 1504.

Los dispositivos descritos en la presente memoria pueden configurarse para incluir medios no transitorios legibles por ordenador que almacenan instrucciones legibles por ordenador y uno o más procesadores acoplados a la memoria y, al ejecutar las instrucciones legibles por ordenador, configuran el componente 1500 de procesamiento para realizar las etapas del método y las operaciones descritas anteriormente con referencia a las Figs. 1 a 6. Los medios no transitorios legibles por ordenador incluyen todos los tipos de medios legibles por ordenador, incluidos los medios de almacenamiento magnéticos, los medios de almacenamiento ópticos, los medios flash y los medios de almacenamiento de estado sólido.

Debe entenderse además que el software que incluye una o más instrucciones ejecutables por ordenador que facilitan el procesamiento y las operaciones tal como se ha descrito anteriormente con referencia a una o todas las etapas de la descripción puede instalarse en, y venderse con, uno o más servidores y/o uno o más enrutadores y/o uno o más dispositivos en el ámbito de los consumidores y/o productores según la descripción. Alternativamente, el software puede obtenerse y cargarse en uno o más servidores y/o uno o más enrutadores y/o uno o más dispositivos en el ámbito de los consumidores y/o productores según la descripción, incluida la obtención del software a través de un medio físico o sistema de distribución, que incluye, por ejemplo, desde un servidor propiedad del creador del software o desde un servidor que no sea propiedad pero que sea utilizado por el creador del software. El software se puede almacenar en un servidor para su distribución a través de Internet, por ejemplo.

Además, un experto en la técnica entenderá que esta descripción no está limitada en su aplicación a los detalles de construcción y la disposición de los componentes expuestos en la siguiente descripción o ilustrados en los dibujos. Las realizaciones en la presente memoria son susceptibles de otras realizaciones y pueden llevarse a cabo o realizarse de varias formas. También, se entenderá que la redacción y terminología usadas en la presente memoria tienen fines de descripción y no deben considerarse como una limitación. En la presente memoria, el uso de “que incluye” , “que comprende” , o “que tiene” y variaciones de los mismos abarca los artículos que se indican a continuación y equivalentes de los mismos así como los artículos adicionales. Salvo que se limite de cualquier otra manera, los términos “conectado” , “acoplado” y “ montado” , y variaciones de los mismos, se usan en la presente memoria de forma amplia y abarcan conexiones, acoplamientos y montajes directos e indirectos. Además, los términos “conectado” y “acoplado” , y sus variaciones, no están restringidos a conexiones o acoplamientos físicos o mecánicos. Además, los términos tales como arriba, abajo, inferior y superior son relativos y se emplean para facilitar la ilustración, pero no son limitantes.

Los componentes de los dispositivos, sistemas y métodos ilustrativos empleados según las realizaciones ilustradas de la presente invención pueden implementarse, al menos en parte, en circuitos electrónicos digitales, circuitos electrónicos analógicos o en hardware, firmware, software informáticos o en combinaciones de los mismos. Estos componentes pueden implementarse, por ejemplo, como un producto de programa informático, tal como un programa informático, un código de programa o instrucciones informáticas incorporadas de manera tangible en un soporte de información, o en un dispositivo de almacenamiento legible por máquina, para su ejecución o para controlar el funcionamiento de un aparato de procesamiento de datos, tal como un procesador programable, un ordenador o varios ordenadores.

Un programa de ordenador se puede escribir en cualquier tipo de lenguaje de programación, incluidos los lenguajes compilados o interpretados, y se puede emplear de cualquier manera, incluida como un programa independiente o como un módulo, componente, subrutina, u otra unidad adecuada para su uso en un entorno informático. Se puede emplear un programa informático para ejecutarlo en un ordenador o en varios ordenadores en un punto o distribuidos en múltiples puntos y que se conecten entre sí mediante una red de comunicación. También, los programadores expertos en la técnica a la que pertenece la presente invención pueden interpretar fácilmente programas funcionales, códigos y segmentos de código para llevar a cabo la presente invención considerados dentro del alcance de la invención. Las etapas del método asociadas a las realizaciones ilustrativas de la presente invención pueden ser realizadas por uno o más procesadores programables que ejecuten un programa informático, código o instrucciones para realizar funciones (p. ej., operando con datos de entrada y/o generando una salida). Las etapas del método también se pueden llevar a cabo mediante circuitos lógicos especializados, p. ej., una FPGA (Field Programmable Gate Array - Matriz de puertas programable in situ) o un ASIC (Application-Specific Integrated Circuit - Circuito integrado de aplicación específica), y los aparatos de la invención también se pueden implementar como los mismos.

Los diversos bloques, módulos y circuitos lógicos ilustrativos descritos en relación con las realizaciones descritas en la presente memoria pueden implementarse o realizarse con un procesador de uso general, un procesador de señales digitales (Digital Signal Processor - DSP), un ASIC, una FPGA u otro dispositivo lógico programable, una lógica de puerta discreta o transistor, componentes de hardware discretos o cualquier combinación de los mismos diseñados para realizar las funciones descritas en la presente memoria. Un procesador de uso general puede ser un microprocesador, pero como alternativa, el procesador puede ser cualquier procesador, controlador, microcontrolador o máquina de estados convencional. Un procesador también puede implementarse como una combinación de dispositivos informáticos, p. ej., una combinación de un DSP y un microprocesador, una pluralidad de microprocesadores, uno o más microprocesadores junto con un núcleo de DSP o cualquier otra configuración similar.

Los procesadores adecuados para la ejecución en un programa de ordenador incluyen, a modo de ejemplo, los microprocesadores tanto generales como para fines específicos, y uno o más procesadores de cualquier tipo de ordenador digital. Generalmente, un procesador recibirá instrucciones y datos de una memoria de solo lectura o una memoria de acceso aleatorio, o de ambas. Los elementos esenciales de un ordenador son un procesador para ejecutar las instrucciones y uno o más dispositivos de memoria para almacenar instrucciones y datos. Generalmente, un ordenador también incluirá, o estará acoplado funcionalmente para recibir datos de o transferir datos, o ambos, a uno o más dispositivos de almacenamiento masivo para almacenar datos, p. ej., discos magnético-ópticos, magnéticos o discos ópticos. Los soportes de información adecuados para ejecutar instrucciones y datos de programas informáticos incluyen todas las formas de memoria no volátil, incluidos, a modo de ejemplo, dispositivos de memoria semiconductores, p. ej., memoria de solo lectura o ROM programable eléctricamente (EPROM), ROM programable borrable eléctricamente (EEPROM), dispositivos de memoria flash y discos de almacenamiento de datos (p. ej., discos magnéticos, discos duros internos o discos extraíbles, discos magneto-ópticos y discos CD-ROM y DVD-ROM). El procesador y la memoria pueden complementarse o incorporarse en un circuito lógico de propósito especial.

Los expertos en la técnica entienden que la información y las señales pueden representarse usando cualquiera de una variedad de tecnologías y técnicas diferentes. Por ejemplo, los datos, instrucciones, órdenes, información, señales, bits, símbolos y chips a los que se puede hacer referencia a lo largo de la descripción anterior pueden representarse mediante tensiones, corrientes, ondas electromagnéticas, campos o partículas magnéticas, campos o partículas ópticas, o cualquier combinación de los mismos.

Los expertos en la técnica apreciarán además que los diversos bloques lógicos, módulos, circuitos y etapas en algoritmos ilustrativos descritos en relación con las realizaciones descritas en la presente memoria pueden implementarse como hardware electrónico, software informático o combinaciones de ambos. Para ilustrar claramente esta intercambiabilidad de hardware y software, anteriormente se han descrito varios componentes, bloques, módulos, circuitos y etapas ilustrativos en general en términos de su funcionalidad. El hecho de que dicha funcionalidad se implemente como hardware o software depende de la aplicación particular y de las restricciones de diseño impuestas al sistema global. Los expertos en la materia pueden implementar la funcionalidad descrita de diferentes maneras para cada aplicación particular, pero tales decisiones de implementación no deben interpretarse en el sentido de que provoquen un alejamiento del alcance de la presente invención. Un módulo de software puede residir en una memoria de acceso aleatorio (RAM), una memoria flash, una ROM, una EPROM, una EEPROM, registros, un disco duro, un disco extraíble, un CD-ROM o cualquier otra forma de medio de almacenamiento conocido en la técnica. Un medio de almacenamiento ilustrativo se acopla al procesador de manera que el procesador pueda leer información del medio de almacenamiento y escribir información en él. Como alternativa, el medio de almacenamiento puede formar parte íntegra del procesador. En otras palabras, el procesador y el medio de almacenamiento pueden residir en un circuito integrado o implementarse como componentes discretos.

Como se utiliza en la presente memoria, “ medio legible por máquina” significa un dispositivo capaz de almacenar instrucciones y datos de forma temporal o permanente y puede incluir, pero no se limita a, memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), memoria intermedia, memoria flash, medios ópticos, medios magnéticos, memoria caché, otros tipos de almacenamiento (p. ej., memoria de solo lectura programable borrable (EEPROM)) y/o cualquier combinación adecuada de los mismos. El término “ medio legible por máquina” debe interpretarse en el sentido de incluir un solo medio o varios medios (p. ej., una base de datos centralizada o distribuida, o cachés y servidores asociados) capaces de almacenar las instrucciones del procesador. El término “ medio legible por máquina” también se interpretará en el sentido de que incluye cualquier medio, o combinación de múltiples medios, que sea capaz de almacenar instrucciones para su ejecución mediante uno o más procesadores, de modo que las instrucciones, cuando sean ejecutadas por uno o más procesadores, hagan que el uno o más procesadores ejecuten una cualquiera o más de las metodologías descritas en la presente memoria. En consecuencia, un “ medio legible por máquina” se refiere a un único aparato o dispositivo de almacenamiento, así como a sistemas de almacenamiento o redes de almacenamiento “basados en la nube” que incluyen múltiples aparatos o dispositivos de almacenamiento. En la medida en que tales señales sean transitorias, el término “ medio legible por máquina” , como se utiliza en la presente memoria, excluye las señales en sí mismas.

La descripción y las figuras presentadas anteriormente están previstas únicamente a modo de ejemplo y no pretenden limitar las realizaciones ilustrativas de ninguna manera, excepto según lo establecido en las reivindicaciones adjuntas. Se observa que varios aspectos técnicos de los diversos elementos de las diversas realizaciones ilustrativas que se han descrito anteriormente se pueden combinar de muchas otras maneras, todas las cuales se consideran dentro del alcance de la descripción.

Por consiguiente, aunque se han descrito ejemplos de realización con fines ilustrativos, los expertos en la técnica apreciarán que son posibles diversas modificaciones, adiciones y sustituciones. Por lo tanto, la descripción no se limita a las realizaciones descritas anteriormente, sino que puede modificarse dentro del alcance de las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

i.Un método implementado por ordenador para proporcionar una reparación robótica de pintura, que comprende:

a) recibir, mediante uno o más procesadores, las coordenadas de cada defecto identificado en un sustrato junto con las características de cada defecto;

b) comunicar, mediante el uno o más procesadores, las coordenadas de un defecto identificado en el sustrato a un módulo controlador de robot junto con cualquier dato adicional necesario para que el módulo controlador de robot controle un robot manipulador para acercar un efector de extremo del robot manipulador al defecto identificado en el sustrato;

c) proporcionar, mediante el uno o más procesadores, las características del defecto y un estado actual de al menos el efector de extremo del robot manipulador a un servidor de políticas local o basado en la nube;

d) recibir, mediante el uno o más procesadores, una acción de reparación del servidor de políticas basada en una política de control previamente aprendida que es actualizada por una unidad de aprendizaje automático;

e) ejecutar, mediante el uno o más procesadores, la acción de reparación comunicando instrucciones al módulo controlador de robot y al efector de extremo para implementar la acción de reparación;

d) recibir, mediante el uno o más procesadores, las características de cada defecto, incluidos los datos de inspección in situ recopilados localmente de los sensores de efector de extremo;

f) proporcionar, mediante el uno o más procesadores, los datos in situ a una unidad de aprendizaje automático para crear actualizaciones de aprendizaje utilizando al menos una de las mediciones de proyección de patrones marginales, deflectometría e intensidad de la luz blanca normal o reflejada difusa utilizando una cámara;

g) recibiendo el uno o más procesadores datos de calidad relacionados con una calidad de una reparación resultante de la acción de reparación y proporcionar las características del defecto y los datos de calidad al servidor de políticas para su registro;

h) implementando el uno o más procesadores un módulo de aprendizaje automático que ejecuta actualizaciones de aprendizaje para mejorar las futuras acciones de reparación desde el servidor de políticas en función de un defecto identificado en particular y la posterior evaluación de una reparación ejecutada.
2. El método de la reivindicación 1, en donde la acción de reparación incluye al menos uno de los puntos de ajuste de las RPM de una herramienta de lijado, una entrada de control para una brida de fuerza adaptable, una trayectoria del robot manipulador y el tiempo total de procesamiento.
3. El método de la reivindicación 2, en donde la trayectoria del robot manipulador se comunica, mediante el uno o más procesadores, al robot manipulador en forma de desplazamientos posicionales variables en el tiempo con respecto al origen del defecto que se repara.
4. El método de la reivindicación 1, que comprende además repetir, por parte del uno o más procesadores, las etapas c)-f) hasta que el defecto identificado esté satisfactoriamente reparado.
5. El método de la reivindicación 1, que comprende además identificar, por parte del uno o más procesadores, una reparación como buena o mala utilizando la retroalimentación del sensor recopilada durante y/o después de la ejecución de la acción de reparación e implementar el aprendizaje por refuerzo para desarrollar una acción de reparación para un defecto identificado.
6. El método de la reivindicación 5, en donde el aprendizaje por refuerzo se implementa mapeando datos de imágenes en bruto de los defectos identificados para las acciones de reparación, asignando recompensas en función de una calidad de la acción de reparación e identificando una política que maximice la recompensa.
7. El método de la reivindicación 6, en donde el aprendizaje por refuerzo se implementa como una tarea de aprendizaje por refuerzo basada en un proceso de decisión de Markov (Markov Decision Process - MDP).
8. El método de la reivindicación 7, en donde el MDP es un MDP finito que tiene tareas implementadas en un gráfico de transición del MDP que utilice al menos los estados de Inicial, Lijado, Pulido y Completado, en donde el estado Inicial se aumenta para incluir el defecto identificado en su estado original e inalterado, el estado Lijado y el estado Pulido se producen después de las acciones de lijado y pulido, respectivamente, y el estado Completado marca el final del proceso de reparación.
9.El método de la reivindicación 8, en donde el estado Lijado y el estado Pulido incluyen datos de inspección in situ recopilados localmente de los sensores del efector de extremo.
10. El método de la reivindicación 8, en donde las tareas implementadas en el gráfico de transición del MDP incluyen acciones que comprenden al menos una de completar, atender disco, lijar y pulir, en donde la acción completar lleva un proceso inmediatamente al estado Completado, la acción atender disco indica al robot manipulador que humedezca, limpie o reemplace un disco abrasivo para el efector de extremo, y la acción de lijar y la acción de pulir se implementan utilizando parámetros que incluyen al menos una de las RPM de una herramienta de lijado del efector de extremo, la presión aplicada, el tiempo de permanencia/procesado y la trayectoria de reparación del robot manipulador.
11. El método de la reivindicación 10, en donde la acción de lijar y la acción de pulir son funciones paramétricas continuas para parámetros continuos.
12. El método de la reivindicación 10, en donde las tareas implementadas en el gráfico de transición del MDP incluyen una única acción de atender disco seguida de una única acción de lijar seguida de una única acción de pulir.
13. El método de la reivindicación 1, en donde las características del defecto comprenden imágenes en bruto sin procesar.
14. El método de la reivindicación 1, en donde la política de control aprendida usa datos de utilización de abrasivos para permitir tomar decisiones basadas en la vida útil restante del abrasivo.
15. El método de la reivindicación 1, que comprende además encontrar la política de control aprendida utilizando defectos simulados físicamente.