ES2957904B2 - Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales - Google Patents

Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales

Info

Publication number
ES2957904B2
ES2957904B2 ES202230572A ES202230572A ES2957904B2 ES 2957904 B2 ES2957904 B2 ES 2957904B2 ES 202230572 A ES202230572 A ES 202230572A ES 202230572 A ES202230572 A ES 202230572A ES 2957904 B2 ES2957904 B2 ES 2957904B2
Authority
ES
Spain
Prior art keywords
machine
module
images
image capture
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES202230572A
Other languages
English (en)
Other versions
ES2957904A1 (es
Inventor
Contreras Raúl Alberto Cabanas
Pintado Maria Perez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations SL
Original Assignee
Airbus Operations SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations SL filed Critical Airbus Operations SL
Priority to ES202230572A priority Critical patent/ES2957904B2/es
Priority to US18/341,547 priority patent/US12293511B2/en
Publication of ES2957904A1 publication Critical patent/ES2957904A1/es
Application granted granted Critical
Publication of ES2957904B2 publication Critical patent/ES2957904B2/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C70/00Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
    • B29C70/04Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
    • B29C70/28Shaping operations therefor
    • B29C70/30Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core
    • B29C70/38Automated lay-up, e.g. using robots, laying filaments according to predetermined patterns
    • B29C70/386Automated tape laying [ATL]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/424Syntactic representation, e.g. by using alphabets or grammars
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Composite Materials (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

[0001] DESCRIPCIÓN
[0003] Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales
[0005] OBJETO DE LA INVENCIÓN
[0007] La presente invención se encuadra en el campo técnico de los sistemas de visión artificial, también conocida como visión por computador (del inglés, computer vision: CV) y, más concretamente, aplicada a la inspección visual de las máquinas para la colocación automática de composites o materiales de resinas compuestas (máquinas ATL o, en inglés, automated tape lying machines) que se usan en la fabricación y revestimiento de estructuras de aeronaves.
[0009] Particularmente, la presente invención se refiere a un sistema basado en CV para detectar anomalías en la colocación automática de materiales compuestos (composites) durante la fabricación de elementos estructurales piezas (por ejemplo, piezas de fuselaje).
[0011] ANTECEDENTES DE LA INVENCIÓN
[0013] La tecnología ATL (del inglés, Automatic Tape Laying-up) es conocida, entre sus múltiples aplicaciones, para la fabricación de los principales componentes del ala de un avión.
[0015] Hoy en día, la inspección de calidad de las máquinas ATL, como las empleadas en la industria aeronáutica, se realiza mediante una inspección visual por parte del operador, a través de las cámaras instaladas en la máquina, sin más herramientas automáticas de ayuda que quizás un puntero láser para ir chequeando por partes las capas colocadas por la máquina y comprobar “manualmente” que se ajustan a los patrones correctos, según los estándares especificados para los elementos relacionados con la seguridad (SARI: Safety Related Item, en inglés).
[0017] Esta solución es susceptible de errores humanos, ya que en muchos casos es bastante difícil detectar defectos; por ejemplo, fallos en el posicionamiento de los patrones o tiras (“courses”, en inglés) de materiales compuestos como la fibra de vidrio (GF: Glass Fiber, en inglés) o láminas de cobre expandido (ECF: Expanded Copper Foil, en inglés), por ausencia de material o desviación en su colocación, provocando fugas de calidad durante la inspección técnica de los paneles del fuselaje de las alas de un avión. Aparte, según esta forma actual de proceder, no se lleva un registro automático de datos asociados a las inspecciones realizadas.
[0018] Otra solución existente es la de los sistemas para ensayos no destructivos (del inglés, nondestructive testing: NDT) diseñados para inspecciones, especialmente en la industria aeronáutica y aeroespacial, de fuselaje metálico o de componentes compuestos usados en carrocerías de aeronaves, timones, etc. y localizar defectos como grietas, fallos estructurales, inclusiones de agua, etc. de forma rápida y sencilla, por ejemplo, mediante técnicas de ultrasonido. Los sistemas NDT se aplican en la línea de ensamblaje final, por lo que los defectos localizados son ya sobre la estructura o pieza ya curada y esto implica altos costes de reparación.
[0020] Por consiguiente, el problema técnico objetivo que se presenta es proveer un sistema de inspección por computador orientado a la detección de anomalías o desviaciones en la colocación automática de capas de composites (materiales compuestos) durante la fase de fabricación de piezas (por ejemplo, para el fuselaje de una aeronave) y así evitar reparaciones posteriores cuando la pieza ya está curada.
[0022] DESCRIPCIÓN DE LA INVENCIÓN
[0024] La presente invención sirve para solucionar el problema mencionado anteriormente, mediante la provisión de un sistema basado en visión artificial, integrable en máquinas ATL de colocación automática de material compuesto, para detectar anomalías, desde carencias o exceso de material compuesto a errores de posicionamiento en una o más capas de material compuesto, durante la fase de fabricación de una pieza o elemento estructural, utilizando algoritmos de Inteligencia Artificial (IA) para analizar las imágenes captadas por una o más cámara instaladas en la cabeza de la máquina ATL.
[0026] Un aspecto de la invención se refiere a un sistema de detección de anomalías en la colocación automática de materiales compuestos (composites) durante la fabricación de elementos estructurales, para lo que el sistema comprende:
[0027] - un módulo de captura de imágenes integrable en una máquina ATL y que comprende al menos una cámara para capturar imágenes de una superficie a inspeccionar durante la fabricación de un elemento estructural que comprende dicha superficie, donde el módulo de captura de imágenes está configurado para extraer datos de las imágenes capturadas; - un módulo de visión artificial configurado para recibir los datos extraídos por el módulo de captura de imágenes y obtener información de anomalías detectadas en la superficie, mediante un algoritmo CV (de visión por computación) que usa los datos anteriormente extraídos de las imágenes; y
[0028] - un módulo de interfaz hombre-máquina a través del que un usuario/ operador recibe la información obtenida por el módulo de visión artificial sobre las anomalías detectadas, traduciendo automáticamente la información recibida a un lenguaje comprensible para el humano.
[0030] Las ventajas de la presente invención frente al estado de la técnica anterior son fundamentalmente:
[0032] - El sistema está diseñado para poder inspeccionar compuestos de elementos estructurales grandes donde pueden ser necesarias varias imágenes para cubrir toda la superficie a inspeccionar.
[0034] - Al evitar la necesidad de introducir manualmente datos para la inspección, se evitan errores humanos que pueden dar lugar a la obtención de resultados incorrectos.
[0035] - El sistema permite obtener datos adecuados en términos de tolerancia de posicionamiento de los materiales compuestos durante la fabricación del elemento con dichos materiales y, por tanto, poder aplicar un algoritmo de comparación con los posicionamientos de referencia o aprendidos, sin tener que utilizar algoritmos de corrección de posicionamiento, ahorrando así software y tiempo de cálculo. Por ejemplo, uno de los principales problemas que resuelve el módulo de captura de imágenes es permitir trabajar con diferentes compuestos y hacer frente a una tolerancia de posicionamiento del molde de los materiales que puede ser de hasta un rango de 20 milímetros en los ejes X e Y sobre los que se mueve la cabeza de colocación de materiales de una máquina ATL.
[0037] - Permite registrar automáticamente, en medios de almacenamiento controlados por el sistema inteligente propuesto, todos y cada uno de los resultados obtenidos en la inspección durante la fase de fabricación.
[0039] - La modularidad del sistema permite llevar a cabo distintas implementaciones de cada módulo adaptadas al caso de uso específico para el que opera la ATL realizando la colocación automática de composites, ofreciendo que unidades funcionales personalizables para los operadores y ajustados a los requisitos de calidad que la fabricación de determinados elementos estructurales precisan.
[0041] Éstas y otras ventajas pueden derivarse a la luz de la descripción de la invención que detalladamente se presenta a continuación.
[0042] DESCRIPCIÓN DE LOS DIBUJOS
[0044] Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción un juego de dibujos en donde, con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
[0046] Figura 1.- Muestra un diagrama de bloques de la arquitectura modular que presenta el sistema de detección de anomalías en la colocación automática de materiales compuestos, según una realización preferida de la invención.
[0048] Figura 2.- Muestra un diagrama de flujo de los pasos implementados en el módulo de captura de imágenes del sistema, según una posible realización de la invención.
[0050] Figura 3.- Muestra una vista esquemática desde arriba de los carriles de desplazamiento de la cabeza de una máquina ATL de colocación automática de materiales compuestos, desde la que una cámara de visión artificial captura las imágenes de la superficie a inspeccionar, según una posible realización de la invención.
[0052] Figura 4.- Muestra un diagrama de flujo de los pasos implementados en el módulo de visión artificial del sistema, según una posible realización de la invención.
[0054] Figura 5.- Muestra una visualización de anomalías detectadas en las imágenes captadas sobre la superficie a inspeccionar, según un posible ejemplo de uso de la invención.
[0056] REALIZACIÓN PREFERENTE DE LA INVENCIÓN
[0058] Seguidamente se proporciona, con ayuda de las figuras anteriormente referidas, una explicación detallada de un ejemplo de realización preferente del objeto de la presente invención.
[0060] La Figura 1 muestra los módulos/componentes principales que integra el sistema (100) de detección de anomalías basado en visión artificial que se propone para ser utilizado en la fabricación de elementos estructurales con máquinas ATL o de colocación automática de materiales compuestos/composites. Dichos módulos funcionales son:
[0061] Módulo de captura de imágenes (110), Módulo de visión artificial (120) y Módulo de interfaz hombre-máquina (130).
[0062] En este último módulo de interfaz hombre-máquina (130), a su vez, existe un submódulo para traducir (131) los resultados procedentes del módulo de visión artificial (120) y un submódulo de almacenamiento (132) de dichos resultados para realizar un seguimiento de los datos resultantes en cada inspección automática ejecutada por el sistema (100).
[0064] La Figura 2 muestra en un diagrama de flujo los principales pasos, descritos en detalle más abajo, realizados por el módulo de captura de imágenes (110), que es un módulo integrable en el entorno industrial de la máquina ATL y cuya finalidad es obtener la información basada en imágenes de la superficie a inspeccionar sobre la que opera la máquina ATL. El módulo de captura de imágenes (110) comprende una parte hardware que incluye al menos una cámara (312) con conexión a una red de telecomunicaciones para enviar las imágenes a una unidad de control de ejecución de la máquina ATL, de la que también puede recibir información de control a través de la red. Además, el módulo de captura de imágenes (110) tiene una parte software implementada en dicha unidad de control de ejecución, con capacidad de procesamiento y almacenamiento de información, para entregar la información adecuada extraída a partir de las imágenes captadas por la cámara (312) al siguiente módulo, el módulo de visión artificial (120), donde se ejecuta el algoritmo de detección de anomalías, basado en visión por computador, CV, de los materiales compuestos en una superficie del elemento estructural bajo de inspección.
[0066] Según muestra la Figura 3, la cámara (312) que va a capturar las imágenes de la superficie (300) a inspeccionar se instala preferiblemente en una parte móvil de la máquina ATL de colocación automática de materiales compuestos. Más particularmente, la parte móvil seleccionada de la máquina ATL es la cabeza (311) de colocación automática de materiales, que es capaz de moverse al menos según dos ejes ortogonales entre sí, un eje X (301) y un eje Y (302), a lo largo de un plano definido (situado) por encima de la superficie (300) para cubrirla en su totalidad durante la inspección en plena fase de fabricación del elemento. Normalmente, la superficie (300) es plana o moderadamente curvada; por ejemplo, puede tratarse de una pieza estructural para fuselajes de material compuesto que comprende una o más capas de material compuesto de fibra de vidrio o de ECF. Por ello, el plano de desplazamiento de la parte móvil donde se sitúa la cámara (312) se define normalmente por encima de la superficie (300), puesto que en muchos casos no es plana.
[0068] Volviendo a la Figura 2, el módulo de captura de imágenes (110) implementa los siguientes pasos, según una posible realización:
[0069] 1) Obtener (201), de la unidad de control de ejecución de la máquina ATL, la selección del programa informático ejecutado por el sistema de control numérico o NC (del inglés, Numeric Control) que controla los movimientos de la herramienta de trabajo, la máquina ATL, con relación a los ejes de coordenadas de la máquina, durante la fabricación de una parte sobre la superficie (300) a inspeccionar. Uno de los principales problemas a resolver por el módulo de captura de imágenes (110) es poder trabajar con diferentes productos (materiales) y hacer frente a la tolerancia de posicionamiento del molde de los productos. La detección de productos se realiza seleccionando un programa NC diseñado para el molde en la estación de colocación de materiales.
[0070] 2) Medir (202), por la unidad de control de ejecución de la máquina ATL, una vez seleccionado el programa NC, las posiciones de la herramienta en los ejes de coordenadas a lo largo de los que se desplaza. Por ejemplo, la posición que localiza la parte sobre la superficie (300) a inspeccionar en la que está trabajando la máquina ATL se detecta midiendo tres puntos situados en las esquinas del útil o herramienta (i.e., la cabeza (311) de la máquina ATL): se mide la posición de un primer punto con coordenadas determinadas (X1,Y1,Z1), la posición de un segundo punto con coordenadas determinadas (X2,Y2,Z2) y la posición de un tercer punto con coordenadas determinadas (X3,Y3,Z3). Este paso de medir (202) estos puntos permite la calibración de la posición relativa de la cámara (312) con respeto al molde/soporte, ya que los moldes pueden estar situado ligeramente diferentemente el uno del otro para la fabricación sucesiva de piezas. En efecto, en ciertos modos de fabricación, el molde acompaña la pieza que soporta de un puesto de fabricación a otro, de tal forma que cada puesto de fabricación recibe sucesivamente diferentes moldes/soportes.
[0071] 3) Aplicar (203) una transformación matemática de roto-traslación a las posiciones teóricas medidas, cálculo que también realiza la unidad de control de ejecución de la máquina ATL y que aplica en el programa de captura de imágenes que controla la cámara (312). La roto-traslación aplicada al programa de toma de fotos permite adaptarse a cómo ha entrado el útil dentro de la estación para la colocación automática de materiales y asegurar la repetitividad en la toma de fotos entre piezas.
[0072] 4) Ejecutar (204) ese programa o rutina de captura de imágenes, que por ejemplo puede implementar una sub-rutina para capturar las imágenes en respuesta a unos movimientos de cabeza del operario que supervisa la máquina ATL, para que la cámara (312) realice la adquisición de imágenes (fotos, vídeos o fotogramas de vídeos) y de las que el programa extrae los datos que van a servir de entrada al módulo de visión artificial (120).
[0073] 5) Almacenar (205), en la unidad de control, los datos extraídos de las imágenes adquiridas por la cámara (312) para alimentar la entrada de módulo de visión artificial (120) que, a su vez, ejecuta los pasos mostrados en la Figura 4 que se describe seguidamente. La Figura 4 muestra la cadena de pasos implementados por el módulo de visión artificial (120), que es el núcleo del sistema (100), así como las entradas y salidas de cada paso representadas por las flechas gruesas, según una posible realización. La rutina de inspección automática es activada (400) tras finalizar el proceso de colocación automática de materiales compuestos realizado por la máquina ATL en la superficie (300) del elemento estructural que se está fabricando, es decir, estando aún en la fase de fabricación del elemento. Con esa activación y la información basada en las imágenes captadas entregada por el anterior módulo de captura de imágenes (110), un primer paso es identificar (410) automáticamente el producto o material compuesto a inspeccionar a partir de dos parámetros de entrada: la ubicación (411) de la información (que se crea de forma estructurada; por ejemplo, localización de una carpeta con archivos de imagen) que se tiene sobre los elementos estructurales para los que está configurada la máquina ATL y la referencia o identidad (412) del objeto físico bajo inspección, por ejemplo, una determinada aeronave. Así, el módulo de visión artificial (120) detecta de manera automática cuál es el producto a inspeccionar y entrega a su salida un identificador (413) del producto; por ejemplo, identifica que es el ala derecha o izquierda de un determinado modelo de aeronave. Esta detección o identificación (410) automática del objetivo de interés se realiza mediante un algoritmo de aprendizaje automático de clasificación y evita la introducción manual, que puede conducir a resultados erróneos, de la información de partida para la inspección. El identificador (413) de salida del paso de identificación (410) automática se introduce como parámetro de entrada (421) al siguiente paso de preparación o preprocesamiento de las imágenes (420) que comprende limpiar y cortar las imágenes entregadas por módulo de captura de imágenes (110) para dejarlas adecuadamente preparadas para el siguiente paso de corrección de imágenes (430) que emplea máscaras. Como el algoritmo CV o de visión por computación (440) para la detección de anomalías que usa el módulo de visión artificial (120) se basa en la comparación de imágenes, es necesario eliminar previamente todas las secciones de las imágenes que están fuera del elemento objeto de fabricación (es decir, por ejemplo, herramientas, parte del suelo, partes de la máquina de fabricación, ... y cualquier otro objeto que “se cuele” en la imagen adquirida por el módulo de captura de imágenes (110)) y que podría dar lugar a falsas anomalías. Esta preparación o preprocesamiento de las imágenes (420) está previamente definida por cada producto a ser inspeccionado y aplicada, por tanto, de acuerdo con la identificación del producto que se ha obtenido del anterior paso de identificación (410). Adicionalmente, por ejemplo, para la fabricación de piezas grandes, donde las condiciones de luz podrían cambiar a lo largo de la superficie (300) a inspeccionar, este preprocesamiento de las imágenes (420) puede también comprender correcciones de colores. Las imágenes preprocesadas (422) de salida se introducen como imágenes de entrada (431), ya limpias y cortadas, al submódulo o paso de corrección de imágenes (430) mediante máscaras, junto con unos valores de entrada referentes a valores máximos y mínimos (432) de matiz, saturación y brillo o valor (modelo HSV: Hue, Saturation, Valor; en inglés) que definen un modelo de color en términos de esas tres componentes. El propósito de esta corrección de imágenes (430) por valores umbrales de máscaras de color es convertir una imagen RGB en una imagen binaria que resalta solo el material compuesto a inspeccionar en función de sus propiedades de color (por ejemplo, un material gris está resaltado frente al verde) y así filtra la información de cada píxel según los valores umbrales, máximos y mínimos (432) de matiz, saturación y brillo dados, los cuales están configurados de acuerdo con el material y condiciones de iluminación de la inspección automática. Adicionalmente, tras la aplicación de estas máscaras o umbrales, se pueden aplicar algunas operaciones binarias (tales como una dilatación binaria y un cierre binario) para eliminar o reducir el ruido de pequeños píxeles negros. Las imágenes binarias (433) de salida de la corrección de imágenes (430) pasan como imágenes de entrada (441) al algoritmo de visión por computación (440) para la detección de anomalías que realiza una comparación de dichas imágenes, corregidas y convertidas en binario correspondientes a la superficie (300) a inspeccionar, con unas imágenes de referencia (442) que son imágenes teóricamente correctas (sin anomalías). Las imágenes de referencia (442) pueden ser obtenidas de varias formas: por ejemplo, por conversión de un modelo informatizado de la pieza a obtener, o bien por aprendizaje a base de imágenes capturadas en piezas previamente comprobadas por humanos entrenados como imágenes sin anomalías (otros modos de obtener tales imágenes de referencia (442) pueden ser utilizados). Sobre el resultado de esta comparación de imágenes se aplican de nuevo algunas operaciones binarias para reducir ruido y además el algoritmo de visión por computación (440) realiza los siguientes pasos: a) el primer paso es detectar todas las áreas que se identifican como anomalía utilizando un algoritmo de etiquetado que identifica áreas conectadas o agrupaciones de áreas (“clusters” en inglés) y calcula propiedades relacionadas con estos “clusters”; b) el siguiente paso es discriminar entre patrones reales de ausencia de material y de ruido, o discriminar puntos de luz (estos puntos de luz -lighting spots, en inglés- constituyen un problema común en los procesos de visión por computador y se puede resolver a través de componentes hardware, pero la presente solución se basa en el software) usando una nueva característica o parámetro ("parámetro de porosidad") que se calcula a partir del valor de área del “cluster” y el número de Euler (443) (el número de Euler se define como una operación matemática que incluye el número de agujeros dentro de un “cluster” o agrupación de áreas conectadas). Evaluando dos condiciones, el tamaño mínimo (444) de áreas a inspeccionar y el “parámetro de porosidad”, el algoritmo de visión por computación (440) es capaz de discriminar entre ruido y material faltante y reducir así, utilizando sólo software, la tasa de falsos positivos en la detección CV de anomalías. Esta doble condición permite comparar el tamaño de anomalía detectado frente al tamaño mínimo a detectar a la par que se comprueba la condición de porosidad del área de anomalía; de forma que, si la porosidad excede cierto nivel, se descarta como patrón. El parámetro de porosidad es pues un nuevo parámetro específicamente definido para poder distinguir ruido (proveniente principalmente de reflejos sobre el material) de anomalías por falta o desviación de patrones. La información de las anomalías detectadas, que pueden estar relacionadas con falta/exceso de material o material mal colocado, se entrega a la salida (445) como anomalías de fabricación detectadas y son los resultados entrada al módulo de interfaz hombre-máquina (130), pudiendo entregarse dicha información en función de propiedades del color. El objetivo es poder detectar, aparte de faltas o excesos de material, no solo un mal posicionamiento porque el material no está donde debería estar, sino que también es posible detectar una mala colocación del material; es decir una arruga o un material extraño sobre la superficie también puede ser detectado como anomalía en función del tamaño y el contraste de color.
[0075] Finalmente, el sistema (100) entrega a través de su módulo de interfaz hombre-máquina (130) los resultados del algoritmo de detección de anomalías obtenidos a la salida del módulo de visión artificial (120), tras la ejecución de los pasos vistos anteriormente. El módulo de interfaz hombremáquina (130) entrega (usualmente, mostrándolos visualmente) los resultados al operario que ha activado el sistema (100) para la inspección automática mientras opera/supervisa la máquina ATL en la fabricación de los elementos estructurales; por tanto, debe traducir (131) automáticamente todos los resultados a un lenguaje comprensible para el ser humano y, si se ha detectado alguna anomalía, mostrar la ubicación y el tipo de anomalía que es. Entre los resultados, se puede mostrar una indicación clara de si hay una anomalía que necesita ser inspeccionada cuidadosamente o si toda la superficie está correcta, de acuerdo con los parámetros teóricos o estándares. Por ejemplo, en la comunicación traducida al operador de los resultados, el módulo de interfaz hombre-máquina (130) puede utilizar un código de colores para indicar la falta de material con un color o el material extra encontrado en la inspección usando otro color distinto. Además, en este módulo también se incluye una parte de registro histórico o submódulo de almacenamiento (132), donde todas las salidas de la ejecución del módulo de visión artificial (120) se guardan para rastrear la información de cada inspección automática ejecutada.
[0077] En un posible uso del sistema (100), el módulo de interfaz hombre-máquina (130) puede presentar visualmente resultados como se muestran en el ejemplo de la Figura 5, donde aparece una imagen (500) de una zona de la superficie (300) bajo inspección; seguidamente, la imagen teóricamente corregida (510) que obtiene el sistema (100) a partir de la anterior; y, por último, la imagen resultado (520) muestra las anomalías detectadas distinguiendo visualmente el patrón faltante o falta de material (521), por una parte, y por otra, el ruido (522) por los puntos de luz (“lightning spots”).

Claims (12)

1. REIVINDICACIONES
1. Un sistema (100) para detectar anomalías en la colocación automática de materiales compuestos durante la fabricación de elementos estructurales,caracterizado por quecomprende los siguientes módulos:
- un módulo de captura de imágenes (110) integrable en una máquina de colocación automática de materiales compuestos y que comprende al menos una cámara (312) configurada para capturar imágenes de una superficie (300) a inspeccionar durante la fabricación de un elemento estructural que comprende la superficie (300), el módulo de captura de imágenes (110) configurado para extraer datos de las imágenes capturadas por la, al menos una, cámara (312);
- un módulo de visión artificial (120) configurado para recibir los datos extraídos por el módulo de captura de imágenes (110) y obtener, mediante un algoritmo de visión por computación (440) que usa los datos extraídos, información de anomalías detectadas en la superficie (300); y
- un módulo de interfaz hombre-máquina (130) configurado para recibir la información de anomalías detectadas obtenida por el módulo de visión artificial (120) y traducir (131) automáticamente la información recibida a un lenguaje comprensible para el humano;caracterizado por queel módulo de visión artificial (120) está configurado además para: - detectar áreas que se identifican como anomalía mediante el algoritmo de visión por computación (440),
- a partir de todas las áreas detectadas, identificar agrupaciones de áreas utilizando un algoritmo de etiquetado,
- calcular un parámetro de porosidad a partir de un valor de área total de cada agrupación de áreas y la característica de Euler (443),
- discriminar entre anomalías reales correspondientes a falta de material y falsos positivos debidos a ruido en la imagen, y
- descartar falsos positivos en la detección de anomalías por el algoritmo de visión por computación (440) usando el parámetro de porosidad calculado para el área de anomalía.
2. El sistema (100) de acuerdo con la reivindicación 1,caracterizado por quela cámara (312) está incorporada en una parte móvil de la máquina de colocación automática de materiales compuestos.
3. El sistema (100) de acuerdo con la reivindicación 2,caracterizado por quela cámara (312)
está incorporada en una cabeza (311) de colocación automática de materiales compuestos configurada para desplazarse en un plano situado encima de la superficie (300) a inspeccionar.
4. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel módulo de captura de imágenes (110) está configurado además para:
- obtener (201), a través de una unidad de control asociada a la máquina de colocación automática de materiales compuestos, un programa de control numérico seleccionado que está configurado para realizar desplazamientos de la máquina para la colocación automática de materiales compuestos durante la fabricación de un área de la superficie (300);
- localizar el área de la superficie (300) a inspeccionar midiendo (202)posiciones de la máquina en el desplazamiento realizado según el programa de control numérico seleccionado;
- aplicar (203) una transformación de roto-traslación a las posiciones medidas para obtener una posición de la cámara (312) desde la que ejecutar (204) una rutina de captura de imágenes sobre el área localizada de la superficie (300).
5. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel módulo de captura de imágenes (110) está configurado además para almacenar (205) los datos extraídos de las imágenes capturadas por la cámara (312) y enviar los datos extraídos, almacenados o en tiempo real, al módulo de visión artificial (120).
6. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel módulo de visión artificial (120) está configurado para activar (400) una ejecución de inspección automática tras la colocación automática de materiales compuestos en la superficie (300) y aún durante la fabricación del elemento estructural.
7. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel módulo de visión artificial (120) está configurado además para, a partir de los datos extraídos por el módulo de captura de imágenes (110),identificar (410) mediante un algoritmo de aprendizaje automático de clasificación el elemento estructural a inspeccionar y obtener información relativa a la inspección asociada al elemento estructural identificado.
8. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel módulo de visión artificial (120) está configurado además para realizar un preprocesamiento de imágenes (420) que comprende limpiar y cortar las imágenes
capturadas por el módulo de captura de imágenes (110) y una corrección de imágenes (430) que comprende convertir las imágenes preprocesadas en imágenes binarias que el algoritmo de visión por computación (440) usa como imágenes de entrada (441).
9. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel algoritmo de visión por computación (440) está configurado para comparar unas imágenes de entrada (441) con unas imágenes de referencia (442) que son imágenes sin anomalías.
10. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel módulo de visión artificial (120) está configurado además para comparar un tamaño de anomalía extraído de la información de anomalías obtenida con un tamaño mínimo (444) dado de áreas a inspeccionar para, junto con el parámetro de porosidad calculado, descartar falsos positivos en la detección de anomalías por el algoritmo de visión por computación (440).
11. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por queel módulo de interfaz hombre-máquina (130) además comprende un submódulo de almacenamiento (132) configurado para generar un registro de todas las informaciones obtenidas por el módulo de visión artificial (120) en cada inspección automática ejecutada.
12. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores,caracterizado por quela información de anomalías detectadas comprende una indicación de falta de material, exceso de material o material mal colocado en la superficie (300).
ES202230572A 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales Active ES2957904B2 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES202230572A ES2957904B2 (es) 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales
US18/341,547 US12293511B2 (en) 2022-06-27 2023-06-26 Anomaly detection system in the automatic placement of composites during the manufacturing of structural elements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES202230572A ES2957904B2 (es) 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales

Publications (2)

Publication Number Publication Date
ES2957904A1 ES2957904A1 (es) 2024-01-29
ES2957904B2 true ES2957904B2 (es) 2026-03-11

Family

ID=89323231

Family Applications (1)

Application Number Title Priority Date Filing Date
ES202230572A Active ES2957904B2 (es) 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales

Country Status (2)

Country Link
US (1) US12293511B2 (es)
ES (1) ES2957904B2 (es)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876429B (zh) * 2024-03-12 2024-06-07 潍坊海之晨人工智能有限公司 一种运动型工业视觉实训系统
EP4617913A1 (en) 2024-03-15 2025-09-17 Airbus S.A.S. Method for computing at least one output value for a number of input values by a computing device, as well as corresponding computing device, computer program, computer-readable data carrier, and apparatus
CN118505953A (zh) * 2024-07-16 2024-08-16 天津中屹铭科技有限公司 用于磨削铸件视觉检查工件型号的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5562788A (en) * 1994-09-20 1996-10-08 The Boeing Company Composite material laser flaw detection
JP2005535010A (ja) * 2002-06-12 2005-11-17 シリコン オプティックス インコーポレイテッド 光学異常の電子補正のためのシステムおよび方法
US7513964B2 (en) * 2005-02-28 2009-04-07 The Boeing Company Real-time infrared thermography inspection and control for automated composite marterial layup
US8668793B2 (en) * 2005-08-11 2014-03-11 The Boeing Company Systems and methods for in-process vision inspection for automated machines
US8050486B2 (en) * 2006-05-16 2011-11-01 The Boeing Company System and method for identifying a feature of a workpiece
JP6117206B2 (ja) * 2011-08-25 2017-04-19 コーネル ユニヴァーシティー 機械視覚のための網膜符号化器
US9595096B2 (en) * 2014-03-10 2017-03-14 The Boeing Company Composite inspection and structural check of multiple layers
US9645095B2 (en) * 2014-10-06 2017-05-09 The Boeing Company System and method for inspecting a composite part during manufacture
BR102016028266A2 (pt) * 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
US10737446B2 (en) * 2017-04-28 2020-08-11 The Boeing Company Process control of a composite fabrication process
US20190266401A1 (en) * 2018-01-11 2019-08-29 Intelinair, Inc Change Detection System
US11455714B2 (en) * 2019-07-25 2022-09-27 Verizon Patent And Licensing Inc. Multi-access edge computing methods and systems for computer-vision-based product compliance verification

Also Published As

Publication number Publication date
US12293511B2 (en) 2025-05-06
US20230419477A1 (en) 2023-12-28
ES2957904A1 (es) 2024-01-29

Similar Documents

Publication Publication Date Title
ES2957904B2 (es) Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US10782671B2 (en) Method for operating a pass-through machine and a pass-through machine for edge machining and trimming of workpieces
EP1955108B1 (en) System for projecting flaws and inspection locations and associated method
US10026164B2 (en) Method of performing and monitoring a processing step on a workpiece
US12523993B2 (en) Mold inspection for composite fabrication with AI quality control modules
CN102084214B (zh) 结构光系统用于光学形状和位置测量的精确图象获取
EP3775854B1 (en) System for the detection of defects on a surface of at least a portion of a body and method thereof
KR20210019014A (ko) 공간의 복잡한 표면에서 지점의 위치를 결정하기 위한 방법 및 플랜트
KR102428841B1 (ko) 구조광을 이용한 연마 로봇 시스템 및 그 제어방법
JP2016075663A (ja) 製造中の複合部品を検査するためのシステムおよび方法
CN116465335B (zh) 基于点云匹配的自动测厚方法和系统
CN115205511B (zh) 一种基于计算机视觉的舵翼偏角检测方法及系统
US7355725B2 (en) Measuring system
CN114392940A (zh) 一种异型元器件的针脚检测方法及装置
US20250078248A1 (en) In-process inspection for automated fiber placement
WO2010112894A1 (en) Automated 3d article inspection
CN114923410B (zh) 一种纵梁孔位在线检测方法及装置
CN107020545A (zh) 识别机械工件位姿的装置和方法
US20200133245A1 (en) Device For Coordinated Movement And/Or Orientation Of A Tracking Tool, Method For Smoothing A Part Using Said Device And Smoothing Station For Implementing Said Method
Lerones et al. Total quality control for automotive raw foundry brake disks
WO2021176384A1 (en) System for locating and treating surface defects on objects, in particular motor vehicle bodies
CN121253544B (zh) 一种基于视觉跟踪的多摄像头协同在线检测方法及系统
KR20160067303A (ko) 실러 도포 품질 검사 장치 및 이를 이용한 실러 도포 품질 검사 방법
WO2025176683A1 (en) Monitoring of composite part manufacture

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2957904

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20240129

FG2A Definitive protection

Ref document number: 2957904

Country of ref document: ES

Kind code of ref document: B2

Effective date: 20260311