ES3020109T3 - Neural network for bulk sorting - Google Patents

Abstract

Se proporciona un sistema de clasificación masiva para la clasificación de objetos (1) en masa. El sistema comprende: al menos una fuente de radiación (10) configurada para irradiar los objetos; al menos un sensor óptico (12) configurado para capturar la radiación reflejada (22) de los objetos y adquirirla como datos multiespectrales o hiperespectrales (24); un circuito de procesamiento (16) configurado para analizar la radiación reflejada de los objetos introduciendo los datos multiespectrales o hiperespectrales en una red neuronal convolucional (CNN) (18) con al menos dos capas convolucionales para detectar y clasificar los objetos en los datos multiespectrales o hiperespectrales, o segmentarlos semánticamente; y un clasificador mecánico (20) configurado para clasificar los objetos según su clasificación o segmentación mediante el análisis del circuito de procesamiento, de modo que los diferentes objetos superpuestos o apilados se separen o se traten como un solo grupo. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Red neuronal para clasificación a granel

Campo técnico

La presente invención se refiere al campo de la clasificación. Más particularmente, la presente invención se refiere a la clasificación a granel asistida por una red neuronal convolucional (CNN).

Antecedentes

La clasificación es un campo de investigación de actualidad con implicaciones para, por ejemplo, el reciclaje, la minería o el procesamiento de alimentos. Para una implementación de reciclaje, se usan técnicas de clasificación para clasificar una mezcla de basura al contenedor de reciclaje correcto. A medida que evolucione la tecnología, esta clasificación podrá hacerse con más precisión y rapidez que antes.

Existen técnicas tales como las mostradas en el documento US 2018/243800 AA, para usar un sistema de aprendizaje automático para clasificar un flujo de objetos individuales. El sistema de aprendizaje automático permite una identificación precisa de los objetos que se clasifican. Sin embargo, estas técnicas son lentas, debido a que las mismas solo pueden procesar un único flujo de objetos a la vez. Otros ejemplos de técnicas de caracterización y segmentación de materiales pueden hallarse en el documento US 2019/130560 A1 y en Matthieu Grard y col.:"Object segmentation in depth maps with one user click and a synthetically trained fully convolutional network",2018. Un ejemplo adicional se muestra en BOBULSKI JANUSZ y col.:"Waste Classification System Using Image Processing and Convolutional Neural Networks",16 de mayo de 2019, ROBOCUP 2008.

Los clasificadores actuales separan partículas individuales. Estos requieren una preparación cuidadosa de la alimentación de tal modo que pueden detectarse y medirse partículas individuales, y la expulsión se logra habitualmente mediante ráfagas de aire comprimido. Por lo tanto, los clasificadores actuales tienen una capacidad muy baja (hasta 300 toneladas por hora para partículas más grandes y mucho menos para partículas más pequeñas), lo que las hace inviables para la preconcentración de tonelaje más alto o la así denominada clasificación a granel. La velocidad de clasificación y el caudal que ha de lograrse en la clasificación a granel están directamente relacionados con el tamaño de los objetos que van a clasificarse. En general, la velocidad de clasificación y el caudal varían en gran medida para artículos más grandes y más pequeños y dependen mucho de la aplicación particular, que puede variar entre aplicaciones de clasificación de alimentos, papel, madera, plástico y minerales.

Para hacer que la clasificación sea viable para todas las preconcentraciones, esta debería aplicarse a cantidades a granel de objetos, tal como en una bandeja de camión cargada o en una cinta transportadora cargada totalmente.

Por lo tanto, existe la necesidad de mejoras dentro este contexto.

Sumario

Por lo tanto, la presente invención aspira a resolver al menos algunos de los problemas mencionados y a eliminar o al menos mitigar algunos de los inconvenientes de los sistemas de la técnica anterior. Este objeto se ha logrado ahora de acuerdo con la invención mediante la técnica novedosa expuesta en las reivindicaciones independientes adjuntas; definiéndose realizaciones preferidas en las reivindicaciones dependientes relacionadas.

Un objeto adicional de la presente invención es proporcionar un sistema de clasificación capaz de clasificar objetos a granel. De acuerdo con un primer aspecto, los anteriores y otros objetos de la invención se logran, totalmente o en parte, mediante un sistema de clasificación a granel para clasificar objetos a granel. El sistema comprende: al menos una fuente de radiación dispuesta para irradiar los objetos, al menos un sensor óptico dispuesto para capturar radiación reflejada de los objetos y adquirir la radiación reflejada como datos multi o hiperespectrales; un circuito de procesamiento configurado para analizar la radiación reflejada de los objetos introduciendo los datos multi o hiperespectrales en una red neuronal convolucional (CNN) con al menos dos capas convolucionales para o bien detectar y clasificar los objetos en los datos multi o hiperespectrales y/o bien segmentar semánticamente los datos multi o hiperespectrales; y un clasificador mecánico configurado para clasificar los objetos usando el análisis del circuito de procesamiento.

Esto es beneficioso porque los problemas previos, tales como objetos colocados unos encima de otros, obstruyendo de este modo los datos de sensor, se identifican y se procesan en consecuencia. La CNN con al menos dos capas convolucionales se entrena ventajosamente para manejar este tipo de datos multi o hiperespectrales de una forma mejorada en comparación con sistemas de clasificación conocidos para clasificación a granel. La detección y clasificación y/o segmentación semántica con la CNN permite realizar un procesamiento de objetos con objetos superpuestos, lo que conduce a un caudal posible de clasificador más alto por hora en comparación con métodos de procesamiento tradicionales.

En una realización, el al menos un sensor óptico comprende un escáner de infrarrojo cercano dispuesto para explorar los objetos, en donde los datos multi o hiperespectrales comprenden los datos de exploración.

El escáner NIR es beneficioso porque puede extraerse un montón de información distintiva de la absorción NIR medida de los objetos.

En una realización, el al menos un sensor óptico comprende un sensor de imagen dispuesto para capturar datos de imagen de los objetos, en donde los datos multi o hiperespectrales comprenden los datos de imagen.

El sensor de imagen es beneficioso porque existen muchos algoritmos de procesamiento de imagen para datos de imagen, tales como el reconocimiento de objetos o la segmentación de imagen. Además, una CNN es habitualmente muy adecuada para el análisis de datos de imagen.

En una realización, el al menos un sensor óptico comprende una cámara hiperespectral dispuesta para explorar los objetos, en donde los datos multi o hiperespectrales comprenden los datos de exploración.

La cámara hiperespectral es beneficiosa porque la misma es una forma eficiente de recopilar un montón de datos para ser usados por la CNN.

En una realización, el al menos un sensor óptico comprende un triangulador láser dispuesto para medir datos 3D de los objetos, en donde los datos multi o hiperespectrales comprenden los datos 3D, en donde la medición de datos 3D puede comprender exploración de intensidad de altura láser.

El triangulador láser es beneficioso porque el mismo permite una medición 3D precisa, lo que es beneficioso para el análisis de la CNN.

En una realización, el sistema comprende además un detector electromagnético dispuesto para medir propiedades electromagnéticas de los objetos, en donde el circuito de procesamiento está configurado adicionalmente para analizar las propiedades electromagnéticas introduciendo las propiedades electromagnéticas medidas en la CNN para o bien detectar y clasificar los objetos en los datos multi o hiperespectrales y/o bien segmentar semánticamente los datos multi o hiperespectrales.

El detector electromagnético es beneficioso porque la clasificación de ciertos tipos de objetos, tales como metales y aislantes, es mucho más precisa usando propiedades electromagnéticas.

En una realización, el al menos un sensor óptico comprende un escáner láser con un espejo poligonal rotatorio dispuesto para medir propiedades de dispersión y/o antidispersión de láser de los objetos; en donde los datos multi o hiperespectrales comprenden las propiedades de dispersión y/o antidispersión de láser.

El escáner láser es beneficioso porque puede extraerse un montón de información distintiva de las propiedades de dispersión y/o antidispersión de láser medidas de los objetos. El espejo poligonal rotatorio permite que varios objetos y características de dispersión en diferentes direcciones se midan sin ningún apuntamiento.

En una realización, el al menos un sensor óptico comprende un emisor LED pulsado dispuesto para medir propiedades antidispersión de luz de los objetos; en donde los datos multi o hiperespectrales comprenden las propiedades antidispersión de luz.

El emisor LED es beneficioso porque los mismos requieren poco mantenimiento y calibración y generan relativamente poco calor. Puede extraerse un montón de información distintiva de las propiedades antidispersión de luz medidas de los objetos.

En una realización, el al menos un sensor óptico comprende una cámara de rayos X dispuesta para medir la transmisión de rayos X de los objetos; en donde los datos multi o hiperespectrales comprenden la transmisión de rayos X de los objetos, respectivamente.

La cámara de rayos X es beneficiosa porque pueden medirse diferentes propiedades a la vez. La permitividad de los objetos a la radiación de rayos X puede indicar su densidad atómica y/o su espesor. El resultado de la fluorescencia de rayos X es información acerca de la presencia de elementos y su concentración.

En una realización, el sistema comprende además transportar los objetos a lo largo del/de los intervalo(s) de detección del al menos un sensor óptico hasta el clasificador mecánico usando una cinta transportadora.

La cinta transportadora es beneficiosa porque la misma permite un movimiento estable, rápido y predecible de los objetos. Una alternativa a la cinta transportadora es una rampa deslizante.

El clasificador mecánico está configurado adicionalmente para separar los objetos en al menos dos flujos y/o para expulsar los objetos no deseados de la masa.

La separación de los objetos es beneficiosa porque pueden quererse varios conjuntos de objetos de la masa. La expulsión de objetos no deseados es beneficiosa porque, frecuentemente, hay objetos no deseados en la masa que interfieren con procesos futuros.

En una realización, que no es parte de la invención reivindicada, el clasificador mecánico comprende al menos una válvula dispuesta para expulsar al menos una corriente de aire que empuja los objetos a una posición deseada.

La al menos una válvula es beneficiosa porque la misma es una forma energéticamente eficiente y precisa de empujar objetos, no formando parte de la invención reivindicada, son preferiblemente válvulas de solenoide, debido a que las mismas tienen tiempos de conmutación relativamente cortos y un rendimiento de caudal relativamente alto.

En una realización, que no es parte de la invención reivindicada, el clasificador mecánico comprende al menos un golpeador mecánico dispuesto para impulsar los objetos a una posición deseada.

El al menos un golpeador mecánico es beneficioso porque el mismo es una forma eficiente energéticamente y potente para empujar objetos. Los golpeadores son preferiblemente neumáticos.

En una realización, que no es parte de la invención reivindicada, el clasificador mecánico se dispone para clasificar los objetos a medida que los mismos se desplazan a lo largo de una cinta transportadora, a medida que los mismos se desplazan a lo largo de una rampa deslizante o a medida que los mismos caen libremente.

La clasificación durante el desplazamiento es beneficiosa porque la misma es eficiente en términos de velocidad. El clasificador puede disponerse cerca de la cinta transportadora y puede disponerse para mover los objetos en una dirección perpendicular a la dirección de movimiento de la cinta transportadora. La rampa deslizante o la caída libre puede disponerse en un extremo de una cinta transportadora o a lo largo de un borde de una cinta transportadora. Es preferible que el clasificador mecánico sea capaz de reaccionar rápidamente, debido a que la velocidad de los objetos es relativamente difícil de predecir y controlar en esta realización. En una realización, el clasificador mecánico tiene una precisión de activación de menos de 1 ms para partículas pequeñas y de menos de 10 ms para partículas más grandes, tales como botellas.

En una realización, el clasificador mecánico se dispone para clasificar los objetos de tal modo que se separan diferentes objetos superpuestos y/o apilados, como son analizados por el circuito de procesamiento.

La separación de objetos superpuestos y/o apilados es beneficiosa porque los diferentes objetos se tratan de forma diferente a pesar de estar superpuestos y/o apilados, lo que aumenta la precisión y el rendimiento de la clasificación.

El clasificador mecánico se dispone para clasificar los objetos de tal modo que diferentes objetos superpuestos y/o apilados, como son analizados por el circuito de procesamiento, se tratan como un único grupo de objetos.

La agrupación de objetos superpuestos y/o apilados es beneficiosa porque es difícil separar los mismos, especialmente con ciertos clasificadores mecánicos.

En una realización, objetos superpuestos y/o apilados se tratan como un único grupo de objetos, en donde para un grupo de objetos que comprende al menos un primer tipo de objeto y un segundo tipo de objeto, el clasificador mecánico está configurado para clasificar el grupo de objetos o bien como el primer tipo de objeto o bien como el segundo tipo de objeto basándose en una preferencia en el sistema de clasificación a granel.

La clasificación de un grupo como un único tipo de objeto es beneficiosa porque, dependiendo de la realización, es más valioso asegurar que no se expulse ningún material deseado o que no se conserve ningún material no deseado. En el primer caso, el grupo se clasificaría como el tipo de objeto deseado y, en el segundo caso, el grupo se clasificaría como el tipo de objeto no deseado.

En una realización, el clasificador mecánico se dispone para apuntar a los límites de los objetos, como son analizados por el circuito de procesamiento.

La clasificación mecánica apuntada es beneficiosa porque la misma permite que el clasificador mecánico sea más eficiente porque, por ejemplo, se usan menos válvulas o golpeadores y los objetos son movidos sin rotar, lo que aumenta la precisión y reduce el consumo de energía. Por ejemplo, puede usarse un tercio de los clasificadores mecánicos para obtener el mismo resultado si los mismos se apuntan mejor.

Una clasificación de objetos, dependiendo del tamaño de los objetos que van a clasificarse, a una velocidad de entre 0,4 - 20 m/s y un caudal de 0,5 - 30 toneladas/h con un nivel de precisión superior al 80 %, preferiblemente superior al 90 % con un caudal de una única fase y superior al 95 %, preferiblemente superior al 99 % con una cascada de sistemas de clasificación que se logra con el sistema y método de clasificación de la presente aplicación.

La CNN comprende al menos dos capas de agrupamiento.

Las capas de agrupamiento son beneficiosas porque las mismas reducen el tamaño de la red neuronal al submuestrear los datos, lo que hace que la CNN sea más eficiente. La CNN puede tener cualquier número de capas de agrupamiento, incluyendo 3, 5, 10, 20, 100, 250, etc.

En una realización, el sistema comprende además el postprocesamiento de los datos multi o hiperespectrales clasificados y/o segmentados para configurar el clasificador mecánico antes de que tenga lugar la clasificación.

El postprocesamiento es beneficioso porque el mismo permite la conversión de la salida en algo que el clasificador mecánico pueda interpretar más fácilmente. Esta puede comprender instrucciones de configuración para el clasificador mecánico que han de crearse antes de que tenga lugar la clasificación de los objetos correspondientes a los datos multi o hiperespectrales clasificados y/o segmentados.

En una realización, el circuito de procesamiento está configurado adicionalmente para introducir al menos una parte de los datos multi o hiperespectrales en un algoritmo de reconocimiento de patrones; y en donde los resultados tanto de la CNN como del algoritmo de reconocimiento de patrones son usados por el clasificador mecánico para clasificar los objetos.

El reconocimiento de patrones es beneficioso porque el mismo está bien establecido y puede potenciar el resultado de la CNN. Este tampoco requiere formación y puede completarse con relativa rapidez, por lo que puede usarse si la CNN no está disponible o es demasiado lenta. Un cálculo híbrido de este tipo tiene beneficios sinérgicos inesperados, debido a que puede ser obtenida información diferente por los diferentes métodos de análisis.

De acuerdo con un segundo aspecto, los anteriores y otros objetos de la invención se logran, totalmente o en parte, mediante un método para clasificar objetos a granel. El método comprende las etapas de: irradiar los objetos usando al menos una fuente de radiación; capturar radiación reflejada de los objetos usando al menos un sensor óptico; adquirir la radiación reflejada como datos multi o hiperespectrales; analizar la radiación reflejada de los objetos introduciendo los datos multi o hiperespectrales en una red neuronal convolucional (CNN) con al menos dos capas convolucionales para o bien detectar y clasificar los objetos en los datos multi o hiperespectrales y/o bien segmentar semánticamente los datos multi o hiperespectrales; y clasificar, por un clasificador mecánico, los objetos usando los resultados de la etapa de análisis.

Esto es beneficioso porque los problemas previos, tales como objetos colocados unos encima de otros, obstruyendo de este modo los datos de sensor, se identifican y se procesan en consecuencia. La detección y clasificación y/o segmentación semántica con la CNN permite realizar un procesamiento de objetos con objetos superpuestos, lo que conduce a un caudal posible de clasificador más alto por hora en comparación con métodos de procesamiento tradicionales. El caudal por hora del clasificador puede aumentarse al menos en un 50 % en comparación con los de los métodos de procesamiento tradicionales. Se logra una clasificación de objetos, dependiendo del tamaño de los objetos que van a clasificarse, a una velocidad de entre 0,4 - 20 m/s y un caudal de 0,5 - 30 toneladas/h.

En una realización, el método comprende además una etapa de postprocesamiento de los datos multi o hiperespectrales clasificados y/o segmentados para configurar el clasificador mecánico antes de que tenga lugar la etapa de clasificación.

La etapa de postprocesamiento es beneficiosa porque la misma permite la conversión de la salida en algo que el clasificador mecánico pueda interpretar más fácilmente. Esta puede comprender instrucciones de configuración para el clasificador mecánico que han de crearse antes de la etapa de clasificación de los objetos correspondientes a los datos multi o hiperespectrales clasificados y/o segmentados.

Otros objetivos, características y ventajas de la presente invención se desprenderán de la siguiente divulgación detallada, de las reivindicaciones adjuntas, así como de los dibujos. Se hace notar que la invención se refiere a todas las combinaciones posibles de características.

Debería hacerse hincapié en que se interpreta que la expresión "comprende/comprendiendo/que comprende", cuando se usa en la presente memoria descriptiva, especifica la presencia de características, elementos integrantes, etapas o componentes expuestos, pero no excluye la presencia o adición de una o más características, elementos integrantes, etapas, componentes o grupos de los mismos. En general, todos los términos usados en las reivindicaciones han de interpretarse de acuerdo con su significado ordinario en el campo técnico, salvo que se defina explícitamente lo contrario en el presente documento. Todas las referencias a "un/una/el/los [elemento, dispositivo, componente, medios, etapa, etc.]" se interpretarán de forma abierta como que hacen referencia a al menos una instancia del elemento, dispositivo, componente, medios, etapa, etc., salvo que se exponga explícitamente lo contrario.

Breve descripción de los dibujos

A modo de ejemplo, a continuación se describirán realizaciones de la presente invención con referencia a los dibujos adjuntos, en los que:

la figura 1 muestra un sistema de clasificación a granel de acuerdo con una realización;

la figura 2 muestra un sistema de clasificación a granel de acuerdo con una realización;

la figura 3a muestra un resultado de detección de objetos de acuerdo con una realización;

la figura 3b muestra un resultado de segmentación semántica de acuerdo con una realización;

la figura 4 muestra un clasificador mecánico de acuerdo con una realización;

la figura 5a muestra un sistema de clasificación a granel que comprende un escáner de infrarrojo cercano y un sensor de imagen de acuerdo con una realización;

la figura 5b muestra un sistema de clasificación a granel que comprende un triangulador láser y un detector electromagnético de acuerdo con una realización;

la figura 6a muestra un sistema de clasificación a granel que comprende un escáner láser, un emisor LED pulsado y una cámara de rayos X de acuerdo con una realización;

la figura 6b muestra un sistema de clasificación a granel que comprende una cámara hiperespectral de acuerdo con una realización;

la figura 7 muestra un diagrama de flujo para operaciones del circuito de procesamiento de acuerdo con una realización;

la figura 8 muestra un diagrama de flujo para operaciones híbridas del circuito de procesamiento de acuerdo con una realización;

la figura 9 muestra un diagrama de flujo para operaciones híbridas del circuito de procesamiento usando dos unidades de cálculo de acuerdo con una realización; y

la figura 10 muestra un diagrama de flujo para un método para clasificar objetos a granel de acuerdo con una realización.

Descripción detallada

Las realizaciones de la invención se describirán a continuación con referencia a los dibujos adjuntos. Sin embargo, la invención puede materializarse en muchas formas diferentes y no debería interpretarse como limitada a las realizaciones expuestas en el presente documento. Más bien, estas realizaciones se proporcionan de tal modo que esta divulgación será minuciosa y completa, y transmitirá completamente el alcance de la invención a los expertos en la materia. La terminología usada en la descripción detallada de las realizaciones particulares ilustradas en los dibujos adjuntos no pretender ser limitante de la invención. En los dibujos, números semejantes se refieren a elementos semejantes.

A partir de las figuras 1 y 2, se muestra un sistema de clasificación a granel, en donde la figura 2 muestra un ejemplo más detallado del mismo sistema de clasificación a granel que en la figura 1. El sistema está configurado para clasificar objetos 1 a granel. Los objetos 1 a granel pueden comprender un número relativamente grande de objetos 1 separados espacialmente de forma aleatoria. Los objetos 1 a granel no son tradicionalmente un único flujo, sino que son, en su lugar, un conjunto sin clasificar con objetos 1 que pueden superponerse. Tradicionalmente, la clasificación a granel tiene por objeto separar un conjunto o conjuntos específicos de objetos 1 de otros objetos 1, es decir, que algunos objetos son deseados y otros objetos son no deseados. Un ejemplo es separar el plástico de otros tipos de basura, de tal modo que puede reciclarse el plástico.

El sistema comprende al menos una fuente de radiación 10 dispuesta para irradiar los objetos 1. La fuente de radiación 10 puede ser un LED, una bombilla, un láser, un emisor de rayos X y/o cualquier otra fuente de radiación adecuada. La fuente de radiación 10 puede disponerse en diferentes unidades, como iluminación ambiental y/o para irradiar en diferentes direcciones.

El sistema comprende además al menos un sensor óptico 12 dispuesto para capturar radiación reflejada 22 de los objetos 1 y adquirir la radiación reflejada 22 como datos multi o hiperespectrales 24. Los datos multiespectrales 24 son una imagen multidimensional en donde cada píxel o equivalente (tal como superpíxel o agrupación de píxeles) comprende unas pocas bandas (orden de magnitud 1-10) con espectros estrechos o anchos (orden de magnitud 100-1000 nm). Los datos hiperespectrales 24 son una imagen multidimensional en donde cada píxel o equivalente (tal como superpíxel o agrupación de píxeles) comprende muchas bandas (orden de magnitud 4-500) con espectros estrechos (orden de magnitud 1-50 nm).

El sistema comprende además un circuito de procesamiento 16 configurado para analizar la radiación reflejada 22 de los objetos 1 introduciendo los datos multi o hiperespectrales 24 en una red neuronal convolucional (CNN) 18 con al menos dos capas convolucionales para o bien detectar y clasificar los objetos 1 en los datos multi o hiperespectrales 24 y/o bien segmentar semánticamente los datos multi o hiperespectrales 24. Pueden usarse más de dos capas convolucionales, tales como 3, 5, 10, 20, 100, 250, etc.

El circuito de procesamiento 16 está configurado para llevar a cabo operaciones y funciones del sistema de clasificación a granel. Las operaciones pueden ser procedimientos principales del sistema de clasificación a granel, mientras que las funciones pueden formar parte de una operación. Por lo tanto, cada función puede ser un subprocedimiento de una operación.

El circuito de procesamiento 16 puede incluir un procesador, tal como una unidad central de procesamiento (CPU), un microcontrolador, un microprocesador, una matriz de puertas programables en campo (FPGA), una tarjeta gráfica o hardware especial para CNN. El circuito de procesamiento 16 está configurado para ejecutar código de programa almacenado en una memoria, para llevar a cabo las operaciones y funciones del sistema de clasificación a granel.

Las operaciones y funciones del sistema de clasificación a granel pueden materializarse en forma de rutinas lógicas ejecutables (por ejemplo, líneas de código, programas de software, etc.) que se almacenan en un medio legible por ordenador no transitorio (por ejemplo, la memoria) del sistema de clasificación a granel y son ejecutadas por el circuito de procesamiento 16 (por ejemplo, usando el procesador). Además, las operaciones y funciones del sistema de clasificación a granel pueden ser una aplicación de software autónoma o formar una parte de una aplicación de software que lleva a cabo tareas adicionales en relación con el sistema de clasificación a granel. Las operaciones y funciones descritas pueden considerarse un método que el dispositivo correspondiente está configurado para llevar a cabo las mismas. Además, aunque las operaciones y funciones descritas pueden implementarse en software, tal funcionalidad también puede llevarse a cabo mediante hardware o firmware dedicado, o alguna combinación de hardware, firmware y/o software.

La CNN 18 es una red neuronal con al menos dos capas convolucionales. La red neuronal 18 tiene una entrada de los datos multi o hiperespectrales 24 y una salida de los datos multi o hiperespectrales 24 con objetos detectados y clasificados y/o segmentados semánticamente. Un ejemplo de la salida puede verse en las figuras 3a-b.

La CNN 18 puede comprender además al menos dos capas de agrupamiento. Las capas de agrupamiento reducen el tamaño de la red neuronal al submuestrear los datos. Esto hace que la CNN 18 sea más eficiente.

La detección y clasificación de objetos en los datos multi o hiperespectrales 24 comprende el uso de la CNN 18 (opcionalmente junto con preprocesamiento, véase más adelante) para clasificar diferentes partes de los datos multi o hiperespectrales 24 como diferentes objetos 1. Los objetos 1 se analizan y se clasifican adicionalmente en diferentes conjuntos, tal como basándose en el material del que es más probable que estén hechos los objetos 1. Los diferentes conjuntos se identifican adicionalmente como deseados o no deseados, para posibilitar una clasificación a granel tal como expulsión de objetos no deseados 1.

La segmentación semántica de objetos en los datos multi o hiperespectrales 24 comprende el uso de la CNN para clasificar cada píxel de los datos multi o hiperespectrales 24. La clasificación puede comprender separación en diferentes conjuntos, tal como basándose en el material del que es más probable que esté hecho el píxel. Los diferentes conjuntos pueden identificarse adicionalmente como deseados o no deseados (o bien por la CNN 18 o bien en conjunción con el preprocesamiento, véase más adelante), para posibilitar una clasificación a granel tal como expulsión de objetos no deseados 1.

La figura 3a muestra datos multi o hiperespectrales con objetos detectados y clasificados. La detección se muestra como recuadros alrededor de los objetos y la clasificación se muestra como patrones de los objetos. Los objetos detectados se clasifican en dos conjuntos, deseados y no deseados. El conjunto no deseado se muestra como un patrón de líneas con un recuadro discontinuo y el conjunto deseado se muestra como un patrón de puntos con un recuadro de trazo continuo.

La figura 3b muestra datos multi o hiperespectrales con objetos segmentados semánticamente. Cada píxel o equivalente se clasifica en un conjunto, por ejemplo en basándose en el material de los objetos de acuerdo con la CNN. Los píxeles de fondo o equivalentes se clasifican como tales y no son tenidos en cuenta por el clasificador mecánico. Cada objeto se segmenta y se le da un patrón diferente. Los patrones pueden corresponder a una clasificación. Algunos objetos se superponen, y la CNN se las ha arreglado para diferenciarlos como diferentes objetos y les ha dado patrones diferentes. Se ordena al clasificador mecánico que procese los mismos como un único grupo de objetos, y estos se clasifican en consecuencia.

El sistema comprende además un clasificador mecánico configurado para clasificar los objetos usando el análisis del circuito de procesamiento. El clasificador mecánico puede ser al menos una válvula, un golpeador mecánico, un brazo robótico o cualquier otro dispositivo adecuado capaz de mover mecánicamente objetos.

La al menos una válvula se dispone para expulsar al menos una corriente de aire que empuja los objetos a una posición deseada. La posición deseada puede ser una parte diferente de la masa, una rampa deslizante o recipiente dispuesto en la dirección de la al menos una válvula o simplemente del sistema de clasificación a granel. La al menos una válvula es preferiblemente una válvula de solenoide, debido a que las mismas tienen tiempos de conmutación relativamente cortos y un rendimiento de caudal relativamente alto.

Las válvulas pueden disponerse en una serie con una distancia entre válvulas de un orden de magnitud comprendido de mm a cm. En una realización, el sistema de clasificación a granel comprende al menos 10 válvulas por metro. En otras realizaciones, se emplean más de 10 (tal como 12, 15, 20, 100, 250, etc.) válvulas por metro. Puede activarse más de una válvula a la vez dependiendo del tamaño y/o el peso del objeto, como es identificado por la CNN.

El al menos un golpeador mecánico está preparado para impulsar los objetos hasta la posición deseada. La posición deseada puede ser una parte diferente de la masa, una rampa deslizante o recipiente dispuesto en la dirección del al menos un golpeador mecánico o simplemente del sistema de clasificación a granel. Los golpeadores pueden ser electromecánicos, neumáticos, cargados por resorte y/o hidráulicos, en donde los golpeadores son preferiblemente neumáticos. En una realización, el sistema de clasificación a granel comprende al menos 10 golpeadores por metro. En otras realizaciones, se emplean más de 10 (tal como 12, 15, 20, 100, 250, etc.) golpeadores por metro.

Los objetos se clasifican usando el análisis del circuito de procesamiento. Esto puede comprender orientar el clasificador mecánico hacia los objetos identificados por la CNN. Esto puede comprender además clasificar los objetos de acuerdo con el conjunto al que pertenecen los objetos, siendo identificando el conjunto por la CNN.

El clasificador mecánico puede configurarse para separar los objetos en al menos dos flujos. Esto permite que el sistema de clasificación a granel clasifique objetos a granel en varios flujos, en donde cada flujo puede, por ejemplo, comprender un conjunto específico de objetos. Por ejemplo, la basura a granel puede clasificarse en un flujo de plástico, un flujo de metal y un flujo de otros materiales, en donde cada flujo se dirige o transporta a diferentes lugares. El sistema puede usarse para clasificación a granel de alimentos y materiales de minería de una forma similar.

El clasificador mecánico puede configurarse para expulsar objetos no deseados de la masa. Esto permite que el sistema de clasificación a granel retire objetos no deseados de la masa. Los objetos expulsados pueden clasificarse en un recipiente específico o separarse del resto de objetos.

La figura 4 muestra una realización de un clasificador mecánico que comprende una serie de válvulas 21 y un golpeador mecánico 23. Varias válvulas de la serie se disponen opuestas a una rampa deslizante 25. La rampa deslizante tiene por objeto separar un conjunto específico de objetos del resto de la masa. Cuando un objeto de este tipo es clasificado por la CNN, el circuito de procesamiento puede configurarse para ordenar a un número de las válvulas opuestas a la rampa deslizante que se activen cuando el objeto clasificado pasa por las válvulas, siendo el número proporcional al tamaño y/o peso del objeto, como es identificado por la CNN o usando la salida de la CNN.

El golpeador mecánico de este clasificador mecánico se dispone de tal modo que, si cualquier objeto no deseado es demasiado grande y/o pesado para ser movido por la serie de válvulas, este puede ser expulsado por el golpeador mecánico antes de ser movido más allá del clasificador mecánico.

El sistema de clasificación a granel puede además transportar los objetos a lo largo del/de los intervalo(s) de detección del al menos un sensor óptico hasta el clasificador mecánico usando una cinta transportadora 28. Los objetos pueden ser transportados de cualquier forma, tal como movimiento browniano, transporte de fluido o transporte de corriente de aire, sin embargo los inventores de la presente invención han hallado que la cinta transportadora es lo más eficiente y no interfiere con la medición óptica o la clasificación. La cinta transportadora puede tener una velocidad de aproximadamente 2,5-3 m/s.

Otras realizaciones tienen los eyectores colocados en el mismo lado en el que se coloca la rampa deslizante, como alternativa clasifican en caída libre o usan cintas transportadoras para transporte de material entre detección y expulsión.

El clasificador mecánico puede disponerse para clasificar los objetos a medida que los mismos se desplazan a lo largo de la cinta transportadora. El clasificador puede disponerse cerca de la cinta transportadora y puede disponerse para mover los objetos en una dirección perpendicular a la dirección de movimiento de la cinta transportadora.

El clasificador mecánico puede disponerse para clasificar los objetos a medida que los mismos se desplazan a lo largo de una rampa deslizante o a medida que los mismos caen libremente. La rampa deslizante o la caída libre puede disponerse en un extremo de una cinta transportadora o a lo largo de un borde de una cinta transportadora. Es preferible que el clasificador mecánico sea capaz de reaccionar rápidamente, debido a que la velocidad de los objetos es relativamente difícil de predecir y controlar en esta realización. En una realización, el clasificador mecánico tiene una precisión de activación de menos de 1 ms para partículas pequeñas y de menos de 10 ms para partículas más grandes, tales como botellas. La clasificación puede, por ejemplo, comprender mover los objetos a una posición deseada, de tal modo que objetos deseados se deslizan por una rampa o caen libremente a un recipiente diferente del de los objetos no deseados. Debido a que la clasificación a granel no comprende habitualmente ninguna preclasificación, los objetos superpuestos y/o apilados son posibles y bastante comunes. El circuito de procesamiento identifica estos objetos, usando la CNN. Una vez identificados, el clasificador mecánico recibe instrucciones de o es influenciado por el circuito de procesamiento para separar los objetos. Esto puede comprender, por ejemplo, la apertura de una válvula de aire durante un tiempo preciso y en un momento preciso.

El clasificador mecánico se dispone para clasificar los objetos de tal modo que diferentes objetos superpuestos y/o apilados, como son analizados por el circuito de procesamiento, se tratan como un único grupo de objetos. Debido a que la clasificación a granel no comprende habitualmente ninguna preclasificación o preprocesamiento para formar un único flujo de objetos separados, los objetos superpuestos y/o apilados son posibles y bastante comunes. El circuito de procesamiento identifica estos objetos, usando la CNN.

Una vez identificados, el clasificador mecánico no es capaz o no está dispuesto a separar los objetos, lo que a su vez depende del modo de funcionamiento en el que esté el circuito de procesamiento. En este sentido, los diferentes objetos superpuestos y/o apilados se tratan como una única agrupación que se procesa como un único objeto. Este procesamiento comprende, por ejemplo, expulsar el grupo si el mismo comprende cualquier objeto no deseado o conservar el grupo si el mismo comprende una porción suficiente de objetos deseados, medidos usando mediciones adecuadas tales como porcentaje en peso o volumen. Qué acción se emprende y si se priorizan objetos deseados o no deseados puede depender de ajustes o de un modo de uso del circuito de procesamiento/sistema de clasificación a granel. En otras palabras, objetos superpuestos y/o apilados se tratan como un único grupo de objetos, en donde para un grupo de objetos que comprende al menos un primer tipo de objeto y un segundo tipo de objeto, el clasificador mecánico está configurado para clasificar el grupo de objetos o bien como el primer tipo de objeto o bien como el segundo tipo de objeto basándose en una preferencia en el sistema de clasificación a granel.

La red neuronal no está tratando objetos superpuestos de forma diferente a objetos separados. Sin embargo, la red neuronal se ve forzada a aprender a separar objetos superpuestos dando una realimentación negativa en el proceso de entrenamiento si los objetos superpuestos se fusionan, se hallan solo parcialmente o no se hallan todos. Para manejar esta tarea difícil, durante el entrenamiento de la CNN se proporciona un montón de imágenes de muestra con objetos superpuestos y etiquetas correspondientes (que describen los contornos de los objetos superpuestos y que están tocándose).

Un proceso que no es parte de la invención reivindicada, conocido como aumento de datos, se usa para aumentar el tamaño de la muestra, clásicamente mediante rotaciones, cambios de escala pequeños, cambios de color, recortes y otros, aplicados a toda la imagen. Para generar muchas más superposiciones diferentes, se usa una técnica de aumento especial para la estructuración de la cinta transportadora. Al etiquetar instancias de objeto en todos los datos de entrenamiento capturados con su clase y contorno circundante, las imágenes en el proceso de entrenamiento pueden usarse como se capturaron y con el aumento convencional descrito previamente de la siguiente forma novedosa:

Partiendo de imágenes capturadas a partir de la cinta transportadora sin objetos, las instancias de objetos etiquetados se colocan en esta imagen y se permite que se superpongan. Los objetos que están completamente cubiertos por otros se eliminan de la verdad fundamental etiquetada de la imagen recién aumentada.

Si un objeto se coloca al menos parcialmente sobre otro objeto, la nueva información de la imagen en esta área ha de generarse de acuerdo con las propiedades del sensor - por ejemplo: para los datos NIR, VIS y RGB, la información del objeto encima sobrescribe la información existente previamente, para los datos de rayos X se aplica la ley de Beer-Lamber y para los datos láser se calcula un perfil de altura 3D para los dos objetos y se usa la dispersión así como el valor de intensidad del objeto de encima.

El clasificador mecánico puede configurarse para funcionar de forma diferente dependiendo del análisis del circuito de procesamiento. Por ejemplo, un objeto grande y de peso ligero, como es analizado por el circuito de procesamiento, solo usará una porción de los eyectores posibles, debido a que no todos son necesarios para un objeto de peso ligero y, por lo tanto, se conserva energía. En la realización con una serie de válvulas de aire, solo se usa la mitad de las válvulas de aire que cubren el objeto, de este modo tanto se conserva energía como se generan menos turbulencias. De una forma recíproca, el clasificador mecánico puede usar una porción de eyectores posibles más grande de lo habitual para aumentar el rendimiento de los clasificadores y disminuir la precisión de la clasificación, lo que puede ser beneficioso para objetos pesados.

Para clasificadores mecánicos con resistencia variable, esto puede ajustarse adicionalmente basándose en el análisis del circuito de procesamiento. En consecuencia, los objetos de peso ligero pueden usar menos fuerza que los objetos pesados.

Además, el análisis del circuito de procesamiento puede usarse para hallar los límites de los objetos y afectar al clasificador mecánico para apuntar a estas áreas. Esto puede ser beneficioso para aumentar la eficiencia del clasificador y puede ser necesario adicionalmente para ciertos tipos o clasificadores que requieren un apuntamiento sofisticado.

Además, si la posición de los objetos no es estable, puede ser beneficioso aumentar el número de eyectores activados y la ventana de tiempo para la expulsión para compensar el movimiento impredecible.

En la figura 5a, se muestra un sistema de clasificación a granel que comprende un escáner de infrarrojo cercano (NIR) 30 dispuesto para explorar los objetos y un sensor de imagen 32 dispuesto para capturar datos de imagen de los objetos. Los datos multi o hiperespectrales que se introducen en la CNN comprenden los datos de exploración y de imagen. Aunque en la figura 5a y otras figuras se muestran varios tipos de sensores ópticos para ser usados en tándem, cada sensor óptico puede funcionar de forma independiente o junto con cualquier otro sensor óptico. Los sensores ópticos pueden también disponerse para medir la radiación de la fuente de radiación o comprender una fuente de radiación separada.

La exploración NIR comprende datos espectroscópicos con respecto a la absorción de los objetos de este intervalo de longitudes de onda. Pueden usarse otras longitudes de onda en sustitución o además del intervalo NIR, tales como luz visible, luz ultravioleta (UV) o rayos X. La luz NIR puede ser proporcionada por la fuente de radiación o por una fuente separada. La exploración puede representarse como datos multi o hiperespectrales mediante la adquisición de un espectro separado para cada píxel o equivalente del área explorada.

Los datos de imagen comprenden, por ejemplo, valores de píxeles RGB del color reflejado de los objetos. Esto puede usarse para el procesamiento de imagen tradicional por el circuito de procesamiento, tal como el reconocimiento de objetos o la segmentación de imagen. Los objetos pueden ser iluminados por la fuente de radiación para posibilitar la medición de los datos de imagen. Los datos de imagen pueden representarse como datos multi o hiperespectrales adquiriendo un valor separado de la cantidad de rojo, verde y azul en cada píxel o equivalente del área explorada.

En la figura 5b, se muestra un sistema de clasificación a granel que comprende un triangulador láser 34 dispuesto para medir los datos 3D de los objetos y un detector electromagnético 40 dispuesto para medir propiedades electromagnéticas de los objetos. Los datos multi o hiperespectrales que se introducen en la CNN comprenden los datos 3D y las propiedades electromagnéticas. Obsérvese que el detector electromagnético no es un sensor óptico, aunque puede combinarse con cualquier sensor óptico para adquirir datos de los objetos que van a introducirse como datos multi o hiperespectrales en la CNN.

Los datos 3D pueden medirse usando una exploración de intensidad de altura láser. Esta comprende un láser dirigido hacia los objetos y un colector, tal como una cámara, que mide la intensidad del láser. El colector se dispone para medir la intensidad desde la superficie hacia la que se dirige el láser hasta 10-20 cm por encima de la superficie. Esto permite que el colector detecte en dónde el láser incide sobre los objetos, debido a que esto afectará a su intensidad debido a que el objeto interrumpe la trayectoria del láser.

El láser es preferiblemente un láser de línea dispuesto a lo ancho de la superficie que porta los objetos, perpendicular a la dirección de movimiento de los objetos. En este sentido, puede medirse todo un objeto a la vez. El láser puede ser la fuente de radiación o proporcionarse por separado.

El colector puede comprender un filtro de paso de banda para filtrar la luz ambiente, de tal modo que solo se mide la intensidad de las longitudes de onda de láser.

Los datos 3D comprenden, por ejemplo, la cartografía de la altura de los objetos. Los datos 3D pueden representarse como datos multi o hiperespectrales adquiriendo un valor de altura de cada píxel o equivalente del área explorada.

Las propiedades electromagnéticas pueden medirse usando, por ejemplo, características de reflexión de ondas electromagnéticas aplicadas o la conducción de una corriente aplicada. Esta puede usarse, por ejemplo, para detectar objetos metálicos. Se usan series de bobinas individuales para la detección de metal y series de bobinas equilibradas para distinguir diferentes tipos de metal.

Puede que no sea posible asignar directamente propiedades electromagnéticas medidas a píxeles específicos con el grado de precisión que con mediciones ópticas. Por lo tanto, la asignación puede estimarse, posiblemente con el uso de datos ópticos para diferenciar entre objetos. Las propiedades electromagnéticas pueden representarse como datos multi o hiperespectrales asignando las propiedades electromagnéticas medidas a píxeles estimados o equivalentes del área explorada.

En la realización de la figura 5b, el detector electromagnético usa datos multi o hiperespectrales del triangulador láser para asignar a las propiedades electromagnéticas medidas los datos multi o hiperespectrales con una precisión mejorada de la asignación. La comunicación de los datos multi o hiperespectrales al detector electromagnético se muestra directamente desde el triangulador láser, aunque puede tener lugar a través del circuito de procesamiento.

La asignación de las propiedades electromagnéticas medidas a los datos multi o hiperespectrales puede, como alternativa, tener lugar por separado en el circuito de procesamiento después de que se hayan recogido algunas o todas las propiedades electromagnéticas medidas y los datos multi o hiperespectrales y antes de que los mismos se introduzcan en la CNN.

En la figura 6a, se muestra un sistema de clasificación a granel que comprende un escáner láser 36 con un espejo poligonal rotatorio dispuesto para medir propiedades de dispersión y/o antidispersión de láser de los objetos, un emisor de LED pulsado 38 dispuesto para medir propiedades antidispersión de luz de los objetos y una cámara de rayos X 42 dispuesta para medir transmisión de rayos X de los objetos. Los datos multi o hiperespectrales que se introducen en la CNN comprenden las propiedades de dispersión y/o antidispersión de láser, las propiedades antidispersión de luz y la transmisión de rayos X de los objetos.

Los diferentes sensores ópticos se muestran como una única unidad en la figura 6a; sin embargo, estos pueden ser cualquier número de unidades.

Las propiedades de dispersión y/o antidispersión de láser de los objetos comprenden información acerca de la reflectividad y la absorción de la luz láser emitida. Esto puede, por ejemplo, usarse para el reconocimiento de objetos. Las propiedades de dispersión y/o antidispersión de láser de los objetos pueden representarse como datos multi o hiperespectrales adquiriendo las propiedades de dispersión y/o antidispersión de láser de cada píxel o equivalente del área explorada.

Las propiedades de dispersión y/o antidispersión de láser de los objetos se miden usando un detector dispuesto para medir la intensidad de la luz láser reflejada por los objetos.

El escáner láser con un espejo poligonal rotatorio emite un láser puntual en el espejo poligonal rotatorio que refleja el láser en diferentes direcciones. Esto permite que varios objetos y características de dispersión en diferentes direcciones se midan sin ningún apuntamiento. El láser puede tener cualquier longitud de onda y una combinación de varias longitudes de onda o puede alternar entre diferentes longitudes de onda. El láser puede considerarse como la fuente de radiación o proporcionarse por separado. El receptor puede configurarse para medir la luz láser reflejada, la luz láser dispersada o ambas. Como alternativa, el receptor puede medir los efectos de fluorescencia en los objetos provocados por el láser.

El emisor LED puede configurarse para emitir varias longitudes de onda diferentes, tal como seis colores diferentes. El emisor LED es preferiblemente pulsado, de tal modo que cada color se emite como un pulso separado. El emisor LED puede considerarse como la fuente de radiación o proporcionarse por separado. Los emisores LED son beneficiosos porque los mismos requieren poco mantenimiento y calibración y generan relativamente poco calor.

Las propiedades antidispersión de luz de los objetos se miden mediante un detector, tal como un detector de exploración de líneas, preferiblemente un detector de exploración de líneas de InGaAs, que mide la intensidad de la luz LED reflejada. Las propiedades antidispersión de luz para cada color emitido y el fondo sin ninguna emisión LED pueden representarse como datos multi o hiperespectrales adquiriendo las propiedades antidispersión de luz de cada píxel o equivalente del área explorada.

La transmisión de rayos X comprende la permitividad de los objetos a la radiación de rayos X y se mide mediante la cámara de rayos X dispuesta opuesta al emisor de rayos X en el otro lado de los objetos. La permitividad de los objetos a la radiación de rayos X puede indicar su densidad atómica y/o su espesor. El emisor de rayos X puede considerarse como la fuente de radiación o proporcionarse por separado. La cámara de rayos X puede tener un intervalo de medición de energía único, doble o múltiple. La transmisión de rayos X puede representarse como datos multi o hiperespectrales mediante la adquisición de un espectro separado de transmisión para cada píxel o equivalente del área explorada.

La fluorescencia de rayos X permite detectar elementos existentes en partículas. El material será excitado por radiación de rayos X de baja energía y se liberará fluorescencia específica del elemento. Con un sensor de rayos X de energía dispersiva, esta fluorescencia puede medirse y representarse como datos multi o hiperespectrales. El resultado de la fluorescencia es información acerca de la presencia de elementos y su concentración.

La figura 6b muestra un sistema de clasificación a granel que comprende una cámara hiperespectral 44 dispuesta para explorar los objetos, en donde los datos multi o hiperespectrales comprenden los datos de exploración. La cámara hiperespectral es beneficiosa porque la misma es una forma eficiente de recopilar un montón de datos para ser usados por la CNN.

La figura 7 muestra un diagrama de flujo para operaciones del circuito de procesamiento de acuerdo con una realización. Se recogen diferentes datos de los diferentes sensores (obsérvese que los sensores incluidos en la figura 7 son solo a modo de ejemplo) y se rectifican para dar datos multi o hiperespectrales. Estos datos multi o hiperespectrales se introducen en la c Nn . La CNN genera datos multi o hiperespectrales detectados y clasificados y/o segmentados semánticamente para su postprocesamiento.

Los datos recogidos en la realización de ejemplo de la figura 7 son HSI correspondientes a una imagen hiperespectral capturada por una cámara hiperespectral 44, RGB correspondientes a una imagen Rojo-Verde-Azul capturada por un sensor de imagen 32, Dispersión correspondientes a propiedades de dispersión y/o antidispersión de láser capturadas por un escáner láser 36, Altura correspondientes a datos 3D capturados por un triangulador láser 34 y EM correspondientes a propiedades electromagnéticas capturadas por un detector electromagnético 40.

El postprocesamiento comprende convertir la salida en algo que el clasificador mecánico pueda interpretar más fácilmente. Esta puede comprender instrucciones de configuración para el clasificador mecánico que han de crearse antes de que tenga lugar la clasificación de los objetos correspondientes a los datos medidos.

El postprocesamiento puede, por ejemplo, comprender interpretar la clasificación para hallar si los objetos detectados son deseados o no y crear instrucciones para el clasificador mecánico con respecto a cómo tratarlos. Estas instrucciones pueden comprender un programa de control con respecto a qué eyectores mecánicos activar y cuándo.

Estas instrucciones postprocesadas se envían a continuación al clasificador mecánico que clasifica los objetos, lo que puede comprender expulsar objetos no deseados.

La figura 8 muestra un diagrama de flujo para operaciones híbridas del circuito de procesamiento que comprende tanto una CNN como un algoritmo tradicional de reconocimiento de patrones. En esta realización, el circuito de procesamiento está configurado para introducir al menos una parte de los datos multi o hiperespectrales en un algoritmo de reconocimiento de patrones. Los resultados tanto de la CNN como del algoritmo de reconocimiento de patrones son usados a continuación por el clasificador mecánico para clasificar los objetos, lo que puede comprender el postprocesamiento de los resultados antes de alimentar los mismos, o no, al clasificador mecánico.

Las operaciones híbridas son beneficiosas porque puede obtenerse información diferente mediante los diferentes métodos de análisis. Aunque en las figuras 8-9 solo se han divulgado dos métodos, es posible combinar de esta forma cualquier tipo y número de análisis ópticos y/o electromagnéticos.

En la figura 8, una exploración espectral, una imagen RGB, propiedades de dispersión y/o antidispersión de láser y propiedades electromagnéticas se introducen por separado en el algoritmo tradicional de reconocimiento de patrones sin cotejar los diferentes datos en un único dato multi o hiperespectral, aunque también es posible introducir datos multi o hiperespectrales.

Los datos introducidos en los diferentes métodos de análisis pueden ser los mismos o diferentes. Por ejemplo, en la figura 8, los datos 3D se introducen en la CNN y no en el algoritmo tradicional de reconocimiento de patrones.

La figura 9 muestra un diagrama de flujo para operaciones híbridas del circuito de procesamiento usando dos unidades de cálculo, mostradas como recuadros discontinuos. Esta realización usa diferentes unidades de cálculo para diferentes tipos de análisis de datos, de tal modo que la unidad de cálculo de la izquierda usa una CNN y la unidad de cálculo de la derecha usa reconocimiento de patrones tradicional y postprocesamiento.

Esto es beneficioso porque cada unidad de cálculo puede optimizarse para un tipo específico de análisis, aumentando de este modo la eficiencia de la etapa de análisis y reduciendo el tiempo total para la clasificación.

Esta separación puede implementarse de una serie de formas, tal como que varias unidades de cálculo implementen el análisis de CNN, o que el postprocesamiento se implemente en una unidad de cálculo separada. No hay límite a la cantidad de unidades de cálculo que pueden cooperar para el funcionamiento del circuito de procesamiento, y las operaciones híbridas son posibles aunque no necesarias.

La figura 10 muestra un diagrama de flujo para un método para clasificar objetos a granel. El método 100 comprende varias etapas que se realizan en orden.

La etapa de irradiación 110 comprende irradiar los objetos usando al menos una fuente de radiación. La fuente de radiación puede ser un LED, una bombilla, un láser, un emisor de rayos X y/o cualquier otra fuente de radiación adecuada. La fuente de radiación puede disponerse en diferentes unidades, como iluminación ambiental y/o para irradiar en diferentes direcciones.

La etapa de captura 120 comprende capturar radiación reflejada de los objetos usando al menos un sensor óptico. El sensor óptico puede ser un escáner de infrarrojo cercano (NIR), un sensor de imagen, un triangulador láser, un escáner láser, un emisor LED pulsado y/o una cámara de rayos X.

La etapa de adquisición 130 comprende adquirir la radiación reflejada como datos multi o hiperespectrales. Esto puede comprender convertir la radiación capturada en datos multi o hiperespectrales. Esta etapa 130 puede realizarse conjuntamente con la etapa de captura 120 a medida que se captura la radiación reflejada.

Los datos multiespectrales son una imagen multidimensional en donde cada píxel o equivalente (tal como superpíxel o agrupación de píxeles) comprende unas pocas bandas (orden de magnitud 1-10) con espectros anchos (orden de magnitud 100-1000 nm). Los datos hiperespectrales son una imagen multidimensional en donde cada píxel o equivalente (tal como superpíxel o agrupación de píxeles) comprende muchas bandas (orden de magnitud 4-10000) con espectros estrechos (orden de magnitud 1-50 nm).

La etapa de análisis 140 comprende analizar la radiación reflejada de los objetos introduciendo los datos multi o hiperespectrales en una red neuronal convolucional (CNN) con al menos dos capas convolucionales para o bien detectar y clasificar los objetos en los datos multi o hiperespectrales y/o bien segmentar semánticamente los datos multi o hiperespectrales.

Esta etapa 140 se realiza preferiblemente mediante un circuito de procesamiento que puede incluir un procesador, tal como una unidad central de procesamiento (CPU), un microcontrolador o un microprocesador. El procesador está configurado para ejecutar código de programa almacenado en una memoria, para llevar a cabo al menos una etapa del método para clasificar objetos a granel.

La etapa de clasificación 160 comprende clasificar, por un clasificador mecánico, los objetos usando los resultados de la etapa de análisis 140. El clasificador mecánico puede ser al menos una válvula, un golpeador mecánico, un brazo robótico o cualquier otro dispositivo adecuado capaz de mover mecánicamente objetos.

El método 100 puede comprender además una etapa de postprocesamiento 150 que comprende el postprocesamiento del resultado de la etapa de análisis 140 para convertir el resultado en algo más adecuado para su uso en la etapa de clasificación.

Muchas modificaciones y otras realizaciones de las invenciones expuestas en el presente documento se le ocurrirán a un experto en la materia a la que se refieren las presentes invenciones que tengan el beneficio de las enseñanzas presentadas en las descripciones anteriores y los dibujos asociados. Por lo tanto, ha de entenderse que las invenciones no han de limitarse a las realizaciones específicas divulgadas y que se pretende incluir modificaciones y otras realizaciones en el alcance de las reivindicaciones adjuntas. Además, aunque las descripciones anteriores y los dibujos asociados describen realizaciones ilustrativas en el contexto de ciertas combinaciones ilustrativas de elementos y/o funciones, debería apreciarse que pueden proporcionarse diferentes combinaciones de elementos y/o funciones mediante realizaciones alternativas sin apartarse del alcance de las reivindicaciones adjuntas. A este respecto, por ejemplo, también se contemplan diferentes combinaciones de elementos y/o funciones que las descritas anteriormente como puede exponerse en algunas de las reivindicaciones adjuntas. En los casos en los que se describen en el presente documento ventajas, beneficios y/o soluciones a problemas, debería apreciarse que tales ventajas, beneficios y/o soluciones pueden ser aplicables a algunas realizaciones de ejemplo, pero no necesariamente a todas las realizaciones de ejemplo. Por lo tanto, no debería considerarse que las ventajas, beneficios o soluciones descritos en el presente documento sean críticos, necesarios o esenciales para todas las realizaciones o para lo que se reivindica en el presente documento. Aunque en el presente documento se emplean expresiones específicas, las mismas se usan solo en un sentido genérico y descriptivo y no para fines de limitación.

Claims (13)

REIVINDICACIONES

1. Un sistema para clasificar objetos (1), recibidos dichos objetos por el sistema a granel, en al menos un conjunto de objetos deseados y al menos un conjunto de objetos no deseados, en donde dichos objetos recibidos por el sistema a granel están a un caudal de 0,5 - 30 toneladas por hora con un nivel de precisión superior al 80 % con un caudal de una única fase y superior al 95 % utilizando una cascada del sistema y dichos objetos recibidos por el sistema a granel incluyen objetos superpuestos, comprendiendo dicho sistema:

al menos una fuente de radiación (10) dispuesta para irradiar los objetos recibidos por el sistema a granel, al menos un sensor óptico (12) dispuesto para capturar radiación reflejada (22) de los objetos recibidos por el sistema a granel y adquirir la radiación reflejada como datos multi o hiperespectrales (24), incluyendo dicho al menos un sensor óptico un escáner de infrarrojo cercano, NIR, (30) dispuesto para explorar los objetos recibidos por el sistema a granel, en donde los datos multi o hiperespectrales son una imagen multidimensional en donde cada píxel o superpíxel o agrupación de píxeles equivalente comprende un número de bandas con orden de magnitud 1-10 con espectros estrechos o anchos con orden de magnitud 100-1000 nm o una imagen multidimensional en donde cada píxel o superpíxel o agrupación de píxeles equivalente comprende un número de bandas con orden de magnitud 4-500 con espectros estrechos con orden de magnitud 1-50 nm y en donde dichos datos multi o hiperespectrales (24) comprenden los datos de exploración;

un circuito de procesamiento (16) que usa una red neuronal convolucional, CNN, (18) con al menos dos capas convolucionales, usando dicha CNN como una entrada los datos de exploración para detectar y clasificar los datos de exploración como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados;

en donde, en los casos en que objetos recibidos a granel por el sistema están superpuestos y/o apilados con otros objetos, la CNN identifica los datos de exploración de dichos objetos superpuestos como una salida de un único grupo; y

un clasificador mecánico (20) configurado para clasificar los objetos recibidos por el sistema a granel, en donde el clasificador mecánico en funcionamiento se dispone para apuntar a los límites de los objetos y para usar la salida de un único grupo del circuito de procesamiento para clasificar los objetos recibidos por el sistema a granel en dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados de tal modo que dicha salida de un único grupo de objetos superpuestos se clasifica y se ordena como un conjunto de tipo de objeto deseado o como un conjunto de tipo de objeto no deseado.

2. El sistema de clasificación a granel de acuerdo con la reivindicación 1, en donde el al menos un sensor óptico comprende un sensor de imagen (32) dispuesto para capturar datos de imagen de los objetos, en donde los datos multi o hiperespectrales comprenden los datos de imagen, y dicha CNN usa como una entrada los datos de imagen para detectar y clasificar los datos de imagen como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados.

3. El sistema de clasificación a granel de acuerdo con la reivindicación 1 o 2, en donde el al menos un sensor óptico comprende una cámara multi o hiperespectral (44) dispuesta para explorar los objetos, en donde los datos multi o hiperespectrales comprenden la exploración.

4. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, en donde el al menos un sensor óptico comprende un triangulador láser (34) dispuesto para medir datos 3D de los objetos, en donde los datos multi o hiperespectrales comprenden los datos 3D, y dicha CNN usa como una entrada los datos 3D para detectar y clasificar los datos 3D como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados, en donde la medición de datos 3D puede comprender exploración de intensidad de altura láser.

5. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, que comprende además un detector electromagnético (40) dispuesto para medir propiedades electromagnéticas de los objetos, en donde la CNN usa como una entrada las propiedades electromagnéticas para detectar y clasificar los objetos como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados.

6. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, en donde el al menos un sensor óptico comprende un escáner láser (36) con un espejo poligonal rotatorio dispuesto para medir propiedades de dispersión y/o antidispersión de láser de los objetos, un emisor de LED pulsado (38) dispuesto para medir propiedades antidispersión de luz de los objetos y/o una cámara de rayos X (42) dispuesta para medir transmisión de rayos X de los objetos;

en donde los datos multi o hiperespectrales comprenden las propiedades de dispersión y/o antidispersión de láser, las propiedades antidispersión de luz y/o la transmisión de rayos X de los objetos, respectivamente, y la CNN usa las propiedades de dispersión y/o antidispersión de láser, las propiedades antidispersión de luz y/o la transmisión de rayos X de los objetos como entrada, respectivamente, para detectar y clasificar las propiedades de dispersión y/o antidispersión de láser, las propiedades antidispersión de luz y/o la transmisión de rayos X de los objetos, respectivamente, como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados.

7. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, que comprende además transportar los objetos a lo largo del/de los intervalo(s) de detección del al menos un sensor óptico hasta el clasificador mecánico usando una cinta transportadora.

8. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, en donde el clasificador mecánico está configurado adicionalmente para separar los objetos en al menos dos flujos y/o para expulsar los objetos no deseados de la masa.

9. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, que comprende además postprocesar los datos multi o hiperespectrales detectados y clasificados para configurar el clasificador mecánico antes de que tenga lugar la clasificación.

10. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, en donde el circuito de procesamiento está configurado adicionalmente para introducir al menos una parte de los datos multi o hiperespectrales en un algoritmo de reconocimiento de patrones; y

en donde los resultados tanto de la CNN como del algoritmo de reconocimiento de patrones son usados por el clasificador mecánico para ordenar los objetos de acuerdo con su detección y clasificación como es verificado por el algoritmo de reconocimiento de patrones.

11. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, en donde el circuito de procesamiento está configurado además para analizar y clasificar los objetos recibidos por el sistema a granel en diferentes conjuntos basándose en el material del que es más probable que estén hechos los objetos, que a su vez se usan para clasificar los datos de exploración como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados.

12. El sistema de clasificación a granel de acuerdo con una cualquiera de las reivindicaciones previas, en donde el circuito de procesamiento está configurado adicionalmente para usar la CNN para segmentar semánticamente los datos de exploración como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados.

13. Un método (100) para clasificar objetos, recibidos dichos objetos por un sistema a granel, en al menos un conjunto de objetos deseados y al menos un conjunto de objetos no deseados, en donde dichos objetos recibidos por el sistema a granel están a un caudal de 0,5 - 30 toneladas por hora con un nivel de precisión superior al 80 % con un caudal de una única fase y superior al 95 % utilizando una cascada del sistema y dichos objetos recibidos por el sistema a granel incluyen objetos superpuestos, comprendiendo el método las etapas de:

irradiar (110) los objetos recibidos por el sistema a granel usando al menos una fuente de radiación; capturar (120) radiación reflejada de los objetos recibidos por el sistema a granel usando al menos un sensor óptico, que comprende capturar (120) una exploración usando un escáner NIR (30);

adquirir (130) la radiación reflejada, que comprende la exploración, como datos multi o hiperespectrales, en donde los datos multi o hiperespectrales son una imagen multidimensional en donde cada píxel o superpíxel o agrupación de píxeles equivalente comprende un número de bandas con orden de magnitud 1-10 con espectros estrechos o anchos con orden de magnitud 100-1000 nm o una imagen multidimensional en donde cada píxel o superpíxel o agrupación de píxeles equivalente comprende un número de bandas con orden de magnitud 4-500 con espectros estrechos con orden de magnitud 1-50 nm;

analizar (140) la radiación reflejada de los objetos usando una CNN con al menos dos capas convolucionales, usando dicha CNN como una entrada los datos de exploración para detectar y clasificar los datos de exploración como dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados; en donde, en los casos en que objetos recibidos a granel por el sistema están superpuestos y/o apilados con otros objetos, la CNN identifica los datos de exploración de dichos objetos superpuestos como una salida de un único grupo; y

clasificar (160), por un clasificador mecánico, los objetos recibidos por el sistema a granel, en donde el clasificador mecánico en funcionamiento se dispone para apuntar a los límites de los objetos y para usar la salida de un único grupo que son los resultados de la etapa de análisis para clasificar los objetos recibidos por el sistema a granel en dicho al menos un conjunto de objetos deseados y dicho al menos un conjunto de objetos no deseados de tal modo que dicha salida de un único grupo de objetos superpuestos se clasifica y se ordena como un conjunto de tipo de objeto deseado o como un conjunto de tipo de objeto no deseado.