ES2956102T3 - Modelos predictivos para clasificar visualmente insectos - Google Patents

Abstract

Los insectos se pueden localizar y clasificar mediante un modelo predictivo. Para comenzar, se obtienen datos de imágenes que corresponden a los insectos. Usando un modelo predictivo, se evalúan muestras de los datos de imágenes para determinar si las partes de la imagen incluyen un insecto y, de ser así, en qué categoría se debe clasificar el insecto (p. ej. , macho/hembra, especie A/especie B, etc.). (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Modelos predictivos para clasificar visualmente insectos

Referencia cruzada a solicitudes relacionadas

La presente solicitud está relacionada y reivindica el beneficio de prioridad de la solicitud provisional de Estados Unidos N.° 62/414.597, presentada el 28 de octubre de 2016, titulada "USE OF MACHINE LEARNING TO VISUALLY CLASSIFY INSECTS".

Antecedentes

Como parte de un programa de técnica de insectos estériles (SIT), los insectos pueden clasificarse como machos o hembras y esterilizarse selectivamente antes de liberarse en la naturaleza. Dichos programas pueden implementarse para minimizar o eliminar las enfermedades transmitidas por insectos y/o para gestionar las poblaciones de insectos en ciertas áreas. En función del programa, la clasificación y la esterilización pueden realizarse en una o más etapas del desarrollo del insecto.

Los enfoques existentes para la clasificación son diversos. Por ejemplo, algunos enfoques han intentado clasificar a machos y hembras usando atributos no visuales, tal como la frecuencia de batido de alas. Otros enfoques se han basado en atributos visuales como el tamaño del abdomen y las antenas. Los enfoques visuales, en general, se han basado en humanos que inspeccionan visualmente cada insecto (o un lote de insectos) y determinan si el insecto en particular es macho o hembra (o si el lote incluye hembras que podrían contaminar un lote de machos).

En los últimos años, se han aplicado a este problema enfoques de inspección visual implementados por ordenador. Estos enfoques, en general, se han basado en algoritmos clásicos de detección de objetos. Usar estos algoritmos, sin embargo, puede presentar desafíos al clasificar poblaciones particulares de insectos que tienen ciertas características anatómicas. Por ejemplo, los mosquitos adultos, cuando están en grupo, normalmente se agrupan y debido a sus cuerpos delgados y patas largas, puede ser difícil discriminar un mosquito de otro, mucho menos un macho de una hembra.

Para clasificar algunas poblaciones de insectos (por ejemplo, polillas), se han aplicado técnicas de aprendizaje automático para automatizar la clasificación. Estos enfoques, sin embargo, no han demostrado ser fiables para todas las poblaciones de insectos, al menos debido a su dependencia de los datos de entrenamiento desarrollados mediante heurística y su incapacidad para localizar y clasificar insectos superpuestos; especialmente, aquellos con cuerpos esbeltos y piernas largas como los mosquitos.

El artículo "Automatic moth detection from trap images for pest management", W. Ding et al., (Computers and Electronics in Agriculture, Vol. 123, páginas 17-28, 2016) desvela una tubería de detección automática basada en aprendizaje profundo para identificar y contar polillas de la manzana en imágenes tomadas dentro de trampas de campo. El artículo "Robust Insect Classification Applied to Real Time Greenhouse Infestation Monitoring", R. Kumar et al., (2010) desvela un sistema de clasificación para la detección automática de insectos dañinos en plantas de invernadero.

Breve sumario

Se describen diversos ejemplos que incluyen sistemas, métodos y dispositivos relacionados con la localización, clasificación y conteo de insectos usando modelos predictivos.

Un sistema de uno o más ordenadores puede configurarse para realizar operaciones o acciones particulares en virtud de tener software, firmware, hardware o una combinación de los mismos instalados en el sistema que, en operación, hace o hacen que el sistema realice las acciones. Pueden configurarse uno o más programas informáticos para realizar operaciones o acciones particulares en virtud de incluir instrucciones que, cuando son ejecutadas por un aparato de procesamiento de datos, hacen que el aparato realice las acciones. De acuerdo con un primer aspecto de la invención, se proporciona un método implementado por ordenador como se establece en la reivindicación 1.

De acuerdo con un segundo aspecto de la invención, se proporciona un sistema como se establece en la reivindicación 6. Otras realizaciones de este aspecto incluyen los correspondientes sistemas informáticos, aparatos y programas informáticos grabados en uno o más dispositivos informáticos de almacenamiento, cada uno configurado para realizar las acciones de los métodos.

De acuerdo con un tercer aspecto de la invención, se proporciona uno o más medios no transitorios legibles por ordenador que comprenden instrucciones ejecutables por ordenador que, cuando son ejecutadas por uno o más sistemas informáticos, hacen que los sistemas informáticos realicen el método del primer aspecto de la invención.

Las características opcionales de la invención se exponen en las reivindicaciones dependientes.

Breve descripción de los dibujos

Los dibujos adjuntos, que se incorporan y constituyen una parte de la presente memoria descriptiva, ilustran uno o más ejemplos determinados y, junto con la descripción del ejemplo, sirven para explicar los principios y las implementaciones de ejemplos determinados.

La figura 1 ilustra un diagrama de bloques y un diagrama de flujo correspondiente que ilustra un proceso para usar un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo.

La figura 2 ilustra una imagen de ejemplo usada como datos de entrenamiento para entrenar un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo.

La figura 3 ilustra una imagen de ejemplo usada como entrada a un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo.

La figura 4 ilustra una interfaz de usuario de ejemplo para presentar información sobre la clasificación de insectos usando un modelo predictivo, de acuerdo con al menos un ejemplo.

La figura 5 ilustra un sistema de ejemplo para implementar una técnica de insectos estériles usando la salida de un modelo predictivo, de acuerdo con al menos un ejemplo.

La figura 6 ilustra un ejemplo de modelo predictivo en forma de red neuronal, de acuerdo con al menos un ejemplo.

La figura 7 ilustra un ejemplo de un diagrama de flujo que representa un proceso de ejemplo para usar un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo.

La figura 8 ilustra un ejemplo de un diagrama de flujo que representa un proceso de ejemplo para usar un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo.

La figura 9 ilustra un sistema de ejemplo para implementar técnicas relacionadas con el uso de un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo.

Descripción detallada

Los ejemplos se describen en el presente documento en el contexto de modelos predictivos para su uso en la clasificación y localización de mosquitos. Los expertos en la materia se darán cuenta de que la siguiente descripción es únicamente ilustrativa y no pretende ser de ningún modo limitativa. Por ejemplo, las técnicas descritas en el presente documento pueden usarse para clasificar y localizar mosquitos en otras etapas y/u otros insectos. Ahora se hará referencia en detalle a implementaciones de ejemplos como se ilustra en los dibujos adjuntos. Los mismos indicadores de referencia se usarán a lo largo de los dibujos y la siguiente descripción para referirse a elementos iguales o similares.

En aras de la claridad, no se muestran y describen todas las características rutinarias de los ejemplos descritos en el presente documento. Por supuesto, se apreciará que en el desarrollo de cualquier implementación real de este tipo, se deben tomar numerosas decisiones específicas de implementación para lograr los objetivos específicos del desarrollador, tal como el cumplimiento de las restricciones relacionadas con la aplicación y el negocio, y que estos objetivos específicos variarán de una implementación a otra y de un desarrollador a otro.

En un ejemplo ilustrativo, se usa un modelo predictivo como la red neuronal convolucional (CNN) para localizar, clasificar y/o contar una población de mosquitos. Una vez localizados los mosquitos, clasificados y/o contados, algunos de los mosquitos pueden retirarse de la población, eliminarse y/o esterilizarse. Por ejemplo, el modelo predictivo puede usarse junto con un programa SIT para retirar los mosquitos hembra de un grupo de mosquitos antes de esterilizar los mosquitos macho del grupo.

El modelo predictivo puede entrenarse usando parches de imagen etiquetados de imágenes de conjuntos de muestra de mosquitos. Las primeras etiquetas pueden localizar cualquier mosquito presente en los parches de imagen por sus cabezas y colas. Las segundas etiquetas pueden clasificar los mosquitos localizados en una categoría (por ejemplo, macho/hembra, especie A/especie B, etc.).

Cuando se inicializa, el modelo predictivo puede tomar como entrada una imagen de mosquitos (por ejemplo, una población de mosquitos dentro de una placa de Petri o en alguna otra superficie). La imagen puede dividirse en parches de imagen que tengan características similares a las que se usan para el entrenamiento. La salida del modelo predictivo puede identificar parches de imagen que incluyen mosquitos, una cantidad de mosquitos encontrados en cada parche y/o una clasificación de cada mosquito encontrado en cada parche. Basándose en el resultado del modelo predictivo, pueden activarse ciertas acciones para que se produzcan automáticamente. Por ejemplo, cuando se detecta un mosquito hembra en un parche, puede alertarse a un operario humano o puede darse instrucciones a un brazo robótico para que retire el mosquito hembra.

Este ejemplo ilustrativo se proporciona para presentar al lector el objeto general analizado en el presente documento no limitándose la divulgación a este ejemplo. Las siguientes secciones describen diversas técnicas adicionales de ejemplos no limitantes relacionadas con el uso de modelos predictivos para clasificar insectos.

Volviendo ahora a las figuras, la figura 1 ilustra un diagrama de bloques 102 y un diagrama de flujo correspondiente que ilustra un proceso 100 para usar un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo. El diagrama 102 incluye un dispositivo de formación de imágenes 104 y un dispositivo informático 106. El dispositivo de formación de imágenes 104, que puede incluir cualquier combinación adecuada de sensores de imagen, lentes, hardware y/o software informático, puede estar en comunicación de red con el dispositivo informático 106. El dispositivo de formación de imágenes 104 puede configurarse para generar datos de imagen sin procesar y/o datos de imagen que han sido procesados de alguna manera para formar la o las imágenes 108.

El dispositivo informático 106, como se describe en el presente documento, puede ser cualquier dispositivo electrónico adecuado (por ejemplo, un ordenador personal, dispositivo portátil, ordenador servidor, clúster de servidores, ordenador virtual, etc.) configurado para ejecutar instrucciones ejecutables por ordenador para realizar operaciones como las descritas en el presente documento. En algunos ejemplos, el dispositivo informático 106 está configurado para alojar un modelo predictivo 110.

El modelo predictivo 110 puede ser un modelo CNN construido usando cualquier software de generación de modelos adecuado (por ejemplo, TensorFlow que usando el marco de trabajo TF-learn). Por ejemplo, el modelo predictivo 110 puede ser una CNN de tamaño mediano con 6 capas, una arquitectura InceptionV3 con profundidades de canal escaladas en 0,5 y/o cualquier otro modelo adecuado.

El modelo también puede crearse usando cualquier otro enfoque de aprendizaje automático adecuado que tenga características similares a la CNN. El modelo predictivo 110 puede leer cualquier parche de imagen de píxeles de tamaño adecuado (por ejemplo, 500 x 500), puede proceder a través de cualquier número adecuado de capas convolucionales clásicas (por ejemplo, seis) con activaciones ReLU y max-pooling de 2x2, y puede seguirse por un sum-pool espacial completo y una capa completamente conectada. Los parches de imagen pueden extraerse al azar a partir de imágenes de insectos. Puede emplearse un filtro heurístico para descartar segmentos obviamente vacíos de la imagen. De acuerdo con las prácticas estándar, en el entrenamiento pueden emplearse distorsiones aleatorias y de abandono de las imágenes.

El proceso 100 puede comenzar en 112 accediendo a una imagen (por ejemplo, la imagen 108) que representa una pluralidad de insectos 114. Esto puede realizarse por el dispositivo informático 106. La imagen 108 puede haberse capturado por el dispositivo de formación de imágenes 104 bajo la operación del dispositivo informático 106. Por ejemplo, el dispositivo informático 106 puede indicar al dispositivo de formación de imágenes 104 que capture las imágenes 108. En algunos ejemplos, el dispositivo de formación de imágenes 104 captura las imágenes 108 de una manera diferente, por ejemplo, de acuerdo con una planificación fija (por ejemplo, cada cinco minutos), basándose en un activador (por ejemplo, después de detectar movimiento en una población de insectos), y de cualquier otra manera adecuada.

En algunos ejemplos, la imagen 108 puede capturarse mientras los insectos 114 descansan sobre una superficie 116. Por ejemplo, la superficie 116 puede ser una placa de Petri que incluye insectos activos o inactivos (por ejemplo, sedado) 114, una vía que incluye insectos activos o inactivos 114 (por ejemplo, una cámara en la que los insectos 114 se mueven desde una primera posición a una segunda posición), y cualquier otra superficie adecuada sobre la que puedan descansar los insectos 112. En la figura 1, la superficie 116 se ilustra como una placa de Petri.

En 118, el proceso 100 puede incluir la identificación de un parche de imagen 120 de la imagen 118 que representa los insectos 114. Esto puede realizarse por el dispositivo informático 106. Como se ilustra en la figura 1, puede identificarse una pluralidad de parches de imagen 120a-120N a partir de la imagen 108. Esto puede hacerse dividiendo la imagen 108 en un número arbitrario de parches de imagen 120. En algunos ejemplos, los parches de imagen 120 son de forma y tamaño uniformes. Los parches de imagen 120, en otros ejemplos, pueden ser de forma y tamaño arbitrario. En algunos ejemplos, la forma y el tamaño de los parches de imagen 120 pueden corresponder, en parte, a los datos de entrenamiento usados para entrenar el modelo predictivo 110.

En 122, el proceso 100 puede incluir el uso del modelo predictivo 110 para evaluar el parche de imagen 120 para localizar insectos 114, clasificar insectos 114 y/o contar insectos 114. Esto puede realizarse por el dispositivo informático 106. En algunos ejemplos, los parches de imagen 120 se introducen en el modelo predictivo 110 y la localización, la clasificación y el conteo son salidas del modelo predictivo 110.

En 124, el proceso 100 puede incluir la salida de información de insectos del modelo predictivo correspondiente a la evaluación del parche de imagen. Esto puede realizarse por el dispositivo informático 106. En algunos ejemplos, la información de insectos del modelo predictivo 110 es por parche y se suma para obtener los totales de la imagen 108. En un programa SIT, esta información de insectos puede usarse para calcular ciertas métricas, como una tasa de contaminación femenina para una muestra de insecto en particular (por ejemplo, los insectos 114 en la superficie 116). En algunos ejemplos, la información de insectos incluye información de localización (por ejemplo, de acuerdo con la localización), información de clasificación (por ejemplo, basada en la clasificación), e información de conteo (por ejemplo, basada en el conteo). Esta información de insectos puede usarse por procesos posteriores para interactuar adicionalmente con los insectos 114. Por ejemplo, pueden darse instrucciones a un brazo robótico para que retire un insecto hembra localizado y clasificado de la superficie 116. Basándose en una distribución espacial de los insectos 114 en la superficie 116 determinada a partir de la información de insectos, pueden ajustarse las condiciones en las que se localiza la superficie 116. Por ejemplo, cuando la superficie 116 es una placa de Petri en la que se cultivan insectos, las condiciones pueden incluir temperatura, luz, humedad, y similares que pueden afectar cómo crecen las tasas de los insectos 114.

La figura 2 ilustra una imagen de ejemplo 200 usada como datos de entrenamiento para entrenar el modelo predictivo 110 para clasificar insectos 114, de acuerdo con al menos un ejemplo. La imagen 200 se representa con forma cuadrada. Debería comprenderse, sin embargo, que la imagen 200 puede tomar cualquier otra forma adecuada, incluyendo formas uniformes y no uniformes. Por ejemplo, la imagen 200 puede ser una imagen de 5000 x 5000 píxeles. En algunos ejemplos, pueden usarse imágenes más grandes o más pequeñas (por ejemplo, imagen de 2000 x 2000 píxeles). La imagen 200 puede ser una de una pluralidad de imágenes diferentes que pueden usarse para entrenar el modelo predictivo 110. Por ejemplo, pueden usarse doscientas o más imágenes de 5000 x 5000 píxeles para entrenar el modelo predictivo 110.

La imagen 200 representa una pluralidad de insectos 214 sobre una superficie 216, que puede ser una placa de Petri y es un ejemplo de la superficie 216. Los insectos 214 son ejemplos de los insectos 114 descritos en el presente documento. Cuando el modelo predictivo 110 está siendo entrenado para clasificar insectos machos y hembras, cada placa de Petri puede cargarse con aproximadamente 200 insectos en una proporción macho:hembra de aproximadamente 10:1. También pueden usarse otras proporciones que incluyan más o menos mosquitos. En algunos ejemplos, la proporción de 10:1 puede ser más alta de lo esperado durante la producción (por ejemplo, después de entrenar), pero el entrenamiento en esta proporción puede resultar en predicciones más cautelosas durante la producción. La imagen 200 y otras imágenes de entrenamiento, pueden recopilarse de cualquier manera adecuada.

La figura 2 ilustra un flujo de ejemplo correspondiente a un proceso 206 para etiquetar la imagen 200 para construir un conjunto de datos de entrenamiento. El proceso 206 se describirá haciendo referencia al insecto 214a. El proceso 206 puede realizarse por uno o más dispositivos informáticos que reciben la entrada de usuario de uno o más usuarios humanos. Por ejemplo, puede presentarse una interfaz de usuario en el dispositivo de usuario que incluye un área para mostrar la imagen 200 y un conjunto de selecciones de etiquetado. El usuario humano puede ampliar la imagen 200 con el fin de etiquetar los insectos 214, como se ha descrito haciendo referencia al insecto 214a.

El proceso 206 puede comenzar en 208 etiquetando dos puntos finales con respecto al insecto 214a. Como se ilustra en la vista ampliada 204, los dos puntos finales pueden corresponder a una cabeza 210 y a una cola 212 del insecto 214a. En 217, los puntos finales correspondientes a la cabeza 210 y la cola 212 pueden estar conectados por un eje de alineación 218. El eje de alineación 218 puede corresponder a la longitud del insecto 214a. El etiquetado de los dos puntos finales puede localizar esencialmente el insecto 214a (por ejemplo, indican que se han identificado una cabeza y una cola del insecto 214a dentro de un recorte de imagen 202a). Esta localización puede verificarse por el mismo usuario humano y/o por un usuario humano diferente. Si no se confirma la localización, puede indicarse al usuario humano inicial que corrija el etiquetado.

Si se confirma la localización, entonces en 222, el proceso 206 obtiene el recorte de imagen 202a (por ejemplo, un parche de imagen de entrenamiento) correspondiente al insecto localizado 214a. Esto puede incluir obtener recortes de imágenes para todos los insectos 214 localizados a lo largo de la imagen 200. De este modo, en algunos ejemplos, la imagen 200 puede dividirse en un número N de recortes de imagen 220a-220N. Los recortes de imagen 202 pueden estar centrados alrededor de los insectos localizados 214 y pueden tomar cualquier tamaño arbitrario correspondiente a las dimensiones de los insectos 214. Por ejemplo, una altura y una anchura de los recortes 202 pueden corresponder a una altura media de una población de insectos tales como los mosquitos. En algunos ejemplos, los recortes de imagen 202 se obtienen basándose en los puntos finales correspondientes a la cabeza 210 y la cola 212. De este modo, en lugar de usar cuadros delimitadores para definir los elementos de entrenamiento, los insectos 214 están representados por puntos finales asignados por evaluadores. En algunos ejemplos, los recortes de imagen 220 pueden tener un tamaño de tal manera que pueda representarse más de un insecto 214. Esto es especialmente cierto cuando los insectos 214 en la imagen 200 se superponen entre sí.

En 224, el proceso 206 puede incluir clasificar el insecto localizado 214a. Esto puede incluir solicitar a uno o más usuarios humanos que clasifiquen el insecto 214a localizado como macho, hembra o desconocido. En algunos ejemplos, los usuarios pueden clasificar el insecto localizado 214a de acuerdo con cualquier otra categoría (por ejemplo, especies, salud, tamaño, etc.). En algunos ejemplos, los usuarios humanos pueden recibir reglas de clasificación, incluyendo imágenes, materiales de lectura, y similares, para repasar como parte de la clasificación de los insectos 214. En una clasificación macho/hembra de mosquitos, los mosquitos hembra pueden distinguirse por cuerpos más grandes y poca o ninguna pluma en sus antenas.

En algunos ejemplos, el uno o más usuarios descritos en el presente documento pueden incluir una plataforma computacional humana como Amazon Turk® (u otro conjunto de usuarios humanos organizados o no organizados). El proceso 206 puede definirse para incluir dos fases, una primera fase en la que los trabajadores localizan insectos como segmentos de la cabeza a la cola (por ejemplo, bloques 208 y 217), y una segunda fase en la que los trabajadores clasifican cada insecto como macho/hembra del recorte de imágenes centrado en el insecto individual (por ejemplo, bloques 222 y 224). En algunos ejemplos, el eje de alineación 218 se superpone al recorte de imagen 202a de una manera que elimina la ambigüedad de los insectos superpuestos.

Una vez que se han obtenido suficientes datos de entrenamiento repitiendo el proceso 206 para la imagen 200 y para otras imágenes 200 que representan diferentes disposiciones de insectos 214, el modelo predictivo 110 puede ser entrenado. En un ejemplo particular, esto puede incluir el uso del servicio de ajuste de hiperparámetros de Google® Cloud que ajusta los siguientes parámetros para optimizar la especificidad por insecto en, por ejemplo, 90 % de sensibilidad y especificidad del parche en, por ejemplo, 99 % de sensibilidad a los insectos hembra:

tasa de aprendizaje, tamaño del lote y probabilidad de abandono

canales y tamaños de kernel asociados con cada capa convolucional

tamaño de capa oculta compartida

tamaño del cuadro de destino, tamaño del búfer de contexto

factor de reducción de imagen

La figura 3 ilustra una imagen de ejemplo 300 usada como entrada al modelo predictivo 110 para clasificar insectos 314, de acuerdo con al menos un ejemplo. Los insectos 314 se representan en la imagen 300 y pueden estar soportados sobre una superficie 316. Los insectos 314 son ejemplos de los insectos 114 y la superficie 316 es un ejemplo de la superficie 316. En algunos ejemplos, con el fin de producir conteos, clasificaciones y localizaciones, el modelo predictivo 110 evalúa los datos de imagen en forma de parches de imagen 302a-302N. Los parches de imagen 302 pueden representar una división uniforme de la imagen 300. En algunos ejemplos, los parches de imagen 302 pueden ajustarse (por ejemplo, tamaño más grande o más pequeño, forma diferente, etc.) y la imagen 300 puede dividirse y analizarse usando los parches de imagen ajustados. como se describe en el presente documento, cada parche de imagen 302 se evalúa independientemente de cualquier otro parche de imagen 302. De esta manera, cada parche de imagen 302 puede sostenerse por sí solo incluyendo o no un insecto 314.

Un parche de imagen de ejemplo 302a incluye una región de parche central 304a que tiene, por ejemplo, una forma cuadrada y tiene dimensiones S x S que corresponden al tamaño de un solo insecto 314a (por ejemplo, 500 x 500 píxeles), para lo que se aplicará el modelo predictivo 110. La región de parche central 304a también puede no ser cuadrada o tener una forma arbitraria. El parche de imagen 302a incluye una región de contexto 306a. La región de contexto 306a tiene una forma similar a la región de parche central 304a con C píxeles adicionales que rodean el parche S x S. De esta manera, la región de contexto 306a puede tener dimensiones S' x S', donde S'= S C. En algunos ejemplos, el parche de imagen 302 puede denominarse ventana modelo. Los límites entre la región de parche central 304a y la región de contexto 306a pueden transmitirse al modelo predictivo 110 concatenando una máscara indicadora de contexto frente a parche central a los canales de color de la ventana.

En algunos ejemplos, el modelo predictivo 110 puede configurarse para generar salidas (por ejemplo, información sobre insectos) incluyendo, por ejemplo, detección de hembras: verdadero si alguna porción de un insecto hembra (o desconocido) está presente en la región del parche central 304a, conteo de hembras: la suma de insectos hembra fraccionarios (o desconocidos) contenidos en la región de parche central 304a, y/o conteo de machos: la suma de insectos macho fraccionarios contenidos en la región de parche central 304a. Durante la implementación, el modelo predictivo 110 puede usar los parches de imagen 302 de tamaño S' x S' con paso S. En algunos ejemplos, pueden sumarse sumas a través de los parches de imagen 302. Cuando las predicciones de detección superan algún umbral configurable, pueden producirse ciertas acciones. Por ejemplo, puede alertarse a un operario humano que puede insertar insectos en el parche de imagen 302 para verificar el conteo, localización y/o clasificación.

En algunos ejemplos, para permitir comparaciones entre modelos con diferentes asignaciones de hiperparámetros S y C, y para soportar evaluaciones interpretables y procesables, la implementación puede evitar depender de las métricas por parche. Para confirmar la calidad de detección de hembras, pueden compararse los modelos predictivos usando una serie de métricas de especificidad por insecto en sensibilidad y sensibilidad en especificidad donde la etiqueta asignada a cada insecto es el máximo de parches que contienen cualquier parte de ese insecto.

En algunos ejemplos, las métricas de especificidad, sensibilidad y error cuadrático normalizado pueden no ser necesariamente procesables por sí mismas. En cambio, puede determinarse un número necesario de muestras para validar que a partir de un proceso de separación de insectos (por ejemplo, un sistema para separar insectos) tiene una tasa de contaminación femenina inferior a 0ü con P (validación falsa) < 5 %. Para calcular esta evaluación, la dinámica del proceso de separación de insectos puede simularse usando la sensibilidad de detección del modelo predictivo y las métricas de error de conteo.

La figura 4 ilustra una interfaz de usuario de ejemplo 400 para presentar información sobre la clasificación de insectos usando el modelo predictivo 110, de acuerdo con al menos un ejemplo. La interfaz de usuario 400 puede incluir una vista de resultados 402, tal y como se muestra. La vista de resultados 402 de la interfaz de usuario 400 puede presentarse en un dispositivo de usuario basándose en la salida de información de insectos del modelo predictivo 110. Por ejemplo, una representación 404 de la imagen 300 puede presentarse en una primera porción de la vista de resultados 402 y un área de resultados 406 puede presentarse en una segunda porción de la vista de resultados 402. De esta manera, la interfaz de usuario 400 puede representar los resultados de un análisis de la imagen 300 descrita haciendo referencia a la figura 3.

La representación 404 puede representar los parches de imagen 302 y los insectos 314 como un conjunto de elementos de interfaz de usuario. El formato de cada parche de imagen 302 puede ajustarse en función de una clasificación de uno o más insectos 314 dentro del parche de imagen respectivo 302. Por ejemplo, como se ilustra en la figura 4, se ha aplicado un primer formato a aquellos parches de imagen que incluyen al menos partes de insectos hembra (por ejemplo, el parche de imagen 302b que incluye el insecto 314b). Se ha aplicado un segundo formato a aquellos parches de imagen que incluyen al menos partes de insectos machos (por ejemplo, el parche de imagen 302c que incluye el insecto 314c). Un tercer formato o ningún formato en absoluto, se ha aplicado a aquellos parches de imagen donde no se han identificado insectos machos ni hembras 314 (por ejemplo, el parche de imagen 302d). En algunos ejemplos, la vista de resultados 402 puede ajustarse automáticamente a medida que los insectos 314 se mueven sobre la superficie 316. Por ejemplo, el proceso de identificación y clasificación de los insectos 314 puede realizarse de manera continua y los resultados del mismo pueden transmitirse a través de la interfaz de usuario 400.

En un programa SIT, la representación 404 puede usarse para alertar a un usuario humano de insectos hembra 314 e insectos macho que han sido identificados en la superficie 316. Una vez identificados, pueden interactuarse sobre estos insectos de alguna manera (por ejemplo, retirarse, esterilizarse, etc.).

Como se ilustra haciendo referencia al área de resultados 406, la vista de resultados 402 puede incluir información obtenida evaluando la imagen de los insectos 314. Por ejemplo, el área de resultados 406 puede identificar los conteos totales (por ejemplo, 45 insectos machos y 4 insectos hembras). El área de resultados 406 también puede identificar una serie de parches que se han resaltado (por ejemplo, 4 parches con hembras presentes y 37 parches con machos presentes). El área de resultados 406 también puede incluir información de localización para uno o más de los insectos 314. La información de localización puede corresponder a un conjunto de coordenadas del parche de imagen 302 (por ejemplo, 3, 7) con respecto a un punto fijo. La información de localización, en algunos ejemplos, puede corresponder a los píxeles del parche de imagen con respecto a un punto fijo. Los píxeles pueden representarse de cualquier manera adecuada. Como se ilustra haciendo referencia al área de resultados 406, la información de localización puede corresponder a localizaciones de los cuatro insectos hembra identificados 314. El área de resultados 406 también puede incluir una lista de elementos de acción como los relacionados con la retirada de los insectos 314. En algunos ejemplos, seleccionar una de las acciones de retirada dará como resultado que los insectos hembra 314 sean retirados de la superficie 316. La retirada automatizada puede incluir dar instrucciones a un manipulador robótico para agarrar los insectos 314 y retirarlos. La retirada manual puede incluir dar instrucciones a un usuario humano para que retire los insectos 314.

Al menos parte de la información (por ejemplo, palabras, cadenas, listas, etc.) mostrada en el área de resultados 406 puede seleccionarse para ajustar la representación 404. Por ejemplo, la selección de una de las opciones de conteo puede resaltar o de otro modo proyectar los parches de imagen 302 que corresponden a la selección. De manera similar, la selección de uno de los insectos hembra 314 localizados puede resaltar el parche de imagen 302 en el que se localiza el insecto hembra 314 particular. En algunos ejemplos, la vista de resultados 402 puede adaptarse a un usuario que está viendo la vista de resultados 402. Por ejemplo, como se ilustra, Elizabeth Willis es una usuaria que actualmente está asociada con la vista de resultados 402.

La figura 5 ilustra un sistema de ejemplo 500 para implementar una técnica de insectos estériles usando la salida del modelo predictivo 110, de acuerdo con al menos un ejemplo. El sistema 500 puede implementarse en una configuración de tipo "fábrica" donde se crían insectos, esterilizados y liberados en la naturaleza. El sistema 500 puede incluir una primera vía 502, una segunda vía 504, un receptáculo 506, un paquete de formación de imágenes 508, uno o más manipuladores robóticos 510a, 510b, y un dispositivo informático 106. En general, los insectos 314 pueden moverse por las vías 502, 504 hacia el receptáculo 506. Mientras se mueven (por ejemplo, ya sea por sí mismos o por medio de algún dispositivo), pueden generarse imágenes de los insectos 314 usando el paquete de formación de imágenes 508. El dispositivo informático 106 puede introducir las imágenes en el modelo predictivo 110 para localizar, contar y/o clasificar los insectos 314 en las imágenes. Basándose en la salida del modelo predictivo 110, el dispositivo informático 106 puede dar instrucciones a los manipuladores robóticos 510a, 510b para realizar una o más acciones con respecto a los insectos 314 (por ejemplo, retirar un insecto 314, esterilizar un insecto 314, etc.).

Las vías 502, 504 pueden constituir vías de desplazamiento para los insectos 314. Una dirección de desplazamiento de los insectos 314 puede comenzar con la primera vía 502, continuar sobre la segunda vía 504 y terminar en el receptáculo 560. En algunos ejemplos, los insectos 314 pueden estar activos y animados a seguir la dirección de desplazamiento. Por ejemplo, los insectos en la segunda vía 504 pueden dirigirse por medio de un ventilador 507. En algunos ejemplos, pueden emplearse otros medios para dirigir los insectos 314 (por ejemplo, elementos de iluminación, sonidos, elementos de calentamiento, etc.). El ventilador 507 puede gestionarse por el dispositivo informático 106.

Las vías 502, 504 pueden incluir cualquier superficie adecuada, que puede estar dentro de un recinto, por el que pueden desplazarse los insectos 314. Por ejemplo, las vías 502, 504 pueden ser una serie de cámaras cerradas configuradas de tal manera que los insectos 314 puedan caminar desde la primera vía 502 hasta la segunda vía 504. De esta manera, las vías 502, 504 pueden corresponder a una superficie como las descritas en el presente documento. En algunos ejemplos, las vías 502, 504 pueden ser lo suficientemente anchas como para que muchos insectos 314 (por ejemplo, diez, treinta, cien o más) puedan caminar uno al lado del otro. En función del número de insectos 314 introducidos en las vías 502, 504, las superficies anchas pueden permitir que los insectos 314 se separen naturalmente unos de otros. Si lo hacen, puede simplificar el proceso de localizar, contar y clasificar los insectos 314. Esto puede deberse a que es menos probable que los insectos 314 se superpongan unos encima de otros cuando hay suficiente espacio.

El receptáculo 506 puede ser cualquier bolsa adecuada, caja u otro receptáculo capaz de recibir y/o retener los insectos 314. En algunos ejemplos, los insectos 314 se clasifican y separan en el momento en que los insectos 314 se transfieren al receptáculo 506. Por ejemplo, los insectos 314 en el receptáculo 506 pueden ser insectos machos, con poco o ningún insecto hembra.

El paquete de formación de imágenes 508 puede incluir un primer dispositivo de formación de imágenes 508a y un segundo dispositivo de formación de imágenes 508b, que son ejemplos del dispositivo de formación de imágenes 104. En algunos ejemplos, el paquete de formación de imágenes 508 puede incluir un solo dispositivo de formación de imágenes. En cualquier evento, cada dispositivo de formación de imágenes 508a, 508b puede incluir un sensor de imagen y una lente. En algunos ejemplos, los dispositivos de formación de imágenes 508a, 508b pueden ser cualquier cámara adecuada capaz de capturar RGB u otros tipos de imágenes. En algunos ejemplos, los dispositivos de formación de imágenes 508a, 508b pueden constituir juntos una cámara estéreo que permite capturar imágenes tridimensionales de los insectos 314. El paquete de formación de imágenes 508 puede gestionarse por el dispositivo informático 106.

Los manipuladores robóticos 510 pueden ser cualquier dispositivo robótico controlado por ordenador adecuado capaz de interactuar con los insectos 314. En algunos ejemplos, los manipuladores robóticos 510 pueden incluir cualquier herramienta de extremo de brazo adecuada (por ejemplo, efector de extremo) 512 para permitir las técnicas descritas en el presente documento. Por ejemplo, el manipulador robótico 510a puede incluir una herramienta de extremo de brazo de tipo pinza 512a. La herramienta de extremo de brazo de tipo pinza 512b puede incluir un conjunto de dedos de suficiente tamaño y destreza para recoger un insecto 314 (por ejemplo, un mosquito). El manipulador robótico 510b puede incluir una herramienta láser de extremo de brazo 512b. La herramienta láser de extremo de brazo 512b puede configurarse para acabar o de otro modo eliminar ciertos insectos 314. Por ejemplo, en lugar de retirar insectos usando la herramienta de extremo de brazo tipo pinza 512b, la herramienta láser de extremo de brazo 512b puede usarse para acabar con insectos innecesarios (por ejemplo, mosquitos hembra en un programa SIT). En algunos ejemplos, pueden usarse otras herramientas de extremo de brazo 512. Por ejemplo, puede usarse una herramienta de esterilización de extremo de brazo para esterilizar selectivamente insectos o grupos de insectos en la segunda vía 504.

Puede implementarse un proceso 514 para clasificar insectos usando el sistema 500. Al menos una porción del proceso 514 puede realizarse bajo el control del dispositivo informático 106.

El proceso 514 puede comenzar en 516 provocando la carga de insectos en la vía. Esto puede realizarse por un usuario humano que transfiera los insectos 314 de un recipiente a la primera vía 502 y/o a la segunda vía 504. En algunos ejemplos, una puerta puede separar una primera cámara de una segunda cámara que incluye la primera vía 502 y/o la segunda vía 504. En este ejemplo, provocar la carga de los insectos 314 puede incluir abrir la puerta y permitir que los insectos 314 se muevan desde la primera cámara a la segunda cámara. En algunos ejemplos, la puerta puede estar automatizada de tal manera que, en respuesta a una instrucción del dispositivo informático 106, la puerta puede abrirse automáticamente.

En 518, el proceso 514 puede incluir provocar el movimiento de los insectos en la vía. Esto puede realizarse por el ventilador 507 bajo el control del dispositivo informático 106. En algunos ejemplos, el ventilador 507 puede colocarse para soplar aire hacia el receptáculo 506. De esta manera, los insectos 314 pueden moverse a lo largo de la segunda vía 504 hacia el paquete de formación de imágenes 508.

En 520, el proceso 514 puede incluir provocar la captura de imágenes de los insectos. Esto puede realizarse por el paquete de formación de imágenes 508 bajo el control del dispositivo informático 106. Por ejemplo, el dispositivo informático 106 puede determinar una frecuencia a la que el paquete de formación de imágenes 508 debería recopilar las imágenes. En algunos ejemplos, el paquete de formación de imágenes 508 recopila las imágenes a cualquier frecuencia adecuada, que puede estar preprogramada. Las imágenes pueden representar los insectos 314 con respecto a la segunda vía 504.

En 522, el proceso 514 puede incluir provocar el uso de un modelo predictivo para localizar, contar y/o clasificar los insectos. Esto puede realizarse por el dispositivo informático 106 usando el modelo predictivo 110. Por ejemplo, el dispositivo informático 106 puede recibir las imágenes capturadas en 520 e introducir esas imágenes en el modelo predictivo 110. El modelo predictivo 110 puede, a continuación, generar una o más de las salidas descritas en el presente documento.

En 524, el proceso 514 puede incluir provocar la realización de una acción por parte de un manipulador robótico con respecto a un insecto. Esto puede realizarse por uno de los manipuladores robóticos 510 bajo el control del dispositivo informático 106. Por ejemplo, el dispositivo informático 106 puede acceder a la salida de información de insectos del modelo predictivo 110 en relación con las localizaciones, conteos y clasificaciones para identificar cuál de los insectos 314 en la segunda ruta 504 debe retirarse, esterilizarse o interactuarse de otra manera. Una vez identificados, el dispositivo informático 106 puede dar instrucciones a uno o más de los manipuladores robóticos 510 para que realicen la acción. En algunos ejemplos, el paquete de formación de imágenes 508 puede incluirse como parte de uno o más de los manipuladores robóticos 510. En este ejemplo, la salida del paquete de formación de imágenes 508 puede corresponder a una posición y orientación de la herramienta de extremo de brazo 512 (por ejemplo, capturar imágenes desde la perspectiva de la herramienta de extremo de brazo 512).

La figura 6 ilustra un modelo predictivo de ejemplo en forma de una red neuronal 600, de acuerdo con al menos un ejemplo. La red neuronal 600 es un ejemplo del modelo predictivo 110 descrito en el presente documento. Algunos o todos los componentes de la red neuronal 600 pueden implementarse mediante un sistema de aprendizaje profundo como parte de una red de evaluación y/o una red de propuestas.

En general, la red neuronal 600 representa una red de nodos interconectados, como una red neuronal artificial, donde el conocimiento sobre los nodos se comparte entre los nodos. Cada nodo representa una pieza de información. El conocimiento puede intercambiarse a través de interconexiones de nodo a nodo. La entrada a la red neuronal 600 activa un conjunto de nodos. A su vez, este conjunto de nodos activa otros nodos, propagando de este modo el conocimiento sobre la entrada. Este proceso de activación se repite en otros nodos hasta que se selecciona un nodo de salida.

Como se ilustra, la red neuronal 600 incluye una jerarquía de capas que representan una jerarquía de nodos. En el nivel jerárquico más bajo, existe una capa de entrada 602. La capa de entrada 602 incluye un conjunto de nodos que se denominan en el presente documento como nodos de entrada. Cada uno de estos nodos de entrada se asigna a una característica de imagen particular. Al más alto nivel jerárquico, existe una capa de salida 606. La capa de salida 606 se mapea a una predicción particular tal como conteo, clasificación y/o localización. Existe una capa oculta 604 entre la capa de entrada 602 y la capa de salida 606. La capa oculta 604 incluye un número "N" de capas ocultas, donde "N" es un número entero mayor o igual que uno. A su vez, cada una de las capas ocultas también incluye un conjunto de nodos que se denominan en el presente documento nodos ocultos.

En el nivel más bajo de la capa oculta 604, los nodos ocultos de esa capa están interconectados a los nodos de entrada. En el nivel más alto de la capa oculta 604, los nodos ocultos de esa capa están conectados a los nodos de salida. Si existen múltiples capas ocultas, los nodos de entrada están interconectados a los nodos ocultos de la capa oculta más baja. A su vez, estos nodos ocultos están interconectados a los nodos ocultos de la siguiente capa oculta y así sucesivamente.

Una interconexión representa una pieza de información aprendida sobre los dos nodos interconectados. La interconexión tiene un peso numérico que puede ajustarse (por ejemplo, basándose en un conjunto de datos de entrenamiento), haciendo que la red neuronal 600 se adapte a las entradas y sea capaz de aprender.

En general, la capa oculta 604 permite que el conocimiento sobre los nodos de entrada de la capa de entrada 602 se comparta entre los nodos de la capa de salida 606. Para hacerlo, una transformación f se aplica a los nodos de entrada a través de la capa oculta 604. En un ejemplo, la transformación f es no lineal. Son posibles diferentes transformaciones no lineales f. En un ejemplo, unas transformaciones no lineales particulares f se selecciona basándose en la validación cruzada. Por ejemplo, pares de ejemplo conocidos dados (x, y), donde x e X e y e Y, una función f :X ^ Y se selecciona cuando dicha función da como resultado las mejores coincidencias.

La red neuronal 600 también usa una función de pérdida/ para encontrar una solución óptima. La solución óptima representa la situación donde ninguna solución tiene un coste menor que el coste de la solución óptima. Se usa un algoritmo de retropropagación que usa el descenso de gradiente para minimizar la función de pérdida/ para entrenar la red neuronal 600.

La figuras 7 y 8 ilustran diagramas de flujo de ejemplo que muestran los procesos 700 y 800, de acuerdo con al menos algunos ejemplos. Estos procesos, y cualquier otro proceso descrito en el presente documento (por ejemplo, los procesos 100, 206 y 514), se ilustran como diagramas de flujo lógicos, representando cada uno de los cuales una secuencia de operaciones que pueden implementarse en hardware, instrucciones de ordenador o una combinación de los mismos. En el contexto de las instrucciones informáticas, las operaciones pueden representar instrucciones ejecutables por ordenador almacenadas en uno o más medios de almacenamiento no transitorios legibles por ordenador que, cuando son ejecutadas por uno o más procesadores, realizan las operaciones citadas. En general, las instrucciones ejecutables por ordenador incluyen rutinas, programas, objetos, componentes, estructuras de datos y similares que realizan funciones particulares o implementan tipos de datos particulares. El orden en el que se describen las operaciones no pretende interpretarse como una limitación, y cualquier número de las operaciones descritas puede combinarse en cualquier orden y/o en paralelo para implementar los procesos.

Adicionalmente, alguno, cualquiera o todos los procesos descritos en el presente documento pueden realizarse bajo el control de uno o más sistemas informáticos configurados con instrucciones ejecutables específicas y pueden implementarse como código (por ejemplo, instrucciones ejecutables, uno o más programas informáticos o una o más aplicaciones) que se ejecutan colectivamente en uno o más procesadores, por hardware o combinaciones de los mismos. Como se ha observado anteriormente, el código puede almacenarse en un medio de almacenamiento no transitorio legible por ordenador, por ejemplo, en forma de un programa informático que incluye una pluralidad de instrucciones ejecutables por uno o más procesadores.

La figura 7 ilustra un ejemplo de un diagrama de flujo que representa el proceso 700 para usar un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo. El proceso 700 puede realizarse por el dispositivo informático 106.

El proceso 700 puede comenzar en 702 accediendo a una imagen que representa una pluralidad de insectos en una superficie. En algunos ejemplos, al menos una porción de la pluralidad de insectos están en estado de larva, una etapa de crisálida o una etapa adulta. En algunos ejemplos, la superficie puede incluir una placa de Petri configurada para retener la pluralidad de insectos en un estado inactivo o una vía de insectos configurada para retener la pluralidad de insectos en un estado activo.

En 704, el proceso 700 puede incluir dividir la imagen en una pluralidad de parches de imagen. En algunos ejemplos, la pluralidad de parches de imagen puede tener un tamaño y una forma uniformes y/o puede tener un tamaño y una forma no uniformes. La pluralidad de parches de imágenes puede representar la totalidad de la imagen y/o puede representar menos de la totalidad de la imagen. En algunos ejemplos, cada parche de imagen de la pluralidad de parches de imagen tiene el tamaño correspondiente a un insecto adulto.

En 706, el proceso 700 puede incluir determinar, usando un modelo predictivo, localizaciones de insectos individuales. Los insectos individuales pueden ser de la pluralidad de insectos representados en la pluralidad de parches de imagen. En algunos ejemplos, las localizaciones de los insectos individuales pueden corresponder a un parche de imagen en el que se identificaron los insectos individuales.

En algunos ejemplos, determinar, usando el modelo predictivo, las localizaciones de los insectos individuales en la pluralidad de parches de imágenes pueden incluir seleccionar un primer parche de imagen de la pluralidad de parches de imagen y evaluar, usando el modelo predictivo, el primer parche de imagen independientemente de otros parches de imagen de la pluralidad de parches de imagen. En algunos ejemplos, la pluralidad de parches de imagen puede seleccionarse aleatoriamente para su evaluación. En algunos ejemplos, las localizaciones de los insectos individuales corresponden a coordenadas dentro de un sistema de cuadrícula que se superpone a una porción de la superficie.

En 708, el proceso 700 puede incluir clasificar, usando el modelo predictivo, los insectos individuales en al menos una categoría basándose al menos en parte en un parámetro de insecto. El parámetro insecto puede corresponder a una característica de un insecto que define la categoría. En algunos ejemplos, los parámetros de insectos pueden incluir un parámetro de sexo, un parámetro de especie, un parámetro de salud, un parámetro de tamaño, un parámetro de conteo o un parámetro de etapa de vida.

En algunos ejemplos, clasificar, usando el modelo predictivo, los insectos individuales en al menos otra categoría puede basarse al menos en parte en el parámetro de insecto. En algunos ejemplos, clasificar, usando el modelo predictivo, los insectos individuales en al menos otra categoría puede basarse al menos en parte en un parámetro de insecto diferente.

En algunos ejemplos, el proceso 700 puede incluir además determinar si se deberían obtener datos de imagen adicionales basándose en un valor de confianza. Por ejemplo, el valor de confianza puede indicar la confianza que tiene el sistema en la clasificación realizada anteriormente.

En 710, el proceso 700 puede incluir generar información de insectos del modelo predictivo basándose al menos en parte en las localizaciones de los insectos individuales y al menos una categoría.

En algunos ejemplos, el proceso 700 puede incluir además entrenar el modelo predictivo basándose al menos en parte en parches de datos de imagen anotados que incluyen anotaciones que identifican insectos presentes en los parches de datos de imagen anotados. Los parches de imagen anotados pueden incluir (i) una identificación de la cabeza de un insecto de los insectos, (ii) una identificación de un extremo distal de un abdomen del insecto y (iii) un eje que se extiende entre la identificación de la cabeza y la identificación del extremo distal del abdomen. En algunos ejemplos, la identificación de la cabeza es una primera etiqueta, la identificación del extremo distal es una segunda etiqueta, y el eje es un eje de alineación que define una orientación del insecto.

En algunos ejemplos, entrenar el modelo predictivo puede incluir dividir una imagen de entrenamiento en una pluralidad de parches de datos de imagen de entrenamiento, seleccionar aleatoriamente parches de datos de imagen de entrenamiento individuales de la pluralidad de parches de datos de imagen de entrenamiento, proporcionar los parches de imagen de entrenamiento individuales para su presentación en una interfaz de usuario de un dispositivo de usuario, recibir, a través de la interfaz de usuario, la entrada de usuario que incluye las anotaciones con respecto a los parches de imagen de entrenamiento individuales y asociar las anotaciones con los parches de imagen de entrenamiento individuales para crear los parches de datos de imagen anotados.

En algunos ejemplos, el proceso 700 puede incluir además proporcionar una interfaz de usuario para la presentación en un dispositivo informático basado al menos en parte en la información del insecto. La interfaz de usuario puede incluir elementos de interfaz de usuario correspondientes a los insectos individuales. En este ejemplo, un formato de los elementos de la interfaz de usuario puede corresponder a al menos una categoría.

En algunos ejemplos, el proceso 700 puede incluir además contar, usando el modelo predictivo, los insectos individuales en la pluralidad de parches de imagen.

La figura 8 ilustra un ejemplo de un diagrama de flujo que representa el proceso 800 para usar un modelo predictivo para clasificar insectos, de acuerdo con al menos un ejemplo. El proceso 800 puede realizarse por el dispositivo informático 106.

El proceso 800 puede comenzar en 802 accediendo a datos de imagen que representan al menos un mosquito en una superficie.

En 804, el proceso 800 puede incluir dividir la imagen en una pluralidad de porciones de imagen.

En 806, el proceso 800 puede incluir evaluar, usando un modelo predictivo, una primera porción de imagen de la pluralidad de porciones de imagen. La evaluación en 806 puede incluir un subprocesamiento que incluye (i) localizar el al menos un mosquito representado en la primera porción de imagen (808), (ii) clasificar el al menos un mosquito en al menos una categoría basándose al menos en parte en un parámetro de insecto (810), y (iii) contar el al menos un mosquito (812).

En algunos ejemplos, antes de evaluar la primera porción de imagen, el proceso 800 puede incluir seleccionar aleatoriamente la primera porción de imagen de la pluralidad de porciones de imagen. En algunos ejemplos, la primera porción de imagen puede incluir una región central y una región de contexto que está delimitada por una ventana de contexto. La región de contexto puede incluir un marco que se extiende continuamente alrededor de la región central. En algunos ejemplos, una primera dimensión de la región central puede corresponder a una dimensión de longitud de un mosquito adulto.

En algunos ejemplos, el modelo predictivo puede incluir una red neuronal.

En 814, el proceso 800 puede incluir la salida de información de insectos del modelo predictivo en relación con la evaluación. La generación de la información de insectos puede basarse, al menos en parte, en localizar el al menos un mosquito y clasificar el al menos un mosquito. En algunos ejemplos, la información de insectos puede incluir información de localización que identifica una localización del al menos un mosquito e información de clasificación que identifica la al menos una categoría en la que se ha clasificado el al menos un mosquito.

La figura 9 ilustra ejemplos de componentes de un sistema informático 900, de acuerdo con al menos un ejemplo. El sistema informático 900 puede ser un único ordenador, como un dispositivo informático de usuario, y/o puede representar un sistema informático distribuido, como uno o más dispositivos informáticos de servidor. El sistema informático 900 es un ejemplo del dispositivo informático 106.

El sistema informático 900 puede incluir al menos un procesador 902, una memoria 904, un dispositivo de almacenamiento 906, periféricos de entrada/salida (E/S) 908, periféricos de comunicación 910 y un bus de interfaz 912. El bus de interfaz 912 está configurado para comunicar, transmitir y transferir datos, controles y órdenes entre los diversos componentes del sistema informático 900. La memoria 904 y el dispositivo de almacenamiento 906 incluyen medios de almacenamiento legibles por ordenador, como la memoria de acceso aleatorio (RAM), ROM de lectura, memoria de solo lectura programable y borrable eléctricamente (EEPROM), discos duros, CD-ROM, dispositivos de almacenamiento óptico, dispositivos de almacenamiento magnético, almacenamiento informático no volátil electrónico, por ejemplo, memoria Flash® y otros medios de almacenamiento tangibles. Cualquiera de dichos medios de almacenamiento legibles por ordenador puede configurarse para almacenar instrucciones o códigos de programa que incorporen aspectos de la divulgación. La memoria 904 y el dispositivo de almacenamiento 906 también incluyen medios de señal legibles por ordenador. Un medio de señal legible por ordenador incluye una señal de datos propagados con un código de programa legible por ordenador incorporado en el mismo. Tal señal propagada toma cualquiera de una variedad de formas que incluyen, aunque no están limitados a, electromagnéticas, ópticas o cualquier combinación de las mismas. Un medio de señal legible por ordenador incluye cualquier medio legible por ordenador que no sea un medio de almacenamiento legible por ordenador y que pueda comunicarse, propagar o transportar un programa para su uso junto con el sistema informático 900.

Además, la memoria 904 incluye un sistema operativo, programas y aplicaciones. El procesador 902 está configurado para ejecutar las instrucciones almacenadas e incluye, por ejemplo, una unidad de procesamiento lógico, un microprocesador, un procesador de señal digital y otros procesadores. La memoria 904 y/o el procesador 902 pueden virtualizarse y alojarse dentro de otro sistema informático, por ejemplo, una red en la nube o un centro de datos. Los periféricos de E/S 908 incluyen interfaces de usuario, tal como un teclado, pantalla (por ejemplo, una pantalla táctil), micrófono, altavoz, otros dispositivos de entrada/salida y componentes informáticos, como unidades de procesamiento gráfico, puertos series, puertos paralelos, buses series universales y otros periféricos de entrada/salida. Los periféricos de E/S 908 están conectados al procesador 902 a través de cualquiera de los puertos acoplados al bus de interfaz 912. Los periféricos de comunicación 910 están configurados para facilitar la comunicación entre el sistema informático 900 y otros dispositivos informáticos a través de una red de comunicaciones e incluyen, por ejemplo, un controlador de interfaz de red, módem, tarjetas de interfaz inalámbricas y cableadas, antena y otros periféricos de comunicación.

Si bien el presente objeto se ha descrito en detalle con respecto a realizaciones específicas del mismo, se apreciará que aquellos expertos en la materia, al lograr una comprensión de lo anterior, pueden producir fácilmente alteraciones, variaciones y equivalentes de dichas realizaciones. Por consiguiente, debería entenderse que la presente divulgación se ha presentado con fines de ejemplo y no de limitación, y no impide la inclusión de dichas modificaciones, variaciones y/o adiciones al objeto como sería fácilmente evidente para un experto en la materia. De hecho, los métodos y sistemas descritos en el presente documento pueden incorporarse en una variedad de otras formas; es más, pueden realizarse diversas omisiones, sustituciones y cambios en la forma de los métodos y sistemas descritos en el presente documento sin alejarse del alcance de las presentes reivindicaciones.

A menos que se indique específicamente lo contrario, se aprecia que a lo largo de los análisis de la presente memoria descriptiva se usan términos como "procesar", "computar", "calcular", "determinar", e "identificar" o similares se refieren a acciones o procesos de un dispositivo informático, como uno o más ordenadores o un dispositivo o dispositivos informáticos electrónicos similares, que manipulan o transforman datos representados como cantidades físicas electrónicas o magnéticas dentro de las memorias, registros u otros dispositivos de almacenamiento de información, dispositivos de transmisión o dispositivos de visualización de la plataforma informática.

El sistema o sistemas analizados en el presente documento no están limitados a ninguna arquitectura o configuración de hardware en particular. Un dispositivo informático puede incluir cualquier disposición adecuada de componentes que proporcionen un resultado condicionado a una o más entradas. Los dispositivos informáticos adecuados incluyen sistemas informáticos multipropósito basados en microprocesadores que acceden a software almacenado que programa o configura el sistema informático desde un aparato informático de fin general hasta un aparato informático especializado que implementa una o más realizaciones del presente objeto. Cualquier programación adecuada, pueden usarse secuencias de comandos u otro tipo de lenguaje o combinaciones de lenguajes para implementar las enseñanzas contenidas en el presente documento en el software a usar en la programación o configuración de un dispositivo informático.

Las realizaciones de los métodos desvelados en el presente documento pueden realizarse en la operación de dichos dispositivos informáticos. El orden de los bloques presentados en los ejemplos anteriores puede variarse, por ejemplo, los bloques pueden reordenarse, combinarse y/o dividirse en subbloques. Ciertos bloques o procesos pueden realizarse en paralelo.

El lenguaje condicional usado en el presente documento, tal como, entre otros, "puede", "podría", "pudiese", "puede que", "por ejemplo", y similares, a menos que se indique específicamente lo contrario o se entienda de otra manera dentro del contexto como se usa, en general, tiene la intención de transmitir que ciertos ejemplos incluyen, mientras que otros ejemplos no incluyen, determinadas características, elementos y/o etapas. De este modo, tal lenguaje condicional no pretende, en general, implicar que las características, elementos y/o etapas se necesitan de alguna manera para uno o más ejemplos o que uno o más ejemplos necesariamente incluyen lógica para decidir, con o sin aportes o sugerencias del autor, si estas características, elementos y/o etapas se incluyen o se van a realizar en cualquier ejemplo particular.

Las expresiones "que comprende", "que incluye", "que tiene", y similares son sinónimos y se usan inclusivamente, de manera abierta, y no excluyen elementos adicionales, características, actos, operaciones, etc. También, el término "o" se usa en su sentido inclusivo (y no en su sentido exclusivo) de tal manera que cuando se usa, por ejemplo, para conectar una lista de elementos, el término "o" significa uno, algunos o todos los elementos de la lista. El uso de "adaptado para" o "configurado para" en el presente documento se entiende como un lenguaje abierto e inclusivo que no excluye dispositivos adaptados o configurados para realizar tareas o etapas adicionales. Adicionalmente, el uso de "basado en" pretende ser abierto e inclusivo, en ese proceso, etapa, cálculo u otra acción "basada en" una o más condiciones o valores enumerados pueden, en la práctica, basarse en condiciones o valores adicionales más allá de los enumerados. De manera similar, el uso de "basado al menos en parte en" pretende ser abierto e inclusivo, en ese proceso, etapa, cálculo u otra acción "basada al menos en parte en" una o más condiciones o valores enumerados pueden, en la práctica, basarse en condiciones o valores adicionales más allá de los enumerados. Encabezados, listas y la numeración incluidas en el presente documento son solo para facilitar la explicación y no pretenden ser limitativas.

Las diversas características y procesos descritos anteriormente pueden usarse de manera independiente de otras o pueden combinarse de diversas formas.

Claims (11)

REIVINDICACIONES

1. Un método implementado por ordenador, que comprende:

acceder a una imagen que representa una pluralidad de insectos en una superficie;

determinar, usando un modelo predictivo, localizaciones de insectos individuales de la pluralidad de insectos en la imagen dividiendo la imagen en una pluralidad de parches de imagen y evaluando, usando el modelo predictivo, cada parche de imagen independientemente de otros parches de imagen de la pluralidad de parches de imagen, en donde un parche de imagen comprende:

una región central que tiene una dimensión que corresponde al tamaño de un insecto individual para el que se aplica el modelo predictivo; y

una región de contexto que comprende un marco que se extiende continuamente alrededor de la región central;

clasificar, usando el modelo predictivo, los insectos individuales en al menos una categoría definida por un parámetro de insecto, en donde el parámetro de insecto comprende un parámetro de sexo, un parámetro de especie, un parámetro de salud, un parámetro de tamaño o un parámetro de etapa de vida; y

generar información de insectos del modelo predictivo basándose al menos en parte en las localizaciones de los insectos individuales y la al menos una categoría.

2. El método implementado por ordenador de la reivindicación 1, que comprende además entrenar el modelo predictivo basándose al menos en parte en parches de datos de imagen anotados que comprenden anotaciones que identifican y clasifican insectos presentes en los parches de datos de imagen anotados, en donde cada anotación de las anotaciones comprende (i) una identificación de una cabeza de un insecto de los insectos, (ii) una identificación de un extremo distal de un abdomen del insecto y (iii) un eje que se extiende entre la identificación de la cabeza y la identificación del extremo distal del abdomen.

3. El método implementado por ordenador de la reivindicación 2, en donde entrenar el modelo predictivo comprende:

seleccionar aleatoriamente porciones individuales de una imagen de entrenamiento;

proporcionar las porciones individuales para su presentación en una interfaz de usuario de un dispositivo de usuario;

recibir, a través de la interfaz de usuario, una entrada de usuario que comprende las anotaciones con respecto a las porciones individuales; y

asociar las anotaciones con las porciones individuales para crear los parches de datos de imagen anotados.

4. El método implementado por ordenador de la reivindicación 1, en donde la superficie comprende una placa de Petri configurada para retener la pluralidad de insectos en un estado inactivo o una vía de insectos configurada para retener la pluralidad de insectos en un estado activo.

5. El método implementado por ordenador de la reivindicación 1, que comprende además contar, usando el modelo predictivo, los insectos individuales en la imagen.

6. Un sistema, que comprende:

un dispositivo de formación de imágenes configurado para capturar imágenes de insectos soportados por una superficie; y

un dispositivo informático en comunicación con el dispositivo de formación de imágenes y configurado al menos para:

hacer que el dispositivo de formación de imágenes capture una imagen de la superficie, representando la imagen una pluralidad de insectos;

determinar, usando un modelo predictivo, localizaciones de insectos individuales de la pluralidad de insectos en la imagen, dividiendo la imagen en una pluralidad de parches de imagen y evaluando, usando el modelo predictivo, cada parche de imagen independientemente de otros parches de imagen de la pluralidad de parches de imagen, en donde un parche de imagen comprende:

una región central que tiene una dimensión que corresponde al tamaño de un insecto individual para el que se aplica el modelo predictivo; y

una región de contexto que comprende un marco que se extiende continuamente alrededor de la región central;

clasificar, usando el modelo predictivo, los insectos individuales en al menos una categoría definida por un parámetro de insecto, en donde el parámetro de insecto comprende un parámetro de sexo, un parámetro de especie, un parámetro de salud, un parámetro de tamaño o un parámetro de etapa de vida; y generar información de insectos del modelo predictivo basándose al menos en parte en las localizaciones de los insectos individuales y la al menos una categoría.

7. El sistema de la reivindicación 6, en donde la información del insecto comprende instrucciones para realizar una acción con respecto a al menos un insecto que pertenece a al menos una categoría, en donde la acción comprende (i) una acción de eliminación que, cuando se realiza, provoca la eliminación del al menos un insecto de la superficie o

(ii) una acción de esterilización que, cuando se realiza, esteriliza el al menos un insecto.

8. El sistema de la reivindicación 7, en donde el sistema comprende además un manipulador robótico en comunicación con el dispositivo informático, estando el manipulador robótico configurado para ejecutar las instrucciones para realizar la acción.

9. Uno o más medios no transitorios legibles por ordenador que comprenden instrucciones ejecutables por ordenador que, cuando son ejecutadas por uno o más sistemas informáticos, hacen que los sistemas informáticos realicen el método de la reivindicación 1.

10. El método implementado por ordenador de la reivindicación 1, en donde la imagen comprende datos de imagen que representan al menos un mosquito en la superficie.

11. El método implementado por ordenador de la reivindicación 10, en donde la dimensión de la región central corresponde a una dimensión de longitud de un mosquito adulto.