ES3056012T3

ES3056012T3 - Inventory monitoring method

Info

Publication number: ES3056012T3
Application number: ES17776466T
Authority: ES
Inventors: Sarjoun Skaff; Jonathan Taylor; Stephen Williams; Simant Dube
Original assignee: Shanghai Hanshi Information Tech Co Ltd; Shanghai Hanshi Information Technology Co Ltd
Current assignee: Shanghai Hanshi Information Tech Co Ltd; Shanghai Hanshi Information Technology Co Ltd
Priority date: 2016-03-29
Filing date: 2017-03-28
Publication date: 2026-02-17
Anticipated expiration: 2037-03-28
Also published as: EP3437031B1; EP4641526A3; CN109154993A; US20170286773A1; EP3437031C0; US20170286901A1; US10565548B2; CA3018381A1; KR20190031431A; WO2017172790A1; US11087272B2; WO2017172782A1; AU2017245132A1; EP3437031A4; JP2019513274A; EP4641526A2; EP3437031A1

Abstract

Un sistema para crear una biblioteca de productos sin necesidad de un planograma incluye una unidad de captura de imágenes que proporciona imágenes de los artículos. Con datos de un detector de etiquetas de estantería y una unidad de creación de mapas de profundidad, un módulo de procesamiento compara las etiquetas de estantería detectadas con un mapa de profundidad, define un cuadro delimitador del producto y lo asocia con una imagen proporcionada por la unidad de captura de imágenes para generar descriptores de imagen. El sistema puede incluir uno o más robots autónomos para soportar y mover la unidad de captura de imágenes y otros componentes. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN

[0002] Método de supervisión de inventario

[0003] Referencia cruzada a solicitudes relacionadas

[0004] La presente descripción forma parte de una solicitud de patente no provisional en donde se reivindica el beneficio prioritario de la solicitud de patente US-62/314.785, “System and Method for Locating, Identifying and Counting Products on Shelves”, presentada el 29 de marzo de 2016; y la solicitud de patente US-62/427.509, “System and Method for Locating, Identifying and Counting Items”, presentada el 29 de noviembre de 2016.

[0005] Campo técnico

[0006] La presente descripción se refiere en general a un conjunto de sensores de múltiples cámaras capaz de monitorizar con precisión el inventario de productos minoristas o de almacén sin necesidad de un planograma inicial. En ciertas realizaciones, el conjunto de sensores de múltiples cámaras se puede montar en un robot autónomo e incluir un procesamiento integrado para proporcionar un seguimiento del producto casi en tiempo real.

[0007] Antecedentes

[0008] Las tiendas minoristas o los almacenes pueden tener miles de productos distintos que con frecuencia se venden, retiran, agregan o reposicionan. Incluso con programas de reabastecimiento frecuentes, los productos que se supone que están en stock pueden estar agotados, lo que reduce tanto las ventas como la satisfacción del cliente. Los datos de los puntos de venta se pueden utilizar para estimar aproximadamente la disponibilidad de los productos, pero no ayudan a identificar los productos extraviados, robados o dañados, todo lo cual puede reducir la disponibilidad de los productos. Sin embargo, la monitorización manual del inventario de productos y el seguimiento de la posición de los productos es costosa y lleva mucho tiempo.

[0009] Una solución para el seguimiento del inventario de productos se basa en planogramas (listas o diagramas que muestran cómo y dónde deben colocarse productos específicos en las estanterías o expositores) en combinación con la tecnología de visión artificial. Dado un planograma, la visión artificial se puede utilizar para ayudar a cumplir con el espacio en las estanterías. Por ejemplo, se puede utilizar una gran cantidad de cámaras de posición fija en toda la tienda para monitorizar los pasillos, y los espacios grandes en las estanterías se pueden comparar con el planograma o las etiquetas de las estanterías y, si es necesario, se marcan como “agotado”. Como alternativa, se puede utilizar un número menor de cámaras móviles para escanear el pasillo de una tienda. Incluso con estos sistemas, generalmente se requiere la intervención humana para construir un planograma inicial que incluya información detallada relativa a un recuadro delimitador que puede incluir la identificación, la ubicación y el recuento del producto. También puede ser necesaria una intervención humana sustancial para actualizar el planograma, así como para buscar un inventario de productos extraviado.

[0010] El documento US-2008/077511 A1 presenta un sistema robótico de inventario móvil para generar un mapa de inventario de una tienda y una base de datos de productos cuando un robot de inventario móvil navega manualmente por la tienda para identificar los artículos en las estanterías, una ubicación para cada uno de los artículos en las estanterías y un código de barras para cada uno de los artículos. El sistema realiza el inventario de los artículos navegando por la tienda a través del mapa de inventario, capturando una imagen de estantería, decodificando un código de barras de producto a partir de la imagen de estantería capturada, recuperando una imagen de producto para el código de barras del producto decodificado de la base de datos de productos, segmentando la imagen de estantería capturada para detectar una imagen de un artículo en las estanterías, determinando si la imagen detectada coincide con la imagen recuperada y, de no ser así, estableciendo un indicador de agotado para un artículo.

[0011] En el documento US-2014/003727 A1 se describen sistemas y métodos para recibir una consulta relacionada con un establecimiento, recuperar una imagen de salida de una base de datos de imágenes en respuesta a la consulta y transmitir la imagen de salida a un dispositivo móvil. En un ejemplo, también se reciben datos de imágenes que incluyen una pluralidad de imágenes del interior de un establecimiento y una pluralidad de imágenes del área de almacenamiento, en donde la base de datos de imágenes puede construirse basándose de los datos de imágenes recibidos.

[0012] El documento US-2014/003655 A1 enseña técnicas y mecanismos para generar datos de imagen que representan una región de almacenamiento en un establecimiento comercial. En un ejemplo, el análisis de reconocimiento de imágenes de los primeros datos de imagen detecta una diferencia entre los estados respectivos de almacenamiento de inventario representados por diferentes áreas de una imagen capturada. En otra realización, se generan otros datos de imagen para representar una versión modificada de la imagen, en donde, basándose de la diferencia detectada, se aplica un filtro a solo una o dos partes de los primeros datos de imagen.

[0013] El documento US-2009/0063307A1 describe una técnica de análisis de imágenes que incluye el análisis de reconocimiento de objetos aplicado a imágenes obtenidas por uno o más dispositivos de captura de imágenes desplegados en entornos de inventario. El análisis de reconocimiento de objetos proporciona datos de reconocimiento de objetos (que pueden incluir una o más instancias de productos reconocidos) basándose de las imágenes de productos almacenadas. A su vez, se pueden habilitar una variedad de funcionalidades basándose de los datos de reconocimiento de objetos. Por ejemplo, se puede extraer un planograma y compararlo con un planograma objetivo, o se puede determinar al menos un parámetro de visualización del producto para un producto y utilizarlo para evaluar la presencia del producto en el entorno de inventario, o para determinar la conformidad de la exhibición del producto con un objetivo promocional.

[0015] Resumen

[0017] La invención se define mediante la reivindicación independiente 1. Las reivindicaciones dependientes especifican otras realizaciones de las mismas.

[0019] Un sistema de cámara de bajo coste, preciso y escalable para la monitorización de productos u otro tipo de inventario puede incluir una base móvil. Múltiples cámaras soportadas por la base móvil se pueden dirigir hacia estanterías u otros sistemas para guardar productos o inventario. Un módulo de procesamiento está conectado a las múltiples cámaras y es capaz de construir a partir de las imágenes derivadas de la cámara un mapa actualizable de la posición del producto o del inventario.

[0021] En algunas realizaciones, el sistema de cámara descrito para la monitorización del inventario se utiliza para detectar etiquetas de estantería; comparar opcionalmente las etiquetas de las estanterías con un mapa de profundidad; definir un recuadro delimitador de productos; asociar el recuadro delimitador a una etiqueta de estantería para crear un conjunto de datos de entrenamiento; y utilizar el conjunto de datos de entrenamiento para entrenar a un clasificador de productos.

[0023] En otras realizaciones, que no forman parte de la presente invención, un sistema para construir una biblioteca de productos puede incluir una unidad de captura de imágenes que funciona para proporcionar imágenes de artículos. El sistema también incluye un detector de etiquetas de estantería (que puede ser una cámara con zoom de alta resolución) y, opcionalmente, una unidad de creación de mapas de profundidad (que se puede proporcionar mediante escaneo láser, detección del rango de tiempo de vuelo o imágenes estéreo), un módulo de procesamiento para comparar opcionalmente las etiquetas de estantería detectadas con un mapa de profundidad, definir un recuadro delimitador del producto y asociar el recuadro delimitador a una etiqueta de estantería para crear un conjunto de datos de entrenamiento o aprender descriptores de imágenes. Tanto la unidad de captura de imágenes como el módulo de procesamiento se pueden montar en un robot autónomo.

[0025] Debido a que representa la realidad en las estanterías, un mapa de inventario como el que se describe en la presente memoria puede denominarse “realograma” para distinguirlo de los “planogramas” convencionales que adoptan la forma de modelos 3D, dibujos animados, diagramas o listas que muestran cómo y dónde deben colocarse los productos minoristas y la señalización específicos en las estanterías o exhibiciones. Los realogramas se pueden almacenar localmente con un módulo de almacenamiento de datos conectado al módulo de procesamiento. Se puede conectar un módulo de comunicación al módulo de procesamiento para transferir datos de realogramas a ubicaciones remotas, incluidos servidores de tiendas u otros sistemas de cámaras compatibles, y además recibir información de inventario, incluidos planogramas, para ayudar en la construcción del realograma. Además del mapeo de realograma, este sistema se puede utilizar para detectar productos agotados, estimar productos mermados, estimar la cantidad de productos incluidos en pilas apiladas, estimar la altura de los productos, longitudes y anchuras, crear modelos 3D de productos, determinar la posición y orientación de los productos, determinar si uno o más productos están desorganizados en las estanterías y requieren medidas correctivas, como operaciones de reordenación o zonificación, estimar la frescura de productos como los productos agrícolas, estimar la calidad de los productos, incluida la integridad del empaquetado, localizar productos, incluso en ubicaciones domésticas, ubicaciones secundarias, en la parte superior, en la parte inferior y en la trastienda, detectar un evento de producto mal colocado (también conocido como “tapón”), identificar productos mal colocados, estimar o contar el número de productos expuestos, comparar el número de productos expuestos con el planograma, localizar etiquetas, determinar la secuencia de las etiquetas, detectar el tipo de etiqueta, leer el contenido de la etiqueta, incluyendo el nombre del producto, el código de barras, código UPC y precio, detectar etiquetas que faltan, comparar la ubicación de las etiquetas con el planograma, comparar la ubicación de los productos con el planograma, determinar la fecha de caducidad de los productos, determinar la frescura de los productos, incluidos los productos agrícolas, medir la altura, la profundidad y la anchura de las estanterías y la anchura de las secciones, reconocer la señalización, detectar material promocional, incluidos pantallas, señalización y características, y medir sus tiempos de montaje y desmontaje, detectar y reconocer productos y exhibidores de temporada y promocionales, como islas y exhibidores de productos, capturar imágenes de productos individuales y grupos y exhibidores de productos, de tal modo que incluya pasillos completos, secciones de estantería, productos específicos en un pasillo y exhibidores e islas de productos, capturar vistas esféricas y de 360 grados del entorno para visualizarlas en una aplicación de visita virtual que permita realizar recorridos virtuales, capturar imágenes en 3D del entorno para visualizarlas en realidad aumentada o virtual, capturar las condiciones ambientales, incluidas los niveles de luz ambiental, capturar información sobre el entorno, incluida la medición del cumplimiento de las normas de discapacidad y seguridad del espacio y la determinación de si las bombillas están apagadas, proporcionar una transmisión de vídeo en tiempo real del espacio a monitores remotos, proporcionar imágenes y vídeos bajo demanda de ubicaciones específicas, incluso en entornos en directo o programados, y crear una biblioteca de imágenes de productos.

[0026] En una realización, la base móvil puede ser un carro guiado o empujado manualmente. Como alternativa, la base móvil puede ser un robot teleoperado o, en las realizaciones preferidas, un robot autónomo capaz de guiarse a sí mismo a través de una tienda o almacén. Según el tamaño de la tienda o almacén, se pueden utilizar varios robots autónomos. Los pasillos se pueden inspeccionar con regularidad para identificar las existencias agotadas o crear realogramas, y los pasillos con un alto movimiento de productos se inspeccionan con más frecuencia.

[0027] En otra realización, un método de monitorización de inventario incluye las etapas de permitir que un robot autónomo se mueva a lo largo de un pasillo que está lleno de estanterías capaces de contener inventario o productos, con el robot autónomo actuando como una base móvil para múltiples cámaras. Múltiples cámaras se dirigen hacia el inventario en el pasillo bordeado de estanterías, y los datos derivados, al menos en parte, de estas cámaras se utilizan para construir un realograma del inventario o una imagen panorámica utilizando un módulo de procesamiento contenido en el robot autónomo. Los datos del realograma o las imágenes panorámicas creadas por el módulo de procesamiento se pueden transferir a ubicaciones remotas mediante un módulo de comunicación, y la información de inventario recibida a través del módulo de comunicación se puede utilizar para ayudar en la construcción del realograma.

[0028] En otra realización, un método de monitorización de inventario incluye las etapas de permitir que un robot autónomo se mueva a lo largo de un pasillo bordeado de estanterías que contiene el inventario, con el robot autónomo actuando como una base móvil para múltiples cámaras. El robot autónomo puede mantener una distancia sustancialmente constante o estrictamente controlada desde el pasillo bordeado de estanterías que contiene el inventario mientras se mueve hacia adelante o hacia atrás. Utilizando las múltiples cámaras dirigidas hacia el inventario en el pasillo bordeado de estanterías, se puede construir al menos parte de un realograma del inventario colocado a lo largo de un pasillo revestido de estanterías que contiene el inventario. Normalmente, el realograma se crea y actualiza con un almacenamiento de datos ubicado localmente y un módulo de procesamiento contenido en el robot autónomo. Para garantizar una cobertura de cámara completa o casi completa de los pasillos con estanterías, el robot autónomo puede pautilizarse, retroceder o marcar para una inspección posterior con varias cámaras si la captura de datos de una parte del pasillo bordeado de estanterías está incompleta.

[0029] Breve descripción de lo dibujo

[0030] La figura 1 es una ilustración de un sistema de cámara montado sobre una base móvil para rastrear los cambios de producto en las estanterías de los pasillos u otros objetivos adecuados;

[0031] la figura 2 es una caricatura que ilustra dos robots autónomos que inspeccionan estanterías opuestas en un pasillo; la figura 3 es una ilustración de varios sistemas y módulos electrónicos conectados a cámaras de inventario;

[0032] la figura 4 es una ilustración de las etapas de una realización de funcionamiento;

[0033] las figuras 5A y B son ejemplos, respectivamente, en vista lateral y sección transversal de un robot autónomo capaz de actuar como base móvil para un sistema de cámara; y

[0034] la figura 6 es un diagrama de flujo 600 que ilustra con más detalle cómo se puede crear un espacio de producto para un realograma sin requerir un planograma inicial; y

[0035] la figura 7 es un diagrama de flujo 700 que ilustra detalles de proceso adicionales para gestionar aspectos del sistema descrito.

[0036] Descripción detallada

[0037] La figura 1 es una ilustración de un sistema de cámara de monitorización de inventario 100 montado sobre una base móvil 110 (con ruedas motrices 114) para rastrear los cambios de producto en las estanterías de los pasillos u otros objetivos 102 sin requerir un planograma inicial.

[0038] La base móvil 110 puede ser un robot autónomo que tiene una suite 130 de navegación y detección de objetos que es capaz de navegar y moverse de forma independiente por un edificio. El robot autónomo tiene múltiples cámaras 140 unidas a la base móvil 110 mediante un soporte 140 de cámara que se extiende verticalmente. Las luces 150 están posicionadas para dirigir la luz hacia el objetivo 102. La suite de detección de objetos incluye sensores de imagen y profundidad delanteros (133), laterales (134 y 135), superiores (132) y/o traseros (no mostrados) para ayudar en la detección, localización y navegación de objetos. Los sensores adicionales, tales como las unidades de alcance láser 136 y 138 (y los respectivos haces de escaneo láser 137 y 139) también forman parte del conjunto de sensores que es útil para la determinación precisa de la distancia. En ciertas realizaciones, los sensores de imagen pueden ser sensores de profundidad que deducen la profundidad a partir de imágenes estéreo, proyectan una superposición de malla infrarroja que permite una determinación aproximada de la distancia al objeto en una imagen o que deducen la profundidad a partir del tiempo de vuelo de la luz que se refleja en el objetivo. En otras realizaciones, se pueden utilizar cámaras simples y varios algoritmos de procesamiento de imágenes para identificar la posición y ubicación del objeto. Para aplicaciones seleccionadas, se pueden utilizar sensores ultrasónicos, sistemas de radar, magnetómetros o similares para ayudar en la navegación. En otras realizaciones adicionales, los sensores capaces de detectar balizas electromagnéticas, luminosas u otras balizas de ubicación pueden ser útiles para el posicionamiento preciso del robot autónomo.

[0040] Como se ve en la figura 1, se muestran varios tipos de cámaras representativos útiles para construir un realograma actualizable. Como se ha indicado anteriormente, un realograma puede utilizar imágenes derivadas de la cámara para producir un mapa actualizable de la posición del producto o del inventario. Por lo general, un conjunto diverso de tipos de cámaras tomaría imágenes de una o más unidades de estantería (por ejemplo, el objetivo 102), incluidas cámaras de distancia focal fija orientadas hacia abajo (142 y 144) o hacia arriba (143 y 148) que cubren un campo definido menos que la totalidad de una estantería objetivo; una cámara de enfoque variable que adapta su enfoque a la distancia del objetivo fotografiado; una cámara 145 de campo ancho para proporcionar una mayor cobertura fotográfica que las cámaras de distancia focal fija; y un teleobjetivo 146 con zoom de campo estrecho para capturar códigos de barras, números de identificación de productos y etiquetas de estantería. Como alternativa, se puede utilizar una cámara de alta resolución, con control de inclinación y altura ajustable para identificar las etiquetas de las estanterías. Estas imágenes derivadas de la cámara 140 se pueden unir, identificando los productos de las imágenes y determinando su posición.

[0042] Para simplificar el procesamiento de imágenes y proporcionar resultados precisos, las cámaras múltiples se colocan normalmente a una distancia determinada de las estanterías durante el proceso de inspección. Las estanterías se pueden iluminar con LED u otras luces direccionables 150 colocadas sobre o cerca de las cámaras. Las múltiples cámaras se pueden montar linealmente en vertical, horizontal u otra orientación adecuada en un soporte de cámara. En algunas realizaciones, para reducir los costos, se montan múltiples cámaras de manera fija en un soporte de cámara. Dichas cámaras pueden disponerse para apuntar hacia arriba, hacia abajo o niveladas con respecto al soporte de la cámara y las estanterías. Esto permite ventajosamente reducir el deslumbramiento de los productos que tienen superficies altamente reflectantes, ya que varias cámaras que apuntan en direcciones ligeramente diferentes pueden dar como resultado al menos una imagen con poco o ningún deslumbramiento.

[0044] La unidad de control electrónico 120 contiene un módulo autónomo de control de navegación y detección de robots 124 que gestiona las respuestas del robot. La localización de la posición del robot puede utilizar marcadores y puntos de referencia externos, o basarse únicamente en la información de localización proporcionada por los sensores montados en el robot. Los sensores para la determinación de la posición incluyen imágenes, sensores ópticos, sónares ultrasónicos, radar, LIDAR, tiempo de vuelo, luz estructurada u otros medios de medir la distancia entre el robot y el entorno, o la distancia incremental recorrida por la base móvil, utilizando técnicas que incluyen, entre otras, la triangulación, el flujo visual, la odometría visual y la odometría de ruedas.

[0046] La unidad de control electrónico 120 también proporciona procesamiento de imágenes utilizando un módulo de procesamiento de datos y control de cámara 122. El módulo autónomo de detección y control de navegación del robot 124 gestiona las respuestas del robot, y el módulo de comunicación 126 gestiona la entrada y salida de datos. El módulo 122 de procesamiento de datos y control de cámara puede incluir un módulo 123 de almacenamiento de datos independiente (por ejemplo, discos duros de estado sólido) conectado a un módulo 125 de procesamiento. El módulo de comunicación 126 está conectado al módulo de procesamiento 125 para transferir datos de realogramas o imágenes panorámicas a ubicaciones remotas, incluidos servidores de almacenamiento u otros sistemas de cámaras compatibles, y además recibir información de inventario para ayudar en la construcción del realograma. En ciertas realizaciones, los datos del realograma se almacenan principalmente y las imágenes se procesan dentro del robot autónomo. Ventajosamente, esto reduce los requisitos de transferencia de datos y permite la operación incluso cuando los servidores locales o en la nube no están disponibles.

[0048] La figura 2 es una caricatura 200 que ilustra dos robots autónomos 230 y 232, similares a los descritos con respecto a la figura 1, que inspeccionan estanterías 202 opuestas en un pasillo. Como se muestra, cada robot sigue la trayectoria 205 a lo largo de un pasillo, con múltiples cámaras que capturan imágenes de las estanterías 202.

[0050] En algunas realizaciones, los robots 230 y 232 soportan al menos un sensor de localización para medir la distancia entre las múltiples cámaras y las estanterías y productos en las estanterías, con una precisión de menos de 5 cm y con un rango de precisión típico de entre aproximadamente 5 cm y 1 mm. Como se apreciará, el LIDAR u otros instrumentos de detección de alcance con una precisión similar también se pueden utilizar en aplicaciones seleccionadas. Utilizando sensores de ubicación absoluta, mediciones de distancia relativa a las estanterías, triangulación con respecto a un punto de referencia conocido, metodologías convencionales de localización y cartografía simultáneas (SLAM) o basándose en balizas colocadas en ubicaciones conocidas en un plano o un mapa construido previamente, los robots 230 y 232 pueden moverse a lo largo de una trayectoria generalmente paralela a las estanterías 202. A medida que los robots se mueven, las cámaras colocadas verticalmente se sincronizan para capturar simultáneamente imágenes de las estanterías 202. En ciertas realizaciones, se crea un mapa de profundidad de las estanterías y los productos midiendo las distancias desde las cámaras de las estanterías hasta las estanterías y los productos a lo largo de la unidad de estantería utilizando sensores de profundidad de imagen o instrumentación de medición láser. El mapa de profundidad se registra en las imágenes capturadas por las cámaras de estantería, de modo que la ubicación de cada píxel en el objetivo se puede estimar en 3D. Con la información disponible, se pueden unir imágenes consecutivas para crear imágenes panorámicas que abarquen toda una estantería. Las imágenes consecutivas se pueden unir primero verticalmente entre todas las cámaras y, a continuación, se pueden unir horizontal e incrementalmente con cada nuevo conjunto consecutivo de imágenes verticales a medida que los robots 230 y 232 se mueven a lo largo de un pasillo.

[0052] La figura 3 es una ilustración de varios sistemas y módulos electrónicos 300 soportados por un robot autónomo que tiene navegación y detección 310 del robot. Las cámaras 340 de inventario se mueven a una posición deseada con la ayuda del módulo de navegación y detección 310 del robot. Las luces 350 se dirigen hacia el inventario y el inventario de productos. El control de la cámara y la reconstrucción 312 de imágenes toman una serie de fotografías del inventario (y medidas de profundidad opcionales) que se pueden unir para ayudar a formar o actualizar un realograma. Las imágenes panorámicas, los datos de realograma u otra información relacionada con el inventario son manejados por un módulo 314 de datos de inventario y actualización local, que puede transmitir o recibir información relevante a través del sistema 316 de comunicación. Los datos pueden comunicarse a un servidor local de la tienda o transmitirse mediante dispositivos de red o Internet adecuados a servidores remotos o sitios de datos accesibles en la nube.

[0053] Las cámaras 340 de inventario pueden incluir una o más cámaras móviles, cámaras con zoom, cámaras enfocables, cámaras de campo amplio, cámaras de infrarrojos, cámaras ultravioletas u otras cámaras especiales para ayudar en la identificación del producto o la construcción de imágenes. Por ejemplo, se puede utilizar una cámara de campo amplio para crear una plantilla de organización de imágenes en donde se mapeen o registren los datos de cámaras de mayor resolución con un campo de visión estrecho. Como otro ejemplo, una cámara de alta resolución con control de inclinación colocada en el soporte de la cámara aproximadamente a la altura del borde de una estantería se puede utilizar para leer códigos de barras, números de identificación o etiquetas adjuntos a la estantería. En ciertas realizaciones, se pueden utilizar sensores CMOS o CCD RGB convencionales, solos o en combinación con filtros espectrales que pueden incluir filtros de banda estrecha, banda ancha o de polarización. Las realizaciones también pueden incluir sensores capaces de detectar longitudes de onda infrarrojas, ultravioletas u otras longitudes de onda para permitir el procesamiento de imágenes hiperespectrales. Esto puede permitir, por ejemplo, monitorizar y rastrear marcadores, etiquetas o guías que no sean visibles para las personas, o utilizar luces parpadeantes en el espectro invisible que no induzcan molestias o riesgos para la salud y, al mismo tiempo, reduzcan el consumo de energía y la borrosidad por movimiento.

[0055] Las luces se pueden montar junto con los sensores o por separado de ellos, y pueden incluir fuentes de luz monocromáticas o casi monocromáticas, como láseres, diodos emisores de luz (LED) o diodos emisores de luz orgánicos (OLED). Las fuentes de luz de banda ancha pueden proporcionarse mediante múltiples LED de longitud de onda variable (incluidos los LED infrarrojos o ultravioleta), lámparas halógenas u otra fuente de luz convencional adecuada. Varios filtros espectrales que pueden incluir filtros de banda estrecha, banda ancha o de polarización y protectores de luz, lentes, espejos, superficies reflectantes, difusores, concentradores u otros elementos ópticos pueden proporcionar haces de luz amplios para la iluminación de áreas o haces muy enfocados para mejorar la intensidad de la iluminación local.

[0057] Según algunas realizaciones, tanto las cámaras 340 como las luces 350 pueden montarse de forma móvil. Por ejemplo, mecanismos de accionamiento articulados, de riel, de pistón electromagnético u otros mecanismos de accionamiento adecuados que se utilizan para girar, elevar, deprimir, oscilar o reposicionar de forma lateral o vertical las cámaras o luces de forma programática.

[0059] En otras realizaciones adicionales, una o más de las cámaras pueden montarse de tal modo que se aprovechen los efectos del obturador enrollable y la dirección de desplazamiento del robot autónomo. Alinear la cámara de tal modo que se aproveche el retraso “rasterizado” de la persiana enrollable puede reducir los artefactos (alargamiento/acortamiento) que pueden producirse mientras el robot se desplaza en su camino.

[0061] Los datos de inventario 314 pueden incluir, pero no se limitan a, una base de datos de inventario capaz de almacenar datos sobre una pluralidad de productos, cada producto asociado a un tipo de producto, dimensiones del producto, un modelo 3D del producto, una imagen del producto y el precio actual del producto, la ubicación de las estanterías, el recuento del inventario de las estanterías y el número de caras. Los realogramas capturados y creados en diferentes momentos se pueden almacenar y el análisis de datos se puede utilizar para mejorar las estimaciones de la disponibilidad de los productos. En ciertas realizaciones, la frecuencia de creación de realogramas puede aumentarse o reducirse.

[0063] El sistema 316 de comunicación puede incluir conexiones a un subsistema de conexión por cable o inalámbrico para interactuar con dispositivos tales como servidores, ordenadores de sobremesa, ordenadores portátiles, tabletas o teléfonos inteligentes. Los datos y las señales de control se pueden recibir, generar o transportar entre diversas fuentes de datos externas, incluidas redes inalámbricas, redes de área personal, redes celulares, Internet o fuentes de datos mediadas por la nube. Además, las fuentes de datos locales (por ejemplo, un disco duro, una unidad de estado sólido, una memoria flash o cualquier otra memoria adecuada, incluida la memoria dinámica, como la SRAM o la DRAM) que pueden permitir el almacenamiento local de datos de las preferencias o protocolos especificados por el usuario. En una realización particular, se pueden proporcionar múltiples sistemas de comunicación. Por ejemplo, se puede utilizar una conexión Wi-Fi directa (802.11b/g/n) y una conexión celular 4G independiente.

[0065] El servidor remoto 318 puede incluir, pero no se limita a, servidores, ordenadores de sobremesa, ordenadores portátiles, tabletas o teléfonos inteligentes. Las realizaciones de servidor remoto también pueden implementarse en entornos de computación en la nube. La computación en nube se puede definir como un modelo para permitir un acceso de red ubicuo, conveniente y bajo demanda a un conjunto compartido de recursos informáticos configurables (por ejemplo, redes, servidores, almacenamiento, aplicaciones y servicios) que pueden aprovisionarse rápidamente mediante la virtualización y lanzarse con un mínimo esfuerzo de administración o interacción con el proveedor de servicios, y después escalar en consecuencia. Un modelo de nube puede estar compuesto por varias características (por ejemplo, autoservicio bajo demanda, amplio acceso a la red, agrupación de recursos, elasticidad rápida, servicio medido, etc.), modelos de servicio (por ejemplo, software como servicio (“SaaS”), plataforma como servicio (“PaaS”), infraestructura como servicio (“LaaS”) y modelos de implementación (por ejemplo, nube privada, nube comunitaria, nube pública, nube híbrida, etc.).

[0067] La figura 4 es una ilustración de las etapas de actualización de un realograma o panorama en una realización de operación. Como se ve en el diagrama de flujo 400, un robot se mueve a una posición identificada y avanza a lo largo de una trayectoria de pasillo a una distancia predeterminada (etapa 410). Si la trayectoria está bloqueada por personas u objetos, el robot puede esperar a que la trayectoria esté despejada, iniciar el movimiento y reducir la velocidad, esperar a que se acerque a la obstrucción, moverse a lo largo de la trayectoria hasta que sea necesario desviarse alrededor del objeto antes de volver a tomar la trayectoria o simplemente seleccionar un pasillo alternativo.

[0069] En la etapa 412, se capturan múltiples imágenes y se unen para definir un panorama de imagen. Opcionalmente, en ciertas realizaciones, una cámara panorámica o de campo amplio puede capturar una sola imagen grande. Estas imágenes, junto con la información de profundidad opcional creada por un sistema de medición por láser, un sensor de profundidad infrarrojo o un sistema similar capaz de distinguir la profundidad a una escala de decímetros o menos, se utilizan para crear una panorámica o un realograma (etapa 414). Esta información se comunica a una nube o a un servidor remoto (etapa 416) para crear, cambiar o actualizar un panorama y/o un realograma con datos derivados de etiquetas de estantería, códigos de barras y bases de datos de identificación de productos para identificar los productos. Un realograma se crea con imágenes y datos panorámicos y pueden utilizarlo, por ejemplo, los gerentes de tiendas, los empleados de almacenamiento o los representantes del servicio de atención al cliente para localizar la ubicación de los productos y las etiquetas, estimar el recuento de productos, contar el número de caras de los productos o incluso identificar o localizar los productos que faltan. Adicionalmente, en algunos casos, el realograma u otra información recibida de otros robots, de bases de datos de productos actualizadas o de otras tiendas se puede utilizar para actualizar o ayudar a crear realogramas posteriores (etapa 418).

[0071] Las figuras 5A y B son ejemplos, respectivamente, en vista lateral y sección transversal de un robot autónomo 500 capaz de actuar como base móvil para un sistema de cámara según esta descripción. La unidad de navegación y detección del robot incluye un módulo sensor 510 de montaje superior con varias cámaras montadas en la parte delantera, lateral, trasera y superior. Un conjunto de luces 520 alineado verticalmente está situado junto a una línea de cámaras 530 dispuestas verticalmente, y ambas están soportadas por una base de accionamiento 540 que incluye la electrónica de control, la alimentación y las interconexiones de acoplamiento. La movilidad la proporcionan las ruedas motrices 560, y la estabilidad se mejora mediante las ruedas giratorias 550.

[0073] La monitorización del inventario puede basarse en el uso de imágenes del sistema de cámaras robóticas autónomas. Por lo general, se procesan, combinan y segmentan varias imágenes para su posterior análisis. Las imágenes segmentadas pueden ayudar a definir un recuadro delimitador del producto que supuestamente identifica la cara del producto. Esta información suele ser necesaria para desarrollar una biblioteca de productos. Una imagen segmentada puede incluir varios recuadros delimitadores de productos, que suelen oscilar entre docenas y cientos de áreas de imagen delineadas o diferenciadas. Los recuadros delimitadores pueden rodear las caras de los productos, los grupos de productos o los espacios entre los productos. Los productos incluidos en las casillas delimitadoras de productos pueden identificarse manualmente, identificarse mediante sistemas de identificación de imágenes de fuentes múltiples o de revisores pagados, identificarse con o sin la ayuda de un planograma inicial o identificarse automáticamente utilizando varios clasificadores de imágenes analizados en la presente memoria. Los espacios entre los productos son útiles para identificar los espacios entre estanterías, la separación de productos o el inventario faltante o ausente.

[0074] La identificación automática se puede realizar utilizando un robot autónomo, solo o en combinación con un sistema clasificador de imágenes externo. En ciertas realizaciones, un recuadro delimitador de productos puede definirse como el espacio horizontal de la estantería ocupado por una o más copias (caras) del mismo producto, junto con el espacio vertical que abarca la distancia entre una estantería actual y la estantería que está por encima de ella. Cuando la estantería actual es la estantería superior, el espacio vertical es un número que generalmente corresponde a la distancia hasta la parte superior del accesorio. El espacio vertical puede estar alternativamente en la parte superior del producto según lo detecten los sensores de profundidad.

[0075] La segmentación de imágenes para ayudar automáticamente a la creación de casillas delimitadoras de productos y a la identificación de productos puede basarse en el uso de plantillas de imágenes en algunas realizaciones. Normalmente, cada plantilla de imagen se compara con la imagen capturada por un sistema de cámara montado en un robot autónomo. Si una coincidencia es positiva, la sección coincidente de la imagen se utiliza como segmentación de la imagen para ese producto

[0076] La segmentación se puede mejorar entrenando los clasificadores en conjuntos de datos de entrenamiento anotados, donde los cuadros delimitadores se dibujan manualmente alrededor de los productos. La capacitación se puede realizar con técnicas de aprendizaje automático supervisado o no supervisado, aprendizaje profundo o híbrido de aprendizaje automático y profundo, que incluyen, entre otras, redes neuronales convolucionales.

[0077] Algunos métodos incluyen reducir la cantidad de plantillas de imágenes que deben tenerse en cuenta haciendo coincidir solo las plantillas que corresponden al identificador del producto; o a los objetos del producto que se encuentran cerca de la ubicación de la estantería que se está escaneando. Los objetos del producto pueden incluir, pero no se limitan a:

[0078] - un identificador de producto

[0079] Uno o más conjuntos de descriptores

[0080] Niveles de confianza para cada conjunto de descriptores

[0081] Una o más estimaciones métricas de posición en estantería

[0082] Niveles de confianza para cada estimación métrica de posición en estantería

[0083] Una o más estimaciones topológicas de posición en estantería

[0084] Número de recuento para cada estimación topológica de posición en estantería

[0085] Una o más plantillas de imágenes del producto

[0086] Dimensiones del producto

[0087] Los objetos del producto se pueden actualizar, revisar, aumentar o corregir manual o automáticamente y cambiar para que coincidan con las cambiantes especificaciones del producto.

[0088] Algunos métodos detectan además si un producto está orientado de manera diferente a la imagen de origen externo. Si no se encuentra una coincidencia de plantilla, pero el descriptor del producto encuentra una coincidencia con alta probabilidad, esto es indicativo de una orientación del producto diferente a la de la imagen obtenida de forma externa al sistema de base móvil. Si se sabe que la imagen de origen externo es una vista frontal del producto, este método identifica los productos que están mal orientados en la estantería. Se puede estimar la desviación angular del producto mal orientado y calcular una transformación afín entre el conjunto de descriptores de la imagen de origen externo y la parte segmentada de la imagen.

[0089] En situaciones en donde la coincidencia de plantillas es exitosa, la segmentación del producto en la imagen puede considerarse precisa y las dimensiones reales del producto se comparan con las dimensiones aparentes del producto en la imagen para extraer una estimación de la distancia entre el sensor de imágenes y el producto. Además, la posición aparente del producto en la imagen combinada con la estimación de la distancia permite el cálculo de la posición tridimensional y la orientación entre el sensor de imágenes y el producto.

[0090] Algunos métodos extraen del planograma las posiciones topológicas de las estanterías de cada producto. Estos métodos aumentan aún más el alcance del objeto de producto identificado mediante la segmentación y lo redefinen para que contenga:

[0091] Un identificador de producto

[0092] Uno o más conjuntos de descriptores

[0093] Niveles de confianza para cada conjunto de descriptores

[0094] Una o más estimaciones métricas de posición en estantería

[0095] Niveles de confianza para cada estimación métrica de posición en estantería

[0096] Una o más estimaciones topológicas de posición en estantería

[0097] Número de recuento para cada estimación topológica de posición en estantería

[0098] Una o más plantillas de imágenes del producto

[0099] Dimensiones del producto

[0100] Una o más posiciones en estantería topológicas a partir del planograma

[0101] En otras realizaciones, las etiquetas RFID, las balizas inalámbricas, los localizadores o los rastreadores se pueden utilizar solas o en combinación para ayudar a definir un recuadro delimitador del producto. Por ejemplo, en algunas realizaciones, un robot autónomo puede equiparse adicionalmente con uno o más lectores de RFID. La realización de un recuento de inventario de los productos equipados con etiquetas RFID puede proceder, en una realización, de la siguiente manera:

[0102] El número total de etiquetas de cada producto se comunica mediante un software de gestión de inventario a un lector RFID montado o asociado a un robot autónomo;

[0103] El lector RFID recoge las etiquetas RFID mientras el robot autónomo está parado o en movimiento;

[0104] Si el lector RFID no recopila todas las etiquetas de un producto determinado y:

[0105] Si el robot autónomo se mueve, entonces el robot autónomo se detiene en un intento de recoger las etiquetas restantes, o

[0106] Si el robot autónomo está detenido, muévalo en una ruta de búsqueda predeterminada para intentar recopilar las etiquetas restantes.

[0107] Con los cambios adecuados, se pueden utilizar Bluetooth, comunicación de campo cercano u otro sistema inalámbrico convencional en lugar de los sistemas RFID.

[0108] En algunas realizaciones, las imágenes visuales basadas en códigos de barras numéricos, alfabéticos, unidimensionales o bidimensionales, o etiquetas similares basadas en imágenes para estanterías o productos pueden utilizarse solas o en combinación con varias características de imagen para segmentar las imágenes y ayudar a definir un recuadro delimitador de productos. Cada imagen de estantería se puede analizar y segmentar para detectar etiquetas de precios individuales o etiquetas de productos en la estantería. Como alternativa, o, además, cada imagen se puede utilizar para detectar indicios identificativos de productos individuales y paquetes de productos. La segmentación puede utilizar técnicas que incluyen, pero no se limitan a:

[0109] - Detección de bordes;

[0110] - Estimación de profundidad mediante técnicas de estimación de profundidad que incluyen, pero no se limitan a: Cámara estéreo

[0111] Estructura a partir del movimiento

[0112] Estructura desde el foco

[0113] Cámara de profundidad que utiliza el tiempo de vuelo

[0114] Cámara de profundidad mediante triangulación

[0115] Escáner láser/LIDAR plano o 3D

[0116] Segmentación de colores;

[0117] Características del producto que incluyen, entre otras, las formas, los colores, los textos y las relaciones de aspecto del producto;

[0118] Las formas de los productos se identifican y aprenden mediante técnicas de aprendizaje automático, como las redes neuronales convolucionales y el aprendizaje profundo

[0119] Asociación de imágenes de productos individuales con identificadores basándose de una heurística de ubicación. La heurística puede ubicar el identificador debajo de la imagen de un producto o en otra ubicación proximal.

[0120] La heurística se puede basar en el planograma correlacionando la ubicación planificada de las etiquetas con la ubicación medida de las etiquetas y el número de caras de cada grupo de caras con la distancia medida entre etiquetas consecutivas dividido entre el ancho del producto correspondiente a la etiqueta izquierda. Estas correlaciones se pueden optimizar, por ejemplo, mediante el uso de enfoques de teoría de grafos, para generar una correspondencia de máxima verosimilitud entre un grupo enfrentado y una etiqueta.

[0122] La asociación también se puede establecer mapeando la etiqueta más a la izquierda de una estantería con el grupo más a la izquierda de caras autosimilares, la etiqueta más a la derecha en la misma estantería con el grupo orientado más a la derecha y trabajando hacia dentro hasta que cada grupo opuesto tenga una etiqueta asociada.

[0124] Además, la asociación puede ser informada por clasificadores entrenados en asociaciones anotadas a mano a partir de conjuntos de datos de entrenamiento y utilizando heurísticas similares a las descritas anteriormente. Algunos métodos incluyen además deducir la posición de cada identificador en la estantería comparando la ubicación del identificador con la ubicación del principio o el final de la estantería en donde se coloca el identificador. Como alternativa, los métodos pueden basarse en inferir la posición de cada producto en la estantería comparando la ubicación del producto con la ubicación del principio o el final de la estantería en donde se coloca el producto.

[0126] En algunos métodos, la ubicación de la estantería y/o la ubicación del producto de un identificador se expresan en términos métricos, es decir, la distancia medida desde el principio o el final de una estantería específica. En otros métodos, la ubicación de la estantería y/o la ubicación del producto de un identificador se expresan topológicamente, por ejemplo, como una secuencia de identificadores desde el principio o el final de una estantería específica, y desde el fondo de una estantería hasta la parte superior, o de arriba hacia abajo. Por ejemplo, un identificador específico puede ser el tercero desde el principio del cuarto estantería.

[0128] Si se crea o se pone a disposición una biblioteca de productos, se pueden buscar objetos de productos con una gran cantidad de funciones similares para ayudar a desarrollar un recuadro delimitador de productos. Para cada posible coincidencia entre objetos de producto, la consistencia geométrica de las ubicaciones de las características en la biblioteca se puede comparar con las características de una imagen de estantería. Algunos métodos incluyen además indexar los conjuntos de descriptores dentro de la biblioteca para mejorar el rendimiento de búsqueda y/o reducir los requisitos de almacenamiento. Los métodos de indexación incluyen, pero no se limitan a: técnicas de hash, representaciones de árboles y codificaciones de bolsas de palabras. Como alternativa, la información del planograma o la información de ubicación de los productos de la biblioteca de productos se pueden utilizar para reducir la cantidad de productos que se deben buscar solo a los productos contenidos en la estantería con imágenes. En otras variantes, los productos identificados pueden verificarse segmentando y decodificando la etiqueta de precio o etiqueta de producto ubicada proximalmente a cada producto identificado y comparándola con el identificador de objeto del producto.

[0130] La figura 6 es un diagrama de flujo 600 que ilustra con más detalle un ejemplo de cómo se puede crear un recuadro delimitador de productos, tal como la descrita anteriormente, a partir de la información capturada por un sistema de sensores y cámaras soportado por un robot autónomo. Volviendo a la figura 6, en una primera etapa 610, las etiquetas de estantería se detectan en imágenes de estantería individuales o en una panorámica unida. Los algoritmos de clasificación, como las redes neuronales de convolución u otros métodos de aprendizaje profundo, la coincidencia de plantillas o las cascadas HAAR, se pueden utilizar para ayudar a detectar cada etiqueta de estantería. Cada etiqueta de estantería se analiza para obtener uno o más identificadores de producto. El análisis puede incluir, entre otros, el reconocimiento óptico de caracteres, el escaneo de códigos de barras, el escaneo de códigos QR, el escaneo de códigos AR o el escaneo de códigos holográficos. Los identificadores del producto pueden ser el código UPC, el nombre del producto o una colección codificada de letras, números u otros símbolos. Si hay más de un identificador disponible, se puede seleccionar un identificador preferido, como el código UPC. En ciertos casos, se pueden utilizar identificadores de producto detectables por infrarrojos o ultravioleta incrustados en el empaque del producto o en las etiquetas de las estanterías, así como cualquier otra etiqueta, marcador o indicio de identificación detectable adecuado, tal como un código UPC visible o un número de serie en el empaque del producto.

[0132] En la etapa opcional 612, se registra una ubicación de imagen de la etiqueta de estantería o se compara con un mapa de profundidad para recuperar su ubicación 3D en el espacio. El mapa de profundidad se puede crear mediante el uso de uno o más sensores de profundidad que deducen la profundidad a partir de imágenes estéreo, proyectan una superposición de malla infrarroja que permite determinar aproximadamente la distancia al objeto en una imagen, inferir la profundidad a partir del tiempo de vuelo de los láseres o LED de escaneo que se reflejan en el objetivo, o cualquier otro método adecuado para construir un mapa de profundidad que normalmente tenga una resolución de submilimétrica a subcentimétrica.

[0134] En la etapa 614, un recuadro delimitador se define como un perímetro que encierra una o varias caras del mismo producto, o cualquier espacio en la estantería que incluye, pero no se limita a, un espacio entre los productos. El recuadro delimitador se puede definir manualmente o automáticamente mediante clasificadores de entrenamiento, aprendizaje profundo, segmentación de imágenes o cualquier otra técnica o combinación de técnicas adecuada. Se puede crear un recuadro delimitador con referencia a las etiquetas agrupadas por altura, y se utiliza una distancia horizontal entre las etiquetas adyacentes para definir el ancho del recuadro delimitador para los productos de una sola cara. Para productos con varios revestimientos, el ancho del recuadro delimitador se subdivide en secciones iguales al ancho del producto.

[0135] La altura del recuadro delimitador se puede derivar de la detección de las alturas de las estanterías. Las alturas de las estanterías se pueden detectar analizando el mapa de profundidad para identificar las hendiduras horizontales correspondientes a la distancia entre el fondo de una estantería y los productos apilados debajo de la misma. Estas hendiduras horizontales corresponden a los bordes de la estantería y miden la altura de la estantería.

[0136] Como alternativa, los grupos de etiquetas se pueden filtrar por intervalo horizontal (definido como la distancia horizontal entre la primera y la última etiqueta del grupo) según los siguientes criterios:

[0137] Un grupo de etiquetas pasa el filtro si su extensión horizontal se superpone con la extensión del grupo de etiquetas actual.

[0138] Un grupo de etiquetas pasa el filtro si su extensión horizontal no está separada de la extensión del grupo de etiquetas actual en más de un número que representa un ancho de compartimento. Por lo general, los anchos de compartimentos son estanterías estándar de 0,91 a 1,22 m (tres o cuatro pies) de ancho que se utilizan en toda la tienda.

[0139] Ordenar los grupos de etiquetas filtrados por altura y seleccionar el grupo de etiquetas que esté más arriba después del grupo de etiquetas actual.

[0140] Como alternativa, las alturas de las estanterías también se pueden detectar mediante clasificadores de aprendizaje profundo entrenados con imágenes de color y profundidad anotadas manualmente (si están disponibles) de las estanterías.

[0141] La altura del recuadro delimitador se puede definir completamente una vez que se determina la diferencia de altura entre el grupo de etiquetas seleccionado y el grupo de etiquetas actual.

[0142] Para los productos apilados verticalmente, la altura del recuadro delimitador se subdivide en secciones iguales a la altura del producto.

[0143] En ciertos casos, el método anterior para determinar el recuadro delimitador se puede combinar probabilísticamente mediante la estimación de una medida de confianza para cada método y la suma de sus resultados.

[0144] A continuación, en la etapa 616, cada recuadro delimitador se asocia de manera coherente con un identificador basado en una heurística de ubicación de etiquetas. El identificador se puede seleccionar para que provenga de la etiqueta de la estantería izquierdo o derecho. La asociación de los recuadros delimitadores y el identificador se puede refinar aún más mediante la optimización en toda una sección de estantería o pasillo. El recuadro delimitador, con identificadores, se puede registrar en una imagen unida simple o panorámica de la estantería, y se pueden extraer los descriptores de imagen de la parte de la imagen contenida en el recuadro delimitador. Los métodos para generar descriptores de imágenes incluyen, pero no se limitan a: plantillas de imágenes, histograma de gradientes, histograma de colores, la transformación de características invariantes de escala, características elementales e independientes robustas binarias, regiones extremas de máxima estabilidad, puntos clave escalables, invariantes y robustos binarios, puntos clave de retina rápida, características de Kaze y variaciones de los mismos.

[0145] Una alternativa a la extracción de descriptores de productos es utilizar los recuadros delimitadores como categorías etiquetadas y formar clasificadores en las imágenes contenidas en los recuadros delimitadores. Los clasificadores pueden incluir aquellos basados en el aprendizaje estructurado profundo, el aprendizaje jerárquico, el aprendizaje automático profundo u otros algoritmos de aprendizaje profundo adecuados asociados con redes neuronales convolucionales, de retroalimentación, recurrentes u otras redes neuronales adecuadas. Un clasificador basado en el aprendizaje profundo puede aprender automáticamente los descriptores de imágenes basándose de datos de entrenamiento anotados. Por ejemplo, los descriptores de imágenes basados en el aprendizaje profundo pueden ser jerárquicos y corresponder a múltiples capas en redes neuronales convolucionales profundas. La capa final de una red de capas convolucionales genera los valores de confianza del producto que se encuentra en una de las categorías de imágenes designadas. La parte del generador de descriptores de imágenes y la parte de clasificación se integran en una red neuronal convolucional y estas dos partes se entrenan juntas mediante un conjunto de entrenamiento. Como alternativa, o, además, las realizaciones que utilizan tanto descriptores de imágenes basados en aprendizaje profundo como descriptores de imágenes convencionales se pueden combinar en un sistema híbrido.

[0146] En la etapa 618, los descriptores de imagen pueden clasificarse y etiquetarse con el identificador. Los algoritmos de clasificación que pueden incluir, pero no se limitan a, admitir máquinas vectoriales. Este proceso se puede repetir para cada imagen del recuadro delimitador asociado al mismo identificador, ya sea que la imagen se capture en la misma tienda en momentos diferentes o en tiendas diferentes. Con el tiempo, esto permite crear automáticamente una biblioteca de productos (es decir, la “Biblioteca de productos”), sin necesidad de un planograma inicial ni del almacenamiento de bases de datos de productos específicas.

[0147] Para aquellas realizaciones que utilizan descriptores de imágenes basados en el aprendizaje profundo, el clasificador de redes neuronales puede ser parte de la misma red neuronal convolucional entrenada. Las funciones aprendidas automáticamente, que se extraen de diferentes capas de la red neuronal convolucional, se pueden utilizar en un sistema de reconocimiento de productos más grande. Estas funciones se pueden utilizar junto con otros clasificadores o con descriptores de imágenes convencionales en un sistema híbrido.

[0148] La figura 7 es un diagrama de flujo 700 que ilustra detalles adicionales del proceso para gestionar una realización de una biblioteca de productos. La biblioteca de productos puede almacenarse en un único robot autónomo tal como se describe en la presente memoria, distribuirse entre dos o más robots autónomos o almacenarse en un servidor local, remoto o en la nube, en su totalidad o en parte. En un ejemplo, la etapa 710 requiere la extracción de un conjunto de descriptores de cada imagen de producto asociada a un identificador. Se pueden desarrollar uno o más conjuntos de descriptores, niveles de confianza para cada conjunto de descriptores; fechas en donde se registró cada conjunto de descriptores generado; una o más estimaciones métricas de posición en estantería realizadas; niveles de confianza para cada métrica de posición en estantería estimada; una o más posiciones en estantería estimadas topológicamente; o un número de recuento para cada posición en estantería estimada topológicamente. En otras realizaciones, se pueden utilizar una o más plantillas de imágenes del producto o las dimensiones del producto para determinar el alcance del objeto del producto.

[0149] En la etapa 714, cada identificador y conjunto de descriptores de producto se almacena en una base de datos o biblioteca de objetos de producto de la siguiente manera:

[0150] Si el identificador no coincide con un identificador existente en la biblioteca, cree un nuevo objeto que contenga el identificador, el conjunto de descriptores del producto, un nivel de confianza de entrada para el conjunto de descriptores del producto y la fecha. El nivel de confianza de entrada es único.

[0151] Si el identificador del producto coincide con un identificador existente en la biblioteca, calcule una puntuación para cada conjunto de descriptores existente que describa la probabilidad de que los conjuntos de descriptores nuevos y existentes se hayan extraído del mismo objeto.

[0152] Si la puntuación de probabilidad más alta supera un valor heurístico para una coincidencia positiva: combinar el nuevo conjunto de descriptores con el conjunto de características de mayor probabilidad; y aumentar el nivel de confianza de este conjunto de descriptores en relación con los demás conjuntos de descriptores del objeto; y añadir la fecha a la del conjunto de descriptores existente.

[0153] Si la puntuación de probabilidad más alta no supera un valor heurístico para una coincidencia positiva: añadir el conjunto de descriptores al objeto; establecer la confianza en el nivel de entrada; y añadir la fecha.

[0154] Para aquellas realizaciones que utilizan el reconocimiento de imágenes basado en el aprendizaje profundo, la imagen de entrada se clasifica como perteneciente a una de las categorías de productos utilizando una red neuronal convolucional que genera el nivel de confianza. Este nivel de confianza se utiliza después para almacenar los descriptores de imagen en la biblioteca de la misma manera que anteriormente.

[0155] En la etapa 716, los conjuntos de descriptores dentro de la biblioteca se pueden utilizar para mejorar el rendimiento de búsqueda y/o reducir los requisitos de almacenamiento. Los métodos de indexación incluyen, pero no se limitan a: técnicas de hash, representaciones de árboles y codificaciones de bolsas de palabras.

[0156] En la etapa 718, la biblioteca de productos se puede eliminar opcionalmente para reducir los errores y el tamaño de la base de datos. La eliminación de los conjuntos de descriptores y las posiciones métricas o topológicas de las estanterías se puede realizar de la siguiente manera:

[0157] Conjuntos de descriptores: borrar todos los conjuntos cuyo nivel de confianza esté por debajo de un valor heurístico, junto con su nivel de confianza y sus entradas de fecha, excepto si provienen de imágenes obtenidas de forma externa al sistema de base móvil.

[0158] Posiciones métricas en estanterías: borrar todas las posiciones métricas cuyo nivel de confianza esté por debajo de un valor heurístico, excepto si su fecha de entrada es la última fecha registrada, junto con sus entradas de fecha y nivel de confianza

[0159] Posiciones topológicas en las estanterías: borrar todas las posiciones topológicas cuyo número de recuento esté por debajo de un valor heurístico, excepto si su fecha de entrada es la última fecha registrada, junto con sus entradas de número de recuento y fecha

[0160] Como alternativa, la eliminación puede implicar:

[0161] iv) Conjuntos de descriptores: borrar todos los conjuntos excepto el conjunto con el nivel de confianza más alto, junto con su nivel de confianza y las entradas de fecha, excepto si provienen de imágenes obtenidas de forma externa al sistema de base móvil.

[0162] v) Posiciones métricas en estanterías: borrar todas las posiciones métricas junto con sus entradas de fecha y nivel de confianza, excepto la última fecha, si su nivel de confianza asociado es superior a un valor heurístico. De lo contrario, guardar los datos de las dos últimas fechas o más, hasta que encuentre un nivel de confianza superior al valor heurístico.

[0163] vi) Posiciones topológicas en las estanterías: borrar todas las posiciones topológicas junto con sus entradas de fecha y número de contador, excepto la última fecha, si su número de recuento asociado es superior a un valor heurístico. De lo contrario, guardar los datos de las dos últimas fechas o más, hasta que encuentre un número de recuento superior al valor heurístico.

[0164] En algunas realizaciones, la modificación de la biblioteca de productos puede utilizar fuentes de datos de imágenes externas para ayudar en la identificación del producto. Estas imágenes se pueden adquirir de una o más de las siguientes fuentes:

[0165] Minorista que lleva el producto, donde la imagen corresponde al identificador del producto

[0166] Fabricante del producto, después de hacer coincidir el identificador del producto con la nomenclatura y la imagen del fabricante

[0167] Fotografía del producto realizada por terceros

[0168] Bases de datos en línea, motores de búsqueda de imágenes o datos de minoristas en línea de listados de productos u otras bases de datos de Internet. Las búsquedas se realizan preferiblemente utilizando la nomenclatura del fabricante que corresponde al identificador del producto. En algunos métodos, esta búsqueda se realiza automáticamente y una o más imágenes se insertan sin intervención humana.

[0169] Las una o más imágenes derivadas externamente pueden incluir al menos una vista frontal del producto y, opcionalmente, vistas adicionales, como la parte posterior, los laterales, la parte superior e inferior, o diferentes apariencias de empaquetado del producto que corresponden al mismo identificador. Si un producto tiene una orientación diferente a la de la imagen de origen externo, el descriptor del producto puede intentar encontrar una coincidencia con alta probabilidad. En algunas realizaciones, la desviación angular entre un producto probable y un producto orientado de manera diferente se puede determinar calculando una transformación afín entre el conjunto de descriptores de la imagen de origen externo y la imagen del producto disponible.

[0170] En situaciones en donde la coincidencia de plantillas es exitosa, y la segmentación del producto en la imagen es precisa, las dimensiones reales del producto pueden compararse con las dimensiones aparentes del producto en la imagen para extraer una estimación de la distancia entre el sensor de imágenes y el producto. Además, la posición aparente del producto en la imagen combinada con la estimación de la distancia permite el cálculo de la posición tridimensional y la orientación entre el sensor de imágenes y el producto.

[0171] En las realizaciones alternativas basadas en el aprendizaje profundo, la segmentación del producto puede realizarse mediante una red neuronal convolucional que clasifica los píxeles como pertenecientes al interior del producto y al fondo del producto. Las dimensiones del producto se deducen de la segmentación.

[0172] A un experto en la técnica se le ocurrirán muchas modificaciones y otras realizaciones de la invención que se beneficie de las enseñanzas presentadas en las descripciones anteriores y en los dibujos asociados. Por lo tanto, se entiende que la invención no debe limitarse a las realizaciones específicas descritas, y que las modificaciones y realizaciones pretenden incluirse dentro del alcance de las reivindicaciones adjuntas.

Claims

1. REIVINDICACIONES

1. Un método (600) de monitorización de inventario implementado por ordenador, que comprende:

utilizar un robot móvil colocado en una ubicación a lo largo de una estantería, actuando el robot como una base móvil para una pluralidad de cámaras conectadas orientadas hacia la estantería; utilizar al menos una de las cámaras para capturar imágenes de la estantería;

detectar (610) y leer una etiqueta de estantería en la estantería a partir del contenido de las imágenes;

definir (614) uno o más productos orientados hacia recuadros delimitadores alrededor del inventario potencial en la estantería a partir del contenido de al menos una de las imágenes; asociar (616), basándose en una heurística de ubicación de etiquetas, la etiqueta de estantería con uno o más recuadros delimitadores orientadas hacia el producto;

crear (618) un conjunto de datos de entrenamiento basándose en la asociación de la etiqueta de estantería con un o más recuadros delimitadores orientados hacia el producto;

entrenar un clasificador de productos basándose en el aprendizaje profundo para aprender los descriptores de productos basándose del conjunto de datos de entrenamiento y generar valores de confianza de un producto que pertenece a una de las múltiples categorías de productos; y utilizar el clasificador de productos capacitado para obtener un nivel de confianza de uno o más productos en un recuadro delimitadora orientada hacia el producto que pertenezca a una categoría de producto respectiva.

2. El método (600) de monitorización de inventario de la reivindicación 1, en donde el uso de un robot móvil comprende el uso de un robot móvil que actúa como base móvil (110) para una cámara (145) de campo más ancho y una cámara (146) de campo más estrecho;

en donde utilizar al menos una de las cámaras para capturar imágenes de la estantería comprende utilizar la cámara (145) de campo más ancho para capturar una imagen de campo más amplio de la estantería y utilizar la cámara (146) de campo más estrecho para capturar una imagen de campo más estrecho de la estantería;

en donde detectar (610) y leer una etiqueta de estantería en la estantería a partir del contenido de las imágenes comprende detectar y leer la etiqueta de estantería a partir de la imagen de campo más estrecho; y

en donde definir uno o más recuadros delimitadores orientadas hacia el producto alrededor del inventario potencial en la estantería a partir del contenido de al menos una de las imágenes comprende definir uno o más recuadros delimitadores orientadas hacia el producto a partir del contenido de la imagen de campo más amplio.

3. El método (600) de monitorización de inventario de la reivindicación 1, que comprende además:

capturar un mapa de profundidad de las estanterías y productos colocados en las estanterías; registrar el mapa de profundidad en la imagen de campo más estrecho y en la imagen de campo más ancho;

comparar la etiqueta de la estantería con el mapa de profundidad para recuperar la ubicación 3D de la etiqueta de la estantería.

4. El método (600) de monitorización de inventario de la reivindicación 1, que comprende además, formar la biblioteca de productos con un alcance de producto que contenga al menos uno o más de los siguientes: un identificador de producto; uno o más conjuntos de descriptores; niveles de confianza para cada conjunto de descriptores; fechas en que se generó cada conjunto de descriptores; una o más estimaciones métricas de posición en estantería; niveles de confianza para cada estimación métrica de posición en estantería; una o más estimaciones topológicas de posición en estantería; un número de recuento para cada estimación topológica de posición en estantería; una o más plantillas de imágenes del producto; y dimensiones del producto.

5. El método (600) de monitorización de inventario de la reivindicación 1, que comprende además, el uso de una entrada manual para identificar el inventario potencial designado en uno o más recuadros delimitadores orientadas hacia el producto.

6. El método (600) de monitorización de inventario de la reivindicación 1, en donde uno o más productos que se enfrentan a los recuadros delimitadores incluyen tanto el inventario potencial como los huecos entre el inventario potencial.

7. El método (600) de monitorización de inventario de la reivindicación 1, en donde uno o más recuadros delimitadores orientados hacia el producto se asocian manualmente a al menos una etiqueta de estantería o un marcador incluido en el producto.

8. El método (600) de monitorización de inventario de la reivindicación 1, en donde uno o más recuadros delimitadores orientados hacia el producto se asocian automáticamente a al menos una etiqueta de estantería o a un marcador incluido en el producto.