WO2011151477A1

WO2011151477A1 - Procedimiento de reconocimiento de objetos

Info

Publication number: WO2011151477A1
Application number: PCT/ES2010/070369
Authority: WO
Inventors: Carlos Picazo Montoya
Original assignee: MILENIUM ESPACIO SOFT SA
Current assignee: MILENIUM ESPACIO SOFT SA
Priority date: 2010-06-01
Filing date: 2010-06-01
Publication date: 2011-12-08
Anticipated expiration: 2012-12-01
Also published as: US20120170809A1; EP2579209A4; BR112012008408A2; JP2013528869A; EP2579209A1; MX337257B; MX2012003092A

Abstract

Un procedimiento de reconocimiento y localización que identifica a partir de una imagen digital capturada mediante una cámara digital la posición y la orientación de un objeto objetivo almacenado en una variedad de posiciones, sin almacenar digitalmente una amplia variedad de caracteres esenciales por patrón asociado al objeto objetivo.

Description

PROCEDIMIENTO DE RECONOCIMIENTO DE OBJETOS

CAMPO DE LA INVENCIÓN

[0001] La presente invención se refiere, en general, a un procedimiento de reconocimiento y localización automático de objetos dentro de un módulo de almacenamiento.

ESTADO DE LA TÉCNICA

[0002] Es conocido en el estado de la técnica la utilización de un procedimiento de reconocimiento de objetos almacenados en un estante de almacenamiento que comprende la captura de imágenes digitales mediante una cámara digital, las imágenes digitales capturadas se procesan mediante un algoritmo que realiza la tarea de reconocimiento de caracteres o rasgos esenciales de los objetos almacenados en los estantes de almacenamiento.

[0003] Este procedimiento incluye la elaboración de un conjunto de patrones, un patrón por objeto a identificar que están almacenados en una memoria de almacenamiento o base de datos. Cada patrón incluye caracteres esenciales de un objeto objetivo de reconocimiento y localización.

[0004] La matriz de imágenes de datos capturada es comparada con cada patrón correspondiente al conjunto de objetos objetivo a reconocer y localizar en el módulo de estantes.

[0005] En un escenario en el cual el procedimiento encuentra alguna coincidencia entre la imagen capturada y algún patrón, el procedimiento genera una señal de salida indicando el objeto/s reconocidos en el módulo de estantes.

[0006] Una desventaja del procedimiento de reconocimiento antedicho es reconocer la posición y orientación de un objeto objetivo donde el objeto puede ser uno de un conjunto de objetos objetivos.

[0007] La posibilidad de una variedad de posiciones posibles del objeto objetivo a reconocer hace complicado tal reconocimiento. Por ejemplo, un objeto puede tener una cara principal o anverso y una cara secundario o reverso distintas, hecho que dificulta la generación del patrón de un objeto objetivo ya que existen límites sobre la cantidad de almacenamiento de datos por ordenador.

[0008] Consecuentemente, un patrón debería evitar contener las diferentes orientaciones y escalas del objeto al que se asocia.

[0009] En general, la utilización de una base de datos conteniendo un gran volumen de datos es inviable e impracticable.

DESCRIPCIÓN

[0010] La presente invención busca resolver o reducir uno o más de los inconvenientes expuestos anteriormente mediante un procedimiento de reconocimiento y localización de objetos dentro de un módulo de almacenamiento como es definido en las reivindicaciones.

[0011] En una realización el procedimiento de reconocimiento y localización identifica a partir de una imagen digital capturada mediante una cámara digital la posición y la orientación de un objeto objetivo almacenado en una variedad de posiciones, sin almacenar digitalmente una amplia variedad de caracteres esenciales por patrón asociado al objeto objetivo.

[0012] Es decir, el procedimiento reconoce y localiza un objeto objetivo en posición y orientación conocida con respecto a la cámara buscando la coincidencia entre la matriz de datos digitales asociada a la imagen digital capturada con un patrón que comprende un reducido número de caracteres o rasgos esenciales en una posición y orientación.

[0013] Se ha de observar que el objeto puede estar rotado con respecto al patrón almacenado ya que un objetivo no es un objetivo del procedimiento de reconocimiento determinar la orientación del objeto, sino reconocer objetos objetivo y su localización dentro del módulo de estantes.

[0014] La búsqueda de coincidencia dentro de un patrón reducido puede realizarse en un tiempo menor y, consecuentemente, se reduce significativamente el tiempo de cálculo requerido para comparar la matriz de datos con los patrones de objetos objetivos.

MODOS DE REALIZACIÓN

[0015] En una realización del procedimiento un operario o gestor de punto de venta captura imágenes digitales de objetos objetivos almacenados en un módulo de estantes de almacenamiento para reconocer y localizar dentro del mismo.

[0016] El gestor realiza la captura de imágenes mediante un medio de captura de imágenes tal como una cámara digital, por ejemplo. El gestor se sitúa enfrente del módulo bajo estudio y a una distancia predeterminada del mismo. Es decir, la captura de imágenes se realiza de forma frontal al módulo de estantes sin hacer uso de un zoom y/o una fuente de luz adicional interna y/o externa a la cámara digital, es decir, con la luz ambiente existente en la localización del módulo de estantes.

[0017] La cámara debe poder capturar imágenes digitales con una resolución alrededor de 5 Megapíxeles, por tanto, una imagen digital es una matriz de píxeles.

[0018] En función de las dimensiones físicas del módulo bajo análisis, existe la posibilidad de tener que capturar varías imágenes digitales consecutivas que cubran la totalidad del módulo bajo estudio.

[0019] Obviamente, la secuencia de imágenes digitales deben ser capturadas según una secuencia predeterminada para generar posteriormente una única matriz de imagen de datos digitales asociada a todas las imágenes digitales correspondientes al módulo de estantes estudiado.

[0020] Además, el medio de captura de imágenes comprende un módulo de procesamiento de uso general tal como un microprocesador programado para verificar si las imágenes capturadas cumplen un conjunto de características técnicas o requisitos mínimos de calidad tal como enfoque y luminosidad predeterminados.

[0021] Una vez un conjunto de imágenes relativas a un módulo han sido capturadas; el microprocesador ejecuta un programa almacenado para verificar si cada una de las imágenes capturadas cumplen los requisitos mínimos de calidad. Si la verificación es positiva, el microprocesador genera un primer mensaje de salida para indicar la idoneidad de las imágenes capturadas, en caso contario, genera un segundo mensaje para indicar la idoneidad de capturar una segunda imagen correspondiente al módulo de estante o parte del mismo cuya primera imagen es inapropiada para los siguientes pasos del proceso de reconocimiento y localización automático.

[0022] Una vez que la idoneidad de todas las imágenes correspondientes al módulo de estantes bajo estudio ha sido verificada por el microprocesador del módulo de captura, todas las imágenes digitales capturadas y almacenadas son transmitidas desde el módulo de captura a través de un primer módulo de entrada/salida hacia un primer módulo de aplicación o servidor de aplicación vía una interfaz aire asociada a un sistema de telecomunicaciones inalámbricas o sin hilos, por ejemplo.

[0023] Una vez que las imágenes capturadas, matrices de píxeles, relativas al módulo de estantes bajo análisis han sido recibidas a través de un segundo módulo de entrada/salida del servidor, son almacenadas en un primer módulo de almacenamiento conectado al mismo.

[0024] El servidor está conectado, a su vez, a una unidad de computación que comprende un ordenador de uso general programado para realizar el análisis de reconocimiento de las imágenes almacenadas.

[0025] El ordenador comprende una segunda unidad central de procesamiento, una pantalla multimedia, un teclado para la entrada de imágenes almacenadas en la primera memoria.

[0026] El segundo procesador está programado para realizar el análisis de reconocimiento de las imágenes capturadas.

[0027] El primer paso que realiza el segundo procesador es generar una única matriz de datos digitales que comprende elementos de la matriz asociados a los píxeles de las imágenes capturadas por módulo de estantes bajo estudio. Para lo cual, el segundo procesador ejecuta una subrutina de identificación de características técnicas asociadas a puntos comunes existentes en cada matriz de píxeles capturadas por el agente de punto de venta y asociados al módulo bajo estudio.

[0028] Se ha de observar que para poder realizar el antedicho paso, las imágenes capturadas han de ser capturadas de acuerdo a unos criterios determinados de captura de imágenes de manera que se pueda establecer al menos un punto en común entre imágenes capturadas secuencialmente.

[0029] Dicho punto en común puede ser, por ejemplo, un borde determinado de un estante correspondiente al módulo de estantes, de manera que, si en una imagen, dicho borde está a la derecha de la imagen capturada, en la adyacente imagen capturada el mismo borde se encontrará a la izquierda de la siguiente imagen capturada.

[0030] El punto en común puede ser también un objeto almacenado en un estante en una posición y orientación conocida con respecto a la cámara.

[0031] Consecuentemente, la matriz de píxeles global generada a partir de un conjunto de matrices de imágenes comprende un conjunto de objetos en una posición y orientación conocidas con respecto a la cámara, a partir de la cual se ha de reconocer y localizar objetos objetivo dentro de dicho módulo de estantes, mediante la ejecución de una predeterminada directriz de reconocimiento y localización. [0032] El segundo procesador ejecuta un procedimiento de reconocimiento que comprende la selección desde una base de datos de un subconjunto de patrones almacenados asociados a objetos a reconocer y localizar dentro del módulo de estantes, de manera que un determinado patrón almacenado es comparado con un subconjunto de elementos de la matriz de datos digitales generada en la anterior etapa del procedimiento. El resultado de la comparación es identificar la existencia de coincidencias entre un subconjunto de elementos de la matriz asociados a un objeto objetivo y un patrón almacenado y asociado a un objeto objetivo.

[0033] Cada patrón almacenado en la primera memoria comprende un conjunto de características diferenciales o invariantes obtenidas de la imagen digital de un objeto objetivo. El patrón almacenado se genera a partir de la imagen capturada en un entorno controlado.

[0034] Consecuentemente, las matrices de píxeles han sido transformadas en una matriz de datos que comprende caracteres o rasgos esenciales en una posición y orientación con respecto a la cámara de cada uno de los objetos objetivos almacenados en los estantes.

[0035] Obviamente, cada patrón almacenado asociado a un objeto comprende los caracteres esenciales que pueden ser buscados en la matriz de datos.

[0036] Por tanto, una vez que el segundo procesador ejecuta la directriz de reconocimiento y localización puede detectar alguna coincidencia entre el conjunto de elementos de la matriz global asociados a un objeto objetivo y un patrón almacenado relativo al mismo objeto.

[0037] El segundo procesador ejecuta la directriz de reconocimiento de manera que se reduce al máximo los elementos de la matriz que son sometidos a comparación con los patrones almacenados, es decir, realiza un proceso de acondicionamiento de la matriz generada a partir de las imágenes digitales capturada en la tienda, para poder descartar aquellas zonas dentro del módulo de almacenamiento en donde el segundo procesador determina la inexistencia de productos. Por tanto, el segundo procesador descarta aquellas zonas en las que existe una regularidad muy alta y, consecuentemente, se asocia dichos elementos de la matriz con una zona donde no hay posibilidad de que haya producto ya que no se detectan cambios en las características o detalles, por ejemplo, una pared de fondo del módulo que es una superficie toda blanca o una zona muy oscura.

[0038] Una vez descartadas las zonas donde no hay objetos, es decir, se descartan elementos de la matriz global para realizar la etapa de comparación y extracción de características esenciales que el segundo procesador realiza seguidamente.

[0039] Por tanto, se comparan los objetos objetivos con los patrones almacenados. Para ello, se extraen características esenciales de los patrones que se comparan con elementos de la matriz asociados a objetos. Cuando una coincidencia es detectada entre un elemento de la matriz y un patrón, el elemento se asocia con una zona del módulo donde puede existir un objeto; el segundo procesador realiza una búsqueda de otras características esenciales del patrón alrededor del elemento de la matriz donde se a detectado una coincidencia.

[0040] La directriz de reconocimiento incluye una subrutina de reconocimiento semántico asociado a las etiquetas de los objetos objetivo.

[0041] En el caso de que el segundo procesador encuentre un número mínimo de coincidencias entre los rasgos esenciales del objeto objetivo y el patrón almacenado, genera un tercer mensaje de salida que indica el objeto objetivo identificado y su posición dentro del módulo de estantes.

[0042] Un patrón puede comprender un número de características esenciales que es función del tipo de objeto al que este asociado, es decir, características que pueden diferenciar dicho objeto de otro objeto distinto, tal como parámetros característicos de la forma y dimensiones físicas del objeto, características asociadas al etiquetado del objeto, etc..

[0043] La generación del tercer mensaje de salida mostrando una coincidencia exclusivamente se genera si se reconocen un número determinado mínimo de coincidencias entre las características esenciales de un patrón determinado y un objeto objetivo. En el evento de que el número de coincidencias sea inferior al umbral de coincidencias definido significaría que no es posible reconocer un determinado objeto.

[0044] Sin embargo, el segundo procesador ejecuta una subrutina de la directriz de reconocimiento para buscar coincidencias entre características esenciales de un objeto adyacente al anterior con el patrón almacenado con el fin de reconocer si el objeto adyacente comprende un número de características esenciales superior al umbral de coincidencias identificadas con el objeto adyacente y, además, si entre las coincidencias identificadas se encuentran las características esenciales del objeto que no supera el umbral de coincidencias, la directriz de reconocimiento determina que ambos objetos adyacentes coinciden con el mismo patrón almacenado. El segundo procesador determina que uno de los objetos objetivo analizados está rotado con respecto al patrón almacenado y el objeto adyacente no presenta ninguna rotación con respecto al mismo patrón.

[0045] El escenario descrito puede encontrarse, por ejemplo, en un lineal de una gran superficie donde en una misma balda se encuentran almacenados y alineados varios objetos del mismo producto, donde un consumidor a cogido uno de ellos y seguidamente retorna el objeto a su posición inicial pero rotado con respecto a la posición inicial. Sin embargo, el resto de objetos adyacentes han permanecido en su posición inicial que corresponde a la posición y orientación que contiene el número máximo de coincidencias con el patrón asociado a dicho tipo de objeto.

[0046] Se ha de observar que el anterior paso se puede repetir varias veces mientras se identifiquen varias coincidencias de características esenciales entre el objeto analizado y el patrón almacenado, ya que un estante de un lineal de una gran superficie almacena varios objetos idénticos en el mismo estante y en estantes adyacentes en altura.

[0047] Una vez que todas las posiciones de la matriz de datos han sido analizadas por la directiva de reconocimiento ejecutada por el segundo procesador para reconocer coincidencias con los patrones almacenados asociados a los objetos objetivos; el segundo procesador genera un número de mensajes relativos al número de coincidencias detectado; pudiendo generar a partir de dichos mensajes un informe con los resultados obtenidos, de forma que aparezca una imagen del módulo de estantes con los objetos objetivo identificados y su posición dentro del mismo y la imagen del módulo de estantes con los objetos deseados y colocados en la posición deseada.

[0048] Se ha de observar que al reponer objetos dentro de un lineal, un reponedor puede rellenar un módulo de estantes en una forma inapropiada, es decir, distribuyendo los objetos en estantes inadecuados.

[0049] Por ejemplo, objetos objetivo de un público infantil tal como palomitas deben ser colocados en estantes inferiores del módulo de estantes, por ejemplo.

[0050] Por tanto, tal y como los objetos deberían haber sido localizados de los la directriz genera a partir de dichos mensajes de coincidencias un diagrama para mostrar la localización de los objetos objetivo dentro de cada estante del expositor analizado. [0051] El diagrama o planograma es una representación gráfica de cómo quedan expuestos una categoría de productos en una lineal, góndola o expositor. Con estos planogramas se puede realiza un análisis posterior de las principales variables que se producen en el punto de venta tal como surtido presente en cada tienda, porcentaje de espacio que se dedica en una implantación a cada producto, número de caras por producto, adyacencias de productos, reglas de colocación utilizadas, etc., comparación con cómo un planograma objetivo de cómo deberían estar colocados los productos.

[0052] Una vez que se han generado los planogramas, estos se pueden introducir en una base de datos para su posterior análisis y generación de informes que reflejaran a nivel individual o agregado la situación de las principales variables que se producen en un momento en el punto de venta.

[0053] El procedimiento de reconocimiento de objetos almacenados en un módulo de almacenamiento de un punto de venta de productos puede ser realizado por un ordenador, cargable dentro de una memoria interna de una computadora con unidades de entrada y salida y, también, con unidades de procesadores.

[0054] El programa de ordenador comprende para este fin códigos configurados para ejecutar los pasos del antedicho proceso cuando es ejecutado por la computadora. Además, los códigos ejecutables pueden ser grabados en un medio portador leíble dentro de una computadora.

Claims

REIVINDICACIONES

1. Un procedimiento de reconocimiento de objetos almacenados en un módulo de almacenamiento de un punto de venta de productos; caracterizado porque el procedimiento comprende las etapas de:

• adquisición de al menos una imagen digital del módulo de almacenamiento bajo estudio por medio de un módulo capturador de imágenes siguiendo una secuencia de captura determinada,

• verificación de las imágenes capturadas en el paso anterior por medio de una primera unidad de procesamiento

• transmisión de las imágenes digitales verificadas a través de un primer módulo de entrada- salida del módulo capturador hacia un segundo módulo de entrada-salida de un módulo de aplicación de servicios vía una red de telecomunicaciones

• almacenamiento de las imágenes digitales, verificadas y recibidas en el servidor, en un primer módulo de almacenamiento,

• generación de una matriz de datos digitales global a partir del conjunto de imágenes digitales almacenadas por medio de una segunda unidad de procesamiento.

• Comparación de los elementos de la matriz global con características de patrones almacenados y asociados con objetos que pueden ser encontrados en un punto de venta, y

• Extracción de las características coincidentes para generar un mensaje de salida de reconocimiento y localización de un objeto objetivo dentro del módulo de almacenamiento, cuando se extraen un número mínimo determinado de características esenciales coincidentes.

2. Procedimiento de acuerdo a la reivindicación 1 ; caracterizado porque además comprende una etapa de ejecución de una subrutina de reconocimiento para buscar coincidencias entre características esenciales de un objeto adyacente a un objeto anteriormente sometido al procedimiento de reconocimiento, en caso de que el número de coincidencias sea inferior número mínimo determinado de características esenciales coincidentes.

3. Procedimiento de acuerdo a la reivindicación 2; caracterizado porque además comprende una etapa de generación de un mensaje de salida de reconocimiento y localización para el objeto cuyo número de coincidencias es inferior al número mínimo determinado de características esenciales coincidentes en el caso de se haya generado un mensaje de salida de reconocimiento y localización para el objeto objetivo posteriormente analizado y adyacente al objeto dentro del módulo de almacenamiento, en función de que el número de características esenciales coincidentes es superior al umbral de coincidencias.

4. Procedimiento de acuerdo a la reivindicación 3; caracterizado porque además comprende una etapa de generación a partir de los mensajes de salida de una imagen digital del módulo de almacenamiento donde son representados los objetos objetivo reconocidos y su localización dentro del citado módulo.

5. Un medio legible por ordenador que comprende códigos legibles por ordenador para dar instrucciones a un ordenador configurado para ejecutra un procedimiento de reconocimiento de objetos almacenados en un módulo de almacenamiento de un punto de venta de productos; caracterizado porque el procedimiento comprende las etapas de

· almacenamiento de las imágenes digitales, verificadas y recibidas en el servidor, en un primer módulo de almacenamiento,

· Comparación de los elementos de la matriz global con características de patrones almacenados y asociados con objetos que pueden ser encontrados en un punto de venta, y

6. Un programa de ordenador cargable dentro de una memoria de un ordenador que comprende unidades de entrada y salida, unidades de memoria, unidades de procesadores, donde el programa de ordenador comprende códigos ejecutables configurados para realizar los paso del procedimeinto de reconocimeinto de objetos de acuerdo a las reivindicaciones 1 a 4 cuando son ejecutadas por el ordenador.