ES2460946T3 - Método y aparato para generar textura en una escena tridimensional - Google Patents

Abstract

Un método de formación de imágenes en 3D implementado en un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo, comprendiendo dicho método la monitorización de un volumen definido por un límite de monitorización configurado basado en: en un modo de tiempo de ejecución: capturar datos de imágenes de múltiples vistas de un campo de visión correspondiente a dicho volumen monitorizado, utilizando múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido; determinar las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de los datos de las imágenes a partir de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas; comparar las posiciones de los objetos de entran en el campo de visión respecto al límite de monitorización configurado y determinar si cualquier objeto está dentro del límite de monitorización configurado o no; y en un modo de aprendizaje, en preparación para el funcionamiento en el modo de tiempo de ejecución, verificar el límite de monitorización configurado mediante: determinar si hay algunas regiones de baja de textura en el campo de visión para las que no se pueden determinar datos de la medición en 3D suficientemente densos; y en el caso de que se identifiquen una o más regiones de baja textura: generar datos o señales de salida para controlar una herramienta de textura o para guiar a un usuario que controla la herramienta de textura, para proyectar una textura sintética en la una o más regiones de baja textura; capturar datos de imágenes de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura identificadas se iluminan con la textura sintética; y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos correspondientes de la medición en 3D para las regiones de baja de textura en un mapa de medición en 3D de dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

Description

Método y aparato para generar textura en una escena tridimensional

Campo de la invención

La presente invención se refiere en general a visión artificial y a formación de imágenes en tres dimensiones, y se refiere particularmente a la generación de textura en escenas tridimensionales.

Antecedentes

En general, las técnicas de reconstrucción de múltiples vistas primero establecen una correspondencia entre las imágenes bidimensionales (2D) de una escena, como se ve mediante respectivos sensores múltiples. Por ejemplo, dos cámaras pueden estar dispuestas para tener campos de visión solapados, de modo que forman la imagen de la misma área con desplazamientos angulares y de traslación conocidos. La reconstrucción de escenas tridimensionales (3D) implica la triangulación de las correspondencias entre las imágenes en 2D, dada la relación geométrica entre las diferentes vistas.

La tarea de establecer la correspondencia a través de múltiples vistas se basa en la extracción de características de imágenes robustas en cada vista en 2D relacionada. Normalmente, tales características se caracterizan por las variaciones locales en el contraste de las imágenes. Estas variaciones de contraste locales se denominan comúnmente como "textura". En un caso general, la escena vista puede contener regiones que corresponden a superficies que carecen de suficiente textura para una correspondencia con éxito, por lo que es difícil o imposible la obtención de una reconstrucción completa en 3D de la escena. Tales regiones pueden ser llamadas como que son "sin textura". Algunos ejemplos comunes paredes, suelos o mesas pintados e iluminados de manera uniforme.

El riesgo de no poder obtener la correspondencia de imágenes debido a la textura insuficiente a menudo es mitigado usando al menos uno de dos métodos. Un primer método modifica las superficies en cuestión, tales como a través de pintura o mediante la colocación de marcadores texturizados. Otro enfoque implica la proyección de luz estructurada en el área durante la formación de imágenes, para "añadir" la textura a las regiones que de otro modo serían sin textura.

Las aplicaciones en las que es necesario tener una visión totalmente texturizada en todo momento se benefician principalmente de las mitigaciones anteriores. Sin embargo, para grandes áreas de monitorización, tales mitigaciones suelen ser caras y poco prácticas. Imaginemos, por ejemplo, un aparato de detección que está destinado a monitorizar una determinada área definida por los límites que se configuran durante la configuración del sistema. Tales límites pueden corresponder a superficies físicas, o pueden representar superficies virtuales definidas por volúmenes en 3D. Un sistema de visión artificial basado en el uso de cámaras estereoscópicas proporciona un buen ejemplo de trabajo de un sistema de este tipo.

Un aparato basado en la visión estéreo incluye algún tipo de sensor de visión estéreo o analizador de datos de medición que analiza grupos de puntos en 3D en el volumen monitorizado, utilizando criterios necesarios para establecer la presencia y la posición de los objetos más grandes que el tamaño mínimo detectable. La posición de un objeto se compara con el límite configurado, que define el volumen monitorizado, y se toma una decisión en cuanto a si ha producido o no una intrusión.

Un enfoque para la configuración de límites se basa en un usuario que introduce manualmente las coordenadas de los límites. Por ejemplo, un usuario autorizado tiene acceso a una herramienta de configuración basada en un PC que proporciona una interfaz al aparato, para configurar manualmente los límites de monitorización de acuerdo a las coordenadas definidas. Este enfoque requiere que el usuario calcule o sepa los límites antes de la configuración del sistema, y puede no ser conveniente.

Otra forma de configurar los límites es dejar que el aparato los mida. Este enfoque se conoce comúnmente como un modo de "aprendizaje", en el que el aparato aprende automáticamente las posiciones de las superficies físicas ya presentes en el área visualizada. Los límites se configuran automáticamente para colocarse a lo largo de las superficies físicas aprendidas, separadas por una tolerancia/distancia especificada. El usuario puede entonces aceptar o modificar los límites configurados aprendidos, como se requiere para la aplicación. Sin embargo, en la medida en que una porción de los límites que se aprenden automáticamente son sin textura, el aparato perderá tales porciones o no alcanzará dichas porciones con una precisión suficiente. El usuario puede introducir manualmente las coordenadas de las porciones limítrofes problemáticas, pero al hacerlo, impone un inconveniente al usuario e interfiere con la adquisición totalmente automática de la información de los límites.

Por otra parte, durante la configuración de un aparato de este tipo se debe tener cuidado, de tal manera que los límites configurados (que definen el volumen monitorizado) sean consistentes con la naturaleza proyectiva del campo de visión del sensor (por ejemplo, dentro del campo de visión de una cámara de visión estereoscópica incluida dentro del aparato). En otras palabras, cada parte del límite configurado debe ser visible -sin sombras -en

cualquier parte en el campo de visión del sensor. Además, una vez que se han configurado los límites, el usuario usualmente tiene que comprobar su validez. La verificación se puede hacer moviendo piezas de prueba de textura especiales o paneles de prueba a través de cada límite. Tal enfoque consume tiempo y es inconveniente, y por lo tanto propenso a errores. Además, en algunas aplicaciones de seguridad, puede ser necesario garantizar la presencia de un fondo físico dentro de una distancia máxima desde el sensor, o dentro de una distancia mínima del límite configurado. La validación manual de estas condiciones también puede ser una tarea difícil para el operador.

El documento US2004/0119833 divulga un método y un aparato adaptados para la proyección de textura sintética sobre regiones de baja textura para medir la forma del objeto con un sistema de formación de imágenes de múltiples vistas.

Sumario

De acuerdo con la presente invención, se proporciona un método como se indica en la reivindicación 1. Además, de acuerdo con la presente invención, se proporciona un aparato como se indica en la reivindicación 11. Otras características de la invención serán evidentes a partir de las reivindicaciones dependientes, y la descripción que sigue.

En general, esta divulgación enseña un método de formación de imágenes en 3D implementado en un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo. El método incluye la monitorización de un volumen definido por un límite de monitorización configurado sobre la base de, en un modo de tiempo de ejecución, la captura de datos de imágenes de múltiples vistas para un campo de visión que corresponde al volumen monitorizado, utilizando varios sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido. Además, en el modo de tiempo de ejecución, el método incluye la determinación de las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de datos de imágenes de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas, comparando las posiciones de los objetos que entran en el campo de visión contra el límite de monitorización configurado, y determina si tal objeto está dentro o no del límite de monitorización configurado.

Aún más, en un modo de aprendizaje, en preparación para el aparato que funciona en el modo de tiempo de ejecución, el método incluye la verificación del límite de monitorización configurado. Aquí, la verificación del límite de monitorización configurado se basa en determinar si existen regiones de baja textura en el campo de visión para el que datos de la medición en 3D suficientemente densos no se pueden determinar. En el caso de que de que una o más regiones de baja textura sean identificadas, el método incluye: generar datos o señales de salida para controlar una herramienta de textura o guiar a un usuario que controla la herramienta de textura, para proyectar la textura sintética en la uno o más regiones de baja textura; capturar datos de imágenes de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura identificadas se iluminan con la textura sintética; y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos correspondientes de la medición en 3D para las regiones de baja de textura en un mapa de medición en 3D de dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

La divulgación también proporciona detalles de ejemplo de un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otra tipo y está configurado para monitorizar un volumen definido por un límite de monitorización configurado. El aparato incluye uno o más circuitos de procesamiento que están configurados para, en un modo de tiempo de ejecución: capturar datos de imágenes de múltiples vistas de un campo de visión que corresponde al volumen monitorizado, utilizando varios sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas solapadas del volumen definido; determinar las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de datos de imágenes de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas; y comparar las posiciones de los objetos que entran en el campo de visión contra el límite de monitorización configurado, y determinar si tal objeto está dentro o no del límite de monitorización configurado.

Correspondientemente, para prepararse para la operación en el modo de tiempo de ejecución, el uno o más circuitos de procesamiento están configurados para, en un modo de aprendizaje, verificar el límite de monitorización configurado. La verificación de límites está basada en el uno o más circuitos de procesamiento que están configurados para determinar si existen regiones de baja textura en el campo de visión para el que los datos suficientemente densos de la medición en 3D no se pueden determinar. En el caso de que se identifiquen una o más regiones de baja textura, el uno o más circuitos de procesamiento: generar datos o señales de salida para controlar una herramienta de textura o para guiar a un usuario que controla la herramienta de textura, para proyectar una textura sintética en la una o más regiones de baja textura; capturar datos de imágenes de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras que una o más de las regiones de baja textura se iluminan con la textura sintética; y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos de la medición en 3D correspondientes a las regiones de baja de textura en un mapa de medición en 3D de

dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

Por supuesto, la presente invención no se limita a las características y las ventajas anteriores. De hecho, los expertos en la técnica reconocerán características y ventajas adicionales tras la lectura de la siguiente descripción detallada, y al ver los dibujos que se acompañan.

Breve descripción de los dibujos

La figura 1 es un diagrama de bloques de un ejemplo de un aparato que incluye un sistema de visión artificial, proporcionada como información de fondo.

Las figuras 2a-2c son diagramas de patrones de textura sintética de ejemplo, como podría proyectarse mediante una herramienta de textura que está configurada para proyectar la luz de patrón, para añadir artificialmente textura a una escena formada por un sistema de visión artificial.

La figura 3 es un diagrama de flujo lógico de una realización de la obtención de datos de la medición en 3D para una escena formada por el aparato de la figura 1, por ejemplo, en el que una o más regiones dentro del campo de visión no tienen una textura "natural" para suficiente para la medición en 3D, y donde se usa textura sintética para obtener datos de la medición en 3D para tales regiones.

La figura 4 es un diagrama de una realización del aparato de la figura 1, por ejemplo, y la proyección de la textura sintética sobre las superficies dentro de su campo de visión.

La figura 5 es un diagrama de flujo lógico de otra realización de un método de obtención de datos de la medición en 3D para una escena formada por el aparato de la figura 1, por ejemplo, en el que una o más regiones dentro del campo de visión no tienen una textura "natural" suficiente para la medición en 3D, y donde se utiliza textura sintética para obtener datos de la medición en 3D para tales regiones.

La figura 6 es un diagrama de flujo lógico de otra realización de un método de obtención de datos de la medición en 3D para una escena formada por el aparato de la figura 1, por ejemplo.

La figura 7 es un diagrama de una realización del aparato de la figura 1, que ilustra una región "sombreada" dentro de su campo de visión.

Descripción detallada

Las figuras 1 a 4 proporcionan información de fondo que es útil para la comprensión de las realizaciones de ejemplo de la presente invención, que se describirá más adelante.

La figura 1 ilustra una realización de un aparato de visión artificial 10. El aparato 10 ilustrado comprende un sistema (máquina) de formación de imágenes 12 que tiene capacidad de múltiples vistas (por ejemplo, un sistema de cámara estereoscópica) que le permite capturar datos de imágenes a partir de su campo de visión a partir de dos o más perspectivas. El sistema de formación de imágenes de múltiples vistas 12 incluye, además, o está asociado con uno

o más procesadores de imágenes 14, que pueden ser recursos de procesamiento de visión dedicada, o que pueden estar integrados dentro de uno o más procesadores de control 16, que también están incluidos en el aparato 10. Esta última opción es atractiva en sistemas de bajo coste y/o en casos en que el procesador o los procesadores de control 16 sean suficientemente potentes o, de lo contrario, estén especialmente adaptados para realizar procesamiento lineal u otros algoritmos numéricos utilizados para visión artificial.

En una o más realizaciones, el procesador(es) de control 16 comprende(n) uno o más microprocesadores, microcontroladores, procesadores de señal digitales, ASICs, FPGAs, u otros circuitos de procesamiento digital. En el caso de que el procesador(es) de imágenes 14 y/o el procesador(es) de control 16 se implementen utilizando procesadores digitales programables, tales como en uno o más microcontroladores y/o DSPs, se entenderá que tales circuitos de procesamiento digital programables está especialmente adaptados para realizar los métodos de procesamiento presentados en este documento, con base a su ejecución de instrucciones de programa de ordenador almacenados. Es decir, los procesadores de imágenes y de control 14 y 16 están configurados como una máquina particular -es decir, como circuitos de procesamiento particularizados -basada en la ejecución de uno o más programas de ordenador almacenados mantenidos en la memoria 20 ilustrada, u otro medio legible por ordenador que es accesible a los procesadores de imágenes y/o de control 14 y 16.

Como disposición de ejemplo, la ilustración muestra una aplicación de nivel superior o "normal" 22, que puede comprender la funcionalidad de nivel superior del aparato 10, tal como su funcionamiento como un sensor de protección de máquina, u otro sensor de monitorización de volumen en 3D. La aplicación "modo de aprendizaje" 24 que se muestra puede ser un subconjunto o complemento del programa de nivel superior 22. En este ejemplo de configuración, la aplicación de modo de aprendizaje 24 se invoca para la configuración inicial o la reconfiguración del

aparato 10. Se entenderá que la memoria 20 puede mantener otros datos, tales como información de la medición aprendida para los fondos monitorizados, etc., asociada con la operación del aparato 10 en una protección de máquina u otra instalación de de monitorización de volumen 3D. En este sentido, la memoria 20 puede comprender más de un circuito de memoria y/o más de un tipo de memoria -por ejemplo, puede incluir memoria RAM y ROM o EPROM (o EEPROM o FLASH). Debe tener en cuenta también que los procesadores de imágenes y de control 14 y 16 pueden incluir memoria en el chip, para datos de trabajo y/o de almacenamiento del programa.

De acuerdo con más detalles en el ejemplo de realización del aparato 10, el procesador(es) de control 16 incluye(n) un controlador de captura 30, un gestor de datos de límites 32, un evaluador de datos de imagen en 3D 34, y un generador de datos de orientación 36. Debe tenerse en cuenta que estos circuitos se pueden realizar de manera programada como elementos funcionales a través de la ejecución de instrucciones de programa de ordenador mediante el procesador(es) de control 16. Por supuesto, algunos o todos de estos circuitos pueden implementarse en circuitos dedicados, o alguna combinación de circuitos dedicados y circuitos basados en software. Además, puede haber solapamiento entre parte del procesamiento de imágenes relacionadas realizado por el procesador(es) de imágenes 14 y por el procesador(es) de control 16, y se entenderá que el procesamiento de imágenes particular ejecutado por el procesador(es) de imágenes 14 dependerá de la disposición del sistema de formación de imágenes utilizado. En el caso de que el sistema de formación de imágenes de múltiples vistas 12 sea una cámara estéreo basada en el sistema -es decir, dos o más cámaras con campos de visión solapados – se pueden usar algoritmos de formación de imágenes estéreo conocidos para la visión artificial y la extracción de la medición en 3D mediante el aparato 10.

El aparato 10 ilustrado incluye además circuitos de entrada/salida (E/S) 40, que incluyendo uno cualquiera o más de: una interfaz de PC 42, tal como una interfaz USB; un teclado/pantalla táctil 44; una pantalla y/o conjunto de indicadores visuales 46, y una herramienta de textura 48, que es una fuente de luz configurada para proyectar "textura sintética" sobre una superficie que de otro modo no tiene una textura natural suficiente para la extracción de la medición/característica en 3D mediante el sistema de formación de imágenes de múltiples vistas 12 y los procesadores de imágenes 14 asociados del aparato 10.

Por lo tanto, en al menos una realización, el aparato 10 está configurado para evaluar una escena en 3D como capturada mediante los sensores de vistas múltiples de su sistema de formación de imágenes de múltiples vistas 12, y determinar si cualquier parte de esa escena en 3D carece de suficiente textura natural para la determinación de la medición en 3D. Si es así, el aparato 10 activa su herramienta de textura 48 incluida, para proyectar una textura sintética en las regiones de baja textura dentro de su campo de visión. En un ejemplo, la herramienta de textura 48 proporciona un patrón de inundación que generalmente ilumina el campo de visión y cuyo "objetivo" es que la herramienta de textura 48 generalmente no sea necesaria. En otra realización, la herramienta de textura 48 es más direccional, y el aparato 10 utiliza el control de movimiento horizontal/inclinación/zoom para dirigir la proyección de la textura sintética en las porciones específicas de su campo de visión que carecen de suficiente textura natural para la medición en 3D.

A este respecto, se entenderá que el aparato 10 en al menos una realización está configurado para evaluar los conjuntos de datos digitales que representan la imagen capturada a partir de cada perspectiva proporcionada por sus sensores de vistas múltiples, por ejemplo, de acuerdo con algoritmos de procesamiento de visión estereoscópica conocidos, y determinar si alguna porción de este tipo de imágenes o una imagen compuesta obtenida de las mismas no se pueden ranged con precisión. Si la herramienta de textura 48 es direccional, el aparato 10 determina los ajustes de giro/inclinación necesarios para apuntar la herramienta de textura 48 hacia una región de baja textura dentro de su campo de visión, y luego recupera los datos de la imagen para al menos la región de baja textura mientras la textura sintética se está proyectando en la región baja de textura. (Debe tenerse en cuenta que también puede haber control de "zoom" para la herramienta de textura 48, que se puede utilizar para aumentar o disminuir el tamaño de su haz de iluminación).

El aparato 10 evalúa los datos de las imágenes recién capturadas y repite el proceso para otras regiones de baja textura como sea necesario, o se repite el proceso para la misma región de baja textura hasta que se desarrolle una información de medición adecuada, o hasta que se alcanza un límite programático en el número de repeticiones. Como parte de estas operaciones, el aparato 10 puede cambiar el tipo y/o el patrón de la textura sintética que se proyecta mediante la herramienta de textura 48.

Ver las figuras 2a-2c, por ejemplo. La figura. 2a ilustra un patrón de textura sintética basado en una serie de "puntos" de luz. Los puntos pueden estar dispuestos en un patrón aleatorio y pueden incluir puntos de diferentes tamaños e intensidades de iluminación. Esta matriz se crea utilizando una matriz de LEDs, por ejemplo, o se crea utilizando una misma fuente luminosa proyectada a través de una máscara impresa o formada de otra manera con el patrón de puntos deseado. La figura 2b ilustra otro patrón de textura sintética, que comprende un patrón de textura de múltiples escalas que se puede generar con una rejilla de difracción. Todavía adicionalmente, la figura 2c ilustra otro patrón contemplado, que comprende un patrón de caída de intensidad, tal como puede generarse con un haz a modo de luz de flash.

La implementación de la herramienta de textura se puede realizar de varias maneras diferentes. Una posible implementación consiste en una disposición deseada de diodos emisores de luz (LEDs) que podría proporcionar un modelo de textura que podría proyectarse en la escena. En otra variante, una fuente de luz fuerte (por ejemplo, una luz de flash) con o sin un filtro de patrón modificado en frente se puede utilizar para generar la textura de la escena. Alternativamente, una fuerte fuente de luz láser se puede transmitir a través de una rejilla de difracción con patrones que puede producir también la textura de la escena deseada. Además, con la llegada de la tecnología nueva y asequible de proyectores portátiles, los sistemas pueden generar patrones de textura dinámicos con altas resoluciones, según se desee. Unos pocos ejemplos de los patrones de textura proyectados se muestran en las figuras 2a, 2b, y 2c.

Independiente de una implementación particular de la herramienta de textura 48 (también llamada como un "cepillo de textura"), la herramienta 48 debería emitir suficiente energía, de tal manera que la textura sintética proyectada por la misma sobre una superficie dada se refleja con suficiente intensidad, que se puede medir o detectar de otro modo de forma fiable o detectar por el aparato 10. En otras palabras, la herramienta de textura debe proyectar textura sintética con intensidad suficiente para producir variaciones significativas en los datos de las imágenes capturadas por el aparato 10 para la(s) región(es) iluminada(s) por la herramienta de textura 48.

Los patrones proyectados deben estar diseñados para facilitar la correspondencia robusta de la característica a través de vistas, asegurando que las proximidades locales de datos de imágenes en conjuntos correspondientes de datos de imágenes tienen firmas únicas para que puedan emparejarse de forma inequívoca a través de diferentes vistas. Esta capacidad de correlacionar patrones de textura en las imágenes tomadas desde diferentes ángulos/vistas del sistema de formación de imágenes de múltiples vistas 12 requiere que los patrones de textura sean no repetitivos dentro de la ventana de emparejamiento empleada por los algoritmos de correspondencia.

Además, el patrón de textura debe contener texturas en múltiples escalas/resoluciones, ya que la superficie de la escena texturizada de manera sintética puede estar a diferentes distancias del aparato 10. El patrón de textura generado puede ser aleatorio o estructurado, dependiendo de la aplicación particular de la herramienta de textura 48 y del algoritmo de correlación estéreo.

Otra ventaja de una o más de las realizaciones descritas en este documento es que la herramienta de textura 48 no necesita calibrarse respecto a las posiciones del aparato. Por otra parte, el patrón/señal de textura generado por la herramienta de textura 48 no necesita ser identificado por separado mediante el aparato 10, ni la naturaleza particular del patrón de textura proyectado por el mismo debe conocerse a priori para el aparato 10. Más bien, la herramienta de textura 48 simplemente produce características de escena adicionales que facilitan la correspondencia de la vista entre múltiples vistas de la misma escena como adquiridas por múltiples sensores o dispositivos de formación de imágenes en el sistema de formación de imágenes de múltiples vistas 12 del aparato 10, y por lo tanto, mejora el rendimiento de medición en 3D de los algoritmos de visión en 3D implementados por el aparato 10. Estos beneficios redundarán independientes de los algoritmos de visión artificial concretos empleados por el aparato 10.

Incluso con la aplicación de la textura sintética 58, todavía puede haber pequeñas porciones dentro de la escena de la imagen representada por su campo de visión 54 que no "se pueden medir" debido a problemas de auto-oclusión causados por objetos o características en 3D dentro de la escena. Tales problemas de oclusión son comunes a los sistemas de formación de imágenes basados en la triangulación de vistas múltiples. En pocas palabras, puede haber áreas sombreadas dentro de una escena que no se ven mediante el aparato 10. De manera similar, algunas partes de la escena que se encuentran a grandes distancias desde el aparato 10 no pueden ser capaces de reflejar la energía suficiente de la herramienta de textura 48 de vuelta al aparato 10, dejando así la posibilidad de huecos u orificios en el mapa de medición en 3D generado por el aparato 10 para el fondo de la escena formada por imágenes representada por su campo de visión 54.

En particular, la herramienta de textura 48 en una o más realizaciones proporciona más de un tipo de textura sintética y proporciona un cambio manual o automatizado de un patrón a otro. La herramienta de textura 48 en una o más realizaciones también puede estar configurada para variar particularidades del patrón, incluso dentro de un tipo de patrón, por ejemplo, cambiando un patrón de puntos a otro, o cambiando desde un patrón de textura de múltiples escalas a otro. En una realización manual, la herramienta de textura 48 puede tener un anillo o dial de selección que permite al operador (un usuario humano) variar el patrón y/o el tipo de patrón. En una realización automatizada, tal como cuando la herramienta de textura 48 se incorpora como un elemento de control del aparato 10, el aparato 10 genera la señalización de control para activar la herramienta de textura 48 y, opcionalmente, para variar el patrón y/o el tipo de patrón de la textura sintética proyectada por la herramienta de textura 48.

Por ejemplo, el controlador de captura de 30 controla el sistema de formación de imágenes de múltiples vistas 12 directamente, o indirectamente a través de procesadores de formación de imágenes 14, para capturar una o más escenas en 3D asociadas a un volumen de monitorización definido que tiene datos de límites asociados, que pueden ser gestionados por el gestor de límites de datos 32. Estos datos se pueden proporcionar al aparato 10 por un operador que usa el teclado/pantalla táctil 44 y/o a través de la interfaz de PC 42, que puede conectar el aparato 10 a un ordenador portátil u otro PC que ejecuta una aplicación de configuración, o bien proporcionando una interfaz

interactiva con software de configuración que se ejecuta en el aparato 10.

En cualquier caso, el aparato 10 adquiere datos de formación de imágenes, que pueden comprender la salida de imágenes digitales procesadas posteriormente por el procesador(es) de imágenes 14. Es decir, el procesador(es) de imágenes 14 puede(n) estar configurado(s) para procesar los datos del sensor "en bruto" a partir de los sensores de vistas múltiples incluidos en el sistema de formación de imágenes de múltiples vistas 12, para producir datos de imágenes digitales para su evaluación por el evaluador de imágenes en 3D 34. A su vez, el evaluador de imágenes en 3D 34 está configurado para determinar si existen regiones dentro de la escena en 3D representadas por las imágenes digitales que carecen de suficiente textura para la determinación precisa de la medición en 3D. Si es así, el generador de datos de guía 36 en una o más realizaciones genera señales de guía, que, en realizaciones donde el aparato 10 incorpora y controla la herramienta de textura 48, se pueden entender como señales de control para la activación de la herramienta de textura 48 y controlarla como sea necesario .

La figura 3 ilustra un ejemplo de realización de un método de formación de imágenes en 3D implementado en el aparato 10, que incluye un sistema de formación de imágenes de múltiples vistas 12 estereoscópico o de otro tipo. El método 100 ilustrado incluye la captura de datos de imágenes de múltiples vistas para un campo de visión del sistema de formación de imágenes de múltiples vistas (Bloque 102), y la evaluación de los datos de las imágenes de múltiples vistas para identificar cualquier región en el campo de visión que carecen de suficiente textura para la determinación correspondiente de los datos de la medición en 3D, cuyas regiones se consideran regiones como regiones de baja textura (Bloque 104).

En el caso de que una o más regiones de baja textura sean identificadas, el método 100 incluye la generación de datos o señales de salida para controlar una textura herramienta 48 o para guiar a un usuario a controlar la herramienta de textura 48, para proyectar la textura sintética en la una o más regiones de baja textura (Bloque 106). En consecuencia, el método 100 incluye la captura de datos de imágenes de múltiples vistas por lo menos para la una o más regiones de baja textura mientras se iluminan con la textura sintética (Bloque 108), y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja y, si es así, actualizar los datos de la medición en 3D correspondientes a las regiones de baja textura (Bloque 110).

El método 100 incluye las operaciones anteriores, tales como cuando un usuario introduce datos en el aparato 10, que corresponden a los límites de monitorización deseados, o cuando el aparato 10 "aprende" la información de límites. El método 100 incluye operaciones sucesivas, tales como la configuración de los límites de monitorización en el campo de visión, utilizando los datos de la medición en 3D adquiridos por el aparato 10 para su campo de visión, incluyendo el uso de datos de la medición en 3D actualizado correspondientes a las regiones de baja textura. Aún más, el método 100 incluye la verificación de los límites de monitorización configurados por el aparato 10. Ejemplos de realizaciones seleccionadas de tales aspectos se detallan más adelante en este documento.

En una o más otras realizaciones, el aparato 10 no incorpora la herramienta de textura 48. En su lugar, la herramienta de textura 48 es utilizada por un operador para proyectar la textura sintética en regiones de baja textura. Ver la figura 4 para un ejemplo de esta disposición. En la figura 4 se ve que la realización ilustrada del aparato 10 incluye unas cámaras estéreo 50-1 y 50-2, que se entenderá que funcionan como los sensores de múltiples vistas de su sistema de formación de imágenes de múltiples vistas 12 incluido.

Las cámaras estéreo 50-1 y 50-2 tienen un campo de visión 54 que se solapa, que incluye una región de baja textura 56. El evaluador de datos de imágenes en 3D del aparato 10 identifica a la región de baja textura 56 basándose en su procesamiento de los datos de las imágenes digitales adquiridas para la escena en 3D incluida dentro de su campo de visión estéreo 54. En consecuencia, el generador de guía 36 genera señales de guía -por ejemplo, direcciones y/o indicadores visuales -para guiar al operador en cuanto a donde apuntar la herramienta de textura 48, de manera que el operador proyecta la textura sintética 58 en la región de baja textura 56.

En términos generales, un algoritmo contemplado en este documento para la generación de un mapa de medición denso en 3D para una escena obtenida se basa en el uso de la herramienta de textura 48. Como primer paso, el aparato 10 captura la escena a través de su sistema de formación de imágenes de múltiples vistas 12 y procesa los datos de las imágenes para determinar la medición inicial de la información -por ejemplo, para determinar un mapa de medición inicial en 3D que representa los datos de la medición para la escena. Esto puede ser entendido como el desarrollo de los datos de la medición para los píxeles dentro de las imágenes en 2D capturadas por dos o más cámaras dentro del sistema de formación de imágenes de múltiples vistas 12. La medición inicial se hace sin aplicación de la textura sintética 56 a través de la herramienta de textura 48.

El aparato 10 evalúa los datos iniciales e identifica las regiones dentro de la escena que no contienen información de la medición debido a la falta de suficiente textura -por ejemplo, identifica las regiones de baja textura 56 dentro de su campo de visión 54. Para cada región de baja textura 56, el aparato 10 guía a un operador o a otro usuario para utilizar la herramienta de textura 48 para proyectar la textura sintética 58 en una o más de las regiones de baja textura 56. De manera correspondiente, el aparato 10 puede ajustar su sistema de formación de imágenes de múltiples vistas 12, para evitar la saturación de la señal que podría surgir si se refleja luz significativa desde la(s) superficie(s) en la escena que está iluminada por la herramienta de textura 48. Del mismo modo, el algoritmo en una

o más realizaciones ignora partes no relevantes de la escena, centrándose el procesamiento en las regiones de baja textura 56, de manera que es más robusto (menos sensible) a interferencias no deseadas debido a los elementos dinámicos de la escena (por ejemplo, el usuario que maneja la herramienta de textura 48). En cualquier caso, el aparato 10 actualiza la información de la medición de la escena, mientras que la textura sintética 58 se proyecta sobre las superficies de los objetos de la escena. El aparato 10 puede guiar al usuario aún más si se requieren más observaciones y se detiene dicha orientación cuando la imagen de la medición en 3D contiene mediciones suficientemente densas y válidas (o cuando se alcanza algún límite en el número de intentos de medición).

Con el algoritmo anterior en mente, la figura 5 proporciona un ejemplo de una realización de un método, que se puede considerar una variación o extensión del método 100 descrito anteriormente. Aquí, el método 120 ilustrado se basa en la suposición de que (deseados) límites de control se introducen manualmente en el aparato 10 por parte de un usuario, o de otra manera cargado en el aparato 10. El aparato 10 entonces captura un mapa de medición denso para su campo de visión, para verificar los límites.

En más detalle, el método 120 representa un algoritmo operativo ejecutado por el aparato 10, en el que se identifican las regiones de baja textura 56 y donde la guía correspondiente de la herramienta de textura se proporciona a un operador (usuario) o, en el caso en el que la herramienta de textura 48 esté integrada en el aparato 10, el aparato 10 controla la herramienta de textura 48. El aparato 10 realiza el procesamiento realizado por el diagrama de flujo lógico que se ilustra, por ejemplo, mediante la ejecución de las instrucciones de programa de ordenador almacenadas a través del procesador(es) de control 16 ilustrado(s) y descrito(s) anteriormente.

El método 120 de ejemplo ilustrado y no limitativo incluye la determinación de si introducir o no en el modo de aprendizaje (Bloque 122). Aquí, el diagrama se simplifica mediante la indicación de un bucle "sin fin" donde el aparato 10 comprueba repetidamente si debe entrar en el modo de aprendizaje. Se entenderá que tal comprobación repetida puede realizarse durante el transcurso normal de las operaciones en tiempo de ejecución -por ejemplo, la verificación del modo de aprendizaje se puede realizar mientras el aparato 10 está ejecutando su aplicación de nivel superior/normal, que se proporciona para la monitorización del área. Por supuesto, si el aparato 10 carece de configuración adecuada para el funcionamiento de acuerdo con su aplicación normal, se puede introducir automáticamente el modo de aprendizaje. De lo contrario, puede monitorizar una señal de entrada recibida a través de su sistema de circuitos E/S 40, lo que indica que debe pasar a su modo de aprendizaje de operación. Esto puede comprender la lectura o la detección de otra manera de una señal generada externamente y/o determinar si un código autorizado ha sido introducido en el aparato 10.

Una vez que se activa el modo de aprendizaje (SÍ desde el Bloque 122), el procesamiento continúa con la determinación de la información de límites para el campo de visión (Bloque 124). Esta etapa puede comprender el aparato 10 que deriva la información de límites de forma automática, basándose en la captura de los datos para su campo de visión 54 actual, o puede comprender que la lectura de uno o más archivos de configuración y/o recibir la entrada del usuario, o puede comprender una combinación de ambos. Por lo tanto, la siguiente etapa de captura de datos de imágenes y de realizar el procesamiento de imágenes en 3D (Bloque 126) puede incluirse en la etapa de determinación de los datos de límites.

El procesamiento continúa entonces con el aparato 10 para determinar si las áreas de límite carecen de suficiente textura (Bloque 128). Aquí, "suficiente" connota el nivel mínimo de la textura necesaria para soportar un procesamiento espacial preciso de los datos de las imágenes, para la determinación de la información de la medición. Aunque algunas salidas mínimas inferiores deterministas para la textura discernible en función de la resolución de múltiples vistas del sistema de formación de imágenes del aparato 12 y en los algoritmos en 3D involucrados, el significado práctico de "textura suficiente" depende del nivel de fiabilidad y de precisión necesario para el aplicación manual, como se comprenderá de inmediato por los expertos normales en la técnica.

El procesamiento continúa entonces con el aparato 10 que controla la herramienta de textura 48 o guía al usuario en el control de la herramienta de textura 48, para proyectar la textura sintética en las regiones de baja textura 56 (identificadas) y capturar los datos de las imágenes actualizados, según sea necesario (Bloque 130). El "guiado" del usuario en un ejemplo de realización comprende proporcionar instrucciones en pantalla u otra orientación visual, por ejemplo, y el aparato 10 puede proporcionar datos de retroalimentación al usuario en cuanto al posicionamiento real respecto al deseado de la textura sintética. Por ejemplo, el aparato 10 puede causar una representación visual de su campo de visión 54 que se muestra -ya sea un campo de visión real de la imagen o un esquema simplificado del mismo. En tales casos, el aparato 10 puede ilustrar dónde la textura sintética proyectada 58 actualmente se detecta dentro del campo de visión 54 y/o representar dónde la región de baja textura 56 se encuentra dentro del campo de visión 54.

El procesamiento continúa con el aparato 10 para determinar si se ha proporcionado textura suficiente (Bloque 132). Si los nuevos datos de las imágenes no son buenos (NO del bloque 134) el aparato 10 se puede repetir el control de la herramienta de textura o guiar y determinar las etapas (Bloques 130 y 132), según sea necesario. Además, como el usuario puede ser capaz de iluminar sólo una porción relativamente pequeña del campo de visión 54 en un momento dado utilizando la herramienta de textura 48, el aparato 10 comprueba si hay más regiones de baja textura 56 (Bloque 136).

Es decir, el aparato 10 comprueba si hay alguna otra región de baja textura 56, para lo cual debe iluminar con la herramienta de textura 48, o dirigir al usuario para iluminar con la herramienta de textura 48. Si es así (SI del Bloque 136), el aparato puede repetir las etapas que guían y determinan (Bloques 130 y 132), según sea necesario, pero donde la orientación generada se actualiza para cada una de esas regiones de baja textura 56. Además, en una o más realizaciones, el aparato 10 está configurado para proporcionar o mostrar información de límites de actualización, que muestra la finalización progresiva de la formación de imágenes/medición en 3D del límite.

Es decir, el aparato puede "rellenar" la información de fondo que se muestra con buenos datos, en respuesta a la adquisición de datos de la medición en 3D a partir de las texturas sintéticas 58 proyectadas por el usuario, permitiendo así al usuario ver los progresos realizados en materia de rellenado en las áreas de baja textura 56 (donde "rellenar" puede entenderse como proporcionar suficiente textura para que el aparato 10 adquiera información de la medición en 3D para las regiones de baja textura 56). Esto se puede hacer mediante el aparato 10 que muestra (o suministra datos para mostrar externamente) una representación del campo de visión 54 con posiciones relativas de las regiones de baja textura 56 resaltadas o indicadas de otro modo, y se actualiza la información en pantalla como regiones de baja textura 56 se miden con éxito usando la textura sintética 58 proyectada desde la herramienta de textura 48.

Si no hay más regiones de baja textura 56 que requieren iluminación (NO del bloque 136), el método 120 continúa con el aparato 10 verificando los límites configurados (Bloque 138). Ejemplos de procesamiento de verificación de límites se discuten en más detalle más adelante en este documento.

En el procesamiento anterior, la determinación de que los datos de las imágenes no son "buenos" respecto a la evaluación representada por el Bloque 134 comprende la determinación por parte del aparato 10 de que se ha proporcionado una textura insuficiente al usuario utilizando la herramienta de textura 48, respecto a una o más de las regiones identificadas como regiones de baja textura 56. Debe tenerse en cuenta, además, que el aparato 10 se puede configurar para guiar repetidamente al usuario para proyectar la textura sintética 58 en una región de baja textura 56 dada, hasta que la región se mida con éxito mediante el aparato 10, o esté sujeta a un límite configurado en el número de tales intentos. Además, si se requieren repetidos intentos, el aparato 10 puede guiar al usuario a cambiar el ángulo de proyección de la textura y/o a cambiar la textura sintética 58 que se proyecta (suponiendo que la herramienta de textura 48 permite al usuario realizar tales cambios).

En un ejemplo de trabajo, un usuario entra por primera vez la información de límites con una herramienta de PC y a continuación el aparato 10 captura información de 3D/medición de los límites especificados y guía al usuario para añadir textura donde sea necesario. Alternativamente, el aparato 10 realiza o soporta de otra manera la etapa de definición de límites basada en la captura de información (inicial) de 3D/medición, y a continuación, identifica las regiones de baja textura detectadas.

En cuanto a la determinación de las regiones de baja textura 56, en una o más realizaciones, el aparato 10 identifica las regiones de baja textura 56 dentro de su campo de visión actual, por ejemplo, mediante: el análisis de las imágenes en 2D -por ejemplo, las imágenes en 2D a partir de individuales de sus cámaras para detectar las regiones con bajas variaciones de contraste en proximidad de los datos de las imágenes (por ejemplo, datos de los píxeles). Un ejemplo de métrica ad hoc para la textura en la posición (x, y) se puede definir como

donde L(x, y) indica el valor de la intensidad absoluta en la imagen en 2D en la posición del píxel (x, y) y Th es igual a un valor de límite.

La ecuación anterior evalúa una proximidad 7 x 7 alrededor del punto dado (x, y) para calcular una métrica de textura local en esa región. El término interior, |L(x-i, y-j) -L(x, y)|, mide la diferencia absoluta de intensidad de un píxel adyacente (x-i, y-j) al del píxel de referencia (x, y). La métrica definida en la ecuación anterior es igual al número de píxeles que son suficientemente diferentes (es decir, la diferencia en la intensidad absoluta está por encima del límite Th) desde el píxel central (de referencia). Un número mayor de estos píxeles suficientemente diferentes en una proximidad indica una buena textura métrica. Del mismo modo, las regiones con un valor bajo de este indicador se considerarían "sin textura".

Adicionalmente, el aparato 10 analizaría las regiones correspondientes de una imagen de la medición dado para validar las regiones "sin textura" detectadas. Las regiones sin textura se pueden entender como carentes de características de las imágenes a partir de las que se pueden calcular suficientes mediciones en 3D válidas. Como se ha señalado, en al menos una realización, el aparato 10 incluye la herramienta de textura 48, y está configurado para controlar la herramienta de textura 48 para añadir textura cuando sea necesario, de forma automatizada. En al menos una de tales realizaciones, el aparato 10 integra una herramienta de textura 48 que se activa selectivamente, por ejemplo, en un modo de aprendizaje. En una o más otras realizaciones, la ejecución de la aplicación en modo de

aprendizaje 24 hace que el aparato 10 capture los datos de las imágenes a partir de su campo de visión 54, realiza el análisis en 3D de esos datos, e identifica las áreas dentro del campo de visión 54 que carecen de suficiente textura para obtener imágenes en 3D exactas. Además, de acuerdo a su ejecución de la aplicación en modo de aprendizaje 24, el aparato 10 interactúa con y dirige al usuario -normalmente un instalador u otra persona autorizada -para utilizar una herramienta de textura 48, tal como un proyector manual, para proyectar texturas sintéticas 58 en las regiones de baja textura 56 identificadas.

En un ejemplo de realización, el aparato 10 se comunica con un PC conectado (por ejemplo, un ordenador portátil) como parte de este proceso. Por ejemplo, el PC conectado ejecuta un programa, que puede ser un programa independiente configurado para transferir datos entre el mismo y el aparato 10 adjunto, o que puede ser un programa basado en navegador u otro applet que se proporciona o está soportado de otra manera por el aparato 10.

En cualquier caso, el aparato 10 transfiere información al PC conectado, identificando aquellas áreas dentro de su campo de visión 54 que carecen de suficiente textura para imágenes en 3D precisas y medición correspondiente. A modo de ejemplo, el aparato 10 transfiere datos del campo de visión/fondo, con las regiones de baja textura 56 resaltadas. Esa pantalla puede entonces actualizarse automáticamente (por ejemplo, en tiempo real o casi en tiempo real) cuando el usuario proyecta texturas sintéticas 58 en las regiones de baja textura 56, usando la herramienta de textura 48. Adicional o alternativamente, el circuito E/S 40 del aparato 10 puede incluir uno o más elementos de la interfaz de usuario, tales como un teclado y una pantalla (debe tenerse en cuenta que se puede utilizar una pantalla táctil para proporcionar capacidades de visualización y de entrada). Estos elementos de la interfaz, tales como el teclado/pantalla táctil 44 e indicadores de visualización/visuales 46 mostrados en la figura 1, pueden reemplazar o complementar un PC conectado.

Por lo tanto, en una o más realizaciones, el aparato 10 detecta las texturas sintéticas proyectadas 58 automáticamente, realiza el análisis de las imágenes necesarias, determina si se ha logrado una precisión de medición de fondo suficiente, y entonces envía de vuelta la información al PC (o a su propia pantalla), para actualizar esa porción de los datos del fondo. De esta manera, el usuario se aprecia qué áreas del fondo todavía requieren la adición de textura sintética 58. Debe tenerse en cuenta, además, que la pantalla se puede usar para guiar la proyección de la textura sintética 58 del usuario, como por ejemplo, destacando el área o región 56 donde se detecta tales texturas insuficientes y proporcionando flechas u otra orientación para el posicionamiento de la textura sintética 58 donde sea necesario, que indica cuándo se está realizando la captura, etc.

De acuerdo con ello, en una o más realizaciones, el aparato 10 es un tipo de sistema de monitorización estereoscópico, y proporciona un método para la verificación de los límites de control utilizados con sistemas de monitorización estereoscópicos. El aparato 10 en tales realizaciones utiliza dos o más dispositivos de formación de imágenes (por ejemplo, cámaras 50) configurados de manera que los algoritmos de correspondencia de múltiples vistas pueden utilizarse mediante el aparato para determinar las posiciones de los objetos que entran en su campo de visión (FOV). El aparato 10 está configurado para comparar las posiciones de los objetos que entran en el campo de visión respecto a un límite de monitorización predefinido, y para tomar una decisión en cuanto a si el objeto detectado está dentro del límite de monitorización predefinido o no. Debe tenerse en cuenta que pueden estar configurados múltiples límites, tal como un primer límite o de advertencia, y un límite de intrusión más cercano.

En general, los límites de control predefinidos están configurados de manera que no se solapen con (o ser la sombra de objetos estáticos) superficies o estructuras de la escena. Sin embargo, las posiciones de los objetos estáticos, superficies o estructuras dentro de la escena pueden no pueden medirse mediante el aparato 10, debido a la falta de contraste de imagen suficiente sobre las zonas afectadas. Así, el aparato 10 proporciona una etapa de configuración de límites en la que se configuran su límite o límites de monitorización, y una etapa de verificación.

Para la etapa de verificación, el aparato 10 identifica esas áreas dentro de la escena en la que los datos de las imágenes iniciales no tienen suficiente información de textura para el cálculo de la información de la medición en 3D. El aparato 10 utiliza una herramienta de textura 48 para iluminar artificialmente estas regiones de baja textura mediante la proyección de textura sintética sobre la(s) superficie(s) dentro de esas zonas, donde la textura sintética comprende un patrón de mayor o menor intensidad de luz que tiene una variación suficiente para producir mediciones de profundidad válidas mediante el aparato 10 para las regiones de baja textura. Debe tenerse en cuenta que el aparato 10 puede controlar la herramienta de textura 48 directamente, o un operador humano puede controlar la herramienta de textura 48, en cuyo caso el aparato 10 "guía" tal uso mediante la generación de señales de orientación/dirección que indican al usuario dónde apuntar la herramienta de textura 48, para la proyección de texturas sintéticas.

El aparato 10 hace una comparación de las posiciones de la superficie previamente no detectadas respecto a las superficies de límite deseadas, utilizando el mapa de profundidad determinado o actualizado de otra manera utilizando los datos obtenidos a través de la medición, además de las texturas sintéticas proyectadas. Como se ha señalado, la textura sintética proyecta luz en forma de un patrón irregular, y el aparato 10 en una o más realizaciones está configurado para interactuar con un usuario, para guiar el uso del usuario de la herramienta de textura 48. En algunos casos, el aparato 10 será capaz de calcular los datos de la medición en 3D para una escena completa sin necesidad de textura sintética; en otros casos, puede haber múltiples áreas que carecen de suficiente

textura natural.

Independientemente, se apreciará que el aparato 10 puede utilizarse como un sistema de visión artificial para el seguimiento de un volumen en 3D definido. Aplicaciones no limitativas para el aparato 10 incluyen el uso para vigilancia, seguridad o protección artificial, en el que el objetivo del sistema es detectar objetos intrusos en un volumen en 3D definido. Estos volúmenes se definen normalmente mediante límites programados, que son determinados por un operador durante la configuración inicial y la programación del aparato 10. En este contexto, las enseñanzas en el presente documento proporcionan ventajas significativas en la configuración fiable de tales límites, en los casos en que una o más porciones de las áreas de límite carecen de suficiente textura natural para que el aparato 10 determine la información de la medición en 3D de suficiente precisión y/o suficiente densidad. Aquí, un ejemplo de "densidad suficiente" está requiriendo que los datos de la medición en 3D sean computables para algún número mínimo definido de puntos de la medición regularmente distribuidos dentro de una sub-área determinada de la imagen de múltiples vistas.

En cualquier caso, un aparato 10 como se contempla aquí simplifica el proceso de configuración de los límites y facilita la validación de la seguridad del límite para una aplicación dada mediante el aprendizaje convenientemente de un mapa de medición denso de la escena que se está supervisando. Al hacerlo así, el aparato 10 facilita ventajosamente el aprendizaje límite usando estratégicamente o guiando el uso de una herramienta de textura 48 para proyectar texturas sintéticas 58, según sea necesario, para obtener información completa de la medición en 3D.

Una aplicación en el ámbito de protección artificial y monitorización de áreas puede ser necesaria para aprender un mapa de medición de escena en 3D completo durante la configuración inicial, lo que eventualmente podría ser utilizado por parte de un usuario para definir los límites de protección/monitorización respecto al sistema de coordenadas mundial en 3D (por ejemplo, usando una herramienta de configuración). El mismo mapa de medición de escena en 3D también puede ser utilizado por el aparato 10 para validar los límites de protección/monitorización seleccionados, sobre la base de la evaluación del mapa de la medición en 3D y la identificación objetos mal o parcialmente texturizados en la escena, junto con una validación de sus sombras proyectivas.

En dicha aplicación, el aparato 10 analiza primero la escena y obtiene mediciones de distancia válidas en las posiciones de escenas que contienen suficiente textura. A continuación, el aparato 10 identifica automáticamente esas regiones en la escena que carecen de suficiente textura para producir información de la medición que se puede utilizar. El aparato 10 entonces dirige al usuario a "añadir" textura a las regiones de baja textura identificadas, utilizando una herramienta de textura 48.

Bajo tal dirección, el usuario utiliza la herramienta de textura 48 para proyectar un patrón de luz en partes mal texturizadas de la escena vista. El usuario puede simplemente tomar la herramienta de textura 48 y señalar en la dirección de la escena, apuntando así el patrón proyectado sobre las superficies físicas y "pintando" eficazmente una textura en la escena. En consecuencia, el aparato 10 analiza esta textura "sintética" mediante uno o más algoritmos de correspondencia y de triangulación -como se conoce en la técnica -para generar datos de medición válido para las porciones de textura deficiente de la escena. El proceso, tal como se implementa mediante el aparato 10, produce así un mapa de medición en 3D más completo de la escena.

Como un ejemplo, un usuario puede introducir primero información de los límites usando una herramienta de PC y, a continuación, el sensor puede capturar información en 3D/medición para el fondo y luego guiar al usuario para añadir textura donde sea necesario. Alternativamente, el sensor puede realizar o soportar de otra forma la etapa de definición de límites basada en la captura (inicial) de información en 3D/medición, y luego identificar las regiones detectadas de baja textura.

Un tipo de herramienta de textura 48 proporciona una proyección de textura densa para todo el campo de visión. Este tipo de herramienta tiene la ventaja de "pintar" la totalidad del campo de visión del aparato y, por lo tanto, no necesita necesariamente que se mueva o apunte de otra manera a áreas particulares de baja textura. Otro tipo de herramienta de textura 48, que puede ser menos costosa y requiere menos energía, tiene un campo de visión más pequeño que el campo de visión del aparato 10 -es decir, que no se ilumina simultáneamente todo el campo de visión del aparato 10 – y, por lo tanto, puede necesitar el objetivo para proporcionar la textura, en particular, las regiones de baja textura dentro del campo de visión mayor del aparato 10. Como tal, la herramienta de textura 48 puede ser una fuente de luz móvil -por ejemplo, con un control de desplazamiento-inclinación-zoom – de manera que puede dirigirse por el usuario bajo la orientación del aparato 10, o moverse de otra manera automáticamente mediante el aparato 10. Debe tenerse en cuenta, además, que la herramienta de textura 48 puede utilizar luz visible

o infrarroja para la proyección de la textura.

La figura 6 ilustra otro diagrama de flujo lógico de ejemplo para una realización de un algoritmo implementado por el aparato 10, para realizar el procesamiento indicado inmediatamente anterior, o para realizar variaciones del mismo. Aquí, el método 140 ilustrado muestra el procesamiento realizado por el aparato 10 en una o más realizaciones, en el que se capta un mapa de medición denso de la escena y luego se utiliza la información capturada para definir, por ejemplo, los límites de monitorización. Por lo tanto, dicho procesamiento puede considerarse como una realización de aprendizaje "automático" de los límites. Por ejemplo, se puede activar o realizar de otro modo mediante la

colocación del aparato 10 en un modo de "aprendizaje" o "configuración". Como un ejemplo, el aparato 10 puede entrar en el modo de configuración en respuesta a un usuario que conecta un ordenador portátil autorizado al aparato 10, introduciendo un código predefinido en la interfaz de usuario del aparato 10, o aplicando una señal de control definida para el aparato 10, o realizando alguna combinación de estas acciones.

En cualquier caso, la realización del algoritmo operativo en el método 140 puede considerarse como una extensión o variación del método 100 y comienza con el aparato 10 capturando u obteniendo de otra manera un mapa de medición de fondo inicial mediante su campo de visión (Bloque 142). El mapa de medición de fondo inicial comprende, por ejemplo, el conjunto de datos de medición en 3D que se puede calcular mediante el aparato 10 para su campo de visión, a partir de los datos de las imágenes de múltiples vistas captadas por el mismo.

El método 140 continúa con el aparato 10 que evalúa su mapa de medición de fondo inicial para la presencia deregiones de baja textura 56 (Bloque 144). Si se identifican una o más regiones de baja textura 56 (SÍ del bloque 146), el método 140 continúa con el aparato 10 controlando una herramienta de textura 48, o guiando a un usuario para controlar una herramienta de textura 48, para proyectar la textura sintética 58 en una sola o más de las regiones de baja textura 56 identificadas (Bloque 148). (Es posible que la herramienta de textura 48 prevea un relleno por inundación del campo de visión, de manera que todas dichas regiones de baja textura 56 se iluminan).

El método 140 continúa con el aparato 10 que adquiere nuevos datos de imágenes mientras la textura sintética 58 está presente, en general para todo el campo de visión, pero al menos para una o más de las regiones de baja textura 56, determinando o al menos intentando determinar datos de la medición en 3D para una o más de las regiones de baja textura 56, y actualizando el mapa de medición de fondo inicial de las regiones de baja textura 56 para los que la textura sintética 58 proyectada ha proporcionado datos de medición en 3D suficientemente densos (Etapa 150). Los Bloques 148 y 150 pueden repetirse (SI del bloque 152), por ejemplo, si los datos de la medición en 3D suficientemente densos no fueron adquirido para todas las regiones de baja textura 56 identificadas en el Bloque

144. Sin embargo, este tipo de repetición puede estar limitada, por ejemplo, a un número definido de intentos globales y/o a un número definido de intentos para identificar la región de baja textura 56. Como se señaló anteriormente, el control del aparato de la herramienta de textura 48, o su guía a un usuario que controla una herramienta de textura 48, puede cambiar con el procesamiento repetido de los bloques -por ejemplo, la herramienta de textura 48 puede apuntar a diferentes regiones de baja textura 56 en cada iteración, o el usuario puede ser guiado para apuntar la herramienta de textura 48, o al usuario se le puede recomendar usar un patrón o intensidad de textura diferente entre iteraciones, o para cambiar la perspectiva del objetivo de la herramienta de textura 48, y así sucesivamente .

Una vez que el aparato 10 aprende el fondo en su campo de visión, es decir, una vez que se ha adquirido datos de la medición en 3D suficientemente densos para el fondo sobre el campo de visión completo -el método 140 continúa con el aparato 10 que define u obtiene de otro modo un límite de monitorización respecto al fondo aprendido (Bloque 154). Aún más, el método 140 continúa con el aparato 10 proporcionando una oportunidad para que el usuario vea el límite aprendido (o para ver los datos que representan el límite) y para modificar el límite aprendido, si el usuario desea cambiar cualquier aspecto del límite aprendido (Bloque 156). Una vez que se realizan tales modificaciones, el método 140 continúa con el aparato 10, que verifica la validez del límite de monitorización (Bloque 158).

Por ejemplo, como se señaló anteriormente, el aparato 10 puede verificar la naturaleza proyectiva del campo de visión. Véase, por ejemplo, la figura 7, que muestra un objeto dentro del campo de visión del aparato 10. Más específicamente, un objeto reside dentro de la zona de monitorización 60 limitada por un límite de monitorización aprendido 62. Se ve que el objeto indeseablemente "ensombrece" parte del campo de visión del aparato 10, y de ese modo crea un área sombreada que tiene límites no válidos. La etapa de verificación puede determinar tales límites no válidos mediante la comparación de los datos de la medición en 3D medido en la posición de los límites configurados. Un límite configurado es válido si está más cerca del aparato 10, en coordenadas proyectivas (por ejemplo, coordenadas esféricas centradas en el sistema de formación de imágenes de múltiples vistas 12 del aparato 10), que los puntos de la medición en 3D medido correspondientes a las superficies de fondo en todas las posiciones. En otras palabras, el límite configurado no debe estar detrás de las superficies de fondo aprendidas, como se ve desde el punto de vista de los sensores.

En particular, modificaciones y otras realizaciones de la invención descrita vendrán a la mente a un experto en la técnica que tenga el beneficio de las enseñanzas presentadas en las descripciones anteriores y en los dibujos asociados. Por lo tanto, se debe entender que la invención no está limitada a las realizaciones específicas descritas y que modificaciones y otras realizaciones están pensadas para incluirse dentro del alcance de esta descripción. Aunque términos específicos se pueden emplear en el presente documento, se usan en un sentido genérico y descriptivo y no con fines de limitación. La invención se define en las reivindicaciones 1 a 20.

Claims (20)

1. REIVINDICACIONES

   1. Un método de formación de imágenes en 3D implementado en un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo, comprendiendo dicho método la monitorización de un volumen definido por un límite de monitorización configurado basado en:

   en un modo de tiempo de ejecución:

   capturar datos de imágenes de múltiples vistas de un campo de visión correspondiente a dicho volumen monitorizado, utilizando múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido; determinar las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de los datos de las imágenes a partir de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas; comparar las posiciones de los objetos de entran en el campo de visión respecto al límite de monitorización configurado y determinar si cualquier objeto está dentro del límite de monitorización configurado o no; y en un modo de aprendizaje, en preparación para el funcionamiento en el modo de tiempo de ejecución, verificar el límite de monitorización configurado mediante:

   determinar si hay algunas regiones de baja de textura en el campo de visión para las que no se pueden determinar datos de la medición en 3D suficientemente densos; y en el caso de que se identifiquen una o más regiones de baja textura:

   generar datos o señales de salida para controlar una herramienta de textura o para guiar a un usuario que controla la herramienta de textura, para proyectar una textura sintética en la una o más regiones de baja textura; capturar datos de imágenes de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura identificadas se iluminan con la textura sintética; y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos correspondientes de la medición en 3D para las regiones de baja de textura en un mapa de medición en 3D de dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

2. 2.

   El método de la reivindicación 1, que comprende además, para el caso donde no se ha proporcionado suficiente textura, proporcionar una indicación al operador que no se ha proporcionado suficiente textura para el límite de monitorización configurado.

3. 3.

   El método de la reivindicación 2, que comprende además, para el caso donde el operador controla una herramienta de textura que proyecta la textura sintética, generar datos o señales de salida para guiar al operador en el control de la herramienta de textura, para proyectar la textura sintética, al menos, en las regiones de baja textura para las que no se ha proporcionado suficiente textura.

4. 4.

   El método de la reivindicación 3, donde la generación de las señales o datos de salida para guiar al operador comprende la generación de información que proporciona una guía visual para el operador de la posición real respecto a la posición deseada de la textura sintética dentro del campo de visión.

5. 5.

   El método de la reivindicación 3, donde la generación de las señales o los datos de salida para guiar al operador comprende hacer que se muestre una representación visual del campo de visión, indicando dicha representación visual al menos uno de: dónde la textura sintética se detecta actualmente mediante el aparato dentro del campo de visión; y dónde las regiones de baja textura para las que no se haya facilitado suficiente textura están dentro del campo de visión.

6. 6.

   El método de la reivindicación 1, donde para el caso donde no se ha proporcionado suficiente textura y el operador controla una herramienta de textura que proyecta la textura sintética, el método comprende además la generación de señales o datos de salida provocando una representación visual del campo de visión a visualizar, indicando dicha representación visual el progreso realizado por el aparato respecto al rellenado en las regiones de baja textura con datos de la medición en 3D suficientemente densos, basado en el control del operador de la herramienta de textura para proyectar la textura sintética en el campo de visión.

7. 7.

   El método de la reivindicación 1, que comprende además aprender automáticamente el límite de monitorización configurado como parte de la operación en dicho modo de aprendizaje, sobre la base de la información de límites derivada de forma automática a partir de los datos de la formación de imágenes de múltiples vistas que se captura mediante los sensores de vistas múltiples respectivos para el campo de visión durante el modo de aprendizaje y se procesan utilizando el algoritmo de correspondencia de múltiples vistas, para generar inicialmente el mapa de la

   medición en 3D para el campo de visión.

8. 8.

   El método de la reivindicación 1, donde la verificación del límite de monitorización configurado incluye la verificación de que está dentro de las tolerancias admisibles respecto a los datos de la medición en 3D configurado.

9. 9.

   El método de la reivindicación 1, donde el aparato no está calibrado respecto a la textura sintética.

10. 10.

    El método de la reivindicación 1, donde el aparato controla la herramienta de textura, y donde la generación de los datos o las señales de salida para controlar la herramienta de textura comprende el aparato de generación de señales para guiar la herramienta de textura para la proyección de la textura sintética en el campo de visión.

11. 11.

    Un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo y que está configurado para monitorizar un volumen definido por un límite de monitorización configurado, comprendiendo dicho aparato uno o más circuitos de procesamiento que están configurados para:

    en un modo de tiempo de ejecución:

    capturar datos de imágenes de múltiples vistas de un campo de visión correspondiente a dicho volumen monitorizado, utilizando múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido; determinar las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de datos de imágenes a partir de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas; comparar las posiciones de los objetos que entran en el campo de visión contra el límite de monitorización configurado y determinar si cualquier objeto está o no dentro del límite de monitorización configurado; y en un modo de aprendizaje, en preparación para la operación en el modo de tiempo de ejecución, verificar el límite de monitorización configurado mediante:

    determinar si hay regiones de baja de textura en el campo de visión para los que no se pueden determinar datos de la medición en 3D suficientemente densos; y en el caso de que se identifiquen una o más regiones de baja textura:

    generar datos o señales de salida para controlar una herramienta de textura o para guiar a un usuario que controla la herramienta de textura, para proyectar una textura sintética en la una o más regiones de baja textura; capturar datos de imagen de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura se iluminan con la textura sintética; y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos de la medición en 3D correspondiente para las regiones de baja de textura en un mapa de medición en 3D de dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

12. 12.

    El aparato de la reivindicación 11, donde el aparato incluye circuitos de entrada/salida que comprenden al menos una de una interfaz de ordenador y una pantalla, y donde, para el caso donde no se ha proporcionado suficiente textura, el uno o más circuitos de procesamiento están configurados para utilizar el circuito de entrada/salida para proporcionar una indicación al operador que no se ha proporcionado suficiente textura para el límite de monitorización configurado.

13. 13.

    El aparato de la reivindicación 12, donde el operador controla una herramienta de textura que proyecta la textura sintética, y donde el uno o más circuitos de procesamiento están configurados para utilizar el circuito de entrada/salida para proporcionar una guía visual al operador de la posición real respecto a la posición deseada de la textura sintética.

14. 14.

    El aparato de la reivindicación 13, donde el uno o más circuitos de procesamiento están configurados para proporcionar la guía visual basada en provocar una representación visual del campo de visión que hay que mostrar, a través de la interfaz del ordenador o a través de la pantalla, indicando dicha representación visual al menos uno de: dónde está la textura sintética actualmente detectada dentro del campo de visión; y dónde están las regiones de baja textura para las que no se ha facilitado suficiente textura dentro del campo de visión.

15. 15.

    El aparato de la reivindicación 14, donde el uno o más circuitos de procesamiento están configurados para hacer que la representación visual del campo de visión indique los progresos realizados en el rellenado en las regiones de baja textura con datos de la medición en 3D suficientemente densos, basado en el control del operador de la herramienta de textura para proyectar la textura sintética en el campo de visión.

16. 16.

    El aparato de la reivindicación 11, donde el uno o más circuitos de procesamiento están configurados para aprender automáticamente el límite de monitorización configurado mientras opera en el modo de aprendizaje, sobre la base de estar configurado para derivar la información de límites de forma automática a partir de los datos de las imágenes de múltiples vistas que se capturan mediante los sensores de múltiples vistas durante el modo de

    5 aprendizaje y son procesados utilizando el algoritmo de correspondencia de múltiples vistas, para generar un mapa de medición en 3D inicial para el campo de visión.
17. 17. El aparato de la reivindicación 16, donde el uno o más circuitos de procesamiento están configurados además para determinar a partir de los datos de las imágenes de múltiples vistas capturadas en el modo de aprendizaje, o a

    10 partir del mapa de medición en 3D inicial determinado a partir de los mismos, si hay alguna región de baja textura en el campo de visión.
18. 18. El aparato de la reivindicación 11, donde el uno o más circuitos de procesamiento están configurados para

    verificar que límite de monitorización configurado está dentro de las tolerancias admisibles respecto a los datos de la 15 medición en 3D configurados.

19. 19.

    El aparato de la reivindicación 11, donde el aparato no está calibrado respecto a la textura sintética.

20. 20.

    El aparato de la reivindicación 11, donde el aparato controla la herramienta de textura, y donde el uno o más

    20 circuitos de procesamiento están configurados para controlar la herramienta de textura para la proyección de la textura sintética en las regiones de baja textura en el campo de visión.