ES2882103T3 - Detección y seguimiento a distancia de objetos - Google Patents

Abstract

Un sistema de vigilancia que comprende: una unidad de detección configurada para comunicarse a través de un enlace de comunicación con una unidad de control; la unidad de detección comprende un conjunto generador de imágenes de alta resolución conectado operativamente a al menos un procesador; el conjunto generador de imágenes de alta resolución está configurado para capturar una sucesión de imágenes de alta resolución; en el que un ancho de banda del enlace de comunicación no es lo suficientemente grande como para permitir la transmisión de las imágenes de alta resolución a una velocidad deseada; el al menos un procesador está configurado para: generar imágenes degradadas a partir de las respectivas imágenes de la sucesión de imágenes de alta resolución y transmitir sucesivamente datos de detección a la unidad de control; comprendiendo los datos de detección las imágenes degradadas y datos indicativos de uno o más elementos de las imágenes degradadas; en el que la degradación se adapta en función del ancho de banda disponible del enlace de comunicación para permitir la transmisión de las imágenes capturadas a la unidad de control a través del enlace de comunicación a una velocidad suficiente; el al menos un procesador está configurado además, en respuesta a los datos de control recibidos de la unidad de control, indicativos de al menos un elemento seleccionado, para: identificar una ubicación del elemento seleccionado en las imágenes de alta resolución recientemente capturadas en la sucesión de imágenes de alta resolución; extraer los respectivos segmentos de imagen de alta resolución de las imágenes en la sucesión de imágenes de alta resolución, comprendiendo el segmento de imagen al menos el elemento seleccionado; y transmitir sucesivamente los respectivos segmentos de imagen de alta resolución a la unidad de control; en el que el tamaño de los segmentos de imagen de alta resolución depende del ancho de banda disponible del enlace de comunicación y se selecciona para ajustarse a una velocidad de transmisión deseada.

Description

DESCRIPCIÓN

Detección y seguimiento a distancia de objetos

Campo de la materia divulgada en la presente memoria

La materia divulgada actualmente se refiere al seguimiento remoto de objetos mediante un dispositivo de detección.

Antecedentes

En muchas aplicaciones, un operador de un sistema de vigilancia remota controla un sensor de imagen remoto a través de un enlace de comunicación. Ejemplos de estas aplicaciones son el control del tráfico, el control de fronteras, las operaciones de búsqueda y rescate, estudios del terreno, vigilancia policial, aplicaciones militares, etc.

En general, un sistema de vigilancia y seguimiento remoto de objetos (denominado en lo sucesivo sistema de vigilancia) comprende una unidad de control en una ubicación y una unidad de detección en otra ubicación alejada de la unidad de control, y la unidad de control y la unidad de detección se comunican a través de un enlace de comunicación. La unidad de detección, que comprende un sensor de imágenes, puede utilizarse para estudiar una escena y transmitir datos de detección, que incluyen datos adquiridos por la unidad de detección o datos generados por la unidad de detección en relación con los datos adquiridos (por ejemplo, imágenes capturadas, datos de objetos que caracterizan los objetos identificados en las imágenes capturadas, etc.) a la unidad de control. En la unidad de control, las imágenes pueden mostrarse en una pantalla para que las vea un operador. Además, la unidad de detección puede estar configurada para localizar y seguir un objeto avistado. La unidad de control proporciona a la unidad de detección datos de control, incluyendo, por ejemplo, diferentes tipos de comandos, tales como comandos de bloqueo y seguimiento, comandos de zum, comandos de centrado, etc.

En algunas aplicaciones, como las de dominio del terreno, es deseable capturar grandes áreas (por ejemplo, del terreno) en poco tiempo. Una solución conocida consiste en utilizar un conjunto generador de imágenes convenientemente montado a bordo de una aeronave, que comprende una cámara (CCD o CMOS) para capturar imágenes aéreas del terreno. El conjunto generador de imágenes está configurado con un motor para hacer girar un eje sobre el que está montada la cámara, y para generar un movimiento de vaivén que desplaza el campo de visión de la al menos una cámara. Se capturan múltiples imágenes del terreno y se combinan sintéticamente en una sola imagen continua.

Aunque este enfoque puede proporcionar imágenes de un área del terreno mayor que el campo de visión (FOV) de la cámara, requiere la fabricación de un conjunto generador de imágenes designado con un mecanismo de barrido, la captura de múltiples imágenes y el uso de algoritmos de fusión para generar la imagen única completa.

El documento WO2013/168169 divulga un sistema de seguimiento de objetos mediante una unidad de detección operable para comunicarse a través de un enlace de comunicación con un centro de control que permite ejecutar una orden generada en el centro de control con respecto a un objeto seleccionado en una imagen capturada por la unidad de detección.

El documento US7623152 divulga una cámara en red de alta resolución con control automático del ancho de banda.

Descripción general

La materia divulgada en la presente memoria incluye una unidad de detección remota que comprende un conjunto generador de imágenes de alta resolución (también conocido como "sistema de formación de imágenes"). El conjunto de formación de imágenes de alta resolución comprende un sensor de alta resolución y un conjunto de lentes con un campo de visión (FOV) adecuadamente amplio y una resolución angular adecuada para capturar imágenes de gran ángulo y alta resolución. En la actualidad, estos sensores de alta resolución pueden incluir decenas de megapíxeles (por ejemplo, al menos 25 megapíxeles) y hasta gigapíxeles. La resolución de estas cámaras aumentará en el futuro a medida que avance la tecnología. Con la tecnología actual, dependiendo de la distancia de muestreo del terreno (GSD) deseada, las imágenes de alta resolución pueden cubrir áreas que van desde diez kilómetros cuadrados y hasta cientos de kilómetros cuadrados. Estas características son muy adecuadas para las aplicaciones relacionadas con el dominio del terreno, que requieren lograr la capacidad de controlar un área utilizando predominantemente tecnologías avanzadas por control remoto y medios autónomos.

El conjunto generador de imágenes de alta resolución descrito en este documento puede montarse adecuadamente en un vehículo aéreo, o en algún otro dispositivo situado en un punto elevado, y utilizarse para capturar imágenes de alta resolución del terreno, permitiendo capturar una gran área en cada fotograma.

Como se mencionó anteriormente, el conjunto generador de imágenes de alta resolución puede configurarse con un amplio FOV y capacidad de zum para permitir que un operador de la unidad de control opere el conjunto generador de imágenes a varias altitudes, y para seleccionar diferentes GSD para obtener diferentes tamaños de cobertura de área.

En algunos escenarios operativos, las limitaciones de ancho de banda del enlace de comunicación entre la unidad de detección de alta resolución y una unidad de control respectiva impiden una transmisión suficientemente rápida de las imágenes de alta resolución capturadas debido a su gran tamaño. Por ejemplo, considerar una velocidad de fotogramas de vídeo de 25 o 30 fotogramas por segundo, y las imágenes de alta resolución de docenas de megapíxeles o más. Además, en un flujo de vídeo en color, cada píxel tiene tres bytes de información de color, lo que aumenta el tamaño de los datos transmitidos.

Los sistemas de comunicación disponibles en la actualidad son capaces de transferir varios megabits de información en un segundo, una velocidad de transferencia que es insuficiente para transferir una imagen y/o un vídeo de alta resolución como los descritos anteriormente, incluso después de utilizar procedimientos de alta compresión. Además, el progreso tecnológico en el campo de los sensores ópticos de alta definición es actualmente más rápido que en el campo de la comunicación, por lo que es probable que este problema se vuelva más dominante se intensifique en el futuro.

La materia prima divulgada en la presente memoria incluye un procedimiento y un sistema configurado para permitir el uso de un conjunto generador de imágenes de alta resolución para el estudio de grandes áreas, así como para el seguimiento de objetos dentro del área estudiada, a pesar de la limitación de ancho de banda del enlace de comunicación descrito anteriormente.

De acuerdo con un aspecto de la materia divulgada en la presente memoria, se proporciona un sistema de vigilancia según la reivindicación 1.

De acuerdo con otro aspecto de la materia divulgada en la presente memoria, se proporciona un procedimiento de medición de un área de acuerdo con la reivindicación 5.

De acuerdo con otro aspecto de la materia divulgada en la presente memoria, se proporciona un dispositivo de almacenamiento de datos según la reivindicación 15.

Las realizaciones preferentes de la invención son el objeto de las reivindicaciones dependientes, cuyo contenido debe entenderse como parte integrante de la presente descripción.

Breve descripción de los dibujos

Con el fin de comprender la materia divulgada en la presente memoria y ver cómo puede llevarse a cabo en la práctica, la materia se describirá ahora, a modo de ejemplos no limitantes únicamente, con referencia a los dibujos adjuntos, en los que:

La Fig. 1 es un diagrama de bloques funcional que ilustra de forma esquemática un sistema de vigilancia, de acuerdo con un ejemplo de la materia objeto de la presente divulgación;

La Fig. 2a es un diagrama de flujo que ilustra las operaciones realizadas por un sistema de vigilancia, de acuerdo con un ejemplo de la materia objeto de la presente divulgación;

La Fig. 2b es un diagrama de flujo que ilustra las operaciones realizadas durante el proceso de validación de los datos, de acuerdo con un ejemplo de la materia objeto de la presente divulgación;

La Fig. 3 es una ilustración esquemática de una imagen capturada que demuestra algunos principios, de acuerdo con un ejemplo de la materia divulgada en la presente memoria;

Las Fig. 4a y 4b son ilustraciones esquemáticas de imágenes capturadas que demuestran algunos principios, de acuerdo con un ejemplo de la materia divulgada en la presente memoria;

La Fig. 5 es un diagrama de flujo que ilustra las operaciones realizadas por una unidad de detección, de acuerdo con un ejemplo de la materia objeto de la presente divulgación;

La Fig. 6 es un diagrama de flujo que ilustra las operaciones realizadas por una unidad de control, de acuerdo con un ejemplo de la materia divulgada;

La Fig. 7 es un diagrama de flujo que ilustra las operaciones realizadas por una unidad de detección, de acuerdo con un ejemplo de la materia objeto de la presente divulgación; y

Las Fig. 8a-8c son ilustraciones esquemáticas que ejemplifican el procedimiento de seguimiento de un objeto estacionario, de acuerdo con un ejemplo de la materia divulgada en la presente memoria.

Descripción detallada

En los dibujos y descripciones expuestos, números de referencia idénticos indican aquellos componentes que son comunes a diferentes realizaciones o configuraciones. Los elementos de los dibujos no están necesariamente dibujados a escala.

A menos que se indique específicamente lo contrario, como se desprende de las siguientes discusiones, se aprecia que a lo largo de la memoria las discusiones que utilizan términos como "generar", "transmitir", "identificar", "extraer" o similares, incluyen la acción y/o los procesos de un ordenador que manipulan y/o transforman los datos en otros datos, dichos datos representados como cantidades físicas, por ejemplo, como cantidades electrónicas, y/o dichos datos que representan los objetos físicos.

El término "ordenador" debe interpretarse de forma amplia para abarcar cualquier tipo de dispositivo electrónico con capacidad de procesamiento de datos, incluyendo, a modo de ejemplo no limitativo, un dispositivo de ordenador personal, un dispositivo servidor, un sistema informático, un dispositivo de comunicación, un procesador (por ejemplo, un procesador de señales digitales (DSP), un microcontrolador, una matriz de puertas programable en campo (FPGA), un circuito integrado de aplicación específica (ASIC), etc.), cualquier otro dispositivo informático electrónico, y o cualquier combinación de los mismos. Cada una de la unidad de detección y la unidad de control descritas en el presente documento con referencia a la Fig. 1 incluyen o están asociadas de otro modo a uno o más ordenadores.

Las operaciones de acuerdo con las enseñanzas del presente documento pueden ser realizadas por un ordenador especialmente construido para los fines deseados o por un ordenador de propósito general especialmente configurado para el propósito deseado por un programa de ordenador almacenado en un medio de almacenamiento legible por ordenador.

Tal y como se utiliza en el presente documento, la expresión "por ejemplo", "como", "por ejemplo" y sus variantes describen realizaciones no limitadas de la materia divulgada. La referencia en la memoria a "un caso", "algunos casos", "otros casos" o variantes de los mismos significa que un rasgo, estructura o característica particular descrita en relación con la(s) realización(es) está incluida en al menos una realización del objeto divulgado en la presente memoria. Por lo tanto, la aparición de las expresiones "un caso", "algunos casos", "otros casos" o variantes de los mismos no se refiere necesariamente a la(s) misma(s) realización(es).

Se aprecia que ciertas características de la materia divulgada en la presente memoria, que son, para la claridad, descritas en el contexto de realizaciones separadas, pueden también ser proporcionadas en combinación en una sola realización. A la inversa, varias características de la materia divulgada en la presente memoria, que se describen, por brevedad, en el contexto de una sola realización, también pueden proporcionarse por separado o en cualquier subcombinación adecuada. Por ejemplo, la Fig. 1 describe la unidad de procesamiento 150 configurada para ejecutar varias operaciones de procesamiento de imágenes. La presentación de una sola unidad de procesamiento se hace sólo en aras de la claridad y la simplicidad, y debe quedar claro para cualquier persona experta en la materia que también se puede utilizar una pluralidad de unidades de procesamiento separadas, cada una configurada para ejecutar diferentes tareas.

En las realizaciones de la materia divulgada en la presente memoria, se pueden ejecutar menos, más y/o diferentes etapas que las mostradas en las Figs. 2a, 2b, 5, 6 y 7. En las realizaciones de la materia divulgada, una o más etapas ilustradas en las Figs.2 y 5 a 7 pueden ser ejecutadas en un orden diferente y/o uno o más grupos de etapas pueden ser ejecutados simultáneamente. La Fig. 1 ilustra un esquema general de la arquitectura del sistema de acuerdo con una realización de la materia divulgada. Los elementos funcionales de la Fig. 1 pueden estar formados por cualquier combinación de software y hardware y/o firmware que realice las funciones definidas y explicadas en el presente documento. Los elementos funcionales de la Fig. 1 pueden estar centralizados en una ubicación o dispersos en más de una ubicación. En otras realizaciones de la materia divulgada en la presente memoria, el sistema puede comprender menos, más y/o diferentes elementos funcionales que los mostrados en la Fig. 1.

El término "criterio", tal y como se utiliza aquí, debe interpretarse de forma amplia para incluir cualquier criterio compuesto, incluyendo, por ejemplo, varios criterios y/o sus combinaciones lógicas.

Los términos "transmitido sucesivamente", "transmisión sucesiva" "sucesión de datos" o cualquier variación de los mismos debe interpretarse de forma amplia para incluir la transmisión de datos a través de un enlace de comunicación en el que una secuencia de datos (por ejemplo, imágenes capturadas) que se obtiene en un lugar se transmite a otro lugar, de forma que el orden en que se generaron los datos en un extremo puede reconstruirse en el otro.

El término "imágenes" debe interpretarse de forma amplia para cubrir cualquier tipo de imágenes fijas o imágenes combinadas en un flujo de vídeo. Estas imágenes pueden proceder de un sensor electro-óptico que puede proporcionar, por ejemplo, imágenes ópticas en color, imágenes ópticas en blanco y negro, así como imágenes generadas por cualquier otro tipo de sistema generador de imágenes.

Se llama ahora la atención sobre la Fig. 1, que muestra un diagrama de bloques funcional que ilustra esquemáticamente un sistema de vigilancia, de acuerdo con un ejemplo de la materia objeto de la presente divulgación. La Fig. 1 muestra el sistema de vigilancia 100 que comprende la unidad de detección 110 y la unidad de control 120 que se comunican a través del enlace de comunicación 160. La unidad de detección 110 y la unidad de control 120 pueden estar situadas a distancia una de otra. Por ejemplo, la unidad de control 120 puede estar situada en el suelo mientras que la unidad de detección 110 está situada a bordo de un vehículo o dispositivo aéreo como un vehículo aéreo tripulado o no tripulado (UAV), en un satélite, etc. En otros ejemplos, la unidad de detección 110 puede estar situada en un lugar remoto, como un vehículo terrestre tripulado o no tripulado, un buque tripulado o no tripulado, un poste alto, etc. La comunicación entre la unidad de detección 110 y la unidad de control 120 puede facilitarse, por ejemplo, con la ayuda del módulo de comunicación 111 en la unidad de detección 110, y el módulo de comunicación 121 en la unidad de control 120. La comunicación entre la unidad de detección 110 y la unidad de control 120 puede realizarse mediante cualquier infraestructura y protocolo de comunicación adecuados conocidos en la técnica.

De acuerdo con la enseñanza revelada aquí, la unidad de detección 110 comprende además el conjunto generador de imágenes 113, la unidad de procesamiento de imágenes 150 y el depósito de datos 130. El conjunto generador de imágenes 113 comprende un sensor de alta resolución y un conjunto de lentes con un FOV adecuadamente amplio y una resolución angular adecuada para capturar imágenes de gran ángulo y alta resolución de una escena estudiada.

La unidad de procesamiento de imágenes 150 está configurada para ejecutar varias operaciones de procesamiento de imágenes, incluyendo, por ejemplo, la detección y etiquetado de objetos (por ejemplo, con la ayuda del módulo de procesamiento de objetos 131), la degradación de imágenes (por ejemplo, con la ayuda del módulo de degradación de imágenes 133) y la segmentación de imágenes (por ejemplo, con la ayuda del módulo de segmentación de imágenes 135). A continuación se describe con más detalle las operaciones de procesamiento de imágenes. La unidad de procesamiento de imágenes está configurada como parte de, o conectada operativamente a, al menos un ordenador (que comprende uno o más procesadores informáticos 140 y una memoria informática) configurado para ejecutar las operaciones pertinentes.

La unidad de control 120 comprende la unidad de visualización 123, que incluye uno o más dispositivos de visualización (por ejemplo, pantallas LED) para mostrar los datos de detección recibidos; dispositivo(s) de entrada 127, incluyendo, por ejemplo, un joystick, un ratón, un panel táctil, una pantalla táctil o cualquier otro dispositivo que permita la interacción del operador con la unidad de control 120; y el módulo de procesamiento de objetos 125, configurado para permitir la identificación y el seguimiento de los objetos de interés en la escena.

La Fig. 2a es un diagrama de flujo que ilustra las operaciones realizadas por un sistema de vigilancia 100, de acuerdo con un ejemplo de la materia divulgada en la presente memoria. Las operaciones descritas con referencia a la Fig. 2a, así como a las Fig. 2b, 5, 6 y 7 siguientes, pueden ejecutarse, por ejemplo, con la ayuda de un sistema de vigilancia configurado según los principios del sistema 100 descritos anteriormente con referencia a la Fig. 1. No obstante, cabe señalar que cualquier descripción de las operaciones que se realice con referencia a los elementos de la Fig. 1 se hace a modo de ejemplo y con el único propósito de ilustrar y no debe interpretarse como limitante en modo alguno.

Un conjunto generador de imágenes adquiere imágenes de alta resolución de una escena estudiada (bloque 201).

Las imágenes de alta resolución generadas son procesadas por la unidad de procesamiento de imágenes 150.

Según un ejemplo, la unidad de procesamiento de imágenes 150 está configurada para ejecutar un proceso de identificación de objetos (bloque 203). Durante el proceso de identificación de objetos, los objetos de interés se identifican en la imagen de alta resolución de la escena estudiada. Los objetos de interés identificados se etiquetan, cada objeto de interés con una etiqueta de objeto respectiva que permite su identificación.

Los objetos etiquetados se rastrean desde una imagen anterior hasta una imagen posterior a lo largo de una sucesión de imágenes capturadas, manteniendo así cada etiqueta de objeto asociada a su respectivo objeto etiquetado a lo largo de la sucesión de imágenes y permitiendo rastrear los objetos etiquetados de una imagen a la siguiente a lo largo de la sucesión de imágenes. A continuación se describe con más detalle el proceso de identificación de objetos con referencia a la Fig. 5.

Se observa que el término "objeto", tal como se utiliza aquí, debe interpretarse ampliamente para incluir cualquier tipo de objeto identificable en una imagen de una escena o parte de ella, incluyendo un tipo específico de objeto en una imagen de una escena (por ejemplo, un coche, un edificio, un avión, etc.), así como un grupo discernible de uno o más píxeles (por ejemplo, un grupo de píxeles en movimiento o un grupo de píxeles caracterizados por una temperatura o un color discernibles con respecto a la escena circundante) o un área seleccionada en una imagen de la escena estudiada. En la siguiente descripción, el término "elemento" también se utiliza ocasionalmente para referirse colectivamente a objetos o áreas. Un objeto-etiqueta puede ser cualquier número, nombre, carácter, insignia, icono, etc., que puede asignarse a un objeto y utilizarse para identificarlo.

En la siguiente discusión, un objeto asignado con una etiqueta se denomina "objeto etiquetado". La imagen, las etiquetas de los objetos etiquetados y posiblemente los datos adicionales de los objetos pueden almacenarse en el depósito de datos 130 (que comprende, por ejemplo, algún tipo de memoria informática no transitoria). El término "datos-objeto" incluye varias características de los objetos, incluyendo por ejemplo, coordenadas con respecto a la imagen adquirida y/o coordenadas con respecto a la posición global del objeto, velocidad del objeto, tamaño del objeto, temperatura del objeto, color del objeto, forma del objeto, datos de correlación y cualquier información que pueda ayudar a la identificación de un objeto dentro de una imagen dada.

En el bloque 205 se ejecuta un proceso de degradación de la imagen. Para ello, la unidad de procesamiento de imágenes 150 puede estar configurada además para procesar una imagen de alta resolución capturada originalmente y generar una imagen degradada respectiva. La degradación se adapta en función del ancho de banda disponible del enlace de comunicación para permitir la transmisión de las imágenes capturadas a la unidad de control a través del enlace de comunicación a una velocidad suficiente. La imagen original de alta resolución puede degradarse mediante la aplicación de uno o varios procedimientos de degradación disponibles. Por ejemplo, el proceso de degradación puede adaptarse para garantizar que los datos de detección puedan llegar a la unidad de control a una velocidad aceptable para la visualización del flujo de vídeo (por ejemplo, 25-30 FPS).

Por ejemplo, el proceso de degradación puede incluir la generación de una imagen degradada que se caracteriza por una resolución degradada en comparación con la imagen de alta resolución capturada originalmente. La degradación se adapta para reducir la resolución de la imagen, y por lo tanto el tamaño de la imagen, para permitir la transmisión de las imágenes capturadas a la unidad de control a través del enlace de comunicación a una velocidad suficiente.

Alternativa o adicionalmente, el proceso de degradación puede incluir la degradación de la tasa de transmisión de los fotogramas. Según este enfoque, la imagen de alta resolución puede ser transmitida como una imagen fija a una tasa de transmisión más baja (por ejemplo, un cuadro cada segundo o incluso más lento, en lugar de 25 o 30 fotogramas por segundo).

Además, alternativa o adicionalmente, el proceso de degradación puede incluir la degradación de la información de color de la imagen original de alta resolución. Según este enfoque, la imagen degradada comprende menos colores (por ejemplo, sólo blanco y negro) que los que se encuentran en la imagen original de alta resolución.

En particular, los procedimientos de degradación descritos en el presente documento se presentan como ejemplos no limitantes y se contemplan técnicas de degradación adicionales dentro del ámbito de la materia divulgada en la presente memoria.

En el bloque 207 los datos de detección se transmiten a la unidad de control 120 a través de un enlace de comunicación. Según un ejemplo, los datos de detección que se transmiten a la unidad de control 120 incluyen la imagen degradada, una o más etiquetas de objeto asignadas a objetos de interés identificados en la imagen capturada, y posiblemente también datos de objeto adicionales con respecto a los objetos etiquetados. Los datosobjeto adicionales pueden incluir, por ejemplo, datos de correlación que permitan asociar un objeto-etiqueta con un objeto respectivo en una imagen de la sucesión de imágenes (por ejemplo, un ID de imagen que identifique cada imagen capturada y/o sus respectivas coordenadas en la imagen y su tamaño). En particular, los objetos-etiqueta pueden enviarse en paralelo a la imagen degradada, donde los objetos-etiqueta se asocian con los respectivos objetos-etiquetados en la unidad de control.

Con el fin de proporcionar un video continuo de la escena estudiada, las imágenes pueden ser continuamente capturadas y procesadas en la unidad de detección y los datos de detección generados pueden ser continuamente transmitidos a la unidad de control.

En el bloque 209 los datos de detección se reciben en la unidad de control 120 y pueden mostrarse en uno o más dispositivos de visualización en la unidad de visualización 123. Los datos de detección también pueden almacenarse en el depósito de datos 160.

En particular, la imagen que se muestra en la pantalla de la unidad de control se caracteriza por una resolución degradada y, por lo tanto, no proporciona necesariamente una imagen altamente detallada y clara de la escena inspeccionada. Sin embargo, de acuerdo con un ejemplo, la degradación de la imagen puede ser ejecutada mientras se mantiene una resolución de imagen suficiente para permitir a un operador identificar la existencia de objetos dentro de la imagen así como identificar los tipos de objetos que aparecen en la imagen.

Además, según otro ejemplo, las etiquetas de objeto también pueden mostrarse sobre la imagen degradada para indicar la ubicación de cada objeto respectivo en la imagen recibida. Así, los objetos de interés que aparecen en la imagen visualizada pueden ser reconocidos en base a sus etiquetas de objeto asociadas, a pesar de la resolución reducida de la imagen. Suponiendo, por ejemplo, que un convoy de vehículos se desplaza a lo largo de una carretera, al menos una parte de los vehículos del convoy pueden ser identificados por sus respectivas etiquetasobjeto que identifican a todo el convoy como un grupo de etiquetas-objeto que avanza por la carretera.

La Fig. 3 es un ejemplo esquemático de una imagen capturada que demuestra una imagen degradada con un convoy de 3 vehículos viajando por una carretera. Las etiquetas de objeto ayudan a la identificación y seguimiento de los vehículos en el flujo de vídeo visualizado. Cabe señalar que la Fig. 3 es un ejemplo meramente ilustrativo y que la imagen real puede ser diferente, por ejemplo, la resolución de la imagen puede estar menos degradada o más degradada de lo que aparece en la ilustración. Como se ha mencionado anteriormente, la tasa de degradación depende, entre otras cosas, de la tasa de transmisión deseada y del ancho de banda disponible del enlace de comunicación entre las unidades 110 y 120.

Los datos de control pueden generarse en la unidad de control 120 (bloque 211). Según un ejemplo, un operador de la unidad de control puede seleccionar uno o más objetos (en adelante "objeto seleccionado") en una imagen visualizada en la unidad de control 120. Alternativa o adicionalmente, un operador puede indicar o seleccionar un área de interés dentro de la imagen visualizada.

Opcionalmente, la unidad de visualización 123 puede configurarse para ayudar al operador a ver y seleccionar elementos en una imagen visualizada. Por ejemplo, la unidad de visualización 123 puede estar configurada con un “scroller” designado para permitir el movimiento automático entre los diferentes elementos de la imagen visualizada. Mediante el movimiento automático del “scroller”, el foco se cambia de un elemento al siguiente. Una vez que un elemento está enfocado, el operador puede seleccionar fácilmente ese elemento, por ejemplo, pulsando un botón designado o haciendo clic con el ratón.

El “scroller” puede implementarse como un dispositivo de movimiento automático físico, como un mando o rueda giratoria (por ejemplo, una rueda designada o una rueda de ratón), en el que el giro del mando o la rueda hacen que el foco se desplace de un elemento a otro de la imagen. Alternativa o adicionalmente, el “scroller” puede ser implementado como un “scroller” virtual implementado por software y mostrado en la pantalla junto a las imágenes mostradas. Por ejemplo, una barra de “scroller” que se puede mover con la ayuda de las teclas de flecha de un teclado o del cursor del ratón. Al mover la barra de "scroller”, el foco de atención se desplaza de un elemento a otro de la imagen.

El “scroller” también puede incluir un software apropiado configurado para responder a la interacción con el “scroller” y generar una indicación que muestre qué elemento está actualmente enfocado y/o qué elementos han sido seleccionados. Por ejemplo, un elemento enfocado puede ser coloreado en un determinado color o ser marcado por un cuadrado o círculo que rodea el elemento. A medida que el operador se desplaza de un elemento al siguiente, la indicación (por ejemplo, el color específico) se desplaza de un elemento al siguiente para indicar qué elemento está actualmente en foco.

En respuesta a la selección del operador, la unidad de control 120 genera datos de control. Según un ejemplo, los datos de control incluyen un objeto(s) seleccionado(s) o un área seleccionada. Según otro ejemplo, los datos de control también pueden incluir algún tipo de comando emitido con respecto al objeto o área seleccionados.

Se pueden generar diferentes tipos de comandos con respecto a un objeto, incluyendo, por ejemplo, un comando para bloquear y seguir un objeto seleccionado (por ejemplo, un objeto en movimiento), un comando para ampliar un objeto seleccionado, un comando para marcar un objeto seleccionado, un comando para obtener datos con respecto a un determinado parámetro (por ejemplo, la velocidad) de un objeto seleccionado, etc. Un objeto puede ser seleccionado de cualquier manera conocida en la técnica, por ejemplo, señalando o marcando de otra manera un objeto de interés con la ayuda de un dispositivo de entrada 127.

También se pueden generar otros tipos de comandos que no están necesariamente asociados a un objeto. Por ejemplo, un comando de zum virtual que instruye a la unidad de detección para transferir un área seleccionada en la imagen capturada con la máxima calidad, es decir, sin degradación en el flujo de vídeo. Un comando de zum puede incluir instrucciones de señalización, indicando el área de interés deseada y una instrucción de comando de zum para, por ejemplo, evitar la degradación del área indicada en la imagen.

Una descripción más detallada de un proceso de generación de comandos de acuerdo con un ejemplo de la materia divulgada en la presente memoria se describe a continuación con referencia a la Fig. 6. Los datos de control generados se transmiten a la unidad de detección 110 (bloque 213).

Los datos de control son recibidos por la unidad de detección 110 (bloque 215) y los objetos o áreas seleccionados son identificados por la unidad de detección 110 en una imagen de alta resolución capturada más recientemente (bloque 217). En algunos ejemplos, los objetos seleccionados se identifican en la imagen de alta resolución capturada más recientemente que está disponible para su procesamiento en el momento en que se reciben los datos de control. Los procedimientos de identificación de los elementos seleccionados (por ejemplo, objeto(s) o área(s)) se discuten a continuación.

Opcionalmente, se puede ejecutar un proceso de validación de datos 250 (proceso 250). Como la selección del operador se realiza mientras se visualiza una imagen con resolución degradada, es deseable validar la selección para evitar errores de selección (por ejemplo, seleccionar el objeto equivocado). Además, el operador puede desear examinar rápidamente diferentes elementos de la escena con mayor detenimiento. Por ello, el proceso de validación ofrece al operador la posibilidad de modificar la selección antes de ejecutar los comandos.

La Fig. 2b es un diagrama de flujo que ilustra las operaciones realizadas por un sistema de vigilancia durante un proceso de validación de datos, de acuerdo con los ejemplos de la materia divulgada en la presente memoria. Durante el proceso de validación, la imagen de alta resolución se recorta para obtener un segmento de imagen de alta resolución que comprende el objeto o área seleccionados (bloque 251). El segmento de imagen de alta resolución se transmite entonces a la unidad de control 120 (bloque 253), donde se recibe y se muestra (bloque 255). En particular, el tamaño de la imagen-segmento se selecciona para ajustarse a la velocidad de transmisión deseada y depende del ancho de banda disponible en el enlace de comunicación entre las unidades 110 y 120.

Como se mencionó anteriormente, con el fin de proporcionar una alimentación de vídeo continua de la escena estudiada, los segmentos de imagen se generan continuamente y se transmiten a la unidad de control.

El operador puede entonces ver el objeto(s) seleccionado o el área seleccionada en el segmento de imagen de alta resolución y examinar la información mostrada más de cerca. Debido a la calidad de la alta resolución del segmento de imagen, puede mostrarse en un dispositivo de visualización convenientemente grande para ver cómodamente la información mostrada. A continuación, se determina si la información mostrada cumple con la aprobación del operador o no (bloque 257).

Si la información mostrada no satisface la aprobación del operador, el proceso puede ser reiniciado. En respuesta, se puede permitir al operador volver a seleccionar un objeto(s) o área diferente (volver al bloque 211). Opcionalmente, en respuesta a una operación de reinicio, se puede enviar un comando adecuado a la unidad de detección para detener la generación y transmisión de segmentos de imagen del elemento previamente seleccionado.

Sin embargo, si el operador determina que la información mostrada en el segmento de imagen cumple con su aprobación, el segmento de imagen puede ser validado (por ejemplo, por una operación designada del operador). Después de la validación, se puede ejecutar un comando respectivo con respecto a los objetos o áreas seleccionadas (bloque 223 en la Fig. 2).

En el caso de que una orden haya sido emitida anteriormente (por ejemplo, durante la generación de los datos de control en el bloque 211), las respectivas instrucciones de comando pueden ser enviadas a la unidad de detección y/o (si las instrucciones ya han sido enviadas) ejecutadas en la unidad de detección. De lo contrario, se puede emitir una orden después de la validación del segmento de imagen visualizado y, a continuación, las respectivas instrucciones de comando pueden enviarse a la unidad de detección y ejecutarse. Según un ejemplo, el operador puede validar los segmentos de imagen visualizados emitiendo un comando respectivo o enviando instrucciones a la unidad de detección para ejecutar un comando previamente emitido.

Durante la ejecución de la orden (bloque 225), la unidad de detección 110 está configurada para ejecutar las instrucciones de la orden con respecto a los elementos seleccionados, por ejemplo, los objetos o áreas seleccionados (bloque 231). La unidad de detección 110 está configurada además para recortar una sucesión de imágenes de alta resolución a medida que se capturan y generar segmentos de imagen que comprenden los elementos seleccionados (bloque 233). Los segmentos de imagen se transmiten sucesivamente a la unidad de control (bloque 235), donde se muestran para que los vea el operador (bloque 227).

Considere, por ejemplo, un comando de bloqueo y seguimiento que ordena a la unidad de detección 110 que se fije en un determinado vehículo en movimiento y lo siga mientras se desplaza. Opcionalmente, si es necesario, el sensor de imagen se dirige a apuntar en la dirección del objeto seleccionado (por ejemplo, ejecutando un comando de centrado). La imagen de alta resolución se recorta para obtener un segmento de imagen de alta resolución que comprenda el vehículo seleccionado y posiblemente parte del área que lo rodea. La imagen-segmento se transmite entonces a la unidad de control, donde se muestra en un dispositivo de visualización. A medida que la unidad de detección continúa rastreando el vehículo seleccionado, sigue generando y transmitiendo a la unidad de control 120 segmentos de imágenes que comprenden el vehículo (o los vehículos) seleccionado.

Como se demuestra esquemáticamente en Fig. 4a y 4b, según un ejemplo, la imagen original de alta resolución puede ser segmentada en una pluralidad de segmentos. A medida que el vehículo viaja, puede atravesar diferentes áreas en la imagen de alta resolución originalmente capturada. La unidad de detección 110 puede configurarse para rastrear continuamente el vehículo en movimiento y enviar a la unidad de control diferentes segmentos de imagen dependiendo de la ubicación actual del vehículo en la imagen de alta resolución originalmente capturada. Este procedimiento permite a la unidad de detección utilizar un conjunto generador de imágenes de alta resolución para el seguimiento de un objeto en movimiento, reduciendo (y a veces evitando completamente) la necesidad de mover el conjunto generador de imágenes durante el seguimiento.

Si un objeto(s) o área de interés se mueve (o está a punto de moverse) fuera del marco, la unidad de detección está configurada para reposicionar el sensor con el fin de no perder de vista el objeto(s) o área seleccionada.

Asimismo, en el caso de una orden de zum, que ordena a la unidad de detección 110 que haga un zum sobre un objeto(s) seleccionado(s) (por ejemplo, un objeto estacionario) o un área seleccionada, opcionalmente, si es necesario, el sensor de imagen se dirige para apuntar en la dirección del objeto seleccionado (por ejemplo, para centrar el objeto o área seleccionada) y un efecto de zum deseado (ya sea virtual (es decir, evitando la degradación) o real (utilizando la lente de zum) es proporcionado por el sensor de imagen. Como en el caso anterior, la imagen de alta resolución se recorta para obtener un segmento de imagen de alta resolución que comprenda el objeto (o área) seleccionado y posiblemente parte del área que lo rodea. La imagen-segmento se transmite entonces a la unidad de control, donde se muestra en un dispositivo de visualización. La unidad de detección puede seguir generando y transmitiendo a la unidad de control 120 segmentos de imagen que comprenden el elemento ampliado.

En el bloque 229, el operador puede reiniciar el comando emitido (volver al bloque 211) y seleccionar un objeto(s) diferente(s) o un área diferente.

Según otro ejemplo, los segmentos de imagen degradados y los segmentos de imagen de alta resolución se fusionan y se muestran como una sola imagen. En la imagen fusionada, el segmento de imagen se muestra en alta resolución mientras que el área que rodea al segmento de imagen se muestra en resolución degradada. Si la posición de un objeto de interés (o área de interés) cambia con respecto a toda el área que se está capturando, el área del segmento de imagen que se muestra en formato de alta resolución cambia según el movimiento del objeto.

Como se ha mencionado anteriormente, otra solución opcional al problema del límite del ancho de banda de transmisión cuando se utiliza un conjunto generador de imágenes de alta resolución es reducir la velocidad de fotogramas en la que se transmiten las imágenes. De acuerdo con este enfoque, las imágenes que se transmiten no se degradan necesariamente, sino que la velocidad de fotogramas de la transmisión de imágenes a través del enlace de comunicación entre la unidad de detección y la unidad de control se adapta al ancho de banda disponible. Las imágenes de alta resolución (y los objetos-etiquetas) que se reciben en la unidad de control se muestran en un dispositivo de visualización 123. Se puede utilizar un dispositivo de visualización adecuado para mostrar imágenes de alta resolución que tenga una resolución de píxeles adecuada y unas dimensiones apropiadas. La frecuencia de actualización de la imagen de alta resolución visualizada está en correlación con la frecuencia de imagen reducida y, en consecuencia, puede no proporcionar un efecto de transmisión de vídeo completo.

Según otro ejemplo, se puede transmitir y mostrar en la unidad de visualización 123 tanto una transmisión de vídeo de alta velocidad de imágenes degradadas como una velocidad reducida de imágenes de alta resolución. En tales casos, la degradación de la imagen y la tasa de imágenes reducida se adaptan para permitir la transmisión de ambos tipos de imágenes a través del enlace de comunicación. La unidad de visualización 123 puede incluir al menos un dispositivo de visualización adecuado para mostrar el flujo de vídeo degradado y al menos un dispositivo de visualización adecuado para mostrar las imágenes de alta resolución que se transmiten a una velocidad reducida. Las etiquetas de objetos pueden mostrarse en ambos tipos de imágenes y ayudar a asociar los objetos que se ven en los dos tipos de imágenes.

Un problema relacionado con el control de un sensor de imágenes a través de un enlace de comunicación remoto tiene que ver con el retraso que existe entre el momento en que la unidad de detección adquiere una imagen de un objeto y el momento en que la imagen se muestra en la pantalla situada en la unidad de control, y el momento en que se reciben las instrucciones correspondientes en la unidad de detección. Los factores que pueden contribuir al retraso incluyen, por ejemplo, el procesamiento de la señal, la compresión/descompresión de la imagen, la duración de la comunicación y/o las limitaciones del ancho de banda del enlace de comunicación. El tiempo de retraso acumulado puede ser desde fracciones de segundo hasta varios segundos.

Debido a este retardo, la ubicación del objeto que aparece en la pantalla de la unidad de control no suele ser la ubicación actual del objeto. La ubicación mostrada en la pantalla es la ubicación del objeto antes de la transferencia de los datos de detección de la unidad de detección a la unidad de control (por ejemplo, hace x segundos). Además, en el momento en que la unidad de detección recibe los datos de control de la unidad de control y genera la instrucción para el sensor de imagen, se produce un retraso adicional (por ejemplo, y segundos adicionales). En consecuencia, cuando el sensor de imagen recibe la instrucción de localizar el objeto, éste puede no estar ya en la misma ubicación que tenía cuando se tomó la imagen hace x y segundos.

Evidentemente, este retraso en el tiempo complica los esfuerzos para fijar el objeto. El operador tiene que estimar con precisión la ubicación esperada del objeto en un momento en el futuro cuando las instrucciones lleguen a la unidad de detección. Sólo entonces se dirige la unidad de detección a la ubicación estimada calculada, y se puede iniciar una operación de bloqueo y seguimiento.

Si la ubicación estimada no es lo suficientemente precisa, la unidad de detección se bloqueará en algún otro objeto de fondo y todo el proceso de estimación, cálculo y bloqueo tendrá que repetirse. De este modo, el efecto es un bucle de control de retroalimentación continua con retardo, una situación que es susceptible de sufrir sobregiros e inestabilidad.

Hay varios procedimientos conocidos en el arte que están dirigidos a superar el problema de retraso de tiempo antes mencionado. Una solución a este problema se divulga en la patente estadounidense número 7184574. Otra solución se divulga en la solicitud PCT, número de publicación WO2014/111923 presentada por el Solicitante de la presente solicitud. En la siguiente discusión, la solución proporcionada en WO2014/111923 se describe en el contexto de la materia divulgada en la presente memoria. Sin embargo, se observa que el sistema de vigilancia divulgado en el presente documento puede operar de acuerdo con los principios de cualquiera de las técnicas dirigidas a resolver el problema de retardo de tiempo y no está vinculado a una técnica específica.

La Fig. 5 es un diagrama de flujo que ilustra las operaciones realizadas por una unidad de detección, de acuerdo con un ejemplo de la materia divulgada en la presente memoria. Como se ha descrito anteriormente con referencia a los bloques 201-203 de la Fig. 2, se capturan imágenes de alta resolución de una escena mediante un conjunto generador de imágenes y se someten a un proceso de identificación de objetos para identificar un objeto de interés.

Los objetos de interés pueden ser definidos de acuerdo con diferentes parámetros del objeto. Según un ejemplo, los objetos de interés incluyen únicamente objetos en movimiento. Según este ejemplo, durante el proceso de identificación de objetos, se identifican los objetos en movimiento que aparecen en las imágenes capturadas. Se asigna una etiqueta de objeto a cada uno de los objetos identificados. El objeto-etiqueta identifica de forma única cada objeto en movimiento asignado.

El módulo de procesamiento de objetos 151 en la unidad de detección 110 puede ser configurado para ejecutar el proceso de identificación que incluye el etiquetado de objetos en movimiento. Los procedimientos de identificación de imágenes en movimiento en un flujo de imágenes son bien conocidos en la técnica. Por ejemplo, los objetos en movimiento pueden ser identificados con la ayuda de un algoritmo de Detección de Movimiento de Vídeo (VMD). Para ello, el módulo de procesamiento de objetos 151 puede comprender o estar conectado operativamente a un módulo VMD configurado para implementar un algoritmo VMD e identificar objetos en movimiento en la sucesión de imágenes.

Opcionalmente, a cada objeto en movimiento que se identifica en las imágenes adquiridas se le asigna una etiqueta de objeto respectiva. Alternativamente, no todos los objetos en movimiento en una escena son etiquetados por el módulo de procesamiento de objetos 151. En su lugar, se pueden seleccionar objetos específicos de interés basándose en diferentes parámetros. Por ejemplo, se pueden seleccionar objetos específicos con la ayuda de un programa informático configurado para seleccionar objetos en una escena que coincidan con algún criterio. Para ello, la unidad de detección 110 puede estar equipada opcionalmente con una unidad de reconocimiento automático de objetos (AOR) 115.

De acuerdo con la materia divulgada en la presente memoria, la unidad AOR 115 está configurada para seleccionar objetos en una escena, para ser etiquetados con las respectivas etiquetas de objeto, basándose en las características de los objetos. La unidad AOR 115 puede ser pre-programada con características predefinidas y criterios respectivos para la selección de los objetos buscados. Tales características y criterios pueden incluir, por ejemplo, el tamaño de un objeto, la velocidad de un objeto, la temperatura que emana de un objeto, etc. Los objetos también pueden ser seleccionados, basándose en su dispersión a través de la imagen, por ejemplo, sólo un único objeto es etiquetado de entre una pluralidad de objetos identificados dentro de una imagen adquirida, en caso de que los objetos estén reunidos de tal manera que la distancia entre la pluralidad de objetos sea menor que una distancia predefinida. En el caso de que los objetos de interés incluyan sólo objetos en movimiento, el cribado puede ser implementado en los objetos en movimiento identificados de acuerdo con las características predefinidas. En el caso de que los objetos de interés incluyan también objetos estacionarios, el cribado puede aplicarse a todos los objetos identificados en la escena.

La unidad AOR 115 puede estar configurada para obtener información indicativa de objetos en movimiento en la sucesión de imágenes capturadas (por ejemplo, desde el módulo VMD), analizar la información recibida y determinar las características de los objetos en movimiento en las imágenes. La unidad AOR 115 puede entonces determinar si estas características cumplen algún tipo de criterio predefinido y generar una indicación en consecuencia. La unidad AOR 115 puede estar configurada para transmitir al módulo de etiquetado de objetos 115 información que indique cuáles de los objetos en movimiento cumplen con las características y el criterio predefinidos de los objetos buscados. A su vez, el módulo de etiquetado de objetos 115 puede estar configurado para etiquetar el objeto (u objetos) en movimiento indicado por la unidad AOR 115.

Las etiquetas de objeto asignadas a los objetos en movimiento en la imagen adquirida y opcionalmente también los datos de los objetos, pueden ser almacenados en un depósito de datos designado (bloque 505). Por ejemplo, los datos pueden almacenarse en una estructura de datos que incluye coordenadas x, y que indican la posición de un objeto en movimiento dentro de una imagen adquirida i y un objeto-etiqueta asignado a ese objeto. Opcionalmente, la imagen adquirida puede ser almacenada también, sin embargo esto no es siempre necesario y en algunos casos las imágenes previamente capturadas son descartadas una vez que una nueva imagen es capturada.

La posición de un objeto en movimiento en una imagen anterior es probable que cambie en imágenes posteriores debido al movimiento del objeto y/o al movimiento de la unidad de detección y/o al movimiento del sensor de imagen. Para ello, el módulo de procesamiento de objetos 151 puede estar configurado para recibir las imágenes capturadas por el conjunto generador de imágenes 113 y rastrear los objetos etiquetados desde una imagen anterior hasta una imagen posterior a lo largo de la sucesión de imágenes capturadas (bloque 507), manteniendo así cada etiqueta de objeto asociada a su respectivo objeto etiquetado a lo largo de la sucesión de imágenes y permitiendo rastrear los objetos etiquetados de una imagen a la siguiente a lo largo de la sucesión de imágenes.

Por ejemplo, la unidad de procesión de objetos 151 puede ser configurada para rastrear cada objeto etiquetado desde una imagen anterior a una imagen posterior en la sucesión de imágenes capturadas por el sensor de imagen, y determinar la posición (por ejemplo, coordenadas x e y) del objeto en movimiento en la imagen posterior.

Los procedimientos para rastrear objetos desde una imagen anterior a una imagen posterior a lo largo de una sucesión de imágenes son bien conocidos en la técnica e incluyen, por ejemplo, el algoritmo VMD, que permite rastrear objetos en movimiento a medida que se detectan desde una imagen a una imagen secuencial. Otros procedimientos se basan en la identificación del centro de gravedad, la detección de bordes, la correlación, etc.

Cabe señalar que, tal y como se utiliza en el presente documento, el término "posterior" incluye una imagen capturada en un momento posterior a una imagen capturada en un momento anterior (es decir, una imagen anterior). El término "imagen posterior" incluye, pero no se limita a, una imagen consecutiva.

En el bloque 509 se determina si la posición de un objeto etiquetado en la imagen posterior es diferente de la posición del objeto en la imagen anterior, y en caso de que lo sea, la información que indica la posición del objeto se actualiza y la posición actualizada del objeto se asocia con la respectiva etiqueta de objeto (por ejemplo, en el depósito de datos 130). Durante el funcionamiento del conjunto generador de imágenes 113, los nuevos objetos en movimiento que entran en el campo de visión del sensor de imágenes se identifican y se les asignan las respectivas etiquetas de objeto.

Como se ha explicado anteriormente, según un ejemplo, la imagen de alta resolución capturada originalmente se somete a un proceso de degradación para obtener una imagen degradada caracterizada por una resolución reducida (bloque 205).

Los datos de detección, incluyendo la imagen degradada y las etiquetas de objeto asignadas a los objetos en movimiento en la imagen degradada, se transmiten sucesivamente (por ejemplo, según el orden en que se capturan) a la unidad de control (bloque 207).

Como se ha mencionado anteriormente, los datos de detección pueden incluir opcionalmente datos del objeto con respecto a los objetos etiquetados, incluyendo, por ejemplo, coordenadas que indican la ubicación de cada objeto etiquetado dentro de la imagen adquirida, y posiblemente otras características de los objetos etiquetados (por ejemplo, forma, tamaño, temperatura, velocidad, color, etc.).

La descripción pasa ahora a la Fig. 6, que es un diagrama de flujo que ilustra las operaciones realizadas en la unidad de control, de acuerdo con un ejemplo de la materia divulgada en la presente memoria. Los datos de detección generados en la unidad de detección 110 se reciben en la unidad de control (bloque 601). Las imágenes degradadas se muestran en la unidad de control. Si se identifican y etiquetan uno o más objetos en movimiento, las etiquetas de los objetos se muestran sobre las imágenes en el lugar apropiado, indicando la ubicación de los respectivos objetos en la imagen mostrada.

Las etiquetas de objeto pueden ser asociadas con los respectivos objetos en la sucesión de imágenes basados en la localización de los objetos en una imagen respectiva. Así, por ejemplo, los datos de detección pueden incluir, para cada imagen capturada de alta resolución en una sucesión de imágenes, una imagen degradada, uno o más objetos-etiquetas de los respectivos objetos en movimiento en la imagen, y datos indicativos de la ubicación de los objetos-etiquetados en la imagen.

En respuesta a la selección de uno o más elementos (objeto(s) o área(s)) en la unidad de control, se ejecuta un proceso de identificación de objetos (bloque 211). Durante el proceso de identificación de objetos se determina si el elemento seleccionado está en movimiento o es estacionario (bloque 603). Según un ejemplo, en el que sólo se etiquetan objetos en movimiento por la unidad de detección, esto puede llevarse a cabo basándose en si el elemento seleccionado está asignado con una etiqueta de objeto respectiva o no. Si lo está, se identifica como un objeto en movimiento y si no, se identifica como un objeto estacionario. Opcionalmente, la unidad de detección puede estar configurada para asignar una etiqueta universal, que indica que un determinado objeto está en movimiento, a todos los objetos móviles identificados. En estos casos, se puede determinar (por ejemplo, con la ayuda del módulo de procesamiento de objetos 125) si un elemento seleccionado está en movimiento o es estacionario basándose en esta etiqueta universal. Alternativa o adicionalmente, la unidad de control 120 puede comprender un módulo VMD para identificar objetos en movimiento.

Una vez que se determina si el elemento seleccionado está en movimiento o es estacionario, se adopta un enfoque diferente para tratar cada tipo de objeto. En el bloque 605, en caso de que se determine que el elemento seleccionado es un objeto estacionario, se incorpora a los datos de control toda la imagen en la que se ha seleccionado el elemento. Alternativamente, para reducir el tamaño de los datos de control, en lugar de utilizar toda la imagen, se copia un trozo de la imagen que rodea al objeto seleccionado y se incorpora a los datos de control. Los datos de control pueden incluir, además del trozo de imagen copiado o de la imagen completa, datos indicativos de la ubicación (por ejemplo, en coordenadas x, y) del elemento seleccionado en la imagen. En el caso de que se utilice un trozo de la imagen, pueden utilizarse coordenadas que indiquen la ubicación del objeto seleccionado con respecto a los límites del trozo de la imagen copiado.

Se generan los datos de control apropiados, incluyendo la imagen completa o la parte de la imagen actual (bloque 607). Por ejemplo, en caso de que un operador seleccione un objeto visualizado en la imagen degradada, se pueden generar datos de control apropiados en la unidad de control, donde los datos de control incluyen un trozo de imagen extraído de la imagen degradada actualmente visualizada e información indicativa de la ubicación del objeto seleccionado en el trozo de imagen copiado. Los datos de control generados se transmiten a la unidad de detección 110 (bloque 213).

La Fig. 8a y la Fig. 8c son ilustraciones esquemáticas que ejemplifican el procesamiento de una orden de rastreo hecha con respecto a un objeto estacionario, de acuerdo con la materia divulgada en la presente memoria. La Fig. 8a muestra una escena que está siendo monitoreada por una unidad de detección. La escena ilustrada incluye 3 edificios y un coche. La Fig.8b muestra la imagen I, que es un ejemplo de una imagen (capturada por la unidad de detección) que cubre una parte de la escena que se muestra en la unidad de control. Suponiendo que un operador de la unidad de control desea ver la ventana 801 más de cerca (y posiblemente también rastrear la ventana), el operador selecciona la ventana 801 en la imagen I. En respuesta a la acción del operador, la unidad de control 120 determina que el objeto seleccionado es estacionario y entonces extrae una parte de la imagen I (803) que incluye la ventana seleccionada.

Se generan datos de control que comprenden la pieza de imagen 803 junto con información que indica la ubicación de la ventana 601 (por ejemplo, coordenadas x, y) dentro de la imagen o dentro de la pieza de imagen 803. Las coordenadas de la ventana dentro de la pieza de imagen 803 pueden calcularse restando el desplazamiento (OS) de los límites de la pieza de imagen 803 de las coordenadas de la ventana con respecto a la imagen I.

Volviendo al bloque 603 de la Fig. 3, en caso de que se determine que el objeto seleccionado es un objeto en movimiento, se identifica un objeto-etiqueta que fue asignado por la unidad de detección al objeto seleccionado (bloque 611). Por ejemplo, los datos de detección pueden incluir una imagen, una o más etiquetas de objeto y la ubicación actualizada de cada uno de los respectivos objetos etiquetados dentro de la imagen. Esto permite a la unidad de control asociar entre un objeto seleccionado y su correspondiente objeto-etiqueta basándose en la localización del objeto dentro de la imagen. En otro ejemplo, las etiquetas-objeto pueden incorporarse como una superposición de la imagen de manera que las etiquetas-objeto puedan asociarse a sus respectivos objetos dentro de la imagen.

Se generan datos de control que incluyen la etiqueta del objeto seleccionado (bloque 613). Por ejemplo, en caso de que un operador seleccione, en la imagen degradada, un vehículo en movimiento que desee inspeccionar más de cerca, se generan datos de control que incluyen la etiqueta del objeto seleccionado en la unidad de control 120 (por ejemplo, con la ayuda del módulo de seguimiento 125). Los datos de control generados se transmiten a la unidad de detección (bloque 213).

Volviendo a la Fig. 5, los datos de control generados en la unidad de control 120 se reciben en la unidad de detección 110 (bloque 216). Los elementos seleccionados indicados en los datos de control se identifican en una imagen disponible (bloque 217). Según un ejemplo, los elementos seleccionados se identifican en una imagen capturada de alta resolución más reciente disponible para su procesamiento. Los elementos identificados se rastrean de una imagen a la siguiente a lo largo del flujo de imágenes de alta resolución capturadas. Una descripción más detallada del proceso de identificación de objetos se describe a continuación con referencia a la Fig. 7.

Opcionalmente, se ejecuta un proceso de validación (bloque 219) como se ha descrito anteriormente con referencia a la Fig. 2b. Se generan segmentos de imagen de alta resolución que comprenden los elementos seleccionados y se transmiten a la unidad de control. Si los segmentos de imagen se aprueban durante el proceso de validación o si no se ejecuta un proceso de validación, se ejecuta un comando emitido en la unidad de detección y los datos de detección relevantes recibidos de la unidad de detección se muestran en la unidad de control 227. Como se ha explicado anteriormente, los datos de detección pueden incluir segmentos de datos de alta resolución con información relativa a la orden ejecutada. Opcionalmente, los datos de detección pueden incluir también la totalidad de las imágenes de alta resolución capturadas por el conjunto generador de imágenes, que pueden ser transmitidas a una velocidad de transmisión degradada.

La Fig. 7 es un diagrama de flujo que ilustra una descripción más detallada de las operaciones relacionadas con el bloque 217 de las Figs. 2 y 5, de acuerdo con un ejemplo de la materia divulgada en la presente memoria. Según algunos ejemplos, las operaciones descritas con referencia a la Fig. 7 pueden ser ejecutadas por el módulo de procesamiento de objetos (remoto) 151 o por alguna otra unidad de procesamiento configurada específicamente para el seguimiento de objetos.

En respuesta a los datos de control recibidos, se determina si los elementos seleccionados indicados en los datos de control entrantes están en movimiento o son estacionarios (bloque 701). Los datos de control recibidos incluyen una etiqueta de objeto (en caso de que los datos de control se hayan generado con respecto a un objeto en movimiento) o una parte de una imagen (en caso de que los datos de control se hayan generado con respecto a un objeto estacionario). La determinación de si el elemento seleccionado en los datos de control recibidos está en movimiento o es estacionario puede basarse en el contenido de los datos de control. Por ejemplo, los datos de control pueden incluir datos que indiquen si el respectivo objeto seleccionado está inmóvil o en movimiento. Alternativamente, la unidad de detección 110 puede estar configurada para determinar si el respectivo elemento seleccionado está inmóvil o en movimiento basándose en si los datos de control incluyen una etiqueta de objeto o una parte de una imagen.

Si los datos de control recibidos fueron generados con respecto a un objeto en movimiento, la unidad de detección está configurada para localizar, en la última imagen capturada disponible, el objeto que es identificado por la respectiva etiqueta de objeto incorporada en los datos de control (bloque 703). Según un ejemplo, para identificar el objeto seleccionado en la última imagen capturada disponible, la unidad de detección puede estar configurada para utilizar la etiqueta de objeto recibida, buscar la etiqueta de objeto en el depósito de datos 130, encontrar la posición actualizada del respectivo objeto etiquetado y utilizar su posición más actualizada para localizar el objeto etiquetado en la última imagen capturada disponible.

En respuesta a los datos de control generados con respecto a un objeto estacionario, la unidad de detección 110 está configurada para localizar un objeto estacionario seleccionado, en la última imagen capturada disponible. La imagen o parte de ella se extrae de los datos de control de la orden recibida. En caso de que se reciba parte de una imagen, los datos de control pueden incluir además datos que indiquen la ubicación del objeto seleccionado en la imagen o en la parte de la misma (por ejemplo, coordenadas del objeto en la imagen o en la parte de la misma).

La pieza de la imagen (o en algunos casos toda la imagen) se compara con la imagen capturada más recientemente (bloque 705) de manera que las regiones idénticas en las dos imágenes se superpongan y se identifiquen. Esto puede lograrse, por ejemplo, con la ayuda de técnicas de registro de imágenes que son bien conocidas en la técnica.

Después de que la pieza de imagen y la imagen más recientemente disponible coincidan, el objeto seleccionado puede entonces ser localizado en la imagen más recientemente disponible en el punto que se superpone con la localización del objeto seleccionado indicado en la pieza de imagen copiada (bloque 707).

Volviendo al ejemplo de la Fig. 8a, respondiendo a los datos de control recibidos en la unidad de detección 110, y asumiendo que el objeto seleccionado fue identificado como un objeto estacionario, la unidad de detección 110 localiza la pieza de imagen 803 en la última imagen capturada disponible (imagen II en la Fig. 9c). Nótese que la imagen II es diferente a la imagen I ya que cubre una región diferente de la escena, sin embargo la pieza de imagen 803 aún se superpone a la imagen II. Una vez que la pieza de imagen 803 está localizada en la imagen II, la ubicación de la ventana 801 puede ser encontrada dentro de la imagen II basada en su ubicación dentro de la pieza de imagen 803. Se observa que en algunos casos la pieza de imagen (o la imagen completa) recibida de con los datos de control sólo se superpone parcialmente a la última imagen capturada disponible.

Así, el sistema y el procedimiento de vigilancia aquí divulgados permiten bloquear y seguir un objeto seleccionado en una imagen visualizada en la unidad de control, a pesar de un retraso de tiempo entre el momento en que la unidad de detección adquirió la imagen, hasta un momento en que el comando de bloqueo se recibe de la unidad de control, en la unidad de detección, con respecto al objeto seleccionado.

Una vez identificados los elementos seleccionados, el proceso procede a ejecutar las operaciones de acuerdo con el bloque 219 o el bloque 225, como se ha revelado anteriormente.

También se entenderá que el sistema de acuerdo con la materia objeto de la presente divulgación puede ser un ordenador convenientemente programado. Asimismo, el tema divulgado en la presente memoria contempla un programa informático legible por un ordenador para ejecutar el procedimiento del tema divulgado en la presente memoria. El tema divulgado en la presente memoria contempla además una memoria no transitoria legible por máquina que encarna tangiblemente un programa de instrucciones ejecutable por la máquina para ejecutar el procedimiento del tema divulgado en la presente memoria.

Debe entenderse que la materia divulgada en la presente memoria no está limitada en su aplicación a los detalles expuestos en la descripción contenida en el presente documento o ilustrados en los dibujos. El objeto divulgado en la presente memoria es capaz de otras realizaciones y de ser practicado y llevado a cabo de varias maneras, siempre que no se desvíe del ámbito de protección, tal como se define en las reivindicaciones adjuntas. Por lo tanto, debe entenderse que la fraseología y la terminología empleadas en el presente documento son para el propósito de la descripción y no deben considerarse como limitantes. Como tal, los expertos en la materia apreciarán que la concepción en la que se basa esta divulgación puede utilizarse fácilmente como base para el diseño de otras estructuras, procedimientos y sistemas para llevar a cabo los diversos propósitos de la materia divulgada en la presente memoria.

Claims (15)

REIVINDICACIONES

1. Un sistema de vigilancia que comprende:

una unidad de detección configurada para comunicarse a través de un enlace de comunicación con una unidad de control; la unidad de detección comprende un conjunto generador de imágenes de alta resolución conectado operativamente a al menos un procesador; el conjunto generador de imágenes de alta resolución está configurado para capturar una sucesión de imágenes de alta resolución; en el que un ancho de banda del enlace de comunicación no es lo suficientemente grande como para permitir la transmisión de las imágenes de alta resolución a una velocidad deseada;

el al menos un procesador está configurado para:

generar imágenes degradadas a partir de las respectivas imágenes de la sucesión de imágenes de alta resolución y transmitir sucesivamente datos de detección a la unidad de control; comprendiendo los datos de detección las imágenes degradadas y datos indicativos de uno o más elementos de las imágenes degradadas; en el que la degradación se adapta en función del ancho de banda disponible del enlace de comunicación para permitir la transmisión de las imágenes capturadas a la unidad de control a través del enlace de comunicación a una velocidad suficiente;

el al menos un procesador está configurado además, en respuesta a los datos de control recibidos de la unidad de control, indicativos de al menos un elemento seleccionado, para:

identificar una ubicación del elemento seleccionado en las imágenes de alta resolución recientemente capturadas en la sucesión de imágenes de alta resolución;

extraer los respectivos segmentos de imagen de alta resolución de las imágenes en la sucesión de imágenes de alta resolución, comprendiendo el segmento de imagen al menos el elemento seleccionado; y

transmitir sucesivamente los respectivos segmentos de imagen de alta resolución a la unidad de control;

en el que el tamaño de los segmentos de imagen de alta resolución depende del ancho de banda disponible del enlace de comunicación y se selecciona para ajustarse a una velocidad de transmisión deseada.

2. El sistema según la reivindicación 1, en el que los datos de control incluyen además instrucciones de mando para ejecutar una orden de seguimiento que ordena seguir uno o más objetos determinados; en el que los segmentos de imagen de alta resolución se extraen de las imágenes de la sucesión de imágenes de alta resolución de acuerdo con la ubicación actual del uno o más objetos determinados en las imágenes de la sucesión de imágenes de alta resolución.

3. El sistema según cualquiera de las reivindicaciones anteriores, en el que el al menos un procesador está configurado además para transmitir sucesivamente a la unidad de control, tanto las imágenes degradadas como los segmentos de imagen de alta resolución de las respectivas imágenes capturadas de alta resolución; en el que una imagen degradada y un segmento de imagen de alta resolución generado a partir de la misma imagen de alta resolución se muestran como una imagen fusionada, en el que el segmento de imagen se muestra en alta resolución mientras que el área que rodea al segmento de imagen se muestra en resolución degradada; y en el que la ubicación del segmento de imagen con respecto a la imagen degradada se adapta en función de la ubicación actual de un elemento seleccionado.

4. El sistema según cualquiera de las reivindicaciones anteriores, en el que el al menos un procesador está configurado para ejecutar una orden con respecto al objeto seleccionado a pesar de un retardo de tiempo entre el momento en que la unidad de detección adquiere la imagen con el objeto seleccionado y el momento en que se recibe una orden correspondiente en la unidad de detección con respecto al objeto seleccionado.

5. Un procedimiento de estudio de un área, utilizando una unidad de detección configurada para comunicarse a través de un enlace de comunicación con una unidad de control; la unidad de detección comprende un conjunto generador de imágenes de alta resolución conectado operativamente a al menos un procesador; comprendiendo el procedimiento:

capturar una sucesión de imágenes de alta resolución; en el que un ancho de banda del enlace de comunicación no es lo suficientemente grande como para permitir la transmisión de las imágenes de alta resolución en una velocidad de transmisión deseada;

con la ayuda del al menos un procesador realizar al menos lo siguiente:

generar imágenes degradadas a partir de las respectivas imágenes de la sucesión de imágenes de alta resolución; y transmitir sucesivamente datos de detección a la unidad de control; comprendiendo los datos de detección las imágenes degradadas y datos indicativos de uno o más elementos de las imágenes degradadas; en el que la degradación se adapta en función del ancho de banda disponible del enlace de comunicación para permitir la transmisión de las imágenes capturadas a la unidad de control a través del enlace de comunicación a una velocidad suficiente;

en respuesta a los datos de control recibidos de la unidad de control, indicativos de al menos un elemento seleccionado:

identificar una ubicación del elemento seleccionado en las imágenes de alta resolución recientemente capturadas en la sucesión de imágenes de alta resolución;

extraer los respectivos segmentos de imagen de alta resolución de las imágenes en la sucesión de imágenes de alta resolución, comprendiendo el segmento de imagen al menos el elemento seleccionado; y

transmitir sucesivamente los respectivos segmentos de imagen de alta resolución a la unidad de control; en el que el tamaño de los segmentos de imagen de alta resolución depende del ancho de banda disponible del enlace de comunicación y se selecciona para ajustarse a una velocidad de transmisión deseada.

6. El procedimiento según la reivindicación 5, en el que la generación de imágenes degradadas comprende degradar la velocidad de transmisión de los fotogramas.

7. El procedimiento según la reivindicación 5 que comprende además: identificar uno o más objetos de interés en las imágenes de alta resolución; asignar una etiqueta de objeto respectiva al uno o más objetos de interés para obtener uno o más objetos etiquetados; en el que los datos de detección comprenden además las etiquetas de objeto.

8. El procedimiento según una cualquiera de las reivindicaciones 5 a 7, en el que los datos de control incluyen además instrucciones de comando para ejecutar una orden de seguimiento que ordena seguir uno o más objetos determinados; el procedimiento comprende además: extraer los segmentos de imagen de alta resolución de las imágenes en la sucesión de imágenes de alta resolución de acuerdo con la ubicación actual del uno o más objetos determinados en las imágenes de la sucesión de imágenes de alta resolución.

9. El procedimiento según cualquiera de las reivindicaciones 5 a 8 que comprende además: transmitir sucesivamente a la unidad de control, tanto las imágenes degradadas como los segmentos de imagen de alta resolución de las respectivas imágenes capturadas de alta resolución; mostrar como imagen fusionada una imagen degradada y un segmento de imagen de alta resolución generado a partir de la misma imagen de alta resolución, en el que el segmento de imagen se muestra en alta resolución mientras que el área que rodea al segmento de imagen se muestra en resolución degradada; y adaptar la ubicación del segmento de imagen con respecto a la imagen degradada según la ubicación actual de un elemento seleccionado.

10. El procedimiento según cualquiera de las reivindicaciones 5 a 9 que comprende además: transmitir sucesivamente a la unidad de control, tanto las imágenes degradadas como los segmentos de imagen de alta resolución de las respectivas imágenes capturadas de alta resolución; y mostrar cada una de las imágenes degradadas y los segmentos de imagen de alta resolución generados a partir de la misma imagen de alta resolución, por separado en un dispositivo de visualización diferente.

11. El procedimiento según una cualquiera de las reivindicaciones 5 a 10, en el que la identificación de una ubicación del elemento seleccionado comprende:

determinar si el al menos un elemento seleccionado es un objeto en movimiento o un objeto estacionario; en caso de que el al menos un elemento seleccionado sea un objeto en movimiento, obtener de los datos de control una etiqueta de objeto correspondiente a el al menos un objeto seleccionado, e identificar el al menos un objeto seleccionado en la sucesión de imágenes de alta resolución;

en caso de que el al menos un elemento seleccionado sea un objeto estacionario, obtener a partir de los datos de control una imagen o parte de ella, hacer coincidir la imagen o parte de ella con una o más imágenes de alta resolución recientemente capturadas en la sucesión de imágenes de alta resolución, e identificar el al menos un objeto seleccionado en la sucesión de imágenes de alta resolución.

12. El procedimiento según una cualquiera de las reivindicaciones 5 a 11 que comprende además:

recibir una imagen degradada de la unidad de detección; mostrar la imagen degradada en un dispositivo de visualización; determinar, en respuesta a la selección de un objeto en la imagen, si el objeto seleccionado es un objeto en movimiento o un objeto estacionario;

en caso de que el objeto seleccionado sea un objeto en movimiento, identificar una etiqueta de objeto asignada al objeto seleccionado, y generar datos de control que incluyan la etiqueta de objeto;

en caso de que el objeto seleccionado sea un objeto estacionario, generar datos de control que incluyan la imagen o parte de ella; y enviar los datos de control a la unidad de detección.

13. El procedimiento según la reivindicación 12 que comprende además:

recibir sucesivamente, tanto las imágenes degradadas como los segmentos de imagen de alta resolución de las respectivas imágenes capturadas de alta resolución; mostrar la imagen degradada y un segmento de imagen de alta resolución generado a partir de la misma imagen de alta resolución como una imagen fusionada, en la que el segmento de imagen se muestra en alta resolución mientras que el área que rodea al segmento de imagen se muestra en resolución degradada; y adaptar la ubicación del segmento de imagen con respecto a la imagen degradada según la ubicación actual de un elemento seleccionado.

14. El procedimiento según una cualquiera de las reivindicaciones 5 a 13 que comprende además: ejecutar una orden con respecto al objeto seleccionado a pesar de un retardo de tiempo entre el momento en que la unidad de detección adquiere la imagen con el objeto seleccionado, y el momento en que se recibe una orden correspondiente en la unidad de detección con respecto al objeto seleccionado.

15. Un dispositivo de almacenamiento de datos legible por un ordenador, que incorpora de forma tangible un programa de instrucciones ejecutable por el ordenador para llevar a cabo el procedimiento según una cualquiera de las reivindicaciones 5 a 14.