ES2656437T3 - Procedimiento y un dispositivo de control, remoto, de una cámara montada en una estación móvil - Google Patents
Procedimiento y un dispositivo de control, remoto, de una cámara montada en una estación móvil Download PDFInfo
- Publication number
- ES2656437T3 ES2656437T3 ES09781933.8T ES09781933T ES2656437T3 ES 2656437 T3 ES2656437 T3 ES 2656437T3 ES 09781933 T ES09781933 T ES 09781933T ES 2656437 T3 ES2656437 T3 ES 2656437T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- mobile station
- camera
- time
- remote station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Procedimiento de control, a partir de una estación remota, de una cámara embarcada en una estación móvil que transmite a dicha estación remota imágenes que incluyen al menos un objeto objetivo que se localizará en una zona explorada por dicha cámara, procedimiento en el que: - la estación remota estima el periodo de latencia L que separa el envío de una orden hacia la estación móvil y la ejecución de dicha orden por dicha estación móvil, - la estación móvil transmite a la estación remota una primera imagen adquirida por dicha cámara en el momento TL, - la estación remota transmite en un momento T a la estación móvil una posición del objeto objetivo en dicha primera imagen, - la estación móvil compara la posición del objeto objetivo en la primera imagen, con la posición de dicho objeto en al menos una segunda imagen adquirida posteriormente a dicha primera imagen en un momento T+L, - si las posiciones comparadas son idénticas en las dos imágenes recalibradas una sobre otra, la estación móvil transmite dicha posición a la estación remota para su validación, - si no, la estación móvil determina en tiempo real, de forma autónoma, la trayectoria del objeto objetivo en dicha segunda imagen, después controla en tiempo real la cámara embarcada para efectuar el seguimiento del objeto objetivo sobre la trayectoria prevista.
Description
5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCIÓN
Procedimiento y un dispositivo de control, remoto, de una cámara montada en una estación móvil Campo técnico
La invención se sitúa en el campo del control remoto de un dispositivo llevado en un vehículo móvil y se refiere más específicamente a un procedimiento y a un dispositivo de control, a partir de una estación remota, de una cámara montada en una estación móvil que transmite a dicha estación remota imágenes que incluyen al menos un objeto objetivo que localizará en una zona explorada por dicha cámara.
La invención se refiere igualmente a un programa informático memorizado en un soporte de grabación y adaptado, cuando se ejecuta en un ordenador para implementar el procedimiento según la invención.
Estado de la técnica anterior
El control remoto de una cámara móvil por un dispositivo de control situado en una estación remota se realiza por intercambio de señales entre el dispositivo de control y la cámara según técnicas y protocolos de comunicación adaptados a la distancia, a la velocidad de desplazamiento de la cámara, así como a las condiciones de transmisión.
El documento EP-A-1.329.850 divulga un procedimiento, un dispositivo y un programa informático para la detección de un objeto objetivo móvil o inmóvil a partir de las imágenes capturadas por una cámara situada en una estación móvil; la detección incluye el uso de un filtro de Gabor y la determinación de los vectores de velocidad del fondo y del objeto objetivo. El documento WO 2004/054223A describe una estación móvil que tiene una cámara para la detección de objetos objetivo a partir de la diferencia entre imágenes consecutivas y la determinación de un valor de movimiento. El documento FR-A-2.794.880 describe un procedimiento automático de determinación y de seguimiento de un objetivo en movimiento para una cámara electrónica calculando las variaciones de color entre dos imágenes consecutivas. Las operaciones de determinación y de seguimiento del objetivo se efectúan por una unidad central en comunicación con la cámara, recibiendo dicha unidad central las imágenes capturadas por la cámara y enviando a la cámara órdenes de control para, por ejemplo, desplazar la cámara con el objeto de seguir el objetivo.
Cuando la cámara se embarca en un dron, por ejemplo, y las señales intercambiadas transitan en un canal lento, por ejemplo, a través de un satélite, se produce un fenómeno de latencia debido al retraso de transmisión de las señales de control de la estación distante hacia el dron en el canal lento y, al retraso de transmisión de las imágenes hacia la estación remota. De este modo, cuando un operario, situado al nivel de la estación remota, designa un objeto objetivo en una imagen visualizada en esta estación remota y, transmite una orden a la cámara para indicar realizar un seguimiento del objeto designado, la orden alcanza la cámara al final del periodo de latencia durante el cual, el objeto designado por el operario en la imagen en un momento T no tiene la misma posición en la imagen vista al nivel del dron en el momento de la recepción del comando. Más particularmente, si la latencia es de L segundos, la imagen visualizada en la estación de tierra en el momento T es la adquirida a bordo en el momento T-L y, la orden efectuada desde la estación en el momento T se recibirá a bordo en el momento T+L.
Si el operario envía una segunda orden a la cámara antes de que ésta haya interpretado el comando anterior, se produce un fenómeno de bombeo que tiene como consecuencia que el operario pierda el control de la cámara en la medida en la que ignora el impacto de las órdenes enviadas durante el periodo de latencia.
Un objetivo de la invención es subsanar los inconvenientes de la técnica anterior descritos anteriormente.
Exposición de la invención
Estos objetos se logran por medio de un procedimiento de control, a partir de una estación remota, de una cámara montada en una estación móvil que transmite a dicha estación remota imágenes que incluyen al menos un objeto objetivo que localizará en una zona explorada por dicha cámara.
El procedimiento según la invención incluye las siguientes etapas:
- la estación remota estima el periodo de latencia L que separa el envío de una orden hacia la estación móvil y la ejecución de dicha orden por dicha estación móvil,
- la estación móvil transmite a la estación remota una primera imagen adquirida por dicha cámara en el momento T- L,
- la estación remota transmite en un momento T a la estación móvil una posición del objeto objetivo en dicha primera imagen,
- la estación móvil compara la posición del objeto objetivo en la primera imagen, con la posición de dicho objeto en al
5
10
15
20
25
30
35
40
45
50
55
60
65
menos una segunda imagen adquirida posteriormente a dicha primera imagen en un momento T+L,
- si las posiciones comparadas son idénticas en las dos imágenes recalibradas una sobre otra, la estación móvil transmite dicha posición a la estación remota para su validación,
- si no, la estación móvil determina en tiempo real, de forma autónoma, la trayectoria del objeto objetivo en dicha segunda imagen, después controla en tiempo real la cámara embarcada para efectuar el seguimiento del objeto objetivo sobre la trayectoria prevista.
Preferentemente, la trayectoria del objeto objetivo en la segunda imagen se determina por un cálculo predictivo en función de la posición y del vector de movimiento del objeto objetivo en el momento T-L.
En un primer modo de realización, el procedimiento según la invención incluye además las siguientes etapas:
al nivel de la estación remota:
- recalibrar la primera imagen y la segunda imagen,
- determinar la posición y el vector de velocidad del conjunto de los objetos en movimiento en la escena observada por la cámara,
- determinar la posición y el vector de velocidad del objeto objetivo en la primera imagen, ya sea entre los objetos en movimiento, o bien, entre los elementos del fondo,
- calcular una predicción de la posición y de la velocidad del objeto objetivo en el momento T+L,
- transmitir de la estación remota hacia la estación móvil la posición designada, la posición predicha y el vector de velocidad predicho.
Gracias al procedimiento según la invención, la distancia móvil puede determinar la posición del objeto objetivo en la segunda imagen, adquirida en el momento T+L, recalibrada en relación con la primera imagen, adquirida en el momento T-L, en función de la posición predicha y el vector de velocidad predicho, sin control adicional del movimiento de la cámara a partir de la estación remota.
En una variante de implementación, el recalibrado de la primera imagen y de la segunda imagen se realiza por estimación de la homografía de paso y el periodo de latencia L se estima por inclusión de fecha y hora de los datos y por sincronización de dichas estaciones remota y móvil.
En un segundo modo de realización, el procedimiento incluye además una etapa que consiste en memorizar las homografías de paso, imagen a imagen, y la posición del conjunto de los objetos móviles en el momento T-L en el momento T+L en la estación móvil.
En este segundo modo de realización, la predicción en la estación remota ya no es necesaria. El procedimiento se opera de la siguiente manera:
- en la recepción, por la estación móvil, en un momento T+L de una petición de localización del objeto objetivo designado en un momento T en una imagen local de la estación móvil, adquirida posteriormente de la imagen transmitida a la estación remota en el momento T-L, la posición y el vector de velocidad trasmitidos desde la estación remota corresponden a los calculados en la imagen tomada en el momento T-L,
- se hacen coincidir con los datos registrados en el momento T-L a bordo de la estación móvil,
- una vez hecha la coincidencia en el momento T-L, los datos memorizados a bordo de la estación móvil permiten deducir, por aplicación de las homografías sucesivas o, por seguimiento de las pistas de los objetos en movimiento, dependiendo de si el objetivo esté fijo o en movimiento, la posición y el vector de velocidad del objeto objetivo en el momento actual T+L.
El objeto objetivo puede ser típicamente un vehículo, un individuo, un edificio o cualquier otro tipo de aeronave fija o móvil.
En el caso en el que el objeto objetivo es móvil, si su trayectoria abandona el campo de visión de la cámara en un momento t comprendido entre T-L y T+L, la posición de dicho objeto objetivo se estima en la estación móvil por un cálculo predictivo en función de su posición y de su vector de velocidad en el momento t, a partir del momento t y en cada imagen siguiente.
El procedimiento permite de este modo a la cámara modificar de forma autónoma su campo de visión con el fin de
5
10
15
20
25
30
35
40
45
50
55
60
65
incluir ahí la posición predicha de este modo del objeto objetivo sin control adicional para este propósito. El cálculo predictivo se efectúa gracias al conjunto de las homografías de paso de las imágenes sucesivas del momento t al momento T+L y a la predicción en la imagen t del movimiento del objeto en función de su movimiento en el momento de las imágenes anteriores.
En una aplicación particular del procedimiento según la invención, la cámara se embarga en un dron.
El procedimiento según la invención se implementa por un dispositivo de control, a partir de una estación remota, de una cámara montada en una estación móvil que transmite a dicha estación remota imágenes que incluyen al menos un objeto objetivo que localizará en una zona explorada por dicha cámara.
Según la invención, dicha estación remota incluye:
- medios para estimar el periodo de latencia L que separa el envío de una orden hacia la estación móvil y la ejecución de dicha orden por dicha estación móvil,
y dicha estación móvil incluye:
- medios para comparar una posición del objeto objetivo en una primera imagen adquirida por dicha cámara en un momento T-L con la posición de dicho objeto en al menos una segunda imagen adquirida posteriormente a dicha primera imagen T+L,
- medios de cálculo predictivo aptos para determinar, en tiempo real, la trayectoria del objeto objetivo en dicha segunda imagen,
- medios para controlar en tiempo real la cámara embarcada para efectuar el seguimiento del objeto objetivo sobre la trayectoria predicha.
El procedimiento según la invención se implementa por medio de un software memorizado en un soporte de grabación y adaptado, cuando se ejecuta en un ordenador, para controlar una cámara embarcada en una estación móvil a partir de una estación remota, dicha estación móvil transmitiendo a dicha estación remota imágenes que incluyen al menos un objeto objetivo que se localizará en una zona explorada por dicha cámara.
Este software incluye:
- un primer módulo ejecutable en la estación remota que incluye:
• instrucciones para estimar el periodo de latencia L que separa el envío de una orden hacia la estación móvil y la ejecución de dicho control por dicha estación móvil,
• instrucciones para determinar el movimiento de una imagen a la otra de los objetos fijos y de los objetos móviles con el fin de facilitar la designación del objeto objetivo,
- un segundo módulo ejecutable en la estación móvil que incluye:
• instrucciones para comparar una posición del objeto objetivo en una primera imagen adquirida por dicha cámara en un momento T-L con la posición de dicho objeto en al menos una segunda imagen adquirida posteriormente a dicha primera imagen en un momento T+L,
• instrucciones para determinar en tiempo real la trayectoria del objeto objetivo en dicha segunda imagen e,
• instrucciones para controlar en tiempo real la cámara embarcada para efectuar el seguimiento del objeto objetivo sobre la trayectoria predicha.
Breve descripción de los dibujos
Otras características y ventajas de la invención surgirán a partir de la descripción que sigue, tomada a título de ejemplo no limitante, en referencia a las figuras adjuntas en las que:
- la figura 1 ilustra esquemáticamente un ejemplo de implementación del procedimiento según la invención,
- la figura 2 es un diagrama de bloques que ilustra tratamientos de imágenes efectuadas en la estación móvil de la figura 1,
- la figura 3 ilustra los tratamientos efectuados en una estación remota de la figura 1,
5
10
15
20
25
30
35
40
45
50
55
60
65
- la figura 4 ilustra esquemáticamente las etapas de un modo particular de realización de la invención.
Exposición detallada de modos de realización particulares
La figura 1 ilustra esquemáticamente la estación móvil 2 equipada con una o varias cámaras de observación controlada(s) desde una estación remota 4.
La estación móvil 2 es un dron que sobrevuela una zona 6 sobre la que se encuentra un objeto objetivo 8, un vehículo, por ejemplo, cuya posición debe conocerse en cualquier momento por la estación remota 4.
La estación remota 4 es normalmente una estación terrestre de control de drones.
Las cámaras embarcadas en el dron 2 transmiten continuamente a la estación remota 4 imágenes de la zona 6. En respuesta, la estación remota 4 transmite al dron 2 señales de designación de la posición del objeto objetivo 8 en las imágenes recibidas.
Como se ilustra en la figura 2, el canal de transmisión induce un periodo de latencia L. Debido a esto, una imagen observada en la estación 4 en un momento T corresponde a una imagen adquirida por la cámara embarcada en el dron 2 en el momento T-L y, cualquier orden enviada en el momento T desde la estación remota 4 hacia el dron 2 llegará al dron en el momento T+L.
En consecuencia, el seguimiento del objeto objetivo 8 por la cámara necesita una reactualización permanente de las señales de designación transmitidas al dron 2.
El procedimiento según la invención permite al dron realizar esta reactualización de forma autónoma evitando transmisiones sucesivas de señales de designación al dron 2.
Esta reactualización se obtiene por tratamientos paralelos realizados repartidos entre la estación remota 2 y el dron 2.
Siendo T el momento preciso de la designación de un objeto objetivo en una imagen recibida por la estación remota 4 y que todas las imágenes recibidas por la estación remota 4 se marquen con fecha y hora previamente y cada una de estas imágenes se identifica por un identificador único.
La figura 2 ilustra los tratamientos de las imágenes efectuadas en la estación remota 4. Estos tratamientos incluyen las siguientes etapas:
- extraer (etapa 10) los puntos característicos sobre las imágenes por uno o varios sensores;
- seguir (etapa 12) dichos puntos característicos de una imagen a la otra;
- calcular (etapa 14) la homografía de paso entre dos imágenes independientemente de que sean sucesivas o no a partir de los puntos puestos en correspondencia;
- recalibrar (etapa 16) por medio de dicha homografía de paso una imagen en el cuadro de referencia de la imagen anterior y,
- determinar (etapa 18) qué puntos o qué píxeles están en movimiento en el cuadro de referencia de la escena observada;
- reagrupar (etapa 20) los puntos en movimiento en objetos mediante criterios geométricos tales como las distancias relativas y la adecuación del movimiento;
- estimar (etapa 22) las posiciones y los vectores de velocidad en la imagen de los objetos en función de las posiciones en una o varias imágenes anteriores.
En un modo particular de implementación de la invención, se fija un número medio de puntos que se seguirán por imagen que dependen globalmente del número de píxeles. Por lo general, se consideran los puntos de Harris o de Plessey o, incluso, descriptores más complejos, tales como los SIFT o los SURF. El seguimiento se puede realizar por un método de tipo KLT (Kanade-Lucas-Tomasi) o por un filtro de Kalman asociado a cada uno de los puntos o, más simplemente por recalibrado de la nube de puntos mediante una transformada de Hough, por ejemplo, y se añaden nuevos puntos desde que las nuevas partes de la imagen aparecen o desde que salen puntos seguidos de la imagen. Los nuevos puntos se calculan por el método descrito anteriormente, típicamente el método de Harris, en las zonas de la imagen menos densas de puntos seguidos.
En el caso en el que las disparidades 3D sean demasiado visibles, vuelos a muy baja altura, en particular, el cálculo
5
10
15
20
25
30
35
40
45
50
55
60
65
de la homografía se reemplaza por el cálculo de la matriz fundamental o de la matriz esencial, por un enfoque de tipo RANSAC, con el fin de ser fiel a la estructura proyectiva de la escena observada.
Una designación del objetivo en el momento T se traduce por la selección de un punto en la imagen.
Si el punto de designación está sobre un objeto en movimiento, la designación corresponderá a la selección del objeto, si no, se tratará de un punto del "fondo" cuyo vector de velocidad corresponde al vector de desplazamiento traslacional del fondo.
En un modo particular de implementación del procedimiento según la invención, el sistema selecciona automáticamente el objeto en movimiento más cercano a la designación del operario 8.
En otro modo de implementación de la invención, la designación se efectúa por un algoritmo automático de detección/reconocimiento del objetivo. La orden se envía entonces a un dron 2 en forma de una estructura que comprende una posición de la imagen, un vector de velocidad, una naturaleza (objetivo fijo o móvil) y la marca de fecha y hora (el momento T-L de adquisición de la imagen tratada por la estación remota en el momento T).
La figura 3 ilustra los tratamientos efectuados en el dron 2.
Estos tratamientos incluyen las siguientes etapas:
- extraer (etapa 30) puntos característicos sobre las imágenes por uno o varios sensores,
- seguir (etapa 32) dichos puntos característicos por el mismo método que el utilizado en la estación remota 4,
- determinar (etapa 34) homografías de paso de una imagen a la otra por el mismo método que el utilizado en la estación remota 4,
- determinar (etapa 36) objetos en movimiento y,
- estimar (etapa 38) las posiciones y los vectores de velocidad de dichos objetos en cada imagen por el mismo método que el utilizado en la estación remota.
Cuando una orden de designación llega en el momento T+L y hace referencia al vector de estado que representa la posición y los vectores de velocidad de un objeto objetivo en la imagen adquirida en T-L una predicción del movimiento en 2L segundos y se efectúa gracias a este vector de estado transmitido. Cabe señalar que este vector se conoce gracias a la marca de fecha y hora con las imágenes del dron 2 hacia la estación remota 4.
Si se trata de un objetivo fijo, el punto predicho se considera como el objetivo y, si se trata de un objetivo móvil, el objeto móvil más consistente con la predicción, tanto en posición como en vector de velocidad, se selecciona como objetivo. Si la predicción sale del marco de la imagen, la posición, sin embargo, se tiene en cuenta. Permitirá llevar el objetivo al campo de visión de la cámara modificando el eje de mira de dicha cámara.
En un modo particular de realización, la predicción se efectúa con ayuda de un filtro de Kalman. Cabe señalar que esta predicción puede llevarse a cabo a elección, a bordo o en tierra.
De este modo, el objeto designado en el momento T en la imagen TL encontrándose, ahora, en la imagen T+L, entonces, es posible realizar el seguimiento del objeto. Las acciones predeterminadas pueden aplicarse entonces, como, por ejemplo, el centrado del eje de mira en el objetivo designado.
La figura 4 ilustra esquemáticamente las etapas de un modo particular de realización de la invención.
Según este modo de realización, el procedimiento incluye las siguientes etapas:
- extraer (etapa 40) puntos característicos sobre las imágenes por uno o varios sensores,
- seguir (etapa 42) dichos puntos característicos por el mismo método que el utilizado en la estación remota 4,
- determinar (etapa 44) homografías de paso de una imagen a la otra por el mismo método que el utilizado en la estación remota 4,
- determinar (etapa 46) objetos en movimiento y,
- estimar (etapa 48) las posiciones y los vectores de velocidad de dichos objetos en cada imagen por el mismo método que el utilizado en la estación remota 4,
5
10
15
20
25
30
- registrar (etapa 50) para todas las imágenes en (al menos) los 2L últimos segundos todos los puntos relacionados, las homografías y los objetos en movimiento (posición y vector en cada momento).
Cuando una orden de designación llega en el momento T+L al dron 2, y se refiere al vector de estado (posición y velocidades) de un objetivo en la imagen adquirida en T-L; el historial registrado en el momento T-L se consulta entonces para encontrar el objeto designado.
Si se trata de un objeto en movimiento, aparecerá en la lista de los objetos en movimiento registrados. Se seleccionará lo más fiable. Se utiliza, entonces, el historial de seguimiento de este punto para encontrar directamente su posición en la imagen actual.
Si el punto sale, momentáneamente o no, del marco de la imagen, su posición se predice gracias a las homografías de paso, al vector de velocidad durante la última observación y al recalibrado de este vector de velocidad en los cuadros de referencia de las imágenes siguientes.
Si se trata de un objeto del "fondo", se designa por su posición en la imagen T-L. Su posición en las imágenes siguientes, por lo tanto, se calcula por aplicación de las homografías de paso entre imágenes sucesivas. La posición obtenida de este modo en cada imagen puede validarse por correlación, por ejemplo, utilizando un seguimiento de tipo KLT.
La predicción puede continuar incluso si el objeto sale, momentáneamente o no, del campo de visión de la cámara.
En el caso de un objeto fijo en el momento T-L, pero móvil en el momento T+L, las dos técnicas anteriores se utilizan, respectivamente desde el momento t a T+L y desde el momento T-L al momento t, o el instante t corresponde a un momento en el que el objeto comienza a desplazarse.
- Seguimiento del objeto designado encontrado en la imagen T+L. Este caso incluye una posición estimada fuera del marco de la imagen actual.
- Aplicación de las acciones predeterminadas (por ejemplo, centrado de la cámara sobre el objeto).
Claims (12)
- 5101520253035404550556065REIVINDICACIONES1. Procedimiento de control, a partir de una estación remota, de una cámara embarcada en una estación móvil que transmite a dicha estación remota imágenes que incluyen al menos un objeto objetivo que se localizará en una zona explorada por dicha cámara, procedimiento en el que:- la estación remota estima el periodo de latencia L que separa el envío de una orden hacia la estación móvil y la ejecución de dicha orden por dicha estación móvil,- la estación móvil transmite a la estación remota una primera imagen adquirida por dicha cámara en el momento T- L,- la estación remota transmite en un momento T a la estación móvil una posición del objeto objetivo en dicha primera imagen,- la estación móvil compara la posición del objeto objetivo en la primera imagen, con la posición de dicho objeto en al menos una segunda imagen adquirida posteriormente a dicha primera imagen en un momento T+L,- si las posiciones comparadas son idénticas en las dos imágenes recalibradas una sobre otra, la estación móvil transmite dicha posición a la estación remota para su validación,- si no, la estación móvil determina en tiempo real, de forma autónoma, la trayectoria del objeto objetivo en dicha segunda imagen, después controla en tiempo real la cámara embarcada para efectuar el seguimiento del objeto objetivo sobre la trayectoria prevista.
- 2. Procedimiento según la reivindicación 1, en el que la trayectoria del objeto objetivo en la segunda imagen se determina por un cálculo predictivo en función de la posición y del vector de movimiento del objeto objetivo en el momento T-L.
- 3. Procedimiento según la reivindicación 2, caracterizado porque incluye además las siguientes etapas: al nivel de la estación remota:- recalibrar la primera imagen y la segunda imagen,- determinar la posición y el vector de velocidad del conjunto de los objetos en movimiento en la escena observada por la cámara,- determinar la posición y el vector de velocidad del objeto objetivo en la primera imagen, ya sea entre los objetos en movimiento, o bien, entre los elementos del fondo,- calcular una predicción de la posición y de la velocidad del objeto objetivo en el momento T+L,- transmitir a la estación móvil la posición designada, la posición predicha y el vector de velocidad predicho.
- 4. Procedimiento según la reivindicación 3, en el que el recalibrado de la primera imagen y de la segunda imagen se realiza por estimación de la homografía de paso.
- 5. Procedimiento según la reivindicación 4, que incluye además una etapa que consiste en memorizar las homografías de paso imagen a imagen y la posición del conjunto de los objetos móviles del momento T-L al momento T+L en la estación móvil.
- 6. Procedimiento según la reivindicación 1, en el que el periodo de latencia L se estima por la inclusión de la fecha y la hora de los datos y por sincronización de dichas estaciones remota y móvil.
- 7. Procedimiento según la reivindicación 1, en el que el objeto objetivo es fijo o móvil.
- 8. Procedimiento según la reivindicación 7, en el que, si el objeto objetivo es móvil y si su trayectoria abandona el campo de visión de la cámara en un momento t comprendido entre T-L y T+L, la posición de dicho objeto objetivo se estima en la estación móvil por un cálculo predictivo en función de su posición y de su vector de velocidad en el momento t.
- 9. Procedimiento según una de las reivindicaciones 1 a 8, en el que la cámara se embarca en un dron.
- 10. Procedimiento según una de las reivindicaciones 1 a 9, en el que el objeto objetivo es un individuo, un vehículo o cualquier tipo de aeronave.510152025303540
- 11. Dispositivo de control, a partir de una estación remota, de una cámara embarcada en una estación móvil que transmite a dicha estación remota imágenes que incluyen al menos un objeto objetivo que se localizará en una zona explorada por dicha cámara, dispositivo caracterizado porque dicha estación remota incluye:- medios para estimar el periodo de latencia L que separa el envío de una orden hacia la estación móvil y la ejecución de dicha orden por dicha estación móvil,y dicha estación móvil incluye:- medios para comparar una posición del objeto objetivo en una primera imagen adquirida por dicha cámara en un momento T-L con la posición de dicho objeto en al menos una segunda imagen adquirida posteriormente a dicha primera imagen T+L,- medios de cálculo predictivo aptos para determinar, en tiempo real, la trayectoria del objeto objetivo en dicha segunda imagen,- medios para controlar en tiempo real la cámara embarcada para efectuar el seguimiento del objeto objetivo sobre la trayectoria predicha.
- 12. Programa informático memorizado en un soporte de grabación y que comprende instrucciones para controlar, cuando se ejecuta en un ordenador, una cámara embarcada en una estación móvil a partir de una estación remota, dicha estación móvil transmitiendo a dicha estación remota imágenes que incluyen al menos un objeto objetivo que se localizará en una zona explorada por dicha cámara, incluyendo este software:- un primer módulo ejecutable en la estación remota que incluye:• instrucciones legibles por ordenador para estimar el periodo de latencia L que separa el envío de una orden hacia la estación móvil y la ejecución de dicha orden por dicha estación móvil,• instrucciones legibles por ordenador para determinar el movimiento de una imagen a la otra de los objetos fijos y de los objetos móviles con el fin de facilitar la designación del objeto objetivo,- un segundo módulo ejecutable en la estación móvil que incluye:• instrucciones legibles por ordenador para comparar una posición del objeto objetivo en una primera imagen adquirida por dicha cámara en un momento T-L con la posición de dicho objeto en al menos una segunda imagen adquirida posteriormente a dicha primera imagen en un momento T+L,• instrucciones legibles por ordenador para determinar en tiempo real la trayectoria del objeto objetivo en dicha segunda imagen e,• instrucciones legibles por ordenador para controlar en tiempo real la cámara embarcada para efectuar el seguimiento del objeto objetivo sobre la trayectoria predicha.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0855644 | 2008-08-20 | ||
| FR0855644A FR2935214B1 (fr) | 2008-08-20 | 2008-08-20 | Procede et un dispositif de commande, a distance, d'une camera embarquee dans une station mobile |
| PCT/EP2009/060650 WO2010020625A1 (fr) | 2008-08-20 | 2009-08-18 | Procédé et un dispositif de commande, à distance, d'une caméra embarquée dans une station mobile |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2656437T3 true ES2656437T3 (es) | 2018-02-27 |
Family
ID=40584760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES09781933.8T Active ES2656437T3 (es) | 2008-08-20 | 2009-08-18 | Procedimiento y un dispositivo de control, remoto, de una cámara montada en una estación móvil |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20110211084A1 (es) |
| EP (1) | EP2313862B1 (es) |
| CN (1) | CN102124491B (es) |
| ES (1) | ES2656437T3 (es) |
| FR (1) | FR2935214B1 (es) |
| IL (1) | IL211208A (es) |
| WO (1) | WO2010020625A1 (es) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102200782B (zh) * | 2010-03-25 | 2013-05-08 | 鸿富锦精密工业（深圳）有限公司 | 远程控制轨道式摄影装置的手持式装置及方法 |
| US9870504B1 (en) * | 2012-07-12 | 2018-01-16 | The United States Of America, As Represented By The Secretary Of The Army | Stitched image |
| US20140226024A1 (en) * | 2013-02-08 | 2014-08-14 | Kutta Technologies, Inc. | Camera control in presence of latency |
| US9070289B2 (en) * | 2013-05-10 | 2015-06-30 | Palo Alto Research Incorporated | System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform |
| US9025825B2 (en) | 2013-05-10 | 2015-05-05 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
| CN103886595B (zh) * | 2014-03-19 | 2016-08-17 | 浙江大学 | 一种基于广义统一模型的折反射相机自标定方法 |
| CN107577247B (zh) | 2014-07-30 | 2021-06-25 | 深圳市大疆创新科技有限公司 | 目标追踪系统及方法 |
| FR3028186A1 (fr) * | 2014-11-12 | 2016-05-13 | Parrot | Equipement de telecommande de drone a longue portee |
| CN104796611A (zh) * | 2015-04-20 | 2015-07-22 | 零度智控（北京）智能科技有限公司 | 移动终端遥控无人机实现智能飞行拍摄的方法及系统 |
| CN105407330A (zh) * | 2015-12-21 | 2016-03-16 | 中国航天空气动力技术研究院 | 减小链路延时对光电载荷目标锁定影响的方法 |
| WO2018020853A1 (ja) * | 2016-07-29 | 2018-02-01 | Ｎｅｃソリューションイノベータ株式会社 | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 |
| US11373398B2 (en) * | 2019-04-16 | 2022-06-28 | LGS Innovations LLC | Methods and systems for operating a moving platform to determine data associated with a target person or object |
| CN115542357A (zh) * | 2022-08-19 | 2022-12-30 | 上海电机学院 | 一种基于rtk的机器人室外导航系统及方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3557304A (en) * | 1967-10-24 | 1971-01-19 | Richard O Rue | Remote control flying system |
| EP1033879A4 (en) * | 1998-09-18 | 2004-05-19 | Mitsubishi Electric Corp | CAMERA CONTROL SYSTEM |
| FR2794880B1 (fr) * | 1999-06-10 | 2001-12-14 | Philippe Crochat | Procede automatique de suivi d'une cible en mouvement par une camera electronique et dispositif pour sa mise en oeuvre |
| AU2001247302A1 (en) * | 2000-03-10 | 2001-09-24 | Sensormatic Electronics Corporation | Method and apparatus for object surveillance with a movable camera |
| JP3885999B2 (ja) * | 2001-12-28 | 2007-02-28 | 本田技研工業株式会社 | 物体検出装置 |
| FI115277B (fi) * | 2002-12-12 | 2005-03-31 | Plenware Group Oy | Liikkeentunnistuksen järjestäminen matkaviestimessä |
| US7796154B2 (en) * | 2005-03-07 | 2010-09-14 | International Business Machines Corporation | Automatic multiscale image acquisition from a steerable camera |
| CN1743144A (zh) * | 2005-09-29 | 2006-03-08 | 天津理工大学 | 基于互联网的机器人远程控制方法 |
| US7907750B2 (en) * | 2006-06-12 | 2011-03-15 | Honeywell International Inc. | System and method for autonomous object tracking |
| CN100565105C (zh) * | 2008-02-03 | 2009-12-02 | 航天东方红卫星有限公司 | 一种星载tdiccd相机积分时间计算及调整方法 |
-
2008
- 2008-08-20 FR FR0855644A patent/FR2935214B1/fr not_active Expired - Fee Related
-
2009
- 2009-08-18 ES ES09781933.8T patent/ES2656437T3/es active Active
- 2009-08-18 US US13/058,837 patent/US20110211084A1/en not_active Abandoned
- 2009-08-18 EP EP09781933.8A patent/EP2313862B1/fr active Active
- 2009-08-18 CN CN2009801315311A patent/CN102124491B/zh not_active Expired - Fee Related
- 2009-08-18 WO PCT/EP2009/060650 patent/WO2010020625A1/fr not_active Ceased
-
2011
- 2011-02-13 IL IL211208A patent/IL211208A/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010020625A1 (fr) | 2010-02-25 |
| EP2313862B1 (fr) | 2017-10-18 |
| EP2313862A1 (fr) | 2011-04-27 |
| CN102124491B (zh) | 2013-09-04 |
| IL211208A (en) | 2014-02-27 |
| FR2935214B1 (fr) | 2010-10-08 |
| US20110211084A1 (en) | 2011-09-01 |
| CN102124491A (zh) | 2011-07-13 |
| IL211208A0 (en) | 2011-04-28 |
| FR2935214A1 (fr) | 2010-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2656437T3 (es) | Procedimiento y un dispositivo de control, remoto, de una cámara montada en una estación móvil | |
| US10645300B2 (en) | Methods and apparatus for image processing | |
| US20210065400A1 (en) | Selective processing of sensor data | |
| US9367067B2 (en) | Digital tethering for tracking with autonomous aerial robot | |
| US10599149B2 (en) | Salient feature based vehicle positioning | |
| KR101790059B1 (ko) | 지연되는 통신 링크를 통하여 영상 처리 장치를 제어하는 방법 | |
| ES2876449T3 (es) | Cartografía de entorno de múltiples sensores | |
| CN115082549A (zh) | 位姿估计方法及装置、以及相关设备和存储介质 | |
| WO2017147731A1 (en) | Uav hardware architecture | |
| US20190135450A1 (en) | System and method for automated tracking and navigation | |
| KR102219843B1 (ko) | 자율주행을 위한 위치 추정 장치 및 방법 | |
| JP7247904B2 (ja) | ドローンシステム及びドローンによる車両撮影方法 | |
| KR20240006475A (ko) | 복수의 무인비행체를 이용한 구조물 관리 방법 및 시스템 | |
| KR20150128140A (ko) | 어라운드 뷰 시스템 | |
| JP2018205142A (ja) | 位置推定装置 | |
| US20200410219A1 (en) | Moving object detection device, control device, movable body, moving object detection method and program | |
| JP6515423B2 (ja) | 制御装置、移動体、制御方法、及びプログラム | |
| JP7468523B2 (ja) | 移動体、位置推定方法、およびプログラム | |
| CN114078142A (zh) | 主动式万向支架稳定的航空视觉惯性导航系统 | |
| KR102149494B1 (ko) | 드론을 이용한 구조물 검사 시스템 및 검사 방법 | |
| KR20180092496A (ko) | 다수의 동적 자율 이동 비행체 기반 다중 시점 영상 제공 시스템 및 방법 | |
| US10969786B1 (en) | Determining and using relative motion of sensor modules | |
| JP2016173655A (ja) | 移動体用制御システム及び移動体の制御方法 | |
| JP7371679B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| KR102209882B1 (ko) | 비행 드론을 통한 구조물 검사 시스템 |