ES2743529T3 - Procedimiento y sistema de determinación de una relación entre una primera escena y una segunda escena - Google Patents

Procedimiento y sistema de determinación de una relación entre una primera escena y una segunda escena Download PDF

Info

Publication number
ES2743529T3
ES2743529T3 ES11875448T ES11875448T ES2743529T3 ES 2743529 T3 ES2743529 T3 ES 2743529T3 ES 11875448 T ES11875448 T ES 11875448T ES 11875448 T ES11875448 T ES 11875448T ES 2743529 T3 ES2743529 T3 ES 2743529T3
Authority
ES
Spain
Prior art keywords
scene
geocoded
image
sensor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11875448T
Other languages
English (en)
Inventor
Michael Olofsson
Folke Isaksson
Magnus Brege
Ingmar Andersson
Per Carlbom
Johan Borg
Leif Haglund
Fredrik Rosenqvist
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saab AB
Original Assignee
Saab AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saab AB filed Critical Saab AB
Application granted granted Critical
Publication of ES2743529T3 publication Critical patent/ES2743529T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

Un procedimiento (400; 500) implementado por un ordenador para determinar una relación entre una primera escena y una segunda escena, comprendiendo dicho procedimiento las etapas de - generar (401) al menos una imagen de sensor de una primera escena con al menos un sensor, - acceder (402) a información relacionada con al menos una segunda escena, abarcando dicha segunda escena dicha primera escena, y - casar (403) la imagen de sensor con la segunda escena para cartografiar la imagen de sensor sobre la segunda escena, caracterizado porque la etapa de acceder (402) a información relacionada con al menos una segunda escena comprende acceder a un mapa tridimensional texturizado que comprende datos geocodificados de coordenadas tridimensionales y que comprende datos de textura asociados con todas las superficies del mapa tridimensional que superan un cierto tamaño, y extraer los datos de textura y los datos geocodificados de coordenadas tridimensionales relacionados con la al menos una segunda escena a partir del mapa tridimensional texturizado, y la etapa de casamiento de la imagen de sensor con la segunda escena comprende casar la imagen de sensor con los datos extraídos de textura, y en el que el cartografiado implica información de geocodificación asociada con una pluralidad de posiciones en la imagen de sensor en función de los datos geocodificados de coordenadas tridimensionales de la segunda escena.

Description

DESCRIPCIÓN
Procedimiento y sistema de determinación de una relación entre una primera escena y una segunda escena Campo técnico
La presente invención versa acerca de un procedimiento y un sistema para determinar una relación entre una primera escena y una segunda escena.
Técnica antecedente
El documento US 2003/0218675 describe un procedimiento de procesamiento de una imagen de vídeo concebido para tomar una instantánea de una superficie del suelo desde una videocámara montada en un fuselaje en vuelo e identificar situaciones existentes en la superficie del suelo. El procedimiento comprende las etapas de especificar tridimensionalmente una posición fotográfica en el aire, calcular un alcance fotográfico de la superficie del suelo que ha sido fotografiada; transformar una imagen de vídeo conforme al alcance fotográfico; y representar visualmente la imagen transformada de tal forma que sea superpuesta sobre un mapa de un sistema de información geográfica. El documento US 2005/220363 A1 da a conocer un procedimiento para geocodificar una imagen en perspectiva de manera que se asocie con una ubicación geográfica tridimensional única.
El documento US 2007/002040 A1 da a conocer un muestreo repetido de un modelo de superficie de elevación de referencia con respecto a una separación que casa la resolución de muestra del suelo de una imagen en perspectiva.
Sumario de la invención
Un objeto de la presente invención es proporcionar un geoposicionamiento mejorado de una imagen.
Esto se ha logrado, según un ejemplo, por medio de un procedimiento según la reivindicación 1.
De ese modo, el sensor está asociado con información de geocodificación conforme al sistema de coordenadas de los datos geocodificados de coordenadas tridimensionales del mapa tridimensional.
En una opción, el mapa tridimensional comprende un modelo tridimensional del entorno que comprende datos de coordenadas tridimensionales proporcionados en un sistema de coordenadas georreferenciadas. El modelo puede reflejar la realidad vista desde cualquier ángulo.
En una opción, el modelo tridimensional está texturizado. En una opción, al menos parte de los datos de coordenadas tridimensionales está asociada con información de textura.
En una opción, el procedimiento comprende, además, una etapa de extraer información de coordenadas relacionada con un punto o área seleccionado en la imagen de sensor. Por lo tanto, las coordenadas de un punto o área de interés pueden ser extraídas en el sistema de coordenadas del mapa tridimensional.
En una opción, el procedimiento comprende, además, una etapa de representar visualmente la imagen de sensor en un medio de visualización. Entonces, se puede seleccionar el punto o área de interés en función de la imagen representada visualmente.
En una opción, el procedimiento comprende, además, una etapa de formación de una imagen geocodificada de referencia a partir de la segunda escena, en el que la extensión geográfica de la imagen geocodificada de referencia se corresponde con la extensión geográfica de la imagen de sensor. Entonces, se puede comparar la información en las dos imágenes.
En una opción, el procedimiento comprende una etapa de identificar información adicional geocodificada a partir de la imagen geocodificada de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional geocodificada puede comprender información relacionada con la adición y/o la eliminación de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional geocodificada puede comprender información relacionada con una diferencia en la forma y/o en el tamaño de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional puede comprender información relacionada con al menos una desviación de textura en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional puede comprender datos geocodificados adicionales de coordenadas que proporcionan una resolución mejorada con respecto a la imagen de referencia.
En una opción, el al menos un sensor está dispuesto para medir la sensibilidad en otra longitud de onda distinta de la del campo visual, por ejemplo, infrarrojo (IR). El al menos un sensor puede comprender, entonces, un sensor de IR. Entonces, la información geocodificada adicional puede comprender, por ejemplo, datos IR.
En una opción, el procedimiento comprende una etapa de actualización de la imagen geocodificada de referencia en función de la información adicional.
En una opción, el procedimiento comprende una etapa de presentación de la información adicional geocodificada. Según una realización, la invención comprende un sistema para determinar una relación entre una primera escena y una segunda escena según la reivindicación 13.
En una opción, el mapa tridimensional comprende un modelo tridimensional del entorno que comprende datos de coordenadas tridimensionales proporcionados en un sistema de coordenadas georreferenciadas. El modelo tridimensional puede estar texturizado. El sistema puede comprender, además, medios para extraer información de coordenadas relacionada con un punto seleccionado en la imagen de sensor.
En una opción, el sistema comprende, además, un medio de visualización dispuesto para representar visualmente la imagen de sensor y medios de selección para seleccionar el punto a partir de la imagen de sensor representada visualmente.
En una opción, el módulo de procesamiento y de control está dispuesto para formar una imagen geocodificada de referencia a partir de la segunda escena, en el que la extensión geográfica de la imagen geocodificada de referencia se corresponde con la extensión geográfica de la imagen de sensor. Entonces, se puede disponer el módulo de procesamiento y de control para identificar la información adicional geocodificada a partir de la imagen geocodificada de sensor con respecto a la imagen geocodificada correspondiente de referencia.
La información adicional geocodificada puede comprender información relacionada con la adición y/o la eliminación de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional geocodificada puede comprender información relacionada con una diferencia en la forma y/o el tamaño de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional puede comprender información relacionada con al menos una desviación de la textura en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional puede comprender datos geocodificados adicionales de coordenadas que proporcionan una mayor precisión con respecto a la imagen de referencia.
En una opción, el al menos un sensor comprende un sensor IR. El módulo de procesamiento y de control puede estar dispuesto, entonces, para proporcionar datos IR como información adicional geocodificada.
En una opción, se actualiza el mapa tridimensional con la información adicional en función de la imagen geocodificada de referencia en función de la información adicional.
En una opción, el sistema comprende, además, una unidad de presentación adicional dispuesta para presentar información relacionada con la imagen de sensor asociada con información de geocodificación. La unidad de presentación puede estar dispuesta, además, para presentar información relacionada con la imagen geocodificada de referencia. La unidad de presentación puede estar dispuesta para presentar información relacionada con la información adicional geocodificada.
En una opción, el sistema comprende una primera plataforma que comprende al menos el al menos un sensor y una primera unidad de comunicaciones para la transmisión de al menos primeros datos relacionados con la al menos una imagen capturada de una primera escena, y una segunda plataforma que comprende al menos la unidad de presentación y una segunda unidad de comunicaciones para la recepción de al menos segundos datos relacionados con la imagen de sensor con información de geocodificación.
La presente invención también versa acerca de un programa de ordenador según la reivindicación 15.
La presente invención versa, además, acerca de un medio legible por un ordenador según la reivindicación 16. Breve descripción de los dibujos
La Fig 1 ilustra, de forma esquemática, una primera plataforma móvil.
La Fig 2 es un esquema de bloques que ilustra un ejemplo de un sistema para determinar una relación entre una primera escena y una segunda escena.
La Fig 3 ilustra, de forma esquemática, una primera plataforma y una segunda plataforma en comunicación con una unidad de instrucciones y de control.
La Fig 4 es un diagrama de flujo que ilustra un ejemplo de un procedimiento para determinar una relación entre una primera escena y una segunda escena.
Descripción detallada
En la Fig. 1, un objeto que forma una primera plataforma 101 se mueve sobre un terreno. En el ejemplo ilustrado, el objeto es un objeto aéreo. El objeto aéreo es, por ejemplo, un vehículo aéreo tripulado o un vehículo aéreo no tripulado. El vehículo aéreo puede ser un helicóptero, una aeronave o similar. El objeto también puede ser, por ejemplo, terrestre.
La primera plataforma 101 comprende un sensor de exploración por barrido de un terreno en el campo de visión del sensor. Por lo tanto, el sensor está dispuesto para capturar imágenes de una primera escena 102. En un ejemplo, el sensor está dispuesto para capturar continuamente imágenes de la primera escena según se mueve el objeto aéreo. Entonces, el sensor puede ser una videocámara. El sensor puede estar dispuesto, en un ejemplo alternativo, para capturar imágenes de la escena a intervalos preestablecidos de tiempo o en una única instantánea.
Entonces, las imágenes de sensor pueden ser procesadas de manera que se asocie información geocodificada con datos de coordenadas de la imagen de sensor. El procesamiento implica casar la imagen de sensor de la primera escena 102 con datos geocodificados de coordenadas de mapa tridimensional.
En la Fig. 2, un sistema 200 comprende una primera plataforma 201 y una segunda plataforma 207. La primera plataforma comprende un sensor o una pluralidad de sensores 203. El sensor puede ser una cámara o una videocámara que opera en el campo visual. De forma alternativa, o adicional, la primera plataforma puede comprender un sensor que opera en el campo IR.
La primera plataforma 201 también puede comprender un módulo 208 de posicionamiento. El módulo de posicionamiento puede comprender un equipo para determinar la posición de la primera plataforma 201 en un sistema de coordenadas georreferenciadas. El equipo para determinar la posición de la primera plataforma 201 comprende, por ejemplo, un receptor GPS. El módulo 208 de posicionamiento también puede comprender un equipo para determinar una dirección de orientación del o de los sensores 203. La determinación de la dirección de orientación de un sensor es bien conocida en la técnica y puede estar basada en información, por ejemplo, procedente de acelerómetros y/o de giroscopios.
Un módulo 205 de procesamiento y de control está dispuesto para recibir información procedente del módulo de posicionamiento relacionado con la posición de la primera plataforma y la dirección de orientación del o de los sensores a bordo de la plataforma. El módulo 205 de procesamiento y de control tiene, además, acceso a un mapa 204.
El mapa 204 es un mapa tridimensional que comprende datos de coordenadas tridimensionales en un sistema de coordenadas georreferenciadas. El mapa tridimensional puede estar, además, texturizado. El mapa tridimensional comprende un modelo tridimensional del entorno circundante. El modelo tridimensional puede comprender, sustancialmente, todas las superficies visibles (por encima de un cierto tamaño) en el entorno vistas desde cualquier ángulo. Por lo tanto, sustancialmente todas las superficies en el entorno que superan un cierto tamaño están asociadas con los datos de coordenadas tridimensionales proporcionados en el sistema de coordenadas georreferenciadas. Además, también se pueden asociar datos de textura con todas las superficies en el entorno que superan un cierto tamaño. Los datos de coordenadas georreferenciadas pueden comprender datos de latitud, datos de longitud y datos de altitud y pueden estar asociados con información de textura. Los datos pueden tener una precisión de uno o algunos metros, preferentemente en el intervalo de decímetros. En un ejemplo, la resolución es un decímetro o menor.
El módulo 205 de procesamiento y de control está dispuesto para extraer del mapa 204 datos de modelo tridimensional relacionados con una segunda escena en función de la información de la posición y de la dirección de orientación. Se selecciona la segunda escena de manera que se garantice que abarque la primera escena. Por lo tanto, se selecciona la segunda escena en función de la precisión de los datos de posición y de dirección. El módulo de control y de procesamiento está dispuesto para llevar a cabo un procesamiento de la imagen de sensor y de los datos del modelo tridimensional relacionados con la segunda escena. El procesamiento implica casar la imagen de sensor con los datos de modelo tridimensional relacionados con una segunda escena para cartografiar la imagen de sensor sobre los datos de modelo tridimensional relacionados con la segunda escena. El casamiento implica, por ejemplo, un casamiento de información de textura. Se puede formar un modelo tridimensional de la primera escena en función de las imágenes de sensor. Se conoce en la técnica la construcción de un modelo tridimensional de una escena en función de una pluralidad de imágenes que forman “pares estereográficos”. Entonces, se puede utilizar el modelo tridimensional de la primera escena en el casamiento de la imagen de sensor con un mapa tridimensional. Por lo tanto, el modelo tridimensional de la primera escena puede ser casado con los datos del mapa tridimensional. La sección de los datos del modelo tridimensional relacionados con la segunda escena está relacionada, de aquí en adelante, con una imagen geocodificada de referencia. El cartografiado puede implicar la asociación de información geocodificada a partir de la imagen de referencia con datos de coordenadas de la imagen de sensor.
El módulo 205 de procesamiento y de control puede estar dispuesto, además, para identificar información adicional geocodificada procedente de la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional geocodificada puede comprender información relacionada con la adición y/o la eliminación de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional geocodificada comprende información relacionada con una diferencia en la forma y/o el tamaño de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional puede comprender información relacionada con al menos una desviación de la textura en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional puede comprender datos geocodificados adicionales de coordenadas que proporcionan una resolución mejorada con respecto a la imagen de referencia. Además, la información adicional puede comprender datos IR.
El módulo 205 de procesamiento y de control puede estar dispuesto para llevar a cabo un procesamiento de manera que se identifique información adicional de varias formas. En un ejemplo, el procesamiento se lleva a cabo en función de las desviaciones de textura entre la imagen de sensor y la imagen correspondiente de referencia. En este ejemplo, el procesamiento puede llevarse a cabo en función de una comparación entre cada imagen de sensor individual y la imagen de referencia. En función de esta comparación, puede identificarse, por ejemplo, la adición y/o la eliminación de objetos. Además, un módulo (no mostrado) de procesamiento estereográfico puede estar presente dispuesto para llevar a cabo un procesamiento estereográfico en función de imágenes de sensor consecutivas. Entonces, se puede formar un modelo tridimensional de la primera escena en función de las imágenes de sensor, según se ha expuesto anteriormente. Entonces, se puede utilizar el modelo tridimensional de la primera escena para casar la imagen de sensor con el mapa tridimensional. En función del modelo tridimensional de la primera escena, se puede proporcionar información adicional relacionada con la imagen de sensor tal como los datos geocodificados de coordenadas mencionados anteriormente que proporcionan una resolución mejorada con respecto a la imagen de referencia, y también una detección más precisa de la adición/eliminación de objetos y de diferencias en la forma y/o el tamaño de objetos.
El módulo 205 de procesamiento y de control puede estar dispuesto para proporcionar la actualización de información al mapa 204 de forma que se actualice el modelo tridimensional en función de la información adicional en la imagen de sensor. La información adicional puede ser, por ejemplo, datos de coordenadas y/o de textura que tienen una mayor resolución que los presentes datos del mapa 204. Además, la información adicional puede estar relacionada con cambios en el entorno desde que se crearon los datos del mapa 204.
El módulo 205 de procesamiento y de control puede implementarse en la primera plataforma 201. Sin embargo, también puede implementarse en la segunda plataforma 207 o en una tercera ubicación (no mostrada) en comunicación con la primera plataforma 201 y con la segunda plataforma 207. De forma alternativa, las distintas partes del módulo 205 de procesamiento y de control pueden estar formadas en distintas plataformas/ubicaciones. Se puede almacenar el mapa 204 en su conjunto o en parte en la primera plataforma 201, en la segunda plataforma 207 y/o en la tercera ubicación (no mostrada).
La segunda plataforma 207 puede comprender un módulo 206 de presentación y/o de apoyo para la toma de decisiones y un módulo 209 de indicaciones de usuario. En un ejemplo, el módulo de presentación y/o de apoyo para la toma de decisiones comprende un medio de visualización dispuesto para representar visualmente la imagen de sensor. Entonces, el módulo 209 de indicaciones de usuario puede comprender, por ejemplo, un ratón de ordenador o una pantalla táctil en el medio de visualización para marcar una posición o un área en la imagen de sensor representada visualmente. Entonces, el módulo 206 de visualización y/o de apoyo para la toma de decisiones está dispuesto para extraer información de coordenadas de la imagen de sensor relacionada con el área/posición seleccionada. Entonces, otros sistemas pueden utilizar esta información de coordenadas.
En un ejemplo, en el que existe información adicional relacionada con la comparación entre la imagen georreferenciada de referencia y la imagen de sensor, el módulo 206 de presentación y/o de apoyo para la toma de decisiones puede estar dispuesto para representar visualmente dicha información adicional. En un ejemplo, el medio de visualización está dispuesto para representar visualmente la imagen de sensor con la información adicional marcada en la imagen de sensor. En un ejemplo, la información adicional está marcada como fotogramas que encierran áreas en las que se ha identificado información adicional. El tipo de información adicional que ha sido identificado también puede ser presentado en el medio de visualización (por ejemplo, un objeto eliminado, un punto de especial interés, etc.). Entonces, se puede utilizar esta información, por ejemplo, como apoyo para la toma de decisiones, por ejemplo, cuando se decide si la segunda plataforma 207 entrará en un área explorada por el sensor. Entonces, se puede disponer el medio de visualización para representar visualmente información relacionada con una pluralidad de imágenes de sensor que abarcan un área geográfica más amplia. Entonces, según se ha descrito anteriormente el módulo 209 de indicaciones de usuario puede ser utilizado para marcar un área o posición arbitraria en la imagen de sensor representada visualmente y/o un área o posición asociada con la información adicional. Entonces, se puede disponer el módulo 206 de visualización y/o de apoyo para la toma de decisiones para extraer información de coordenadas de la imagen de sensor relacionada con el área/posición seleccionada. En un ejemplo, el medio de visualización está dispuesto para representar visualmente la imagen de sensor en un mapa, en el que se puede utilizar el mapa 204 para proporcionar datos al mapa representado visualmente que rodea la imagen de sensor. La imagen de sensor representada visualmente puede ser actualizada continuamente según se mueve la primera plataforma o se gira el sensor.
En la Fig. 3, un sistema para una planificación de misiones comprende una primera plataforma 301 que explora un área de interés. La primera plataforma es seguida por una o una pluralidad de segundas plataformas 307. La primera plataforma puede encontrarse en comunicación directa con la o las segundas plataformas 307. Sin embargo, en el ejemplo ilustrado, la primera plataforma 301 comunica datos relacionados con las imágenes de sensor a una unidad 310 de instrucciones y de control mediante una primera línea 311 de comunicaciones. La unidad 310 de instrucciones y de control procesa los datos de la primera plataforma 301 y luego comunica información a cada segunda plataforma respectiva 307 mediante una segunda línea 312 de comunicaciones en función del resultado del procesamiento en la unidad de instrucciones y de control. En un ejemplo, la primera plataforma comprende el sensor 203, el módulo de posicionamiento, el mapa 204 y la unidad 205 de procesamiento y de control descritos anteriormente. Entonces, se puede disponer el módulo 205 de procesamiento y de control para comunicar con la unidad 310 de instrucciones y de control datos relacionados con la imagen de sensor georreferenciada que incluye, potencialmente, la información adicional descrita anteriormente. La unidad de instrucciones y de control puede comprender, según este ejemplo, el módulo 206 de presentación y/o de apoyo para la toma de decisiones y el módulo 209 de indicaciones de usuario. En un ejemplo, en el que las segundas plataformas, por ejemplo, están dispuestas para atacar objetivos, la unidad 310 de instrucciones y de control puede comprender personal que selecciona objetivos en la imagen de sensor. Entonces, se pueden comunicar los datos de coordenadas extraídos relacionados con los objetivos seleccionados a las segundas plataformas 307 por la segunda línea 312 de comunicaciones. La unidad de instrucciones y de control puede llevar a cabo, en otro ejemplo, una planificación de ruta en función de la información en las imágenes georreferenciadas de sensor. La segunda línea 312 de comunicaciones puede ser utilizada, según este ejemplo, para una comunicación de rutas planificadas por la unidad 310 de instrucciones y de control a las segundas plataformas respectivas 312. De forma alternativa, se pueden tomar decisiones en las segundas plataformas respectivas 307 en vez de en la unidad 310 de instrucciones y de control, según se describe con respecto a la Fig 2. En un ejemplo, el sistema para la planificación de misiones opera en tiempo real. Por lo tanto, el procesamiento se lleva a cabo en decenas de segundos. El retraso entre la captura de una imagen de sensor en la primera plataforma y la presentación de la información procesada en la segunda plataforma puede ser menor de un segundo.
En la Fig 4, un procedimiento 400 para asociar información geocodificada con una imagen de una primera escena comprende las siguientes etapas.
En una primera etapa 401, se genera al menos una imagen de sensor de una primera escena con al menos un sensor.
En una siguiente etapa 402, se accede a la información relacionada con al menos una segunda escena, abarcando dicha segunda escena dicha primera escena. Esta etapa implica el acceso a un mapa tridimensional que comprende datos geocodificados de coordenadas tridimensionales. En un ejemplo, el mapa tridimensional comprende un modelo tridimensional del entorno circundante que comprende datos de coordenadas tridimensionales proporcionados en un sistema de coordenadas georreferenciadas. Según la invención, el modelo tridimensional está texturizado. En detalle, esto puede llevarse a cabo asociando información de textura con al menos algunos de los datos de coordenadas tridimensionales.
Por lo tanto, la imagen de sensor es casada con la segunda escena para cartografiar la imagen de sensor sobre la segunda escena en una etapa 403 de casamiento. El casamiento puede implicar casar información de textura de la imagen de sensor con información de textura relacionada con la segunda escena. El cartografiado implica asociar información de geocodificación con una pluralidad de posiciones en la imagen de sensor en función de los datos de coordenadas de la segunda escena.
A partir de entonces, se puede llevar a cabo una etapa 404 para representar visualmente la imagen de sensor en un medio de visualización.
Se puede seguir una etapa 405 de selección para seleccionar un punto o área en la imagen de sensor. En una etapa subsiguiente 406, se puede extraer la información de coordenadas relacionada con el punto o área seleccionado en la imagen de sensor.
En la Fig. 5, un procedimiento 500 para determinar una relación entre una imagen georreferenciada de sensor y datos cartográficos relacionados con un área correspondiente comprende las siguientes etapas.
En una primera etapa 507, se forma la imagen geocodificada de referencia mediante datos del mapa tridimensional descrito anteriormente, correspondiéndose la extensión geográfica de la imagen geocodificada de referencia con la extensión geográfica de la imagen de sensor.
A partir de entonces, sigue una etapa 508 de identificación de información adicional geocodificada a partir de la imagen geocodificada de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional geocodificada identificada puede comprender información relacionada con la adición y/o la eliminación de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional geocodificada identificada puede comprender información relacionada con una diferencia en la forma y/o en el tamaño de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional georreferenciada identificada puede comprender información relacionada con al menos una desviación de la textura en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia. La información adicional identificada puede comprender datos geocodificados adicionales de coordenadas que proporcionan una resolución mejorada con respecto a la imagen de referencia. La información adicional georreferenciada identificada puede comprender información IR. La imagen de sensor con la información adicional marcada en la imagen de sensor puede ser representada visualmente, entonces, en una etapa 509 de visualización. Entonces, se pueden seleccionar 510 puntos/áreas de la imagen de sensor representados visualmente y se pueden extraer 511 datos de coordenadas de la forma descrita con respecto a la Fig 4. En un ejemplo, se puede actualizar el mapa tridimensional con la información adicional en una etapa 512 de actualización. Un programa de ordenador del procesador 205 (véase la fig 2) comprende un código de programa para determinar una relación entre una primera escena y una segunda escena. El programa de ordenador comprende las etapas de la reivindicación 1.
Se proporciona un medio legible por un ordenador según la reivindicación 16.
Se ha proporcionado la anterior descripción de las realizaciones preferentes de la presente invención con fines ilustrativos y descriptivos. Evidentemente, serán evidentes muchas modificaciones y variaciones para los expertos en la técnica. Se pueden escoger y describir las realizaciones para explicar de forma óptima los principios de la invención y sus aplicaciones prácticas, permitiendo, de ese modo, que otros expertos en la técnica comprendan la invención para diversas realizaciones y con las diversas modificaciones adecuadas para el uso particular contemplado.

Claims (16)

REIVINDICACIONES
1. Un procedimiento (400; 500) implementado por un ordenador para determinar una relación entre una primera escena y una segunda escena, comprendiendo dicho procedimiento las etapas de
- generar (401) al menos una imagen de sensor de una primera escena con al menos un sensor, - acceder (402) a información relacionada con al menos una segunda escena, abarcando dicha segunda escena dicha primera escena, y
- casar (403) la imagen de sensor con la segunda escena para cartografiar la imagen de sensor sobre la segunda escena,
caracterizado porque
la etapa de acceder (402) a información relacionada con al menos una segunda escena comprende acceder a un mapa tridimensional texturizado que comprende datos geocodificados de coordenadas tridimensionales y que comprende datos de textura asociados con todas las superficies del mapa tridimensional que superan un cierto tamaño, y extraer los datos de textura y los datos geocodificados de coordenadas tridimensionales relacionados con la al menos una segunda escena a partir del mapa tridimensional texturizado, y
la etapa de casamiento de la imagen de sensor con la segunda escena comprende casar la imagen de sensor con los datos extraídos de textura,
y
en el que el cartografiado implica información de geocodificación asociada con una pluralidad de posiciones en la imagen de sensor en función de los datos geocodificados de coordenadas tridimensionales de la segunda escena.
2. Un procedimiento según la reivindicación 1, en el que el mapa tridimensional comprende un modelo tridimensional del entorno que comprende datos de coordenadas tridimensionales proporcionados en un sistema georreferenciado de coordenadas.
3. Un procedimiento según cualquiera de las reivindicaciones precedentes, en el que al menos algunos de los datos de coordenadas tridimensionales están asociados con la información de textura.
4. Un procedimiento según cualquiera de las reivindicaciones precedentes, que comprende, además, una etapa de extraer (406) información de coordenadas relacionada con un punto seleccionado en la imagen de sensor.
5. Un procedimiento según la reivindicación 4, que comprende, además, una etapa de representar visualmente la imagen de sensor en un medio de visualización y una etapa de seleccionar (405) el punto en función de la imagen representada visualmente.
6. Un procedimiento según cualquiera de las reivindicaciones precedentes, que comprende, además, una etapa (507) de formación de una imagen geocodificada de referencia a partir de la segunda escena, correspondiéndose la extensión geográfica de la imagen geocodificada de referencia se corresponde con la extensión geográfica de la imagen de sensor.
7. Un procedimiento según la reivindicación 6, que comprende, además, una etapa de identificar (508) información adicional geocodificada a partir de la imagen geocodificada de sensor con respecto a la imagen geocodificada correspondiente de referencia.
8. Un procedimiento según la reivindicación 7,
en el que la información adicional geocodificada comprende información relacionada con la adición y/o la eliminación de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia y/o
en el que la información adicional geocodificada comprende información relacionada con una diferencia en la forma y/o el tamaño de al menos un objeto en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia, y/o
en el que la información adicional geocodificada comprende información relacionada con al menos una desviación de la textura en la imagen de sensor con respecto a la imagen geocodificada correspondiente de referencia.
9. Un procedimiento según cualquiera de las reivindicaciones 7-8, en el que la información adicional geocodificada comprende datos adicionales de coordenadas geocodificadas que proporcionan una resolución mejorada con respecto a la imagen de referencia.
10. Un procedimiento según la reivindicación 9, que comprende, además, una etapa de actualizar (512) la imagen geocodificada de referencia en función de la información adicional geocodificada.
11. Un procedimiento según cualquiera de las reivindicaciones 7-10, en el que el al menos un sensor comprende un sensor IR, y en el que la información adicional geocodificada comprende datos IR.
12. Un procedimiento según cualquiera de las reivindicaciones 7-11, que comprende, además, una etapa (509) de presentación de la información adicional geocodificada.
13. Un sistema (200) para determinar una relación entre una primera escena y una segunda escena, comprendiendo dicho sistema:
- al menos un sensor (203) dispuesto para capturar al menos una imagen de la primera escena (102; 302),
- un mapa (204) que comprende información geográfica,
- un módulo (205) de procesamiento y de control dispuesto para acceder desde el mapa a información relacionada con al menos una segunda escena, abarcando dicha segunda escena dicha primera escena, y casar la imagen de sensor con la segunda escena para cartografiar la imagen de sensor sobre la segunda escena,
caracterizado porque el mapa (204) es un mapa tridimensional texturizado que comprende datos geocodificados de coordenadas tridimensionales y datos de textura asociados con todas las superficies del mapa tridimensional que superan un cierto tamaño, y porque el módulo (205) de procesamiento y de control está dispuesto para extraer del mapa tridimensional texturizado datos de textura y datos geocodificados de coordenadas tridimensionales relacionados con la al menos una segunda escena
casar la imagen de sensor con los datos extraídos de textura, y
asociar la información de geocodificación con una pluralidad de posiciones en la imagen de sensor en función de los datos geocodificados de coordenadas tridimensionales de la segunda escena.
14. Un sistema según la reivindicación 13, caracterizado porque comprende
- una primera plataforma (101; 201; 301) que comprende al menos el al menos un sensor y una primera unidad de comunicaciones para la transmisión de al menos primeros datos relacionados con la al menos una imagen capturada de una primera escena,
- una segunda plataforma (207; 307) que comprende al menos una unidad (206) de presentación y una segunda unidad de comunicaciones para la recepción de al menos segundos datos relacionados con la imagen de sensor asociada con la información de geocodificación.
15. Un programa (P) de ordenador que comprende instrucciones que, cuando un ordenador ejecuta el programa, provoca que el ordenador lleve a cabo el procedimiento de la reivindicación 1.
16. Un medio legible por un ordenador que comprende instrucciones que, cuando son ejecutadas por un ordenador, provocan que el ordenador lleve a cabo el procedimiento de la reivindicación 1.
ES11875448T 2011-11-08 2011-11-08 Procedimiento y sistema de determinación de una relación entre una primera escena y una segunda escena Active ES2743529T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2011/051338 WO2013070125A1 (en) 2011-11-08 2011-11-08 Method and system for determining a relation between a first scene and a second scene

Publications (1)

Publication Number Publication Date
ES2743529T3 true ES2743529T3 (es) 2020-02-19

Family

ID=48290371

Family Applications (1)

Application Number Title Priority Date Filing Date
ES11875448T Active ES2743529T3 (es) 2011-11-08 2011-11-08 Procedimiento y sistema de determinación de una relación entre una primera escena y una segunda escena

Country Status (5)

Country Link
US (1) US9792701B2 (es)
EP (1) EP2776786B1 (es)
ES (1) ES2743529T3 (es)
PL (1) PL2776786T3 (es)
WO (1) WO2013070125A1 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342038B (zh) * 2016-02-29 2024-08-20 星克跃尔株式会社 为无人飞行器的飞行生成地图的方法和系统
CN109493374B (zh) * 2018-11-14 2021-10-26 北京遥感设备研究所 一种基于多帧雷达图像的序贯匹配方法
US11770506B2 (en) * 2020-06-25 2023-09-26 Innovative Signal Analysis, Inc. Multi-source 3-dimensional detection and tracking
EP4036859A1 (en) * 2021-01-27 2022-08-03 Maxar International Sweden AB A system and method for providing improved geocoded reference data to a 3d map representation

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173949A (en) * 1988-08-29 1992-12-22 Raytheon Company Confirmed boundary pattern matching
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
GB2383245B (en) * 2001-11-05 2005-05-18 Canon Europa Nv Image processing apparatus
TW593978B (en) 2002-02-25 2004-06-21 Mitsubishi Electric Corp Video picture processing method
US6915310B2 (en) 2002-03-28 2005-07-05 Harris Corporation Three-dimensional volumetric geo-spatial querying
US20030225513A1 (en) * 2002-04-12 2003-12-04 Nikhil Gagvani Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
IL155034A0 (en) * 2003-03-23 2004-06-20 M A M D Digital Data Proc Syst Automatic aerial digital photography and digital data processing systems
US7443154B1 (en) * 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
US7751651B2 (en) * 2004-04-02 2010-07-06 The Boeing Company Processing architecture for automatic image registration
US7773799B2 (en) 2004-04-02 2010-08-10 The Boeing Company Method for automatic stereo measurement of a point of interest in a scene
US8055100B2 (en) 2004-04-02 2011-11-08 The Boeing Company Method and system for image registration quality confirmation and improvement
US7873240B2 (en) * 2005-07-01 2011-01-18 The Boeing Company Method for analyzing geographic location and elevation data and geocoding an image with the data
IL169934A (en) * 2005-07-27 2013-02-28 Rafael Advanced Defense Sys Real-time geographic information system and method
US7603208B2 (en) * 2006-01-10 2009-10-13 Harris Corporation Geospatial image change detecting system with environmental enhancement and associated methods
US7528938B2 (en) * 2006-01-10 2009-05-05 Harris Corporation Geospatial image change detecting system and associated methods
JP4624287B2 (ja) * 2006-03-17 2011-02-02 株式会社パスコ 建物形状変化検出方法及び建物形状変化検出システム
US20080131029A1 (en) * 2006-10-10 2008-06-05 Coleby Stanley E Systems and methods for visualizing and measuring real world 3-d spatial data
US9488471B2 (en) * 2007-11-05 2016-11-08 Doubleshot, Inc. Methods and systems for navigation and terrain change detection
US20090132469A1 (en) * 2007-11-16 2009-05-21 Urban Mapping, Inc. Geocoding based on neighborhoods and other uniquely defined informal spaces or geographical regions
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
US8260006B1 (en) * 2008-03-14 2012-09-04 Google Inc. System and method of aligning images
US8243997B2 (en) * 2008-10-16 2012-08-14 The Curators Of The University Of Missouri Detecting geographic-area change using high-resolution, remotely sensed imagery
US8139111B2 (en) * 2008-12-04 2012-03-20 The Boeing Company Height measurement in a perspective image
WO2011140178A1 (en) * 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
US8994821B2 (en) * 2011-02-24 2015-03-31 Lockheed Martin Corporation Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
US8660338B2 (en) * 2011-03-22 2014-02-25 Honeywell International Inc. Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
US20150213590A1 (en) * 2011-07-29 2015-07-30 Google Inc. Automatic Pose Setting Using Computer Vision Techniques

Also Published As

Publication number Publication date
EP2776786A1 (en) 2014-09-17
US9792701B2 (en) 2017-10-17
PL2776786T3 (pl) 2020-01-31
WO2013070125A1 (en) 2013-05-16
US20150078652A1 (en) 2015-03-19
EP2776786A4 (en) 2015-07-15
EP2776786B1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
JP5682060B2 (ja) 画像合成装置、画像合成プログラム、及び画像合成システム
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
EP2458336B1 (en) Method and system for reporting errors in a geographic database
JP5389964B2 (ja) 地図情報生成装置
KR100800554B1 (ko) 이동형 사진측량 시스템에서의 레이저 스캐너와 카메라영상정보를 이용한 3차원 모델링 방법
US20090262974A1 (en) System and method for obtaining georeferenced mapping data
US20170337743A1 (en) System and method for referencing a displaying device relative to a surveying instrument
WO2011023244A1 (en) Method and system of processing data gathered using a range sensor
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
KR100822814B1 (ko) Ｇｐｓ/ｉｎｓ 장비를 이용한 측량 정보 및 ｇｉｓ 지리정보, 실시간 영상정보를 결합한 공간정보 서비스방법
EP2946366B1 (en) Method and system for geo-referencing at least one sensor image
Sužiedelytė Visockienė et al. Comparison of UAV images processing softwares
ES2743529T3 (es) Procedimiento y sistema de determinación de una relación entre una primera escena y una segunda escena
US20190033487A1 (en) Method of creating longitudinal section of three-dimensional point group data, and survey data processing device and survey system for the same
JP6773473B2 (ja) 測量情報管理装置および測量情報管理方法
US11460302B2 (en) Terrestrial observation device having location determination functionality
RU2601165C2 (ru) Способ автоматизированного создания трехмерных систем городских панорам на основе данных лазерного сканирования
CN109032330A (zh) 无缝桥接ar装置和ar系统
WO2010068185A1 (en) Method of generating a geodetic reference database product
JP2007122247A (ja) 自動ランドマーク情報作成方法及びシステム
Sobotka et al. Point clouds in projects of the Czech army corps of engineers
Smets et al. Very high-resolution imaging of the city of goma (North Kivu, DR Congo) using SFM-MVS photogrammetry
Liu et al. Calibration of digital camera integration accuracy for low-cost oblique aerial photogrammetry
Kim et al. Rapid Disaster Mapping through Data Integration from UAVs and Multi-sensors Mounted on Investigation Platforms of NDMI, Korea