ES3025000T3 - Method for generating an image using a satellite by the on-board fusion of images captured by said satellite - Google Patents
Method for generating an image using a satellite by the on-board fusion of images captured by said satellite Download PDFInfo
- Publication number
- ES3025000T3 ES3025000T3 ES23721712T ES23721712T ES3025000T3 ES 3025000 T3 ES3025000 T3 ES 3025000T3 ES 23721712 T ES23721712 T ES 23721712T ES 23721712 T ES23721712 T ES 23721712T ES 3025000 T3 ES3025000 T3 ES 3025000T3
- Authority
- ES
- Spain
- Prior art keywords
- partial
- displacements
- elementary
- satellite
- partial images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
- B64G1/1021—Earth observation satellites
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Processing Or Creating Images (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
La presente divulgación se refiere a un método (50) para generar una imagen utilizando un satélite (10), en donde zonas parciales se procesan sucesivamente y el procesamiento de cada zona parcial comprende: - recibir (S51) al menos dos imágenes parciales básicas que representan la zona parcial que se está procesando, imágenes que se capturaron en diferentes momentos respectivos, - estimar (S52) los desplazamientos entre los píxeles de las al menos dos imágenes parciales básicas por medio de un filtro Kalman, en donde los desplazamientos para la zona parcial que se está procesando se estiman de acuerdo con los desplazamientos que se predicen sobre la base de una zona parcial procesada de antemano, actualizándose los desplazamientos predichos para la zona parcial que se está procesando de acuerdo con las al menos dos imágenes parciales básicas, - fusionar (S53), a bordo del satélite, las al menos dos imágenes parciales básicas de acuerdo con los desplazamientos estimados. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Procedimiento de generación de imagen por un satélite por fusión a bordo de imágenes adquiridas por dicho satélite
Sector de la técnica
La presente invención pertenece al campo de la obtención de imágenes por satélites en órbita terrestre y se refiere, más particularmente, a un procedimiento de generación de una imagen de una zona geográfica por un satélite, así como un satélite para la implementación de tal procedimiento de generación.
Antecedentes de la invención
Las misiones de observación de la Tierra efectuadas por un satélite en órbita terrestre consisten en adquirir imágenes de partes de la superficie de la Tierra, es decir, efectuar tomas de vistas de esta.
De manera convencional, tal satélite sigue, por ejemplo, una órbita en movimiento (es decir, no geoestacionaria) alrededor de la Tierra, con el fin de realizar adquisiciones durante su sobrevuelo de la superficie de la Tierra. Para ello, incluye un instrumento de observación asociado a una resolución espacial predeterminada. La resolución espacial corresponde al tamaño, por ejemplo, en metros, del objeto más pequeño que puede detectarse en una escena representada por una imagen procedente de una adquisición efectuada por el instrumento de observación.
Se pueden emplear varios métodos de adquisición. De entre estos últimos, se emplean, a menudo, los de tipo barrido. Según un ejemplo más específico, se implementa, en concreto, un "barrido por bandas" ("pushbroom" en la literatura anglosajona). Generalmente, en tal caso, el instrumento de observación incluye al menos un sensor lineal (o barra) dispuesto transversalmente a una dirección de movimiento del satélite en el suelo y el movimiento del satélite permite adquirir imágenes de líneas sucesivas que representan porciones adyacentes de la superficie terrestre.
No obstante, el movimiento del satélite tiene un impacto sobre la capacidad del instrumento de observación para efectuar adquisiciones claras y precisas. En particular, cuando se dese realizar adquisiciones con alta resolución espacial (por ejemplo, inferior a 1 metro o a 0,5 metros), el tiempo de sobrevuelo de la porción representada por una imagen de línea adquirida por el sensor lineal se vuelve demasiado escaso, de modo que el tiempo de integración no permite lograr una relación señal-ruido (también llamada "SNR", acrónimo de la expresión anglosajona "signal to noise ratio") satisfactoria.
Se puede utilizar, entonces, un sensor lineal llamado de retardo temporal e integración o TDI (acrónimo de la expresión anglosajona "Time Delay and Integration", véanse, por ejemplo, las solicitudes de patentes EP 3217649 y FR 2976754). Típicamente, tal sensor TDI incluye varias etapas de líneas de células de adquisición que efectúan una transferencia de cargas de una línea de células de adquisición a otra de manera sincronizada con el movimiento del satélite, añadiendo cada línea de células de adquisición a las cargas recibidas de la etapa anterior la carga medida para la porción observada. Tal sensor TDI permite, por lo tanto, obtener una imagen de línea que se beneficia de un tiempo de integración más importante, proporcional al número de etapas de dicho sensor TDI. No obstante, errores de sincronización entre la transferencia de cargas y el movimiento del satélite (por el hecho de los errores sobre el conocimiento del movimiento del satélite, de vibraciones, etc.) arrastran una pérdida de contraste, es decir, una degradación de la función de transferencia de modulación (FTM).
Otros métodos de adquisición permiten realizar la adquisición de varias imágenes de una misma zona geográfica durante un mismo sobrevuelo de dicha zona geográfica por el satélite. Este es el caso, por ejemplo, de las técnicas llamadas de "pushframe" véase, por ejemplo, la patente US 8487996) o también de las técnicas llamadas de ralentí infinito en las que la huella en el suelo de un campo de visión del instrumento de observación se inmoviliza durante la adquisición, por maniobras de actitud del satélite que permiten compensar el movimiento del satélite (véase, por ejemplo, la patente FR 3107953), que se apoyan en sensores matriciales, en lugar de en sensores lineales. Así pues, una posibilidad para mejorar la SNR y/o el contraste podría consistir en realizar un posprocesamiento en el suelo de las imágenes que representan una misma zona geográfica. No obstante, en la práctica, tales adquisiciones generan un volumen muy importante de datos que resulta difícil de repatriar en el suelo, teniendo en cuenta las velocidades actuales en los enlaces descendentes de los satélites en órbita terrestre.
Explicación de la invención
La presente invención tiene como objetivo remediar en todo o parte los inconvenientes de la técnica anterior, en concreto, los expuestos anteriormente, proponiendo una solución que permita mejorar a bordo de un satélite la calidad (en términos de SNR y/o de FTM) de las imágenes adquiridas por un instrumento de observación de este satélite.
Para ello y según un primer aspecto, se propone un procedimiento de generación de una imagen por un satélite en órbita terrestre, embarcando dicho satélite un instrumento de observación y un circuito de procesamiento, representando dicha imagen una zona geográfica y obteniéndose agrupando imágenes parciales que representan diferentes zonas parciales en el interior de la zona geográfica, en el que las zonas parciales se procesan sucesivamente y dicho procedimiento incluye, para el procesamiento de cada zona parcial:
- una recepción, por el circuito de procesamiento, de al menos dos imágenes parciales elementales adquiridas por el instrumento de observación en momentos respectivos diferentes y que representan dicha zona parcial en curso de procesamiento,
- una estimación, por el circuito de procesamiento, de desplazamientos entre píxeles de dichas al menos dos imágenes parciales elementales,
- una fusión, por el circuito de procesamiento, de dichas al menos dos imágenes parciales elementales en función de los desplazamientos estimados, para formar la imagen parcial de dicha zona parcial en curso de procesamiento.
Los desplazamientos se estiman por medio de un filtro de Kalman que realiza una fase de predicción y una fase de actualización, en el que los desplazamientos para la zona parcial en curso de procesamiento se estiman en función de desplazamientos predichos para dicha zona parcial en curso de procesamiento a partir de los desplazamientos actualizados para la zona parcial procesada en la iteración anterior del filtro de Kalman, actualizándose dichos desplazamientos predichos para dicha zona parcial en curso de procesamiento por comparación de las al menos dos imágenes parciales elementales que representan la zona parcial en curso de procesamiento.
De este modo, el procedimiento de generación de imagen propuesto se basa en la adquisición de varias imágenes que representan una misma zona geográfica. No obstante, estas imágenes se fusionan ventajosamente, para obtener una imagen de mejor calidad, a bordo del satélite, de modo que no es necesario transmitir a una estación en el suelo, para posprocesamiento, todas las imágenes adquiridas que representan la misma zona geográfica.
No obstante, las capacidades de un satélite en términos de potencia de cálculo y de memoria disponibles son, generalmente, limitadas. Con el fin de permitir tal fusión a bordo del satélite, el procesamiento que permite desembocar en la imagen final de mejor calidad se descompone en varios trozos, fusionando sucesivamente imágenes parciales elementales que representan zonas parciales cuya reunión permite obtener una imagen que representa la zona geográfica considerada. Por lo tanto, las dimensiones (en número de píxeles) de las imágenes parciales elementales se reducen fuertemente con respecto a las dimensiones de la imagen a generar, de modo que la cantidad de datos a procesar simultáneamente durante la fusión de imágenes parciales elementales que representan una misma zona parcial es limitada, procesándose las diferentes zonas parciales sucesivamente, una después de la otra.
Para cada zona parcial, el instrumento de observación proporciona al menos dos imágenes parciales elementales, que representan la misma zona parcial, adquiridas en diferentes momentos durante un mismo sobrevuelo de dicha zona parcial por el satélite, para diferentes posiciones respectivas de dicho satélite sobre su órbita. De manera conocida, pueden estar presentes desplazamientos entre los píxeles de las dos imágenes parciales elementales. En efecto, por el hecho de diferentes fuentes de errores (desconocimiento de la línea de vista del instrumento de observación, deformación geométrica de una huella en el suelo de un campo de visión del instrumento de observación por el hecho de que la zona parcial se observa desde dos posiciones diferentes del satélite con respecto a dicha zona parcial, distorsión geométrica introducida por una óptica del instrumento de observación, etc.), píxeles de diferentes imágenes parciales elementales, que deberían representar una misma porción de la zona parcial, pueden representar en la práctica porciones respectivas ligeramente diferentes de dicha zona parcial. El desvío entre estas diferentes porciones respectivas se traduce en un desplazamiento entre los píxeles correspondientes (en cantidad de píxeles). Para poder fusionar correctamente las imágenes parciales elementales, estos desplazamientos deben estimarse y compensarse previamente para fusionar píxeles que representan la misma porción de la zona parcial. No obstante, dado que las dimensiones de las imágenes parciales elementales son reducidas (con respecto a las de la imagen final a generar), el número de desplazamientos a estimar y a compensar es reducido, igualmente. Este número de desplazamientos a estimar se puede reducir más, de manera opcional, considerando desplazamientos entre grupos de píxeles ("binning" en la literatura anglosajona).
Dado que se supone que las dos imágenes parciales elementales representan la misma zona parcial, la comparación del contenido de dichas imágenes parciales elementales permite estimar los desplazamientos entre estos píxeles. Siendo las imágenes parciales elementales de dimensiones reducidas, se pueden utilizar para estimar los desplazamientos entre sus píxeles con una complejidad de cálculo limitada. Además, generalmente, se puede suponer que existe una correlación no nula entre, por una parte, los desplazamientos entre píxeles de imágenes parciales elementales que representan una zona parcial y, por otra parte, los desplazamientos entre píxeles de imágenes parciales elementales que representan una zona parcial diferente, por ejemplo, adyacente a la anterior. Por consiguiente, los desplazamientos de píxeles estimados para una zona parcial se pueden utilizar para estimar los desplazamientos de píxeles para la siguiente zona parcial.
El principio de funcionamiento de un filtro de Kalman, en lo que se basa en una estimación iterativa de un vector de estado, según la que el vector de estado para la iteración en curso se predice, en primer lugar, a partir del vector de estado actualizado para la iteración anterior, luego, se actualiza para tener en cuenta mediciones representativas de dicho vector de estado para la iteración en curso, está, por lo tanto, particularmente adaptado para la estimación de los desplazamientos entre píxeles para la fusión de las imágenes parciales elementales. En efecto, considerando que las iteraciones sucesivas corresponden al procesamiento sucesivo de las diferentes zonas parciales y que el vector de estado corresponde a los desplazamientos entre píxeles, entonces, la correlación entre desplazamientos de zonas parciales sucesivas permite efectuar una predicción de los desplazamientos para una zona parcial en curso de procesamiento a partir de los desplazamientos actualizados para la zona parcial procesada en la iteración anterior. Además, la comparación de las imágenes parciales elementales de la zona parcial en curso de procesamiento permite observar los desplazamientos entre píxeles para la zona parcial en curso de procesamiento y, por lo tanto, permite actualizar los desplazamientos predichos para dicha zona parcial en curso de procesamiento.
Las imágenes parciales elementales pueden, entonces, fusionarse a bordo del satélite en función de los desplazamientos estimados para la zona parcial en curso de procesamiento (ya sean los desplazamientos predichos, ya sean los desplazamientos actualizados).
En modos particulares de implementación, el procedimiento de generación puede incluir, además, de manera opcional, una o varias de las siguientes características, tomadas aisladamente o según todas las combinaciones técnicamente posibles.
En modos particulares de implementación, la comparación de dichas al menos dos imágenes parciales elementales incluye un reajuste entre sí de dichas al menos dos imágenes parciales elementales en función de los desplazamientos predichos para la zona parcial en curso de procesamiento. Tal reajuste tiene como propósito compensar los desplazamientos entre imágenes parciales elementales para obtener imágenes parciales elementales reajustadas cuyos píxeles representan sustancialmente las mismas porciones de la zona parcial. El reajuste incluye, por ejemplo, un remuestreo de al menos una de dichas imágenes parciales elementales en función de los desplazamientos predichos.
En modos particulares de implementación, la actualización por el filtro de Kalman de los desplazamientos predichos implementa un algoritmo de cálculo de flujo óptico aplicado a dichas al menos dos imágenes parciales elementales reajustadas en función de los desplazamientos predichos.
En modos particulares de implementación, el filtro de Kalman estima desplazamientos entre grupos de píxeles. Tales disposiciones permiten reducir las necesidades en términos de capacidad de cálculo y de memoria.
En modos particulares de implementación, los desplazamientos estimados consisten en un vector de desplazamientos entre líneas y un vector de desplazamientos entre columnas. Tales disposiciones permiten reducir las necesidades en términos de capacidad de cálculo y de memoria.
En modos particulares de implementación, la actualización por el filtro de Kalman de los desplazamientos predichos implementa ganancias de Kalman constantes para el procesamiento de todas las zonas parciales. Tales disposiciones permiten reducir las necesidades en términos de capacidad de cálculo y de memoria.
En modos particulares de implementación, la actualización por el filtro de Kalman de los desplazamientos predichos implementa ganancias variables.
En modos particulares de implementación, el filtro de Kalman está desprovisto de entrada de control.
En modos particulares de implementación, el filtro de Kalman incluye una entrada de control para la toma en cuenta de información externa de la que dependen los desplazamientos a estimar. Tales disposiciones son ventajosas, en concreto, cuando el desvío temporal entre los respectivos momentos de adquisición de las al menos dos imágenes parciales elementales es relativamente importante. En tal caso, algunas fuentes de desplazamientos (por ejemplo, los efectos de proyección) producen efectos al menos en parte deterministas que pueden estimarsea priorie inyectarse en el filtro de Kalman mediante la entrada de control. Igualmente, es posible inyectar en el filtro de Kalman, mediante la entrada de control, información externa representativa de la animación del satélite entre estos momentos de adquisición, por ejemplo, obtenida mediante mediciones exógenas efectuadas por girómetros del satélite.
En modos particulares de implementación, la fusión de las al menos dos imágenes parciales elementales de una zona parcial incluye un reajuste de dichas al menos dos imágenes parciales elementales en función de los desplazamientos estimados y una combinación de dichas al menos dos imágenes parciales elementales reajustadas.
En modos particulares de implementación, el reajuste de dichas al menos dos imágenes parciales elementales incluye un remuestreo de al menos una de dichas imágenes parciales elementales en función de los desplazamientos estimados.
En modos particulares de implementación, los desplazamientos estimados utilizados para reajustar y combinar dichas al menos dos imágenes parciales elementales, durante la fusión, corresponden a los desplazamientos predichos para la zona parcial en curso de procesamiento. Tales disposiciones permiten reducir la cantidad de reajustes a efectuar para la zona parcial en curso de procesamiento y, por lo tanto, permiten reducir las necesidades en términos de capacidad de cálculo y de memoria.
En modos particulares de implementación, la combinación de las al menos dos imágenes parciales elementales reajustadas corresponde a una suma píxel por píxel de dichas al menos dos imágenes parciales elementales reajustadas y/o a una diferencia píxel por píxel entre dichas al menos dos imágenes parciales elementales reajustadas.
En modos particulares de implementación, el procedimiento de generación incluye una compresión/descompresión de las imágenes parciales elementales después de su adquisición por el instrumento de observación y antes de su procesamiento por el circuito de procesamiento. Tales dispositivos permiten reducir las necesidades en términos de velocidad de transferencia de datos y de memoria a bordo del satélite.
Según un segundo aspecto, se propone un producto de programa de ordenador que incluye instrucciones que, cuando son ejecutadas por un circuito de procesamiento de un satélite que incluye, además, un instrumento de observación, configuran dicho circuito de procesamiento para implementar un procedimiento de generación de imagen según una cualquiera de los modos de realización de la presente invención.
Según un tercer aspecto, se propone un satélite destinado a ser colocado en órbita terrestre, que incluye un instrumento de observación y un circuito de procesamiento, estando dicho circuito de procesamiento configurado para implementar un procedimiento de generación de imagen según una cualquiera de los modos de realización de la presente invención.
En modos de realización particulares, el satélite puede incluir, además, de manera opcional, una o varias de las siguientes características, tomadas aisladamente o según todas las combinaciones técnicamente posibles.
En modos de realización particulares, el instrumento de observación incluye al menos dos sensores lineales, estando cada uno de los al menos dos sensores lineales dispuesto transversalmente a una dirección de movimiento de dicho satélite y estando adaptado para producir una línea de píxeles, siendo cada imagen parcial elemental una imagen de línea correspondiente a una o varias líneas de píxeles adquiridas sucesivamente por uno de los al menos dos sensores lineales.
En modos de realización particulares, cada uno de los al menos dos sensores lineales es un sensor de retardo temporal e integración.
En modos de realización particulares, el instrumento de observación incluye al menos un sensor matricial que incluye una pluralidad de células de adquisición dispuestas según una pluralidad de líneas y una pluralidad de columnas, extendiéndose dichas líneas de células de adquisición transversalmente a una dirección de movimiento de dicho satélite, estando cada célula de adquisición adaptada para producir un píxel, de modo que dicho al menos un sensor matricial está adaptado para producir una imagen matricial que incluye una pluralidad de líneas de píxeles y una pluralidad de columnas de píxeles, siendo cada imagen parcial elemental una imagen de línea correspondiente a una o varias líneas de píxeles adyacentes de una misma imagen matricial.
De este modo, la solución propuesta, que se basa en la fusión de varias imágenes a bordo del satélite, es aplicable a diferentes configuraciones para el instrumento de observación y a diferentes modos de adquisición. En el caso de un modo de adquisición de tipo "pushbroom" ("barrido por bandas"), las líneas de píxeles adquiridas sucesivamente se pueden procesar sobre la marcha, antes de haber adquirido imágenes parciales elementales de todas las zonas parciales, a medida que se reciben líneas de píxeles de los diferentes sensores lineales. En el caso de un modo de adquisición que utiliza un sensor matricial, las imágenes parciales elementales corresponden a subimágenes extraídas sucesivamente a partir de las imágenes adquiridas por el sensor matricial.
Breve descripción de los dibujos
La invención se comprenderá mejor con la lectura de la siguiente descripción, dada a título de ejemplo en absoluto limitativo y hecha haciendo referencia a las figuras que representan:
- Figura 1: una representación esquemática de un satélite en órbita alrededor de la Tierra,
- Figura 2: representaciones esquemáticas de ejemplos de sensores de un instrumento de observación del satélite, - Figura 3: un diagrama que ilustra los principales pasos de un ejemplo de implementación de un procedimiento de adquisición,
- Figura 4: un diagrama que ilustra los principales pasos de un ejemplo de implementación de la estimación de desplazamientos entre imágenes parciales elementales.
En estas figuras, referencias idénticas de una figura a otra designan elementos idénticos o análogos. Por razones de claridad, los elementos representados no están a escala, a menos que se indique lo contrario.
Además, el orden de pasos indicado en estas figuras se da únicamente a título de ejemplo no limitativo de la presente divulgación que puede aplicarse con los mismos pasos ejecutados en un orden diferente.
Realización preferente de la invención
La figura 1 representa esquemáticamente un satélite 10 en órbita terrestre alrededor de la Tierra 30. De manera general, la presente divulgación es aplicable a cualquier tipo de órbita terrestre. La presente divulgación encuentra una aplicación particularmente ventajosa en el caso de órbitas en movimiento (es decir, no geoestacionarias) circulares. No obstante, la presente divulgación es aplicable, igualmente, en el caso de un satélite 10 en órbita geoestacionaria (GEO) o sobre una órbita inclinada o elíptica. En modos preferidos de la presente divulgación, el satélite 10 está en órbita en movimiento de baja ("Low-Earth Orbit" o LEO) o de media ("Medium Earth Orbit" o MEO) altitud, preferentemente circular. En la continuación de la descripción, nos colocamos de manera en absoluto limitativa en el caso de un satélite 10 en órbita en movimiento.
El satélite 10 embarca un instrumento de observación 20. El instrumento de observación 20 es preferentemente sensible en longitudes de ondas visibles y/o de infrarroja. El instrumento de observación 20 incluye, de manera conocida de por sí, medios de adquisición configurados para captar la corriente óptica que proviene de la escena observada en la superficie de la Tierra 30. En particular, el instrumento de observación 20 incluye al menos un sensor que incluye una pluralidad de células de adquisición 21 organizadas en una o varias líneas y varias columnas, permitiendo cada célula de adquisición 21 adquirir la corriente óptica que proviene de una porción de la escena observada.
Son posibles diferentes disposiciones para el al menos un sensor del instrumento de observación 20. La figura 2 representa esquemáticamente ejemplos no limitativos de disposiciones de sensores.
La parte a) de la figura 2 representa esquemáticamente un primer ejemplo en el que el instrumento de observación 20 incluye dos sensores lineales independientes 22. En el caso de un satélite 10 en órbita en movimiento, cada uno de los dos sensores lineales 22 está dispuesto, por ejemplo, transversalmente a una dirección de movimiento de dicho satélite 10 y está adaptado para producir al menos una línea de píxeles. Las células de adquisición 21 de cada sensor lineal 22 están, por lo tanto, organizadas en una o varias líneas dispuestas transversal mente a la dirección de movimiento del satélite 10. En modos de realización preferidos del instrumento de observación 20, cada uno de los dos sensores lineales 22 es un sensor TDI que incluye, por ejemplo, varias etapas de líneas de células de adquisición 21 que efectúan una transferencia de cargas de una línea de células de adquisición 21 a otra de manera sincronizada con el movimiento del satélite 10. Por ejemplo, los sensores lineales 22 son sensores pancromáticos o de infrarrojos.
Cada sensor lineal 22 incluye un número significativamente más importante de columnas que el número de líneas. Por ejemplo, cada sensor lineal 22 incluye una o algunas (típicamente, del orden de la decena o menos) líneas de células de adquisición 21 y varios miles de columnas de células de adquisición 21. Cabe señalar que los sensores lineales 22 tienen preferentemente características idénticas en términos de número de líneas/número de columnas, en términos de resolución espacial y en términos de banda(s) de longitudes de ondas medida(s).
Cabe señalar que, siguiendo otros ejemplos, el instrumento de observación 20 puede incluir más de dos sensores lineales 22 para la implementación de la presente divulgación. Cabe señalar, igualmente, que los medios de adquisición del instrumento de observación 20 pueden incluir, igualmente, otros sensores además de los dos sensores lineales 22, por ejemplo, sensibles en diferentes bandas de longitudes de ondas. Por ejemplo, si los sensores lineales 22 son sensores pancromáticos, los medios de adquisición pueden incluir, igualmente, sensores multiespectrales.
La parte b) de la figura 2 representa un segundo ejemplo en el que el instrumento de observación 20 incluye un sensor matricial 23. En tal caso, el sensor matricial 23 incluye una pluralidad de células de adquisición 21 dispuestas según una pluralidad de líneas y una pluralidad de columnas. En el caso de un satélite 10 en órbita en movimiento, las líneas de células de adquisición 21 se extienden, por ejemplo, transversalmente a la dirección de movimiento del satélite 10 y cada célula de adquisición 21 está adaptada para producir un píxel, de modo que el sensor matricial 23 produce una imagen matricial que incluye una pluralidad de líneas de píxeles y una pluralidad de columnas de píxeles. Por ejemplo, el sensor matricial 23 es un sensor pancromático o de infrarrojo. El sensor matricial 23 incluye, por ejemplo, varios miles de líneas de células de adquisición 21 y varios miles de columnas de células de adquisición 21.
Cabe señalar que, siguiendo otros ejemplos, el instrumento de observación 20 puede incluir más de un solo sensor matricial 23 para la implementación de la presente divulgación. En tal caso, los sensores matriciales 23 utilizados en la presente divulgación tienen preferentemente características idénticas en términos de número de líneas/número de columnas, en términos de resolución espacial y en términos de banda(s) de longitudes de ondas medida(s).
Cabe señalar, igualmente, que los medios de adquisición del instrumento de observación 20 pueden incluir, igualmente, otros sensores además del sensor matricial 23, por ejemplo, sensibles en diferentes bandas de longitudes de ondas.
El instrumento de observación 20 puede incluir, igualmente, una óptica que incluye uno o varios espejos dispuestos para reflejar la corriente óptica que proviene de la escena observada en dirección del o de los sensores. El o los sensores están dispuestos, por ejemplo, al nivel de un plano focal de la óptica de dicho instrumento de observación 20.
El satélite 10 incluye, además, un circuito de procesamiento (no representado en las figuras), que está conectado al instrumento de observación 20 y procesa las imágenes adquiridas por el instrumento de observación 20. En particular, el circuito de procesamiento implementa un procedimiento 50 de generación de imagen que se describirá en adelante.
El circuito de procesamiento incluye, por ejemplo, uno o varios procesadores y medios de memorización (disco duro magnético, memoria electrónica, disco óptico, etc.) en los que se memoriza un producto de programa de ordenador, en forma de un conjunto de instrucciones de código de programa a ejecutar para implementar los diferentes pasos del procedimiento 50 de generación de imagen. Alternativamente o como complemento, el circuito de procesamiento incluye uno o unos circuitos lógicos programables (FPGA, PLD, etc.) y/o uno o unos circuitos integrados especializados (ASIC, etc.) y/o un conjunto de componentes electrónicos discretos, etc., adaptados para efectuar todo o parte de dichos pasos del procedimiento 50 de generación de imagen.
Cabe señalar que el satélite 10 puede incluir, igualmente, de manera convencional, otros elementos, tales como medios de medición de actitud (sensor estelar, girómetro, etc.) o también medios de mando de actitud (ruedas de reacción, volantes de inercia, accionadores giroscópicos, acopladores magnéticos, etc.), en concreto, que, igualmente, se pueden conectar al circuito de procesamiento.
La figura 3 representa esquemáticamente los principales pasos de un procedimiento 50 de generación de una imagen que representa una zona geográfica en la superficie de la Tierra 30.
Como se describirá esto de manera más detallada en adelante, la imagen generada incluye una pluralidad de líneas de píxeles y una pluralidad de columnas de píxeles y corresponde al agrupamiento de una pluralidad de imágenes parciales que representan diferentes zonas parciales en el interior de la zona geográfica.
Además, cada imagen parcial se obtiene fusionando, a bordo del satélite 10, al menos dos imágenes parciales llamadas elementales que teóricamente representan la misma zona parcial. Las imágenes parciales elementales son adquiridas por el instrumento de observación 20 en diferentes momentos respectivos. De este modo, cada imagen parcial se obtiene fusionando varias imágenes parciales elementales que representan la misma zona parcial.
La naturaleza de las imágenes parciales elementales depende, por ejemplo, del tipo de sensor(es) del instrumento de observación 20.
Por ejemplo, si el instrumento de observación 20 incluye al menos dos sensores lineales 22, tal como se ilustra por la parte a) de la figura 2, entonces, cada imagen parcial elemental corresponde a una imagen de línea correspondiente a una o varias líneas de píxeles adquiridas sucesivamente por uno de los al menos dos sensores lineales 22. En la presente divulgación, se entiende por "imagen de línea" una imagen que incluye un número de líneas significativamente inferior al número de columnas, por ejemplo, 100 veces menos de líneas que de columnas, preferentemente 1.000 veces menos de líneas que de columnas. Por el hecho de su particular disposición, los dos sensores lineales 22 de la parte a) de la figura 2 observan sucesivamente la misma zona parcial, por movimiento del satélite 10, de modo que las imágenes parciales elementales que representan la misma zona parcial se obtienen en diferentes momentos respectivos.
Si el instrumento de observación 20 incluye al menos un sensor matricial 23, tal como se ilustra por la parte b) de la figura 2, entonces, cada imagen parcial elemental es, por ejemplo, una imagen de línea correspondiente a una o varias líneas de píxeles adyacentes extraídas de una misma imagen matricial. En otros términos, una imagen matricial elemental representa varias zonas parciales y la imagen parcial elemental corresponde a una parte de una imagen matricial elemental adquirida por el sensor matricial 23. Por lo tanto, las imágenes parciales elementales se extraen a partir de diferentes imágenes matriciales elementales respectivas adquiridas en diferentes momentos respectivos por el instrumento de observación 20. Las imágenes matriciales elementales que representan una misma zona parcial pueden ser adquiridas en diferentes momentos respectivos por un mismo sensor matricial 23 o bien por diferentes sensores matriciales 23, si el instrumento de observación 20 incluye al menos dos sensores matriciales 23.
Según el procedimiento 50 de generación, todas las zonas parciales de una zona geográfica se procesan sucesivamente.
Tal como se ilustra por la figura 3, el procesamiento de una zona parcial incluye un paso de recepción S51, por el circuito de procesamiento, de al menos dos imágenes parciales elementales adquiridas por el instrumento de observación 20 en diferentes momentos respectivos y que representan dicha zona parcial en curso de procesamiento. Considerando un satélite 10 en órbita en movimiento, dichas imágenes parciales elementales de dicha zona parcial en curso de procesamiento se adquieren, por lo tanto, desde diferentes posiciones iniciales de dicho satélite 10 sobre su órbita, durante un mismo sobrevuelo de dicha zona parcial (durante el mismo período orbital).
En la continuación de la descripción, nos colocamos de manera en absoluto limitativa en el caso en que se consideran exactamente dos imágenes parciales elementales para generar la imagen parcial de la zona parcial en curso de procesamiento. Sin embargo, nada excluye, siguiendo otros ejemplos, considerar más imágenes parciales elementales para la generación de la imagen parcial de la zona parcial en curso de procesamiento.
Tal como se ha indicado más arriba, las zonas parciales se procesan sucesivamente. En la práctica, la zona parcial en curso de procesamiento no se conoce necesariamentea priori.En la práctica, es suficiente con saber que dos imágenes parciales elementales representan, en principio, sustancialmente la misma zona parcial. El procesamiento sucesivo de zonas parciales se efectúa procesando sucesivamente pares sucesivos de imágenes parciales elementales, representando cada par de imágenes parciales elementales sustancialmente una misma zona parcial sin tener que conocer las coordenadas de la zona parcial en curso de procesamiento.
Por ejemplo, en el caso en que el instrumento de observación 20 incluye dos sensores lineales 22, entonces, el procesamiento sucesivo de las zonas parciales equivale a procesar sucesivamente imágenes de líneas adquiridas sucesivamente por cada uno de dichos sensores lineales 22, a medida que cada uno de los sensores lineales barre la zona geográfica. Las imágenes de líneas que representan la misma zona parcial (imágenes parciales elementales) son adquiridas en diferentes momentos respectivos, puesto que los sensores lineales 22 no apuntan simultáneamente hacia la misma zona parcial. Preferentemente, las imágenes de líneas se procesan sucesivamente a medida que son adquiridas por el instrumento de observación y recibidas por el circuito de procesamiento, de modo que las zonas parciales procesadas sucesivamente son zonas parciales adyacentes a la superficie de la Tierra 30.
Por ejemplo, en el caso en que el instrumento de observación 20 incluye un sensor matricial 23, entonces, el procesamiento sucesivo de las zonas parciales equivale a procesar sucesivamente diferentes imágenes de líneas extraídas a partir de diferentes imágenes matriciales adquiridas sucesivamente por el sensor matricial 23. Para cada imagen matricial, las imágenes de líneas extraídas y procesadas sucesivamente son preferentemente imágenes de líneas adyacentes, de modo que las zonas parciales procesadas sucesivamente son zonas parciales adyacentes a la superficie de la Tierra 30.
Tal como se ilustra por la figura 3, el procesamiento de una zona parcial incluye, a continuación, un paso de estimación S52, por el circuito de procesamiento, de desplazamientos entre píxeles de dichas dos imágenes parciales elementales. En efecto, por el hecho de diferentes fuentes de errores (desconocimiento de la línea de vista del instrumento de observación 20, por ejemplo, debido a vibraciones, deformación geométrica de una huella en el suelo de un campo de visión del instrumento de observación 20, por el hecho de que la zona parcial se observa desde dos posiciones diferentes del satélite 10 con respecto a dicha zona parcial, distorsión geométrica introducida por una óptica del instrumento de observación 20, etc.), píxeles de diferentes imágenes parciales elementales, que deberían representar una misma porción de la zona parcial, pueden representar en la práctica porciones respectivas ligeramente diferentes de dicha zona parcial. El desvío entre estas diferentes porciones respectivas se traduce en un desplazamiento entre los píxeles correspondientes (en cantidad de píxeles).
Dado que se supone que las dos imágenes parciales elementales representan la misma zona parcial, los desplazamientos entre píxeles se pueden estimar, por ejemplo, por comparación del contenido de dichas imágenes parciales elementales. Siendo las imágenes parciales elementales de dimensiones reducidas (en la medida en que no representan más que una parte de la zona geográfica a obtener imágenes), se pueden utilizar para estimar los desplazamientos entre sus píxeles con una complejidad de cálculo limitada.
Los desplazamientos se estiman por medio de un filtro de Kalman. El filtro de Kalman puede ser cualquier tipo de filtro de Kalman conocido por el experto en la materia, comprendidas sus variantes no lineales (filtro de Kalman extendido, filtro de Kalman sin perfume, etc.) y la elección de un tipo particular de filtro de Kalman corresponde a un modo particular de implementación del procedimiento 50 de generación. Sea cual sea su tipo, un filtro de Kalman es un filtro iterativo que estima un vector de estado y que, en cada iteración, realiza una fase de predicción y una fase de actualización de dicho vector de estado. La fase de predicción proporciona un vector de estado llamado predicho y la fase de actualización proporciona un vector de estado llamado actualizado. En la práctica, el vector de estado predicho para una iteración se calcula a partir del vector de estado actualizado para la iteración anterior. El vector de estado actualizado se calcula en función del vector de estado predicho y en función de mediciones representativas de dicho vector de estado.
En el presente caso, el vector de estado del filtro de Kalman incluye al menos los desplazamientos entre píxeles de las imágenes parciales elementales de la zona parcial en curso de procesamiento y las mediciones se determinan al menos a partir de dichas imágenes parciales elementales. Las iteraciones sucesivas del filtro de Kalman corresponden, en el presente documento, a la sucesión de pares de imágenes parciales elementales procesadas, es decir, a la sucesión de zonas parciales procesadas. Por consiguiente, la zona parcial representada por el par de imágenes parciales elementales cambia de una iteración a otra del filtro de Kalman. En la continuación de la descripción, por lo tanto, se habla indiferentemente de iteraciónko de procesamiento de la zona parcial de rangok.
La figura 4 representa esquemáticamente los principales pasos de un modo preferido de implementación del paso de estimación s 52 de los desplazamientos entre las imágenes parciales elementales por medio de un filtro de Kalman.
Tal como se ilustra por la figura 4, el paso de estimación S52 de los desplazamientos para la zona parcial en curso de procesamiento, de rangok(iteraciónkdel filtro de Kalman), toma como entrada los desplazamientos predichos para dicha zona parcial de rangoka partir de los desplazamientos actualizados para la zona parcial de rango (k - 1), es decir, procesada previamente en la iteración (k - 1) del filtro de Kalman. Tal como se ilustra por la figura 4, el paso de estimación S52 de los desplazamientos incluye un paso de comparación S521 de las imágenes parciales elementales que representan la zona parcial de rango k, recibidas por el circuito de procesamiento. El paso de comparación S521 proporciona una innovación de rangokque permite actualizar los desplazamientos predichos para la zona parcial de rango k. El paso de estimación S52 de los desplazamientos incluye, entonces, un paso de actualización S522 de los desplazamientos predichos para la zona parcial de rangoken función, en concreto, de la innovación de rango k. El paso de actualización S522 proporciona como salida los desplazamientos actualizados para la zona parcial de rangok. El paso de estimación S52 de los desplazamientos incluye, entonces, un paso de predicción S523 que, a partir de los desplazamientos actualizados para la zona parcial de rangok, calcula los desplazamientos predichos para la zona parcial que se procesará a continuación, es decir, la zona parcial de rango (k 1).
Tal como se ilustra por la figura 4, los desplazamientos estimados para la zona parcial en curso de procesamiento de rangok, utilizados durante un paso de fusión S53 descrito en adelante, pueden ser indiferentemente los desplazamientos predichos para dicha zona parcial de rangoko los desplazamientos actualizados para dicha zona de procesamiento de rangok.
En modos particulares de implementación, el paso de comparación S521 incluye un reajuste entre sí de dichas al menos dos imágenes parciales elementales en función de los desplazamientos predichos para la zona parcial en curso de procesamiento, de rangok. Por "reajuste", se entiende que los desplazamientos predichos para la zona parcial de rangokse corrigen en las imágenes parciales elementales, de modo que los píxeles de las imágenes parciales elementales reajustadas representan teóricamente las mismas porciones de la zona parcial (con los errores de estimación de los desplazamientos predichos de aproximación). Durante este reajuste, es posible corregir las dos imágenes parciales elementales o bien no corregir más que una sola de ellas considerando la otra como referencia. El reajuste incluye, por ejemplo, un remuestreo de al menos una de dichas imágenes parciales elementales en función de los desplazamientos predichos. Por ejemplo, el remuestreo de una imagen parcial elemental implementa una interpolación bicúbica de esta imagen parcial elemental. No obstante, se puede implementar cualquier tipo de método de remuestreo conocido por el experto en la materia y la elección de un tipo particular de método de remuestreo n corresponde más que a un ejemplo no limitativo de implementación.
En modos particulares de implementación, la actualización por el filtro de Kalman de los desplazamientos predichos para la zona parcial de rangokimplementa un algoritmo de cálculo de flujo óptico aplicado a dichas dos imágenes parciales elementales reajustadas en función de dichos desplazamientos predichos para la zona parcial de rango k. No obstante, se puede implementar cualquier tipo de método de puesta en correspondencia de imágenes (o "matching" en la literatura anglosajona) conocido por el experto en la materia y la elección de un tipo particular de método de puesta en correspondencia no corresponde más que a un ejemplo no limitativo de implementación. En concreto, es posible, siguiendo otros ejemplos de implementación, poner en correspondencia las imágenes parciales elementales por un cálculo de semejanza, tal como un cálculo de correlación, entre dichas imágenes parciales elementales.
Tal como se ilustra por la figura 3, el procesamiento de una zona parcial incluye, a continuación, el paso de fusión S53, por el circuito de procesamiento, de dichas dos imágenes parciales elementales que representan la zona parcial en curso de procesamiento en función de los desplazamientos estimados durante el paso de estimación S52.
Por ejemplo, los desplazamientos estimados se utilizan para reajustar las imágenes parciales elementales entre sí, luego, se pueden combinar las imágenes parciales elementales reajustadas, por ejemplo, calculando una suma (eventualmente ponderada) de dichas imágenes parciales elementales reajustadas o calculando la diferencia entre dichas imágenes parciales elementales reajustadas. Cabe señalar que, igualmente, es posible generar varias imágenes parciales durante el paso de fusión S53 (para generar varias imágenes de la zona geográfica), generando, por ejemplo, una primera imagen parcial representativa de la suma de dichas imágenes parciales elementales reajustadas y una segunda imagen parcial representativa de la diferencia entre dichas imágenes parciales elementales reajustadas.
Tal como se ha indicado más arriba con referencia a la figura 4, los desplazamientos estimados para la zona parcial en curso de procesamiento, de rango k, utilizados durante el paso de fusión S53, pueden ser indiferentemente los desplazamientos predichos para la zona parcial de rangoko los desplazamientos actualizados para dicha zona de procesamiento de rango k.
En principio, los desplazamientos actualizados para la zona parcial de rangoktienen en cuenta las imágenes parciales elementales que representan dicha zona parcial de rango k, de modo que los desplazamientos actualizados son, en principio, más precisos que los desplazamientos predichos para la zona parcial de rango k.
No obstante y tal como se ha indicado anteriormente, el paso de estimación S52 ya incluye en ciertos modos de implementación un reajuste de dichas imágenes parciales elementales que representan la zona parcial de rangoken función de los desplazamientos predichos para dicha zona parcial de rango k. Si, durante el paso de fusión S53, las imágenes parciales elementales se reajustan en función de los desplazamientos actualizados para dicha zona parcial de rango k, esto implica que las imágenes parciales elementales que representan la zona parcial de rangokse reajustan dos veces durante el procesamiento de dicha zona parcial de rango k, lo que aumenta las necesidades en términos de capacidad de cálculo y de memoria para cada iteración del filtro de Kalman. Por consiguiente, durante el paso de fusión S53, es ventajoso utilizar los desplazamientos predichos para la zona parcial en curso de procesamiento si se desea reducir las necesidades en términos de capacidad de cálculo y de memoria. Si se desea priorizar la precisión de los desplazamientos estimados, es ventajoso utilizar los desplazamientos actualizados para la zona parcial en curso de procesamiento.
La fusión de dichas dos imágenes parciales elementales, durante el paso S53, proporciona la imagen parcial de la zona parcial en curso de procesamiento, que forma una parte de la imagen a generar de la zona geográfica. Repitiendo los diferentes pasos ilustrados por la figura 3 para todas las zonas parciales, se obtiene, por lo tanto, una pluralidad de imágenes parciales que representan diferentes zonas parciales, que pueden agruparse de manera convencional para formar una imagen de la zona geográfica. Típicamente, las imágenes parciales se pueden simplemente yuxtaponer para formar la imagen de la zona geográfica. La imagen, de este modo, generada de la zona geográfica se transmite, a continuación, al suelo, eventualmente después de aplicación, a bordo del satélite 10, de otros procesamientos opcionales sobre dicha imagen generada que se salen del marco de la presente divulgación.
En este momento, se describe un ejemplo detallado de implementación del procedimiento 50 de generación de imagen, en el caso de un instrumento de observación que incluye dos sensores lineales 22 (parte a) de la figura 2). Este ejemplo no limitativo se apoya en un filtro de Kalman simplificado, optimizado para reducir las necesidades en términos de capacidad de cálculo y de memoria para facilitar su implementación a bordo de un satélite 10.
Con el fin de describir este ejemplo detallado, se recuerdan en adelante las implementaciones en un filtro de Kalman según las notaciones habituales, a las que, a continuación, se hará referencia por analogía para describir la implementación detallada.
De manera general, en un filtro de Kalman, las ecuaciones que rigen la fase de predicción son las siguientes:
expresiones en las que:
- Xk|k<-1>corresponde al vector de estado predicho para la iteraciónk,
- Pk|k<-1>corresponde a una matriz de covarianza del error predicho para la iteración k,
- Fk corresponde a una matriz de evolución que conecta el vector de estado actualizado para la iteración (k - 1) (Xk-1|k-1) a Xk|k-1,
- Uk corresponde a una entrada de control,
- Bk corresponde a una matriz que conecta la entrada de control al vector de estado para la iteración k,
- Qk corresponde a una matriz de covarianza del ruido de proceso wk.
Las ecuaciones que rigen la fase de actualización son las siguientes:
expresiones en las que:
- yk corresponde a la innovación calculada para la iteración k,
- Zk corresponde a una observación del proceso en la iteraciónk,
- Hk corresponde a una matriz que conecta el vector de estado Xk|k<-1>a la observación Zk,
- Kk corresponde a una matriz de ganancias de Kalman para la iteraciónk,
- xk|k corresponde al vector de estado actualizado para la iteraciónk,
-Pk|k corresponde a la matriz de covarianza del error actualizada para la iteración k,
- Rk corresponde a una matriz de covarianza de un ruido de medición,
- I corresponde a la matriz de identidad.
En el ejemplo no limitativo considerado en el presente documento, el filtro de Kalman se simplifica al considerar que no hay ruido de proceso, que dicho filtro de Kalman está desprovisto de entrada de control y que la matriz de ganancia de Kalman es constante de una iteración a otra. En otros términos, las principales ecuaciones que rigen este filtro de Kalman simplificado son las siguientes:
En este momento, se describe el ejemplo de implementación del filtro de Kalman simplificado adoptando otras notaciones.
En el presente ejemplo, las imágenes parciales elementales corresponden a imágenes de líneas elementales, cada imagen de línea elemental incluye un número de líneas igual aNly un número de columnas igual aNc , Nlsiendo muy inferior aNc(factor al menos 100, incluso al menos 1.000). Por ejemplo, 2 <Nl< 10 yNc> 1.000, inclusoNc> 5.000.
Con el fin de reducir la cantidad de cálculos a efectuar, en este ejemplo, los desplazamientos se estiman para grupos (igualmente, conocido con el nombre de "parches") de píxeles adyacentes que incluyenIlíneas yJcolumnas. De este modo, se estima un desplazamiento para un grupo deI*Jpíxeles adyacentes. Preferentemente,I = Nlde modo que cada grupo se extiende sobre todas las líneas de la imagen parcial elemental y de modo que cada imagen parcial elemental está constituida porncgrupos de píxeles adyacentes connc = Nc /J.Por ejemplo,I*J= 4 * 4 oI*J= 2 * 8.
ConsiderandoI = Nl ,los desplazamientos a estimar pueden consistir ventajosamente en un vector de desplazamientos entre líneas, en adelante designadocuadrículaL yun vector de desplazamientos entre columnas, en adelante designadocuadrículaC.De este modo, cada desplazamiento en el vectorcuadrículaLcorresponde al desplazamiento entre las líneas de grupos de píxeles correspondientes (que teóricamente representan la misma porción de la escena observada) en las dos imágenes parciales elementales. Cada desplazamiento en el vectorcuadrículaCcorresponde al desplazamiento entre las columnas de grupos de píxeles correspondientes (que teóricamente representan la misma porción de la escena observada) en las dos imágenes parciales elementales. Los dos vectorescuadrículaLycuadrículaCa estimar tienen las mismas dimensiones, a saber, 1 *nc .El vectorcuadrículaL(resp.cuadrículaC)predicho para la iteraciónkse designa porcuadrículaLkik-1(resp.cuadrículaCk ik -1)y el vectorcuadrículaL(resp.cuadrículaC)actualizado para la iteraciónkse designa porcuadrículaLk\k(resp.cuadrículaCkik).
En el presente ejemplo, se utilizan dos imágenes parciales elementales para formar la imagen parcial, designadas respectivamente porim1keim2kpara la iteraciónk.En este ejemplo, durante el reajuste, solo se remuestrea la imagen parcial elementalim2ken función de los desplazamientos estimados y la imagen parcial elemental remuestreada se designa porim2resk.En relación con los grupos de píxeles definidos anteriormente, se define una función de agrupamiento (o "binning" en la literatura anglosajona) como sigue:
expresión en la que x corresponde a una imagen a la que se aplica la función de agrupamiento L -1 y(x)p,rcorresponde al valor del píxel de la imagen x situado en la líneapy en la columna r de dicha imagen x.
En adelante, se describen las ecuaciones utilizadas para calcular la innovación para la iteraciónk,designada pordLkpara el vectorcuadrículaLy pordCkpara el vectorcuadrículaC(paso yk = Zk - HkXkik<-1>según las notaciones habituales del filtro de Kalman). En este ejemplo, el cálculo de las innovacionesdLkydCkpara la actualización de los desplazamientos implementa un algoritmo de cálculo de flujo óptico.
En primer lugar, las imágenes parciales elementalesim1keim2kde la iteración k se reajustan entre sí, remuestreando la imagen parcial elementalim2ken función de los desplazamientos predichos para la iteraciónk,a saber, los vectorescuadrículaLkik-1ycuadrículaCkik-1.Considerando de manera no limitativa un remuestreo basado en una interpolación bicúbica:
expresión en la quebicúbic_interpcorresponde a la función de interpolación bicúbica. Por ejemplo, la funciónbicúbic_interppuede implementarse por medio de bancos de filtros predeterminados, a saber, un banco de filtrospLy un banco de filtrospeen los que los filtros se indexan por los desplazamientos entre respectivamente las líneas y las columnas:
expresión en la que * corresponde a la convolución.
En el marco del algoritmo de cálculo de flujo óptico, se calcula, igualmente, la suma entre las imágenes parciales elementales reajustadas (es decir, entreim1keim2resk)y la diferencia entre dichas imágenes parciales elementales reajustadas:
A continuación, en el marco del algoritmo de cálculo de flujo óptico, se calculan los gradientes de la imagen parcial elemental im l<k>. Los gradientes entre líneas, designados porgLk ylos gradientes entre columnas, designados porgCk,se calculan, por ejemplo, como sigue:
Se definen, igualmente, las funciones de cuadrado y producto para imágenes como sigue:
En otros términos, se trata de operaciones de cuadrado y producto píxel por píxel.
Los desplazamientos residuales entre las imágenesim lkeim2resk,es decir, las innovacionesdLkydCk,se calculan, por ejemplo, como sigue:
expresiones en las queAcorresponde a un término de regularización de Tikhonov para tener en cuenta la presencia de ruido de estimación en el algoritmo de cálculo de flujo óptico. El término de regularizaciónAregula el nivel de toma en cuenta del ruido presente en la imagen parcial elementalim1k,que impacta en la estimación de los gradientes en el algoritmo de cálculo de flujo óptico. El orden de magnitud del término de regularizaciónAes preferentemente el de la varianza del ruido en la imagen parcial elementalim1k.Por ejemplo, el término de regularizaciónAes una matriz en la que todos los coeficientes son iguales. El término de regularizaciónApuede, por ejemplo, predeterminarse y mantenerse constante e idéntico para todas las zonas parciales a procesar. Sin embargo, nada excluye, siguiendo otros ejemplos, hacer variar el término de regularizaciónAdurante las iteraciones, por ejemplo, en función de una estimación del ruido en cada imagen parcial elemental im1k.
A continuación, los desplazamientos para la iteraciónkse pueden actualizar como sigue (paso xk|k = Xk|k<-1>+ Kyk según las notaciones habituales del filtro de Kalman):
expresiones en las queKcorresponde a la matriz de las ganancias de Kalman. Tal como se ha indicado anteriormente, las ganancias de Kalman son, en este ejemplo, constantes durante las iteraciones, es decir, idénticas para todas las zonas parciales a procesar. Preferentemente, todas las ganancias de Kalman en la matrizKson iguales a un mismo valor K<0>que puede predeterminarse. De manera general, cuanto más escaso sea el valor K0, menos confianza se da a la información deducida a partir de las imágenesim1keim2resk.
Sin embargo, nada excluye, siguiendo otros ejemplos, hacer variar las ganancias de Kalman durante las iteraciones sucesivas, por ejemplo, utilizando la matriz de covarianza del ruido de medición en cada iteración o también en función de un modelo numérico de superficie, MNS o en función de un indicador de fiabilidad de la información deducida de las imágenesim1keim2resketc. Por ejemplo, es posible aumentar las ganancias de Kalman cuando el MNS indica que la zona parcial presenta un relieve importante, con respecto al caso en que el MNS indica que la zona parcial presenta un relieve escaso (por ejemplo, sustancialmente plano). Siguiendo otro ejemplo, se puede obtener una indicación de fiabilidad por un cálculo de correlación entre las imágenesim1keim2resky el valor del pico de correlación se puede utilizar como indicador de fiabilidad de la información deducida de estas imágenes. De este modo, es posible aumentar las ganancias de Kalman cuando el valor del pico de correlación es importante, con respecto al caso en que el valor del pico de correlación es escaso. De manera general, la utilización de ganancias de Kalman variables puede, en algunos casos, permitir mejorar el rendimiento del filtro de Kalman con respecto a la utilización de ganancias de Kalman constantes.
A continuación, los desplazamientos actualizados para la iteración k se utilizan para calcular los desplazamientos predichos para la iteración (k 1) (paso Xk|k<-1>= FkXk-<1>|k<-1>según las notaciones habituales del filtro de Kalman), por ejemplo, como sigue:
expresiones en las quek e r ncorresponde a un filtro de predicción que, en este ejemplo, es un vector de línea predeterminado aplicado a la vez para calcularc u a d r í c u l a L k 1 | kyc u a d r í c u l a C k 1 | k .De manera general, el filtro de predicciónk e r npuede tomar cualquier forma adaptada. Por ejemplo, puede tratarse de un filtro de suavizado, tal como un filtro gaussiano, un filtro triangular, etc. En algunos casos, es posible, igualmente, por ejemplo, para reducir más los cálculos a efectuar, tener un filtro de predicciónk e r nque corresponde a la identidad, en cuyo caso los desplazamientos predichos para la iteración(k+ 1) son iguales a los desplazamientos actualizados para la iteraciónk .Además, es posible, igualmente, tener diferentes filtros de predicción para calcular respectivamentec u a d r í c u l a L k 1 | kyc u a d r í c u l a C k +1|k.
La imagen parcial para la iteración k se obtiene, entonces, fusionando las imágenes parciales elementalesi m 1kei m 2ken función de los desplazamientos estimados para la iteración k. Tal como se ha indicado más arriba, es ventajoso utilizar para la fusión los desplazamientos predichos para la iteraciónk ,puesto que el reajuste (imágenes im1k eim2resk)ya se ha efectuado para calcular los desplazamientos residualesdLkydCk.Además, si la fusión corresponde a la diferencia entre las imágenes parciales elementales reajustadas, entonces, es posible reutilizar en calidad de imagen parcial (es decir, en calidad de resultado de la fusión), la imagenimDIFkya calculada en el marco del algoritmo de cálculo de flujo óptico. Tales disposiciones permiten, por lo tanto, reducir las necesidades en términos de capacidad de cálculo y de memoria. De manera más general, la imagen parcial puede corresponder a la imagenimSUMky/o a la imagenimDIFk.Igualmente, son posibles otras combinaciones de las imágenes parciales elementales reajustadas, por ejemplo, aplicando diferentes coeficientes de ponderación respectivos a las diferentes imágenes parciales elementales reajustadas.
En el ejemplo detallado descrito anteriormente, se comprende que es posible procesar sobre la marcha y de manera sistemática, las diferentes imágenes parciales elementales adquiridas sucesivamente por los sensores lineales 22, lo que permite reducir las necesidades en términos de memoria. En efecto, el procesamiento de una zona parcial puede arrancar tan pronto como esta ha sido objeto de una adquisición por el sensor lineal 22 que observa, por último, esta zona parcial (sincronización de los sensores lineales 22). Durante la iteración k, tan pronto como la imagen parcial (por ejemplo,imSUMky/oimDIFk)se ha calculado y memorizado, las imágenes parciales elementalesim1keim2kya no tienen necesidad de conservarse en memoria.
En modos particulares de implementación, para reducir las necesidades en términos de velocidad de transferencia de datos y de memoria, es posible, igualmente, realizar una compresión/descompresión sobre la marcha de las imágenes parciales elementales después de su adquisición por el instrumento de observación 20 y antes de su procesamiento por el circuito de procesamiento.
De manera más general, hay que señalar que los modos de implementación y de realización considerados más arriba se han descrito a título de ejemplos no limitativos y que, en consecuencia, son concebibles otras variantes.
En concreto, los ejemplos anteriores se han dado considerando, principalmente, el caso de sensores lineales 22. No obstante y tal como se ha indicado anteriormente, la presente divulgación es aplicable, igualmente, a otros tipos de sensores, en concreto, sensores matriciales 23. En tal caso, las imágenes parciales elementales se extraen, por ejemplo, a partir de imágenes matriciales elementales adquiridas en diferentes momentos, que representan la misma zona geográfica o bien zonas geográficas distintas, pero que presentan una intersección no nula en la que se pueden procesar varias zonas parciales según el procedimiento 50 de generación.
Además, los ejemplos anteriores se han dado, principalmente, considerando un filtro de Kalman desprovisto de entrada de control. En efecto, en el caso, en concreto, en que las imágenes parciales elementales son adquiridas por sensores lineales 22, las variaciones de los desplazamientos de un par de imágenes parciales elementales a la siguiente son, en un principio, bastante escasas. No obstante, es posible, igualmente, en otros ejemplos, utilizar una entrada de control para tomar en cuenta información externa (exógena a las imágenes, derivada de mediciones efectuadas por medios independientes del instrumento de observación 20) del que dependen los desplazamientos a estimar. En particular, si las variaciones de los desplazamientos de un par de imágenes parciales elementales no pueden considerarse como escasas, entonces, la entrada de control se puede utilizar para ayudar al filtro de Kalman. Las variaciones de los desplazamientos pueden ser importantes, en concreto, cuando el desvío temporal entre los respectivos momentos de adquisición de las imágenes parciales elementales es relativamente importante, por ejemplo, del orden de unas decenas o algunos cientos de milisegundos. Este podría ser el caso, en concreto, en el caso en que las imágenes parciales elementales son adquiridas por un mismo sensor matricial 23. En tal caso, algunas fuentes de desplazamientos (por ejemplo, los efectos de proyección) producen efectos al menos en parte deterministas que pueden estimarsea priorie inyectarse en el filtro de Kalman mediante la entrada de control. Igualmente, es posible inyectar en el filtro de Kalman, mediante la entrada de control, información externa representativa de la animación del satélite entre estos momentos de adquisición, por ejemplo, obtenida mediante mediciones efectuadas por uno o varios girómetros del satélite, etc. De manera más general, cualquier información externa representativa de los desplazamientos a estimar se puede inyectar en el filtro de Kalman mediante la entrada de control.
Además, los ejemplos anteriores se han dado considerando, principalmente, el caso de una fusión de dos imágenes parciales elementales para cada zona parcial. Sin embargo, nada excluye, siguiendo otros ejemplos, considerar un número más importante de imágenes parciales elementales a fusionar. Por ejemplo, todo lo que se ha descrito anteriormente es aplicable considerando como referencia una imagen parcial elemental y procesando en cada iteración todos los diferentes pares de imágenes parciales elementales que comprenden dicha imagen parcial elemental de referencia.
La descripción anterior ilustra claramente que, por sus diferentes características, la presente divulgación logra los objetivos fijados. Por otro lado, cabe señalar que el ejemplo detallado descrito anteriormente se ha implementado y se ha confirmado su rendimiento, sobre un FPGA calificado para el vuelo espacial.
La presente divulgación presenta numerosas ventajas. En particular, la fusión a bordo de las imágenes adquiridas por el instrumento de observación 20 permite mejorar la resolución espacial de las imágenes transmitidas al suelo.
Además, gracias a la fusión a bordo del satélite 10 de las imágenes adquiridas por el instrumento de observación 20, es posible, para una configuración de satélite 10/instrumento de observación 20 dada (es decir, con configuración constante), aumentar el rendimiento en términos de factor de mérito (FdM, correspondiente al producto FTM x SNR). Alternativamente, gracias a la fusión a bordo de las imágenes, es posible lograr un factor de mérito dado (es decir, un factor de mérito constante) con una configuración más simple (y, por lo tanto, menos costosa) del satélite 10/del instrumento de observación 20.
Claims (15)
1. Procedimiento (50) de generación de una imagen por un satélite (10) en órbita terrestre, embarcando dicho satélite un instrumento de observación (20) y un circuito de procesamiento, representando dicha imagen una zona geográfica y obteniéndose agrupando imágenes parciales que representan diferentes zonas parciales en el interior de la zona geográfica, en el que las zonas parciales se procesan sucesivamente y dicho procedimiento incluye, para el procesamiento de cada zona parcial:
- una recepción (S51), por el circuito de procesamiento, de al menos dos imágenes parciales elementales adquiridas por el instrumento de observación en momentos respectivos diferentes y que representan dicha zona parcial en curso de procesamiento,
- una estimación (S52), por el circuito de procesamiento, de desplazamientos entre píxeles de dichas al menos dos imágenes parciales elementales,
- una fusión (S53), por el circuito de procesamiento, de dichas al menos dos imágenes parciales elementales en función de los desplazamientos estimados, para formar la imagen parcial de dicha zona parcial en curso de procesamiento,
y por que los desplazamientos se estiman por medio de un filtro de Kalman que realiza una fase de predicción y una fase de actualización, en el que los desplazamientos para la zona parcial en curso de procesamiento se estiman en función de desplazamientos predichos para dicha zona parcial en curso de procesamiento a partir de los desplazamientos actualizados para la zona parcial procesada en la iteración anterior del filtro de Kalman, actualizándose dichos desplazamientos predichos para dicha zona parcial en curso de procesamiento por comparación de las al menos dos imágenes parciales elementales que representan dicha zona parcial en curso de procesamiento.
2. Procedimiento (50) de generación según la reivindicación 1, en el que la comparación de dichas al menos dos imágenes parciales elementales incluye un reajuste entre sí de dichas al menos dos imágenes parciales elementales en función de los desplazamientos predichos para la zona parcial en curso de procesamiento.
3. Procedimiento (50) de generación según una cualquiera de las reivindicaciones 1 a 2, en el que la actualización por el filtro de Kalman de los desplazamientos predichos implementa ganancias constantes para el procesamiento de todas las zonas parciales.
4. Procedimiento (50) de generación según una cualquiera de las reivindicaciones 1 a 3, en el que el filtro de Kalman está desprovisto de entrada de control.
5. Procedimiento (50) de generación según una cualquiera de las reivindicaciones 1 a 3, en el que el filtro de Kalman incluye una entrada de control para la toma en cuenta de información externa de la que dependen los desplazamientos a estimar.
6. Procedimiento (50) de generación según una cualquiera de las reivindicaciones 1 a 5, en el que la fusión de las al menos dos imágenes parciales elementales de una zona parcial incluye un reajuste entre sí de dichas al menos dos imágenes parciales elementales en función de los desplazamientos estimados y una combinación de dichas al menos dos imágenes parciales elementales reajustadas.
7. Procedimiento (50) de generación según la reivindicación 6, en el que el reajuste de dichas al menos dos imágenes parciales elementales incluye un remuestreo de al menos una de dichas imágenes parciales elementales en función de los desplazamientos estimados.
8. Procedimiento (50) según una cualquiera de las reivindicaciones 6 a 7, en el que los desplazamientos estimados utilizados para reajustar y combinar dichas al menos dos imágenes parciales elementales corresponden a los desplazamientos predichos para la zona parcial en curso de procesamiento.
9. Procedimiento (50) de generación según una cualquiera de las reivindicaciones 6 a 8, en el que la combinación de las al menos dos imágenes parciales elementales reajustadas corresponde a una suma píxel por píxel de dichas al menos dos imágenes parciales elementales reajustadas y/o a una diferencia píxel por píxel entre dichas al menos dos imágenes parciales elementales reajustadas.
10. Procedimiento (50) de generación según una cualquiera de las reivindicaciones 1 a 9, que incluye una compresión/descompresión de las imágenes parciales elementales después de su adquisición por el instrumento de observación y antes de su procesamiento por el circuito de procesamiento.
11. Producto de programa de ordenador que incluye instrucciones que, cuando son ejecutadas por un circuito de procesamiento de un satélite que incluye, además, un instrumento de observación, configuran dicho circuito de procesamiento para implementar un procedimiento (50) de generación de imagen según una cualquiera de las reivindicaciones 1 a 10.
12. Satélite (10) destinado a ser colocado en órbita terrestre, que incluye un instrumento de observación y un circuito de procesamiento, estando dicho circuito de procesamiento configurado para implementar un procedimiento (50) de generación de imagen según una cualquiera de las reivindicaciones 1 a 10.
13. Satélite (10) según la reivindicación 12, en el que el instrumento de observación incluye al menos dos sensores lineales (22), estando cada uno de los al menos dos sensores lineales dispuesto transversalmente a una dirección de movimiento de dicho satélite y estando adaptado para producir una línea de píxeles, siendo cada imagen parcial elemental una imagen de línea correspondiente a una o varias líneas de píxeles adquiridas sucesivamente por uno de los al menos dos sensores lineales.
14. Satélite (10) según la reivindicación 13, en el que cada uno de los al menos dos sensores lineales es un sensor de retardo temporal e integración.
15. Satélite (10) según la reivindicación 12, en el que el instrumento de observación incluye al menos un sensor matricial (23) que incluye una pluralidad de células de adquisición dispuestas según una pluralidad de líneas y una pluralidad de columnas, extendiéndose dichas líneas de células de adquisición transversalmente a una dirección de movimiento de dicho satélite, estando cada célula de adquisición adaptada para producir un píxel, de modo que dicho al menos un sensor matricial está adaptado para producir una imagen matricial que incluye una pluralidad de líneas de píxeles y una pluralidad de columnas de píxeles, siendo cada imagen parcial elemental una imagen de línea correspondiente a una o varias líneas de píxeles adyacentes de una misma imagen matricial.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2204197A FR3135329B1 (fr) | 2022-05-03 | 2022-05-03 | Procédé de génération d’image par un satellite par fusion à bord d’images acquises par ledit satellite |
| PCT/EP2023/060668 WO2023213598A1 (fr) | 2022-05-03 | 2023-04-24 | Procédé de génération d'image par un satellite par fusion à bord d'images acquises par ledit satellite |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES3025000T3 true ES3025000T3 (en) | 2025-06-05 |
Family
ID=82850008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES23721712T Active ES3025000T3 (en) | 2022-05-03 | 2023-04-24 | Method for generating an image using a satellite by the on-board fusion of images captured by said satellite |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4392739B1 (es) |
| ES (1) | ES3025000T3 (es) |
| FR (1) | FR3135329B1 (es) |
| WO (1) | WO2023213598A1 (es) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119309577B (zh) * | 2024-12-16 | 2025-03-04 | 北京控制工程研究所 | 高动态载荷的多信息融合姿态确定方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2702375A2 (en) | 2011-04-25 | 2014-03-05 | Skybox Imaging, Inc. | Systems and methods for overhead imaging and video |
| FR2976754B1 (fr) * | 2011-06-15 | 2013-06-28 | Centre Nat Etd Spatiales | Capteur d'images avec correction de bouge par recalage numerique de prises de vue fractionnees |
| FR3048842B1 (fr) * | 2016-03-11 | 2018-03-02 | Thales | Capteur d'images par decalage temporel et integration etendue |
| FR3107953B1 (fr) | 2020-03-03 | 2022-03-11 | Airbus Defence & Space Sas | Procédé d’acquisition d’images d’une zone terrestre par un engin spatial |
-
2022
- 2022-05-03 FR FR2204197A patent/FR3135329B1/fr active Active
-
2023
- 2023-04-24 EP EP23721712.0A patent/EP4392739B1/fr active Active
- 2023-04-24 WO PCT/EP2023/060668 patent/WO2023213598A1/fr not_active Ceased
- 2023-04-24 ES ES23721712T patent/ES3025000T3/es active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP4392739B1 (fr) | 2025-04-02 |
| WO2023213598A1 (fr) | 2023-11-09 |
| EP4392739A1 (fr) | 2024-07-03 |
| EP4392739C0 (fr) | 2025-04-02 |
| FR3135329A1 (fr) | 2023-11-10 |
| FR3135329B1 (fr) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Casertano et al. | Parallax of galactic cepheids from spatially scanning the wide field camera 3 on the Hubble Space Telescope: the case of SS Canis Majoris | |
| Piatek et al. | Proper motions of dwarf spheroidal galaxies from Hubble space telescope imaging. I. method and a preliminary measurement for Fornax | |
| CN107144293A (zh) | 一种视频卫星面阵相机的几何定标方法 | |
| Poli | A rigorous model for spaceborne linear array sensors | |
| CN110211054A (zh) | 一种星载推扫式光学传感器无畸变影像制作方法 | |
| ES3025000T3 (en) | Method for generating an image using a satellite by the on-board fusion of images captured by said satellite | |
| ES2949707T3 (es) | Procedimiento de adquisición de imágenes de una zona terrestre mediante una nave espacial | |
| Jacobsen | Systematic geometric image errors of very high resolution optical satellites | |
| Jing et al. | Geolocation of lunar observations with JiLin-1 high-resolution optical sensor | |
| Sutton et al. | Correcting spacecraft jitter in HiRISE images | |
| Mumtaz et al. | Attitude determination by exploiting geometric distortions in stereo images of DMC camera | |
| Ward et al. | Lidar-Based Safe Site Relative Navigation | |
| Blanco Rodríguez et al. | SOPHISM: An end-to-end software instrument simulator | |
| Zhang et al. | Detection and correction of jitter effect for satellite TDICCD imagery | |
| Wilson et al. | Surface corrected lunar MTF measurements in MODIS and VIIRS using the SP model | |
| Wang et al. | Time-resolved High Spectral Resolution Observation of 2MASSW J0746425+ 200032AB | |
| Danas Rivera et al. | Autonomous Navigation Using Novel Sources at Jupiter | |
| Gruen et al. | Optical Sensors High Resolution: Geometry Validation Methodology | |
| Patel | Analyzing and monitoring GRACE-FO star camera performance in a changing environment | |
| CN119902208B (zh) | 宏图一号分布式车轮编队InSAR卫星高程反演方法及设备 | |
| Dou et al. | Geolocation algorithm for earth observation sensors onboard the international space station | |
| WO2026027804A1 (es) | Método y sistema de procesamiento de imágenes satelitales | |
| Gai et al. | Gravitation astrometric measurement experiment (game) | |
| Kramer et al. | Rotating Synthetic Aperture Space Telescopes for Earth Observation | |
| Bolshakov | Digital sun sensor design for nanosatellite applications |