WO2014173939A1 - Recalage d'images sar par information mutuelle - Google Patents

Recalage d'images sar par information mutuelle Download PDF

Info

Publication number
WO2014173939A1
WO2014173939A1 PCT/EP2014/058223 EP2014058223W WO2014173939A1 WO 2014173939 A1 WO2014173939 A1 WO 2014173939A1 EP 2014058223 W EP2014058223 W EP 2014058223W WO 2014173939 A1 WO2014173939 A1 WO 2014173939A1
Authority
WO
WIPO (PCT)
Prior art keywords
homogeneous
image
zone
zones
mutual information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2014/058223
Other languages
English (en)
Inventor
Pierre MINVIELLE-LARROUSSE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Priority to US14/785,215 priority Critical patent/US9495747B2/en
Priority to GB201518724A priority patent/GB2527997B/en
Publication of WO2014173939A1 publication Critical patent/WO2014173939A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/653—Three-dimensional [3D] objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Definitions

  • the present invention generally relates to the field of image registration. It is particularly applicable to the registration of images obtained by Synthetic Aperture Radar (SAR) or Synthetic Aperture Radar (SAR) for aids to the navigation of an aircraft.
  • SAR Synthetic Aperture Radar
  • SAR Synthetic Aperture Radar
  • Image registration is a common problem in many areas such as medical imaging, robotics, cartography, navigation aids, and so on.
  • image registration consists of aligning images of the same scene, taken at different times, different viewing angles, different sensors.
  • a detailed review of the different methods of image registration can be found in the article by B. Zitova et al. entitled “Image registration methods: a survey” published in I mage and Vision Computing, Vol. 21, 2003, pp. 997-1000.
  • a known method of image registration is based on the maximization of the mutual information between the image to be readjusted and a reference image. This method has been described in the context of magnetic resonance imaging in the article by P. Viola et al. entitled “Alignment by maximization of mutual information", published in Int'l Journal of Computer Vision, Vol. 4, No. 2, pp. 137-154.
  • the navigation of aircraft is typically based on an onboard inertial unit, composed of accelerometers and gyrometers.
  • an onboard inertial unit composed of accelerometers and gyrometers.
  • the accuracy obtained by a navigation system deteriorates progressively during the flight due to a drift phenomenon. It is then necessary to recalibrate periodically the inertial navigation system using absolute navigation system such as a GPS system or an imaging system, for example a Synthetic Aperture Radar (SAR) system. In the latter case, we speak of navigation assisted by Synthetic Aperture Radar (or SAR-aided navigation).
  • SAR Synthetic Aperture Radar
  • Synthetic aperture radar has the advantage that it can be used at all times and at all times.
  • images of previously selected soil areas can be formed and compared to reference data, such as satellite images or digital terrain models, by means of image registration. This comparison makes it possible to go back to the geometrical conditions of the shooting, in particular to the position and the orientation of the aircraft.
  • This method of registration involves storing a considerable amount of data and requires a large number of calculations. It is therefore not very suitable for a navigation aid that must operate in real time and not mobilize significant resources embedded in memory and computing power.
  • a first object of the present invention is therefore to provide an image registration method which is particularly robust and fast, and which does not require significant resources in memory and computing power.
  • a subsidiary object of the present invention is to provide a navigation method assisted by synthetic aperture radar which uses such an image registration method.
  • the present invention is defined by a method of resetting an image (/) of an object with respect to a plurality of reference representations (M n ) of this object, each reference representation being constituted by a set (Z n ) zones (Z n k ), called homogeneous zones, each homogeneous zone having a uniform intensity level, said method being particular in that:
  • the mutual information (C (1, M n )) between said image and the reference representation is calculated on the set (Z n ) of the homogeneous zones of this reference representation;
  • the mutual information thus calculated is compared and the reference representation of said plurality for which the mutual information is highest is selected.
  • the method according to the invention may then comprise a step of determining the geometric conditions of shooting of the image (/), defined (s) by the geometric conditions of shooting of the selected reference representation. We thus recalibrate the image (/), in that we obtain precisely the geometric conditions of its shooting.
  • the mutual information is determined by:
  • the calculation of the entropy (H (I)) of the image on the set (Z) of said homogeneous zones comprises a step of estimating the probability density of the intensity of the pixels in the image. together said homogeneous zones, by means of a histogram estimation or a kernel estimation.
  • the computation of the entropy (H (/ (i) )) of the image on each homogeneous zone (Z k ) comprises a step of estimating the density of probability of the intensity of the pixels in this homogeneous area, by means of a histogram estimate or a kernel estimate.
  • Said reference representations may have been obtained by segmentation in homogeneous zones of real images of the object, each real image having been taken by a sensor having a position and a predetermined attitude with respect to this object.
  • said reference representations may have been obtained from a three-dimensional numerical model of the object, each reference representation being associated with a position and an attitude of a sensor with respect to this object.
  • the three-dimensional numerical model of the object may comprise homogeneous zones, each homogeneous zone of the numerical model being defined by a contour, each contour being defined by a set of points and, if appropriate, by a function of 'interpolation.
  • the outline of a homogeneous area can be defined by a polygon passing through the points of said set of points.
  • the invention also relates to a method of assisting the navigation of an aircraft by synthetic aperture radar, wherein said radar obtains at least one image (/) of the area overflown by said aircraft.
  • said radar obtains at least one image (/) of the area overflown by said aircraft.
  • the reference representations can be obtained from a digital terrain model (M NT) stored in a database onboard said aircraft, said digital terrain model comprising a plurality of homogeneous zones (Z k ), each zone homogeneous model of the terrain digital model () being defined by a contour, each contour being itself defined by a set of points () coordinates stored in the database and, if appropriate by an interpolation function.
  • M NT digital terrain model
  • Z k homogeneous zones
  • the homogeneous areas of the digital terrain model can be categorized by types, one type being associated with each of these areas and stored in relation to it in the database.
  • the homogeneous zones (Z *) of this reference representation are obtained by means of a geometric transformation (T n ) of the homogeneous zones of the numerical model field, said geometric transformation depending on a position and an attitude of the aircraft.
  • FIG. 1 schematically represents the flow chart of an image registration method according to one embodiment of the invention
  • Fig. 2 schematically illustrates a processing step of the registration method of FIG. 1;
  • Figs. 3A and 3B illustrate with the aid of an example the calculation of the mutual information between a captured image and a reference representation
  • Fig. 4 schematically represents a first SAR navigation aid system using the image registration method according to the invention
  • Fig. 5 schematically represents a homogeneous area of the digital terrain model used in the system of FIG. 4;
  • Fig. 6 schematically represents a second SAR navigation aid system using the image registration method according to the invention.
  • the idea underlying the invention is to carry out an image registration on the basis of a maximization criterion of the mutual information, the mutual information being calculated on homogeneous areas of reference images ( hereinafter referred to as reference representations).
  • Fig. 1 schematically represents an image registration method according to one embodiment of the invention.
  • an image of an object (generally three-dimensional), denoted by /, (the term object here being taken in the broad sense and which can correspond to a scene) by means of a sensor, for example a synthetic aperture radar.
  • a sensor for example a synthetic aperture radar.
  • the position and attitude of the sensor relative to the object are not known.
  • reference representation of this object we mean a representation of this object, seen from a point of observation and under a reference attitude.
  • the representation of the object consists of a plurality of homogeneous zones, each zone being associated with a level of intensity (gray level, luminance level).
  • the reference observation point can be defined by its relative coordinates with respect to the object in question.
  • the reference attitude can in general be defined by a triplet of angles giving the orientation of the sensor under which the object is observed.
  • the reference representations can be considered as simplified images of the object with a description by homogeneous zones.
  • the reference representations are obtained from real images of the object taken with the aid of a sensor under well-defined shooting conditions, in other words for a position and an attitude of the sensor predetermined.
  • the sensor used to take the image / may be different from that used to obtain the reference representation.
  • the sensor used to obtain the reference representation may be an optical sensor and the sensor used to obtain the image to be readjusted may be a synthetic aperture radar.
  • the two sensors are chosen to be identical.
  • the aforementioned real images are processed by means of a segmentation operation, known per se, in order to obtain homogeneous zone representations in the sense defined above.
  • a description of a segmentation method in homogeneous zones can be found in the article by Rigau J.
  • the reference representations of the object are obtained by computer from a digital model of the object.
  • This numerical model can be defined by a mesh of the surface of the object, each mesh being characterized by a coefficient of reflectivity.
  • the index n of the reference representation is initialized.
  • the reference representation, M n is recovered, for example by reading a mass memory.
  • Homogeneous zone means an area in which the intensity is constant.
  • Each homogeneous zone Z n k is generally composed of a plurality of connected components. These connected components are advantageously chosen from simple shapes, for example polygonal shapes. In this case, each homogeneous zone can be stored in memory in vector form.
  • the mutual information C (I, M n ) between the image / and the reference representation M on the set of homogeneous zones Z n is calculated. Equivalently, the mutual information C (I, M n ) is that between the image / restricted to Z n , denoted l [Z n ], and the reference representation M n .
  • the image defined by:
  • Steps 110 and 120 are iteratively executed on the N reference representations, as indicated by steps 125 and 127.
  • step 130 the mutual information calculated in step 120 is compared for the different reference representations.
  • step 140 selecting the reference representation maximizing the mutual information C (I, M n ), in other words the reference representation of index n 0 such that:
  • n ⁇ , .., N
  • H (X) denotes the entropy of X (or of F)
  • H [XI Y) denotes the conditional entropy of the random variable X compared to Y
  • the index n of the reference representation will be omitted in the following.
  • M the reference representation
  • Z the set of homogeneous zones of M. This calculation consists of "probabilizing" the image / as well as the representation M, that is to say, considering that the intensity i of a point (or pixel) of / and the intensity m of a point (or pixel) of Z as random variables.
  • the entropy of the representation M is obtained by:
  • the entropy of the image / on the zone Z is none other than
  • the integration is performed from the histogram of the intensity of the pixels on the zone Z.
  • the second term of the expression (11) can be considered as the conditional entropy of the random variable i with respect to m, denoted H (I / M).
  • Fig. 2 schematically represents the method of calculating the mutual information between a captured image / and a reference representation, as used in step 120 of FIG.
  • a first step, 210 the entropy H (I) of the image / on the zone Z is calculated, that is to say on the set of homogeneous zones Z k of M, from the expression (7).
  • a second step 220 for each homogeneous zone Z k of the reference representation, the probability p k that a point of Z belongs to Z k is determined . As indicated above, this probability serves as a weighting factor of the conditional entropy H (/ (i) ) in the calculation of the mutual information C (I, M). ⁇ K
  • the homogeneous zone Z k and ⁇ is the area of Z, that is to say the total area of all the homogeneous zones considered. Indeed, since we limit our to the zone Z, the probability that a point (or pixel) is of intensity m k is simply the probability that this point or pixel belongs to the homogeneous zone Z k .
  • This integration is carried out by estimating the probability density p (y) from the histogram of the pixel intensity of / in the zone Z k or, by means of a kernel estimation, from a Intensity sampling in this area.
  • the integration can be performed numerically from the trapezoid method or the Simpson method, in a manner known per se.
  • step 240 the mutual information between the captured image / and the reference representation M on the zone Z is obtained from the expression (11). More precisely, we calculate the difference between the entropy of the image / on the zone Z (obtained in 210), and the weighted sum of the entropies of / calculated on the different homogeneous zones of M (obtained at 230), each zone Z k being weighted by its associated weighting factor, p k (obtained at 220).
  • Figs. 3A and 3B illustrate with the aid of an example the calculation of the mutual information between a captured image / and a reference representation M on the zone Z.
  • a reference representation M of an object has been designated 310.
  • This representation comprises homogeneous zones ZZ 2 , Z 3 . it is noted that 1 e t Z 2 are each composed of two related components. The meeting of the homogeneous zones selected constitutes zone Z designated by 320.
  • the image I represented at 330 is a simple translation of the reference representation M t but in the general case, can of course be substantially more complex.
  • the area Z and the image I have been superimposed.
  • Fig. 4 schematically represents a first navigation aid system using a registration method according to the invention.
  • the navigation aid system 400 is embarked on board an aircraft. It comprises a synthetic aperture radar 420 and a signal processing module, connected to the radar 420, performing a synthesis of SAR images, 440.
  • the synthetic aperture radar makes it possible to obtain images of the area overflown by the aircraft.
  • the system 400 further comprises an onboard database 410 in which is stored a three-dimensional digital terrain model or DTM.
  • This model describes the terrain as homogeneous areas. These homogeneous zones can be for example parcels, lakes, roads, roofs, etc.
  • Each homogeneous zone Z k of the model is defined by a succession of points and, if appropriate, an interpolation curve, such as a spline function.
  • Each point is defined by its coordinates in a geo-referenced landmark, for example by its latitude, longitude and altitude.
  • Fig. 5 schematically represents a homogeneous zone Z k t defined by a plurality of points 3 ⁇ 4 of coordinates
  • the longitude, latitude, and elevation of the point k are the longitude, latitude, and elevation of the point k, respectively .
  • no interpolation curve is defined and the homogeneous zone is none other than that delimited by the polygon (not necessarily included in a plane) passing through the points.
  • the type% is related to the radar reflectivity of the zone, itself depending on the nature of the area in question (type of vegetation, deep water, asphalt road, etc.).
  • the DEM model can be obtained by segmentation and preliminary classification of maps and aerial and / or satellite images. It should be noted that this model simply aims to identify homogeneous zones on the Earth's surface (this identification is not necessarily exhaustive). In particular, it is not necessary to identify the nature of each zone, which alone is ultimately important for its homogeneous nature. in time. For example, a vegetation zone of a certain type will maintain a homogeneous radar reflectivity despite seasonal variations.
  • the search module 450 provides sequentially or parallel to the extraction module 430 a plurality of positions and possible attitudes of the aircraft, defining themselves positions and attitudes of the synthetic aperture radar.
  • the extraction module, 430 obtains a reference representation M n of the field by a geometric transformation T n of the model M NT.
  • This transformation T n gives a view of the model M NT from the point of observation and under the angle given by the position and attitude couple in question.
  • the transformation T n is generally composed of translations, rotations, projection etc.
  • the transformation T n leaves invariant the type% of the zone.
  • the zone Z n k is of type whatever the transformation P ".
  • the image registration module, 460 calculates the mutual information C (I, M n ) between the captured image I, as synthesized by the module 440, and each reference representation, M ", extracted from the base M NT. It then selects the reference representation M no
  • the search module modifies, by successive iterations, the position and attitude of the aircraft so as to find the maximum of the mutual information C ⁇ 1, M n ). According to a first variant, it will be possible to be content with a local maximum, that is to say a maximum obtained over a discrete range of positions and possible attitudes of the aircraft.
  • the maximum will be considered as reached when the mutual information is greater than a predetermined threshold.
  • the search for the closest reference representation may cease once a reference representation M has been found such that:
  • the first condition of (13) aims to exclude poor reference representations in homogeneous zones and presenting for this reason an insufficient entropy.
  • the search module 450 when the search module 450 has found a reference representation M opt maximizing the mutual information, the position and attitude of the aircraft (or the sensor) are those of the transformation T n associated with M opt .
  • each new reference representation M n required a geometric transformation T n su r
  • this variant can combine a fast search loop simply involving isometric operations on a reference representation, and a slow search loop requiring more complex geometric transformations (new projection for example).
  • Fig. 6 schematically represents a second SAR navigation aid system using the image registration method according to the invention.
  • This system, 600 comprises, like that of FIG. 4, a synthetic aperture radar 620, an image synthesis module 640, an embedded database 610 in which a digital terrain model DTM is stored, as well as a reference representation extraction module, 630.
  • the elements 610, 620, 630, 640 are identical to the elements 410, 420, 430, 440 of FIG. 4 and their description will not be repeated here.
  • the synthetic aperture radar 620 and the image synthesis module 630 generate SAR images, I m , at regular intervals.
  • the system 600 comprises a trajectory prediction module, 650.
  • This module receives for each image I m , the index of the reference representation, M m, ", q U j
  • u j is the closest and deduces a navigation information (position, speed, direction and attitude of the aircraft).
  • the trajectory prediction module can determine a position zone and an angular range of attitude where the aircraft will be likely to be at the next moment, and deduce the reference representations M m + n q U j may be taken into account in the calculation of similarity.
  • the module 660 also supplies the values C (1 m , m B ) to the prediction module 650, so that it can refine its prediction, for example according to a optimization algorithm of the strongest gradient ( steepest gradient).
  • Other optimization algorithms or sequential estimation such as Kalman filtering can be implemented without departing from the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne une méthode de recalage d'image utilisant un critère de similarité basé sur l'information mutuelle. L'image à recaler est comparée à une pluralité de représentations de référence d'un objet, chaque représentation de référence étant constituée d'une pluralité de zones homogènes. On calcule l'information mutuelle entre l'image à recaler et chaque représentation de référence, sur l'ensemble des zones homogènes (120). Le recalage est donné par la représentation de référence correspondant à l'information mutuelle la plus élevée (130,140). L'invention est avantageusement appliquée à l'aide à la navigation d'un aéronef par recalage d'images obtenues au moyen d'un radar à synthèse d'ouverture.

Description

RECALAGE D'IMAGES SAR PAR INFORMATION MUTUELLE
DESCRIPTION
DOMAINE TECHNIQUE
La présente invention concerne de manière générale le domaine du recalage d'images. Elle trouve notamment à s'appliquer au recalage d'images obtenues par radar à synthèse d'ouverture ou SAR (Synthetic Aperture Radar) pour l'aide à la navigation d'un aéronef.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE
Le recalage d'images est une problématique courante rencontrée dans nombre de domaines tels que l'imagerie médicale, la robotique, la cartographie, l'aide à la navigation etc.
De manière générale, le recalage d'images consiste à aligner des images d'une même scène, prises à différentes époques, différents angles de vue, différents capteurs. Une revue détaillée des différentes méthodes de recalage d'images pourra être trouvée dans l'article de B. Zitova et al. intitulé « Image registration methods : a survey » publié dans I mage and Vision Computing, Vol. 21, 2003, pp. 997-1000.
Une méthode connue de recalage d'images est fondée sur la maximisation de l'information mutuelle entre l'image à recaler et une image de référence. Cette méthode a été décrite dans le contexte de l'imagerie médica le par résonance magnétique, dans l'article de P. Viola et al. intitulé « Alignment by maximization of mutual information », publié dans Int'l Journal of Computer Vision, Vol. 4, N° 2, pp. 137-154.
Par ailleurs, la navigation des aéronefs repose classiquement sur une centrale inertielle embarquée, composée d'accéléromètres et de gyromètres. Toutefois, la précision obtenue par un système de navigation se dégrade progressivement au cours du vol en raison d'un phénomène de dérive. Il est alors nécessaire de recaler périodiquement le système de navigation inertiel à l'aide de système de navigation absolu tel qu'un système GPS ou d'un système d'imagerie, par exemple un système radar à synthèse d'ouverture (SAR). Dans ce dernier cas, on parle de navigation aidée par radar à synthèse d'ouverture (ou SAR-aided navigation).
Une méthode de navigation aidée par radar à synthèse d'ouverture est connue de l'article de J.E. Bevington et al. intitulé « Précision aided intertial navigation using SAR and digital map data », publié dans Record of the Position Location and Navigation Symposium, 1990, IEEE PLANS '90, IEEE, 1990, pp. 490-496.
Le radar à synthèse d'ouverture présente l'avantage de pouvoir être utilisé par tout temps et à toute heure. A l'aide du SAR, on peut former des images de zones du sol préalablement sélectionnées et les comparer à des données de référence, telles que des images satellitaires ou des modèles numériques de terrain, au moyen d'un recalage d'images. Cette comparaison permet de remonter aux conditions géométriques de la prise de vue, en particulier à la position et l'orientation de l'aéronef.
Une méthode de recalage d'images SAR basée sur la maximisation de l'information mutuelle a été décrite dans l'article de H. Xie et al. intitulé « Mutual information based registration of SAR images » publié dans Proc. of In Geoscience And Remote Sensing Symposium, IGARSS'03, IEEE International, 2003.
Cette méthode de recalage suppose toutefois de stocker un volume considérable de données et nécessite d'effectuer un grand nombre de calculs. Elle est par conséquent peu adaptée à une aide à la navigation qui doit opérer en temps réel et ne pas mobiliser d'importantes ressources embarquées en mémoire et en puissance de calcul.
Un premier objet de la présente invention est par conséquent de proposer une méthode de recalage d'images qui soit particulièrement robuste et rapide, et qui ne requière pas d'importantes ressources en mémoire et en puissance de calcul. Un objet subsidiaire de la présente invention est de proposer une méthode de navigation aidée par radar à synthèse d'ouverture qui utilise une telle méthode de recalage d'images. EXPOSÉ DE L'INVENTION
La présente invention est définie par une méthode de recalage d'une image ( / ) d'un objet par rapport à une pluralité de représentations de référence ( Mn ) de cet objet, chaque représentation de référence étant constituée par un ensemble ( Zn ) de zones ( Zn k ), dites zones homogènes, chaque zone homogène présentant un niveau d'intensité homogène, ladite méthode étant particulière en ce que:
pour chaque représentation de référence de ladite pluralité, on calcule l'information mutuelle ( C(l,Mn ) ) entre ladite image et la représentation de référence, sur l'ensemble ( Zn ) des zones homogènes de cette représentation de référence ;
- on compare les informations mutuelles ainsi calculées et on sélectionne la représentation de référence de ladite pluralité pour laquelle l'information mutuelle est la plus élevée.
La méthode selon l'invention peut comprendre ensuite une étape de détermination des conditions géométriques de prise de vue de l'image ( / ), définie(s) par les conditions géométriques de prise de vue de la représentation de référence sélectionnée. On recale ainsi l'image ( / ), en ce qu'on obtient de façon précise les conditions géométriques de sa prise de vue.
Avantageusement, pour chaque représentation de référence ( M ), l'information mutuelle est déterminée par:
un calcul de l'entropie ( H(I) ) de l'image sur l'ensemble ( Z ) des zones homogènes de la représentation de référence;
un calcul, pour chaque zone homogène ( Zk ), d'un facteur de pondération ( pk ), associé à ladite zone, correspondant au rapport entre la surface ( ak ) de cette zone à la surface totale ( σ ) de l'ensemble desdites zones homogènes ;
un calcul, pour chaque zone homogène { Zk ), de l'entropie ( H (/(i) ) ) de l'image sur cette zone ; un calcul de la différence entre l'entropie de l'image sur l'ensemble desdites zones homogènes, d'une part, et la somme pondérée des entropies de l'image sur les différentes zones homogènes, chaque zone étant pondérée par son facteur de pondération, d'autre part.
Selon une première variante, le calcul de l'entropie ( H(I) ) de l'image sur l'ensemble ( Z ) desdites zones homogènes comprend une étape d'estimation de la densité de probabilité de l'intensité des pixels dans l'ensemble desdites zones homogènes, au moyen d'une estimation par histogramme ou d'une estimation par noyau.
Selon une seconde variante, le calcul de l'entropie ( H (/(i) ) ) de l'image sur chaque zone homogène ( Zk ) comprend une étape d'estimation de la densité de probabilité de l'intensité des pixels dans cette zone homogène, au moyen d'une estimation par histogramme ou d'une estimation par noyau.
Lesdites représentations de référence peuvent avoir été obtenues par une segmentation en zones homogènes d'images réelles de l'objet, chaque image réelle ayant été prise par un capteur ayant une position et une attitude prédéterminée par rapport à cet objet.
Alternativement, lesdites représentations de référence peuvent avoir été obtenues à partir d'un modèle numérique tridimensionnel de l'objet, chaque représentation de référence étant associée à une position et une attitude d'un capteur par rapport à cet objet.
Dans ce dernier cas, le modèle numérique tridimensionnel de l'objet peut comprendre des zones homogènes, chaque zone homogène du modèle numérique étant définie par un contour, chaque contour étant défini par un ensemble de points et, le cas échéant, par une fonction d'interpolation.
Le contour d'une zone homogène peut être défini par un polygone passant par les points dudit ensemble de points.
L'invention concerne également une méthode d'aide à la navigation d'un aéronef par radar à synthèse d'ouverture, selon laquelle ledit radar obtient au moins une image ( / ) de la zone survolée par ledit aéronef. On recale alors ladite image par rapport à une pluralité de représentations de référence de la zone survolée, à l'aide de la méthode de recalage d'image définie précédemment, chaque représentation de référence étant associée à une position et une attitude dudit aéronef dans un repère géo-référencé, et on déduit une information de navigation de l'aéronef à partir de la position et de l'attitude associées à la représentation de référence pour laquelle l'information mutuelle est la plus élevée.
Les représentations de référence peuvent être obtenues à partir d'un modèle numérique de terrain (M NT) stocké dans une base de données embarquée à bord dudit aéronef, ledit modèle numérique de terrain comprenant une pluralité de zones homogènes ( Zk ), chaque zone homogène du modèle numérique de terrain ( ) étant définie par un contour, chaque contour étant lui-même défini par un ensemble de points ( ) de coordonnées stockées dans la base de données et, le cas échéant par une fonction d'interpolation.
Les zones homogènes du modèle numérique de terrain peuvent être classées par types, un type étant associé à chacune de ces zones et stocké en relation avec elle dans la base de données.
Selon un exemple de réalisation, pour au moins une représentation de référence ( K ), les zones homogènes ( Z* ) de cette représentation de référence sont obtenues à l'aide d'une transformation géométrique ( Tn ) des zones homogènes du modèle numérique de terrain, ladite transformation géométrique dépendant d'une position et d'une attitude de l'aéronef.
BRÈVE DESCRIPTION DES DESSINS
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de modes de réalisation préférentiels de l'invention faite en référence aux figures jointes parmi lesquelles :
La Fig. 1 représente schématiquement l'ordinogramme d'une méthode de recalage d'image selon un mode de réalisation de l'invention ; La Fig. 2 illustre schématiquement une étape de traitement de la méthode de recalage de la Fig. 1 ;
Les Figs. 3A et 3B illustrent à l'aide d'un exemple le calcul de l'information mutuelle entre une image captée et une représentation de référence ;
La Fig. 4 représente schématiquement un premier système d'aide à la navigation par SAR utilisant la méthode de recalage d'image selon l'invention ;
La Fig. 5 représente schématiquement une zone homogène du modèle numérique de terrain utilisé dans le système de la Fig. 4 ;
La Fig. 6 représente schématiquement un second système d'aide à la navigation par SAR utilisant la méthode de recalage d'images selon l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L'idée à la base de l'invention est d'effectuer un recalage d'image sur la base d'un critère de maximisation de l'information mutuelle, l'information mutuelle étant calculée sur des zones homogènes d'images de référence (dénommées ci-après représentations de référence).
La Fig. 1 représente schématiquement une méthode de recalage d'image selon un mode de réalisation de l'invention.
On suppose ici que l'on a obtenu une image d'un objet (en général tridimensionnel), notée / , (le terme objet étant ici pris au sens large et pouvant correspondre à une scène) à l'aide d'un capteur, par exemple un radar à synthèse d'ouverture. La position et l'attitude du capteur par rapport à l'objet ne sont pas connues.
On suppose que l'on dispose par ailleurs d'une pluralité de représentations de référence de cet objet, notées Mn , n = \,..., N . Par représentation de référence de cet objet, on entend une représentation de cet objet, vu d'un point d'observation et sous une attitude de référence. La représentation de l'objet est constituée d'une pluralité de zones homogènes, chaque zone étant associée à un niveau d'intensité (niveau de gris, niveau de luminance). Le point d'observation de référence peut être défini par ses coordonnées relatives par rapport à l'objet en question. L'attitude de référence pourra en général être définie par un triplet d'angles donnant l'orientation du capteur sous lequel l'objet est observé. Les représentations de référence peuvent être considérées comme des images simplifiées de l'objet avec une description par zones homogènes.
Selon une première variante, les représentations de référence sont obtenues à partir d'images réelles de l'objet prises à l'aide d'un capteur dans des conditions bien définies de prises de vue, autrement dit pour une position et une attitude du capteur prédéterminées. Le capteur ayant servi à prendre l'image / peut être différent de celui ayant servi à obtenir la représentation de référence. Par exemple, le capteur ayant servi à obtenir la représentation de référence peut être un capteur optique et le capteur ayant servi à obtenir l'image à recaler peut être un radar à synthèse d'ouverture. De préférence, toutefois, les deux capteurs sont choisis identiques. Les images réelles précitées sont traitées au moyen d'une opération de segmentation, connue en soi, afin d'obtenir des représentations en zones homogènes au sens défini plus haut. On pourra notamment trouver une description d'une méthode de segmentation en zones homogènes dans l'article de Rigau J. et al. intitulé « Médical image segmentation based on mutual information maximization" publié dans Médical Image Computing and Computer-Assisted I ntervention-M ICCAI 2004 (pp. 135-142). La segmentation de l'image réelle peut ne pas être exhaustive mais dans ce cas seule la partie de l'image segmentée en zones homogènes sera retenue dans la représentation de référence.
Selon une seconde variante, les représentations de référence de l'objet sont obtenues par ordinateur à partir d'un modèle numérique de l'objet. Ce modèle numérique peut être défini par un maillage de la surface de l'objet, chaque maille étant caractérisée par un coefficient de réflectivité.
D'autres variantes d'obtention de représentations de référence de l'objet pourront être envisagées sans sortir du cadre de la présente invention.
La méthode de recalage d'image vise à déterminer parmi la pluralité de représentations de référence Mn , n = \, ..., N celle qui correspond au mieux à l'image / .
Elle peut donc être exécutée séquentiellement, par itération sur l'indice n , ou bien en parallèle. On a représenté ici le mode de recherche séquentiel. Dans une première étape, 100, on initialise l'indice n de la représentation de référence.
A l'étape 110, on récupère, par exemple en lisant une mémoire de masse, la représentation de référence, Mn . Celle-ci est constituée par une pluralité Kn de zones homogènes, Zn k , k = \, ..., Kn . Par zone homogène, on entend une zone dans laquelle l'intensité est constante. Chaque zone homogène Zn k est en général constituée d'une pluralité de composantes connexes. Ces composantes connexes sont avantageusement choisies de formes simples, par exemple de formes polygonales. Dans ce cas, chaque zone homogène peut être stockée en mémoire sous forme vectorielle.
A l'étape, 120, on calcule l'information mutuelle moyenne entre l'image / et la représentation de référence Mn , sur l'ensemble des zones homogènes Zn k , k = \, ..., Kn .
Plus précisément, si l'on note Zn = \^ Zk l'ensemble des zones homogènes de la k=l
représentation de référence Mn , on calcule l'information mutuelle C(I,Mn) entre l'image / et la représentation de référence M sur l'ensemble des zones homogènes Z n . De manière équivalente, l'information mutuelle C(I,Mn) est celle entre l'image / restreinte à Zn , notée l [Zn ] , et la représentation de référence Mn . On entend par restriction de l'image / à la zone Zn , l'image définie par :
l [Zn ] = {i(x, y)<pn (x, y) \i(x, y) G /} (1)
où <p„(x, y) est la fonction indicatrice de Zn .
Les étapes 110 et 120 sont exécutées par itération sur les N représentations de référence, comme indiqué par les étapes 125 et 127.
A l'étape 130, on compare les informations mutuelles calculées à l'étape 120 pour les différentes représentations de référence. A l'étape 140, on sélectionne la représentation de référence maximisant l'information mutuelle C(I,Mn) , autrement dit la représentation de référence d'indice n0 telle que :
¾ = argmax (C(/, j) (2)
n=\,..,N
On rappelle que l'information mutuelle C(X, Y) entre deux variables aléatoires X, Y est définie par :
C ( X, Y) = H{X) - H{X I Y) = H{Y) - H {Y I X) (3 )
où H(X) (resp. H(Y) ) désigne l'entropie de X (resp. de F ) et H [XI Y) (resp. H(YI X) ) désigne l'entropie conditionnelle de la variable aléatoire X par rapport à Y
(resp. l'entropie conditionelle de la variable aléatoire Y par rapport à X ).
L'information mutuelle s'exprime de manière équivalente, sous une forme symétrique par :
C(X, Y) = H(X) + H(Y) -H(X, Y) (4) où H(X, Y) est l'entropie conjointe des variables X et Y .
Le calcul de l'information mutuelle C(I,Mn) entre l'image / et la représentation de référence M n sur l'ensemble Z n des zones homog °ènes de M n est détaillé ci-ap ~rès.
Pour des raisons de simplification des notations, on omettra dans la suite l'indice n de la représentation de référence. On notera donc M la représentation de référence et Z l'ensemble des zones homogènes de M . Ce calcul consiste à « probabiliser » l'image / ainsi que la représentation M , c'est-à-dire à considérer que l'intensité i d'un point (ou pixel) de / et l'intensité m d'un point (ou pixel) de Z comme des variables aléatoires.
L'entropie de la représentation M est obtenue par :
Figure imgf000012_0001
Etant donné que Z est constituée de zones homogènes Zk , k = \, ..., K , si l'on note pk = p (m = mk ) où mk est l'intensité des points dans la zone homogène Zk , l'entropie de la représentation M peut s'exprimer sous la forme
Figure imgf000012_0002
De manière similaire, l'entropie de l'image / sur la zone Z n'est autre que
Figure imgf000012_0003
où l'intégration est effectuée à partir de l'histogramme de l'intensité des pixels sur la zone Z . Alternativement, la densité de probabilité p(v) = p (i = v) peut être obtenue grâce à une estimation par noyau, à partir d'un échantillonnage de l'intensité des pixels de / dans la zone Z de manière connue en soi.
Enfin, l'entropie conjointe des images I et M dans la zone Z est définie par :
H (l,M ) = -j" p (m = u, i = v) \og (p (m = u,i = v)) dudv (8) Si l'on note i(k) la variable aléatoire i conditionnée par m= mk, où mk est l'intensité des pixels de l'image M dans la zone Zk , l'entropie conjointe est la somme de contributions sur les différentes zones homogènes :
Figure imgf000013_0001
et, par conséquent:
#(/, ) =∑Λ#(/<*>)-∑Λΐο6Λ (10)
k=l k=l
en posant H(/(i)) = -jp(i(k) = v)log(/?(z'(i) = v))<iv qui n'est autre que l'entropie de l'image / dans la zone Zk , ou de manière équivalente l'entropie de l'image / restreinte à la zone Zk , notée /[z*].
Il résulte des expressions (4), (6) et (10) que l'information mutuelle C(I,M) entre l'image / et la représentation de référence M , sur la zone Z , est donnée par :
C(/, ) = H(/)-∑AH(/(i)) (11)
On notera que, d'après (3), le second terme de l'expression (11) peut être considéré comme l'entropie conditionnelle de la variable aléatoire i par rapport à m, notée H(I/M).
La Fig. 2 représente de manière schématique la méthode de calcul de l'information mutuelle entre une image captée / et une représentation de référence, telle qu'utilisée à l'étape 120 de la Fig.1. Dans une première étape, 210, on calcule l'entropie H(I) de l'image / sur la zone Z , c'est-à-dire sur l'ensemble des zones homogènes Zk de M , à partir de l'expression (7).
Dans une seconde étape, 220, on détermine pour chaque zone homogène Zk de la représentation de référence, la probabilité pk qu'un point de Z appartienne à Zk . Comme indiqué précédemment, cette probabilité sert de facteur de pondération des entropies conditionnelles H (/(i) ) dans le calcul de l'information mutuelle C(I,M) . σ K
La probabilité pk est obtenue par pk =— - où a = ^ yk où σ1ι est la surface de σ k=i
la zone homogène Zk et σ est la surface de Z , c'est-à-dire la surface totale de l'ensemble des zones homogènes considérées. En effet, étant donné que l'on se limite à la zone Z , la probabilité qu'un point (ou pixel) soit d'intensité mk est simplement la probabilité que ce point ou pixel appartienne à la zone homogène Zk .
Dans une troisième étape, 230, on calcule pour chaque zone homogène Zk , k = \,..,K de Z , l'entropie de l'image / dans cette zone, c'est-à-dire l'entropie de I(k) au sens défini précédemment:
H (/<*> ) = -jp (/<*> = v) log ( p (/<*> = v)) dv (12)
Cette intégration est réalisée en estimant la densité de probabilité p (y) à partir de l'histogramme de l'intensité des pixels de / dans la zone Zk ou bien, au moyen d'une estimation par noyau, à partir d'un échantillonnage de l'intensité dans cette zone. L'intégration peut être effectuée numériquement à partir de la méthode des trapèzes ou la méthode de Simpson, de manière connue en soi.
A l'étape 240, on obtient l'information mutuelle entre l'image captée / et la représentation de référence M sur la zone Z , à partir de l'expression (11). Plus précisément, on calcule la différence entre l'entropie de l'image / sur la zone Z (obtenue en 210), et la somme pondérée des entropies de / calculées sur les différentes zones homogènes de M (obtenues en 230), chaque zone Zk étant pondérée par son facteur de pondération associé, pk (obtenu en 220).
Les Figs. 3A et 3B illustrent à l'aide d'un exemple le calcul de l'information mutuelle entre une image captée / et une représentation de référence M sur la zone Z .
On a désigné par 310 une représentation de référence M d'un objet. Cette représentation comporte des zones homogènes Z Z2,Z3 . on remarque que 1 et Z2 sont chacune constituée de deux composantes connexes. La réunion des zones homogènes sélectionnées constitue la zone Z désignée par 320.
Dans le cas présent, l'image I représentée en 330 est une simple translatée de la représentation de référence M t mais dans le cas général, peut bien entendu être sensiblement plus complexe. On a fait figurer en superposition la zone Z et l'image I .
En 340 on a représenté l'image I restreinte à la zone Z t précédemment notée l[Z] . Au moyen de cette image restreinte, on peut estimer la densité de probabilité p(v) dans Z t à partir de l'histogramme de l'intensité des pixels de I dans la zone Z Alternativement, on peut estimer cette densité à partir d'un échantillonnage de l'intensité de I dans cette zone.
En 361, 363 et 365, on a représenté l'image I restreinte respectivement aux zones Z1, Z2, Z3 # c'est-à-dire les images [^1] , [·Ζ2 ] # / ζ3 ] . A partir des histogrammes 362, 364, 366 de l'intensité dans ces zones, ou bien à partir d'un échantillonnage de l'intensité de ces pixels dans ces zones (méthode de Parzen), on estime la densité de probabilité pi ) dans chacune de ces zones. On en déduit les entropies H ( (i) ) à partir de l'expression (12). Ces entropies sont ensuite pondérées par les surfaces relatives de ces zones pk et la somme pondérée ainsi obtenue est soustraite à l'entropie H(7) de l'image / dans la zone Z , pour donner l'information mutuelle C(/, ) .
La méthode de recalage d'images décrite précédemment peut avantageusement s'appliquer à une méthode d'aide à la navigation par SAR. La Fig. 4 représente de manière schématique un premier système d'aide à la navigation utilisant une méthode de recalage selon l'invention.
Le système d'aide à la navigation 400 est embarqué à bord d'un aéronef. Il comprend un radar à synthèse d'ouverture 420 et un module de traitement de signal, relié au radar 420, effectuant une synthèse d'images SAR, 440. Le radar à synthèse d'ouverture permet d'obtenir des images de la zone survolée par l'aéronef.
Le système 400 comprend en outre une base de données 410 embarquée dans laquelle est stocké un modèle numérique tridimensionnel de terrain ou MNT. Ce modèle décrit le terrain sous formes de zones homogènes. Ces zones homogènes peuvent être par exemple des parcelles, des lacs, routes, toitures, etc.
Chaque zone homogène Zk du modèle est définie par une succession de points et le cas échéant une courbe d'interpolation, telle qu'une fonction spline. Chaque point est défini par ses coordonnées dans un repère géo-référencé, par exemple par sa latitude, sa longitude et son altitude.
La Fig. 5 représente schématiquement une zone homogène Zk t définie par une pluralité de points ¾ de coordonnées (
sont respectivement la longitude, la latitude et l'altitude du point k . Dans le cas présent, aucune courbe d'interpolation n'est définie et la zone homogène n'est autre que celle délimitée par le polygone (non nécessairement inclus dans un plan) passant par les points .
A chaque zone homogène Zk est associé un type k = l,.., K . Le type % est lié à la réflectivité radar de la zone, elle-même dépendant de la nature de la zone en question (type de végétation, eau profonde, route bitumée etc.).
Le modèle MNT peut être obtenu par segmentation et classification préalable de cartes et d'images aériennes et/ou satellitaires. On notera que ce modèle vise simplement à identifier des zones homogènes à la surface terrestre (cette identification n'étant d'ailleurs pas nécessairement exhaustive). Il n'est en particulier pas nécessaire d'identifier la nature de chaque zone, seule important en définitive sa nature homogène dans le temps. Par exemple, une zone de végétation d'un certain type gardera une réflectivité radar homogène en dépit des variations saisonnières.
On comprendra ainsi que le modèle MNT est considéra blement moins gourmand en mémoire que des images aériennes classiques. Il se prête par conséquent bien à une utilisation embarquée.
Revenant à la Fig. 4, le module de recherche 450 fournit séquentiellement ou parallèlement au module d'extraction 430 une pluralité de positions et d'attitudes possibles de l'aéronef, définissant elles-mêmes des positions et attitudes du radar à synthèse d'ouverture.
Pour chaque couple de position, attitude du SAR, le module d'extraction, 430, obtient une représentation de référence Mn du terrain par une transformation géométrique Tn du modèle M NT. Cette transformation Tn donne une vue du modèle M NT à partir du point d'observation et sous l'angle donnés par le couple de position et d'attitude en question.
La transformation Tn est composée de manière générale de translations, rotations, projection etc. Une zone homogène Zk du modèle M NT, définie par les coordonnées de ses points P est ainsi transformée en une zone bidimensionnelle homogène, notée Zn k = Tn {Zk ) l délimitée par les points Pk = ^(-¾ ) · Bien entendu, la transformation Tn laisse invariant le type % de la zone. Autrement dit, la zone Zn k est de type quelle que soit la transformation P„.
Le module de recalage d'images, 460, calcule l'information mutuelle C(l,Mn ) entre l'image captée I , telle que synthétisée par le module 440, et chaque représentation de référence, M„, extraite de la base M NT. Elle sélectionne ensuite la représentation de référence Mno |a plus proche de I par maximisation de C(l,Mn ) . Le module de recherche modifie par itérations successives les position et attitude de l'aéronef de manière à trouver le maximum de l'information mutuelle C{l,Mn ) . Selon une première variante, on pourra se contenter d'un maximum local, c'est- à-dire d'un maximum obtenu sur une plage discrète de positions et d'attitudes possibles de l'aéronef.
Selon une seconde variante, le maximum sera considéré comme atteint dès lors que l'information mutuelle est supérieure à un seuil prédéterminé.
On remarquera que le maximum de l'information mutuelle C{I,M) est atteint pour une coïncidence parfaite entre I et M t auquel cas
K
C (I, M) = H (M) = -∑pk log pk . On notera que cette valeur est positive puisque k=l
Pk < 1 . La recherche de la représentation de référence la plus proche pourra cesser dès lors que l'on aura trouvé une représentation de référence M telle que :
C (l,M ) +∑Pk log pk
K≥K^n et ≤ε (13)
où ^min et ε sont des valeurs de seuil prédéterminées. La première condition de (13) vise à écarter les représentations de référence pauvres en zones homogènes et présentant pour cette raison une entropie insuffisante.
Quelle que soit la variante, lorsque le module de recherche 450 a trouvé une représentation de référence Mopt maximisant l'information mutuelle, la position et l'attitude de l'aéronef (ou du capteur) sont celles de la transformation Tn associée à Mopt .
On a supposé dans ce mode de réalisation que chaque nouvelle représentation de référence Mn nécessitait d'effectuer une transformation géométrique Tn su r |e modèle M NT. Selon une variante, pour accélérer la recherche, on pourra se contenter d'effectuer une opération géométrique simple sur représentation déjà extraite (translation, rotation et de manière plus générale une transformation isométrique) sans passer à chaque fois par le modèle MNT. Avantageusement, cette variante pourra combiner une boucle de recherche rapide faisant simplement intervenir des opérations isométriques sur une représentation de référence, et une boucle de recherche lente nécessitant des transformations géométriques plus complexes (nouvelle projection par exemple).
La Fig. 6 représente schématiquement un second système d'aide à la navigation par SAR utilisant la méthode de recalage d'images selon l'invention.
Ce système, 600, comprend, comme celui de la Fig. 4, un radar à synthèse d'ouverture 620, un module de synthèse d'image 640, une base de données embarquée 610 dans laquelle sont stockés un modèle numérique de terrain MNT, ainsi qu'un module d'extraction de représentations de référence, 630. Les éléments 610, 620, 630, 640 sont identiques aux éléments 410, 420, 430, 440 de la Fig. 4 et leur description ne sera donc pas reprise ici.
A la différence du système de la Fig. 4, le radar à synthèse d'ouverture 620 et le module de synthèse d'image 630 génèrent des images SAR, Im , à intervalles réguliers. En outre, le système 600 comprend un module de prédiction de trajectoire, 650. Ce module reçoit pour chaque image Im, l'indice de la représentation de référence, Mm,„, qUj |uj est la plus proche et en déduit une information de navigation (position, vitesse, direction et attitude de l'aéronef). En fonction de la vitesse et de la direction de l'aéronef, le module de prédiction de trajectoire peut déterminer une zone de position et une plage angulaire d'attitude où l'aéronef sera susceptible de se trouver à l'instant suivant, et en déduire les représentations de référence Mm+ n qUj pourront être prises en considération dans le calcul de similarité. Le cas échéant, le module 660 fournit également les valeurs C (lm , m B ) au module de prédiction 650, de manière à ce qu'il puisse affiner sa prédiction, par exemple selon un algorithme d'optimisation du plus fort gradient (steepest gradient). D'autres algorithmes d'optimisation ou d'estimation séquentielle (tel que le filtrage de Kalman) pourront être mis en œuvre sans sortir du cadre de la présente invention.

Claims

REVENDICATIONS
1. Méthode de recalage d'une image ( / ) d'un objet par rapport à une pluralité de représentations de référence ( Mn ) de cet objet, chaque représentation de référence étant constituée par un ensemble ( Zn ) de zones ( Zn k ), dites zones homogènes, chaque zone homogène présentant un niveau d'intensité homogène, ladite méthode étant caractérisée en ce que :
pour chaque représentation de référence de ladite pluralité, on calcule (120) l'information mutuelle ( C(l,Mn ) ) entre ladite image et la représentation de référence, sur l'ensemble ( Zn ) des zones homogènes de cette représentation de référence ;
on compare (130) les informations mutuelles ainsi calculées et l'on sélectionne (140) la représentation de référence de ladite pluralité pour laquelle l'information mutuelle est la plus élevée.
2. Méthode de recalage d'image selon la revendication 1, caractérisée en ce que, pour chaque représentation de référence ( M ), l'information mutuelle est déterminée par:
un calcul de l'entropie ( H(I) ) de l'image sur l'ensemble ( Z ) des zones homogènes de la représentation de référence;
un calcul (220), pour chaque zone homogène ( Zk ), d'un facteur de pondération ( pk ), associé à ladite zone, correspondant au rapport entre la surface ( ak ) de cette zone à la surface totale ( σ ) de l'ensemble desdites zones homogènes ;
un calcul (230), pour chaque zone homogène [ Zk ), de l'entropie ( H (/(i) ) ) de l'image sur cette zone ;
un calcul (230) de la différence entre l'entropie de l'image sur l'ensemble desdites zones homogènes, d'une part, et la somme pondérée des entropies de l'image sur les différentes zones homogènes, chaque zone étant pondérée par son facteur de pondération, d'autre part.
3. Méthode de recalage d'image selon la revendication 2, caractérisée en ce que le calcul de l'entropie ( H(I) ) de l'image sur l'ensemble ( Z ) desdites zones homogènes comprend une étape d'estimation de la densité de probabilité de l'intensité des pixels dans l'ensemble desdites zones homogènes, au moyen d'une estimation par histogramme ou d'une estimation par noyau.
4. Méthode de recalage d'image selon la revendication 2, caractérisée en ce que le calcul de l'entropie ( H (/(i) ) ) de l'image sur chaque zone homogène [ Zk ) comprend une étape d'estimation de la densité de probabilité de l'intensité des pixels dans cette zone homogène, au moyen d'une estimation par histogramme ou d'une estimation par noyau.
5. Méthode de recalage d'image selon l'une des revendications précédentes, caractérisée en ce que lesdites représentations de référence sont obtenues par une segmentation en zones homogènes d'images réelles de l'objet, chaque image réelle ayant été prise par un capteur ayant une position et une attitude prédéterminées par rapport à cet objet.
6. Méthode de recalage d'image selon l'une des revendications 1 à 4, caractérisée en ce que lesdites représentations de référence sont obtenues à partir d'un modèle numérique tridimensionnel de l'objet, chaque représentation de référence étant associée à une position et une attitude d'un capteur par rapport à cet objet.
7. Méthode de recalage d'image selon la revendication 6, caractérisée en ce que le modèle numérique tridimensionnel de l'objet comprend des zones homogènes, chaque zone homogène du modèle numérique étant définie par un contour, chaque contour étant défini par un ensemble de points et, le cas échéant, par une fonction d'interpolation.
8. Méthode de recalage d'image selon la revendication 7, caractérisée en ce que le contour d'une zone homogène est défini par un polygone passant par les points dudit ensemble de points.
9. Méthode d'aide à la navigation d'un aéronef par radar à synthèse d'ouverture, caractérisée en ce que ledit radar obtient au moins une image ( / ) de la zone survolée par ledit aéronef et que l'on recale ladite image par rapport à une pluralité de représentations de référence de la zone survolée, à l'aide de la méthode de recalage d'image selon l'une des revendications 1 à 4, chaque représentation de référence étant associée à une position et une attitude dudit aéronef dans un repère géo-référencé, et que l'on déduit une information de navigation de l'aéronef à partir de la position et de l'attitude associées à la représentation de référence pour laquelle l'information mutuelle est la plus élevée.
10. Méthode d'aide à la navigation selon la revendication 9, caractérisée en ce que les représentations de référence sont obtenues à partir d'un modèle numérique de terrain (M NT) stocké dans une base de données embarquée à bord dudit aéronef, ledit modèle numérique de terrain comprenant une pluralité de zones homogènes ( Zk ), chaque zone homogène du modèle numérique de terrain ( ) étant définie par un contour, chaque contour étant lui-même défini par un ensemble de points ( Â7 ) de coordonnées stockées dans la base de données et, le cas échéant, par une fonction d'interpolation.
11. Méthode d'aide à la navigation selon la revendication 10, caractérisée en ce que les zones homogènes du modèle numérique de terrain sont classées par types, un type étant associé à chacune de ces zones et stocké en relation avec elle dans la base de données.
12. Méthode d'aide à la navigation selon la revendication 11, caractérisée en ce que, pour au moins une représentation de référence ( Mn ), les zones homogènes ( Z* ) de cette représentation de référence sont obtenues à l'aide d'une transformation géométrique ( Tn ) des zones homogènes du modèle numérique de terrain, ladite transformation géométrique dépendant d'une position et d'une attitude de l'aéronef.
PCT/EP2014/058223 2013-04-24 2014-04-23 Recalage d'images sar par information mutuelle Ceased WO2014173939A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/785,215 US9495747B2 (en) 2013-04-24 2014-04-23 Registration of SAR images by mutual information
GB201518724A GB2527997B (en) 2013-04-24 2014-04-23 Registration of SAR images by mutual information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1353745A FR3005187B1 (fr) 2013-04-24 2013-04-24 Recalage d'images sar par information mutuelle.
FR1353745 2013-04-24

Publications (1)

Publication Number Publication Date
WO2014173939A1 true WO2014173939A1 (fr) 2014-10-30

Family

ID=48979941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/058223 Ceased WO2014173939A1 (fr) 2013-04-24 2014-04-23 Recalage d'images sar par information mutuelle

Country Status (4)

Country Link
US (1) US9495747B2 (fr)
FR (1) FR3005187B1 (fr)
GB (1) GB2527997B (fr)
WO (1) WO2014173939A1 (fr)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2526806A (en) * 2014-06-03 2015-12-09 Here Global Bv Trail interpolation
US10802135B2 (en) * 2016-12-21 2020-10-13 The Boeing Company Method and apparatus for raw sensor image enhancement through georegistration
US11175398B2 (en) * 2016-12-21 2021-11-16 The Boeing Company Method and apparatus for multiple raw sensor image enhancement through georegistration
US11131767B2 (en) * 2017-06-22 2021-09-28 The Boeing Company Synthetic aperture radar mapping and registration systems and methods
US10679362B1 (en) * 2018-05-14 2020-06-09 Vulcan Inc. Multi-camera homogeneous object trajectory alignment
CN108919265B (zh) * 2018-07-16 2022-05-06 北京航空航天大学 一种基于互信息量最大的星载TomoSAR空间基线序列设计方法
CN115712116B (zh) * 2021-08-23 2026-01-02 复旦大学 一种变分辨率雷达成像方法
CN114092791A (zh) * 2021-11-19 2022-02-25 济南大学 一种基于场景感知的人机协同方法、系统及机器人
CN116559867A (zh) * 2023-07-12 2023-08-08 深圳安德空间技术有限公司 无人机载二维探地雷达三维sar成像的扫查探测方法
CN118485697B (zh) * 2024-04-23 2024-12-24 南京航空航天大学 一种基于解耦特征互信息的多源遥感图像配准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
WO2008125910A2 (fr) * 2006-11-10 2008-10-23 Superdimension, Ltd. Technique de guidage adaptative destinée à guider un cathéter dans une cavité ou un canal corporel
US7995864B2 (en) * 2007-07-03 2011-08-09 General Electric Company Method and system for performing image registration
US8244008B2 (en) * 2008-07-21 2012-08-14 International Business Machines Corporation Methods involving optimizing and mapping images
US8503747B2 (en) * 2010-05-03 2013-08-06 Sti Medical Systems, Llc Image analysis for cervical neoplasia detection and diagnosis
WO2013149038A1 (fr) * 2012-03-28 2013-10-03 University Of Houston System Procédés et logiciel pour le criblage et le diagnostic de lésions de la peau et de maladies de plante

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"Field Programmable Logic and Application", vol. 3216, 1 January 2004, SPRINGER BERLIN HEIDELBERG, Berlin, Heidelberg, ISBN: 978-3-54-045234-8, ISSN: 0302-9743, article JAUME RIGAU ET AL: "Medical Image Segmentation Based on Mutual Information Maximization", pages: 135 - 142, XP055093653, DOI: 10.1007/978-3-540-30135-6_17 *
B. ZITOVA ET AL.: "Image registration methods : a survey", IMAGE AND VISION COMPUTING, vol. 21, 2003, pages 997 - 1000
HUA XIE ET AL: "Mutual information based registration of SAR images", LEARNING FROM EARTH'S SHAPES AND SIZES : IGARSS 2003 ; 2003 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SYMPOSIUM ; CENTRE DE CONGRÈS PIERRE BAUDIS, TOULOUSE, FRANCE, 21 - 25 JULY 2003 ; PROCEEDINGS; [IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYM, vol. 6, 21 July 2003 (2003-07-21), pages 4028 - 4031, XP010704398, ISBN: 978-0-7803-7929-9, DOI: 10.1109/IGARSS.2003.1295351 *
HUI ZHANG ET AL: "An entropy-based objective evaluation method for image segmentation", PROCEEDINGS OF SPIE, vol. 5307, 22 December 2003 (2003-12-22), pages 38 - 49, XP055094582, ISSN: 0277-786X, DOI: 10.1117/12.527167 *
J.E. BEVINGTON ET AL.: "Precision aided intertial navigation using SAR and digital map data", RECORD OF THE POSITION LOCATION AND NAVIGATION SYMPOSIUM, 1990, pages 490 - 496
P. VIOLA ET AL.: "Alignment by maximization of mutual information", INT'I JOURNAL OF COMPUTER VISION, vol. 4, no. 2, pages 137 - 154
RIGAU J. ET AL.: "Medical image segmentation based on mutual information maximization", MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION-MICCAI, 2004, pages 135 - 142, XP055093653, DOI: doi:10.1007/978-3-540-30135-6_17

Also Published As

Publication number Publication date
GB201518724D0 (en) 2015-12-09
GB2527997A (en) 2016-01-06
US9495747B2 (en) 2016-11-15
FR3005187A1 (fr) 2014-10-31
FR3005187B1 (fr) 2015-05-29
GB2527997B (en) 2019-12-25
US20160098838A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
WO2014173939A1 (fr) Recalage d&#39;images sar par information mutuelle
US8766975B2 (en) Method of correlating images with terrain elevation maps for navigation
US9760996B2 (en) Non-rigid registration for large-scale space-time 3D point cloud alignment
CN116097128B (zh) 用于对车辆位置进行确定的方法和设备
US9836871B2 (en) Three-dimentional plane panorama creation through hough-based line detection
EP3278301B1 (fr) Procede de determination d&#39;une direction d&#39;un objet a partir d&#39;une image de l&#39;objet
CN112419374A (zh) 一种基于图像配准的无人机定位方法
Sadeq Accuracy assessment using different UAV image overlaps
CN103954283A (zh) 基于景象匹配/视觉里程的惯性组合导航方法
US9330484B2 (en) Plane panorama location correction in three-dimensional mapping
WO2012175888A1 (fr) Génération de données de carte
EP2428934A1 (fr) Procédé d&#39;estimation du mouvement d&#39;un porteur par rapport à un environnement et dispositif de calcul pour système de navigation
WO2016087784A1 (fr) Procédé d&#39;estimation du mouvement d&#39;un porteur par rapport à un environnement et dispositif de calcul pour système de navigation
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
Oliveira et al. Height gradient approach for occlusion detection in UAV imagery
EP4526843B1 (fr) Procédé et dispositif de détermination de pose absolue d&#39;une caméra embarquée dans un engin aérien ou spatial
Ahmedelbadawi et al. Vectorizing Earth elevation for image-based UAV localization in GNSS-denied environments
Gakne et al. Skyline-based positioning in urban canyons using a narrow fov upward-facing camera
Tazir Precise localization in 3D prior map for autonomous driving
Mufti Efficient aerial image matching algorithm for autonomous navigation of aerial vehicle
Nguyen A versatile and efficient data fusion methodology for heterogeneous airborne LiDAR and optical imagery data acquired under unconstrained conditions
Akay et al. Camera Auto-calibration for Planar Aerial Imagery, Supported by Camera Metadata
Panwar Interest point sampling for range data registration in visual odometry
WO2023222989A1 (fr) Dispositif de detection d&#39;objets en trois dimensions dans un environnement materiel
WO2026027541A1 (fr) Procédé de recalage automatique de la navigation d&#39;un système optronique évoluant dans une zone de navigation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14719514

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14785215

Country of ref document: US

ENP Entry into the national phase

Ref document number: 1518724

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20140423

WWE Wipo information: entry into national phase

Ref document number: 1518724.8

Country of ref document: GB

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14719514

Country of ref document: EP

Kind code of ref document: A1