WO2024194540A1 - Procede de correction d'images - Google Patents

Procede de correction d'images Download PDF

Info

Publication number
WO2024194540A1
WO2024194540A1 PCT/FR2023/050402 FR2023050402W WO2024194540A1 WO 2024194540 A1 WO2024194540 A1 WO 2024194540A1 FR 2023050402 W FR2023050402 W FR 2023050402W WO 2024194540 A1 WO2024194540 A1 WO 2024194540A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reconstructed image
reconstructed
source
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2023/050402
Other languages
English (en)
Inventor
Eric Legros
Sylvain PETITGRAND
Bruno Luong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fogale Optique SAS
Original Assignee
Fogale Optique SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fogale Optique SAS filed Critical Fogale Optique SAS
Priority to CN202380096159.5A priority Critical patent/CN121039697A/zh
Priority to EP23738061.3A priority patent/EP4684355A1/fr
Priority to PCT/FR2023/050402 priority patent/WO2024194540A1/fr
Publication of WO2024194540A1 publication Critical patent/WO2024194540A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to the field of image processing and correction methods. These methods aim to improve the overall quality or overall rendering of an image containing defects.
  • the invention relates to a method for correcting and improving the quality of any type of image.
  • the invention relates in particular, but not exclusively, to any apparatus comprising cameras or optical sensors capable of acquiring images.
  • it may be photographic devices, cameras, smart phones (or smartphones), tablets, laptops or systems, vehicles or infrastructures equipped with cameras.
  • stereo vision derived from binocular human vision, or more broadly animal vision, from two images that are compared.
  • the biological processing of the images obtained is extremely efficient, since it provides in real time a notion of depth of the observed scene, allowing for example to move knowing at what relative distance the observed objects are.
  • this biological stereo vision system does not allow to simultaneously restore a sharp image over a large depth of field, ranging from a few tens of centimeters to infinity.
  • this blur comes partly from the limited depth of field of the human eye.
  • the ocular optics do not allow to obtain a focus simultaneously at all distances, which is well explained by the conjugation law in geometric optics. This well-known phenomenon is linked to the notion of accommodation of the eye.
  • human vision involves a rotational displacement of the eyes in particular to match the zone of best sharpness of each eye (fovea), which depends on the distance of the observed objects. As a result, objects observed outside the distance of best focus may not overlap correctly and give rise to an imperfect 3D interpretation.
  • state-of-the-art methods require images with the highest possible definition as well as the highest possible resolution.
  • the depth information determined is at best erroneous or even impossible to determine.
  • the raw images obtained by optical systems equipping image acquisition devices, and in particular consumer devices such as cameras and smartphones, are imperfect and contain defects inherent to image acquisition devices.
  • image processing methods aimed at improving their quality, defects persist in the images processed using state-of-the-art methods and/or the resolution of the corrected image is reduced compared to the raw image obtained by the sensor.
  • These two effects add to the problems mentioned above and induce additional errors in the extracted depth information and prevent the depth information from being determined on a large number of pixels of the reconstructed images.
  • state-of-the-art image processing methods when implemented by processing means having “standard” computing power, often have a high processing time which is not compatible with the extraction of depth information in real time, in particular from a continuous image stream.
  • optical systems comprising several separate focusing lenses and a stack of several aligned photosite planes in the sensor.
  • each pixel of the raw image comprises the three color channels and no mosaic effect has to be processed.
  • these optical systems generate aberrations on the raw image linked to focusing effects and defects. In practice, this generates geometric deformations and blurring effects. Methods are known in the state of the art to eliminate these optical and chromaticity aberrations. However, these methods lead to the appearance of restitution errors and defects within the processed image.
  • One aim of the invention is to propose an image processing method enabling:
  • a depth i.e. the distance to the objective, and/or a speed at each point of the image from images not including depth or speed information, and/or
  • Each source image is an image of a scene obtained by an optical sensor of an imaging system.
  • the method comprises a phase of processing a reconstructed image, associated with a source image, at least some of the pixels of which comprise depth information and/or speed information.
  • a restored image is obtained for each reconstructed image processed.
  • the processing phase comprises an iterative modification of the reconstructed image so as to minimize a function E.
  • the function E includes a term D, called the difference term, determined by comparing the reconstructed image convolved by a point spread function (PSF) with the source image, to which the reconstructed image is associated.
  • the PSF describes the response of the imaging system from which the source image used for comparison is obtained.
  • the function E includes a term A, called anomalies or penalties, representative of defects or anomalies within the reconstructed image, determined from the reconstructed image.
  • the method comprises, prior to and/or, respectively, during the processing phase, a step of reconstructing the reconstructed image or respectively the reconstructed image currently being processed from at least one source image and/or at least one reconstructed image and/or at least one reconstructed image currently being processed and/or at least one restored image.
  • the step of reconstructing the reconstructed image, or respectively the image being reconstructed comprises or is carried out by or consists of an addition of depth and/or speed information and/or a substitution of the depth information and/or the speed information contained in at least a portion of the pixels of the at least one source image and/or of the at least one reconstructed image and/or of the at least one reconstructed image being processed and/or of the at least one restored image, or respectively in at least a portion of the pixels of the at least one reconstructed image being processed.
  • the depth information and/or the speed information added or substituted is obtained from or by comparing the reconstructed image or the reconstructed image being processed with at least one source image and/or at least one reconstructed image and/or at least one reconstructed image being processed and/or at least one restored image, and/or
  • the depth information and/or the speed information added or substituted is obtained by comparing at least one source image and/or at least one reconstructed image and/or at least one reconstructed image being processed and/or at least one restored image with at least one source image and/or at least one reconstructed image and/or at least one reconstructed image being processed and/or at least one restored image, and/or
  • - depth information and/or speed information is added or substituted by moving a pixel or a set of pixels or one or more blocks of an image by an operator, for example differential or vector, and/or according to a function, for example a scalar or vector field.
  • image being processed may be understood to mean the reconstructed image being processed or being restored.
  • processing phase may be understood to mean the iterative modification of the reconstructed image.
  • image used alone may mean a source image, a reconstructed image, a reconstructed image during processing or a rendered image.
  • image block may be understood to mean a set of pixels, preferably contiguous and/or adjacent to each other, of an image.
  • imaging system may be understood to mean an optical system capable of acquiring images.
  • the imaging system may be a camera.
  • the processing phase can be defined as consisting of minimizing the function E by modifying the reconstructed image.
  • the processing phase can be defined as comprising at least one iteration of a step of modifying the reconstructed image aimed at minimizing the function E.
  • the reconstruction step may be defined as consisting of adding depth information and/or speed information, for example when the latter is missing, in at least a portion of the pixels of an image not containing depth information and/or speed information and/or substituting depth information and/or speed information contained in a source image, a reconstructed image, a reconstructed image being processed or a restored image and/or moving a pixel or a set of pixels or one or more blocks of an image by one and/or according to a function.
  • the image obtained by such a displacement of a pixel or a set of pixels or of one or more blocks of an image can be considered as a reconstructed image in that the image before displacement sees, among other things, the depth information and/or the speed information contained in one or more pixels modified in the image obtained after displacement.
  • the reconstruction step can comprise a displacement of one or more pixels or of a set of pixels or of one or more blocks of an image according to a speed field.
  • the speed field corresponds to or is representative of a relative movement of one, several or each of the objects of the scene with respect to the imaging system as a function of time.
  • the PSF can be substituted by any known function describing the response of an imaging system.
  • the PSF can be substituted by an optical transfer function (OTF) of the imaging system.
  • OTF optical transfer function
  • the function E more preferably the term D and/or the term A, depends on the speed information and/or the depth information.
  • the method or step of reconstructing the reconstructed image comprises extracting the depth information and/or the speed information from the imaged scene by comparing at least two source images or at least two reconstructed images or at least two reconstructed images in progress. processing or at least two rendered images or at least one source image with at least one rendered image or with one reconstructed image or with one reconstructed image being processed.
  • depth extraction and/or speed information by image comparison may consist of or include a comparison of at least two source images or at least two reconstructed images or at least two reconstructed images being processed or at least two rendered images or a comparison of at least any two images among at least one source image, at least one rendered image, at least one reconstructed image and at least one reconstructed image being processed.
  • the reconstruction method or step may include:
  • the term D is determined by comparison of:
  • the step of determining the term D comprises, prior to the comparison of the convolved reconstructed image with the PSF or the reconstructed image being processed convolved with the PSF with the source image, with which the reconstructed image is associated, a spreading, at least locally, according to a speed field and/or according to an acquisition duration of said source image, with which the reconstructed image or the reconstructed image being processed is associated, of pixel(s) or group(s) or block(s) of pixels of said reconstructed image convolved with the PSF or of said reconstructed image being processed convolved with the PSF.
  • the spreading preferably local, of pixel(s) or group(s) or block(s) of pixels of the reconstructed image convolved with the PSF or of the reconstructed image being processed convolved with the PSF is carried out according to a velocity field.
  • the processing phase comprises, prior to the convolution of the reconstructed image or the reconstructed image being processed with the PSF, a selection of the PSF.
  • the reconstruction step comprises a convolution of the source image, to which the reconstructed image is associated, by an inverse function of the PSF, called iPSF, describing the response of the imaging system from which the source image, convolved by the iPSF, is obtained.
  • iPSF an inverse function of the PSF
  • the iterative modification of the reconstructed image ends when the function E, or a combination of partial derivatives of the function E with respect to the reconstructed image being processed, is less than a minimization threshold, or when a certain number of iterations of the iterative modification of the reconstructed image is reached; the at least one reconstructed image thus modified is restored.
  • the reconstruction step comprises or is implemented by or is performed by or consists of a displacement of blocks, according to a speed field, of a source image, of a reconstructed image, of a reconstructed image during processing or of a restored image.
  • the reconstruction step comprises or is implemented by or is performed by or consists of a displacement of blocks, according to a depth field, of a reconstructed image, of a reconstructed image being processed or of a restored image.
  • the reconstructed image is obtained by merging at least two reconstructed images.
  • the processing phase comprises a step of merging at least two rendered images to provide at least one rendered image.
  • the PSF depends on:
  • a state of the imaging system such as a zoom or focus or numerical aperture setting of the imaging system, and/or
  • the PSF is selected from a set of PSFs.
  • the PST is selected based on one or more of the parameters on which the PSF depends.
  • the at least one source image I comprises a set of source images comprising or consisting of a temporal succession of source images (Itl, It2%) acquired, preferably by the same imaging system, at different times (tl, t2%), each processing phase (Pl, P2%), each reconstruction step (Ml, M2%), each reconstructed image (Ml, M2%) and each restored image (Cl, C2%) are associated with a source image obtained at a given time t.
  • the reconstructed image Mt is obtained from the source image It with which the reconstructed image Mt is associated.
  • the reconstructed image Mt may not be reconstructed from the source image It with which it is associated.
  • the reconstructed image Mt may be obtained or reconstructed from at least one reconstructed image and/or at least one reconstructed image currently being processed and/or at least one restored image, associated with a source image (It-1, It-2%) obtained at a previous time (t-1, t-2).
  • the reconstructed image Mt, associated with the source image It is obtained, or the step of reconstructing the image Mt, associated with the source image It, comprises or is carried out, by comparison:
  • iPSF the inverse function of the PSF
  • the reconstructed image mt, associated with the source image It is obtained from the restored image Ct-1 obtained in the processing phase Pt-1.
  • the reconstructed image Mt at the processing phase Pt is obtained by moving blocks, according to a velocity field, of:
  • the at least one step, preferably each step, of the method, and in particular the processing phase and the reconstruction step, is implemented for each source image (Itl, It2%) acquired at each of the different times (tl, t2).
  • the at least one source image I comprises a set of source images acquired by different imaging systems (d, g%), preferably at the same given time or instant t, each processing phase (Pd, Pg%), each reconstructed image (Md, Mg%) and each restored image (Cd, Cg%) are associated with a source image I, of the set of source images (Id, Ig%), acquired by a different imaging system; the imaging systems being arranged so as to acquire, at least in part, preferably mainly, the same scene.
  • At least one step, preferably each step, of the method, and in particular the processing phase and the reconstruction step, is implemented for each source image (Id, Ig%) acquired by a different imaging system (d, g).
  • the step of reconstructing the reconstructed image M is carried out from:
  • the temporal succession of source images (Itl, It2%) and the source images acquired by the different imaging systems (d, g%) can form two distinct sets of source images.
  • the temporal succession of source images (Itl, It2, etc.) and the source images acquired by the different imaging systems (d, g, etc.) form the same set of source images (Idtl, Idt2, Igtl, Igt2, etc.).
  • each of the source images of the set of source images (Idtl, Idt2, Igtl, Igt2, etc.) is acquired by a separate imaging system (d, g, etc.) at a given time (tl, t2, etc.).
  • Each processing phase (Pdtl, Pdt2, Pgtl, Pgt2, etc.), each reconstructed image (Mdtl, Mdt2, Mgtl, Mgt2, etc.) and each restored image (Cdtl, Cdt2, Cgtl, Cgt2, etc.) are associated with a source image obtained by a given imaging system and at a given time t.
  • a device or an apparatus or a data processing system comprising means, for example a processing unit, arranged and/or programmed and/or configured to implement the method according to the invention.
  • a computer program comprising instructions which, when the program is executed by a computer, cause the latter to implement the method according to the invention.
  • a medium for example a recording medium, readable by a computer comprising instructions which, when executed by a computer, lead the latter to implement the method according to the invention.
  • a computer-readable data carrier is also provided, on which the computer program according to the invention is recorded.
  • FIGURE 1 is a diagram illustrating the implementation of the iterative loop, consisting of successive modifications or successive iterations of modifications made to the reconstructed image, during the processing phase, for each of the source images acquired successively, by an imaging system
  • FIGURE 2 is a schematic representation of the iterative loop of the processing phase implemented from the source images of the left imaging system
  • FIGURE 3 shows a simplified overall view of the image restitution method according to the invention
  • FIGURE 4 illustrates an embodiment of the initialization step of the method
  • FIGURE 5 illustrates an embodiment of the initialization step of the method
  • FIGURE 6 illustrates one embodiment of depth extraction from two images.
  • variants of the invention comprising only a selection of features described, isolated from the other features described (even if this selection is isolated within a sentence comprising these other features), if this selection of features is sufficient to confer a technical advantage or to differentiate the invention compared to the state of the prior art.
  • This selection comprises at least one feature, preferably functional without structural details, or with only a part of the structural details if this part only is sufficient to confer a technical advantage or to differentiate the invention compared to the state of the prior art.
  • each source image I is an image of a scene obtained by an optical sensor of an imaging system 2, for example a camera 2.
  • the method 1 is implemented for a set of source images I.
  • the method can be implemented from source images I stored on a storage medium or can be implemented, in real time, from a stream of source images I coming from one or more image acquisition devices 2, such as cameras 2.
  • the method 1 is implemented for a set of source images consisting of a temporal succession of source images ItO, Itl, ..., It-1, It, It+1... acquired, by the same imaging system 2, at different times tO, tl ... t-1, t, t+1....
  • the times at which each source image I is acquired are discretized tO, tl, ..., t-1, t, t+1... so that each new source image ItO, Itl, ..., It-1, It, It+1 acquired is incremented successively.
  • the method 1 can also be implemented for a set of source images I acquired by different imaging systems 2 d, g... at the same time t.
  • the imaging systems 2 are arranged so as to acquire the same scene.
  • the method 1 according to the invention is particularly suitable for processing a set of source images IdtO, Idtl, ..., Idt-1, Idt, Idt+1..., IgtO, Igtl, ..., Igt-1, Igt, Igt+1... acquired by a separate imaging system 2 d, g... at a given time tO, tl, t-1, t, t+1....
  • the method 1 makes it possible to process in real time a stream of source images Idt, Igt each originating from several imaging systems 2 (d, g).
  • This embodiment is particularly suitable, among other things, for processing images which is implemented by autonomous vehicles.
  • the description of the embodiment is based on the use of two imaging systems 2 called right, noted d, and left, noted g.
  • the two imaging systems 2 right and left are arranged so as to acquire, at least in part, the same scene.
  • the image restitution method 1 comprises a processing phase Pt of a reconstructed image Mdt, Mgt.
  • the processing phase Pt is implemented independently for each reconstructed image Mdt, Mgt and each reconstructed image Mdt, Mgt is associated with a distinct source image Idt, Igt; each source image Idt, Igt being obtained by a distinct imaging system 2 d, g.
  • a restored image Cdt, Cgt is obtained for each reconstructed image Mdt, Mgt processed.
  • the processing phase Pt comprises an iterative modification of the reconstructed image Mdt, Mgt so as to minimize a function E.
  • the processing phase can therefore be described as consisting of iterating the processing loop 3 or iterative loop 3 illustrated in FIGURE 2.
  • the number of iterations is denoted k.
  • the reconstructed image Mt-1 is modified iteratively until the function E, or a combination of partial derivatives of the function E with respect to the reconstructed image Mt-1 being processed, is less than a minimization threshold.
  • the reconstructed image M will be modified at each iteration k of the iterative loop 3 so that the reconstructed image M being processed (obtained after each iterative modification), and ultimately the restored image C, best matches or is the most consistent or best restores the observed scene.
  • method 1 comprises a succession of processing phases P, each implemented for a different source image I.
  • method 1 comprises the implementation of as many processing phases P as there are processed source images I.
  • the function E includes a term D, called the difference or anomaly term, determined by comparing the reconstructed image Mdt, Mgt convolved by a point spread function (PSF) with the source image Idt, Igt, to which the reconstructed image Mdt, Mgt is associated.
  • PSF point spread function
  • the comparison step consists in detecting any information or value or data contained in the pixels of the pixel matrix of the compared images.
  • the comparison step consists in detecting the colors within a color matrix, for example a Bayer matrix, of the reconstructed image Mt and the source image It and in comparing them in order to find the best match.
  • the comparison step may consist of detecting a or several data contained in the pixels of the pixel matrix of the images compared among a color data and/or texture data, and/or brightness data, and/or hue data, and/or saturation data, and/or RGB data.
  • the function E includes a term A, called a penalty term, representative of defects or anomalies within the reconstructed image Mdt, Mgt, determined from the reconstructed image Mdt, Mgt.
  • the P processing phase is described in detail below.
  • Each image can be represented in a table of values. It contains at discretized positions color values, for example according to the three colors R (red), G (green), B (blue), or in another reference frame.
  • R red
  • G green
  • B blue
  • these elements as juxtaposed square or rectangular elementary objects, comprising three color properties, in addition to width and length properties of the elements common to all these elementary objects, as well as the position property on the optical sensor implicitly known by a row arrangement in the table and at a constant pitch in each direction x and y (x and y being two orthogonal directions in the image plane).
  • These objects can be called pixels.
  • each reconstructed image Mdt, Mgt, each reconstructed image Mdt, Mgt being processed and each rendered image Cdt, Cgt is representable by a pixel table or pixel matrix containing (xd or xg, yd or yg, Z).
  • the reconstructed images Mdt, Mgt, reconstructed images Mdt, Mgt being processed and rendered images Cdt, Cgt containing depth information can be described as images enriched with depth information.
  • the objects in the scene imaged by the imaging systems 2 are at different distances from one or more optical sensors (of the imaging systems 2) and therefore at a different depth.
  • a group or block of pixels corresponding to one of the objects of the imaged scene will have depth information different from one or more other groups or blocks of pixels corresponding to the other or other objects of the imaged scene. Consequently, each image will be enriched by a depth field, that is to say that each pixel or group or block of pixels (of the matrix or table of pixels representing the image of the scene) corresponding to an object of the scene will have depth information which corresponds to the distance between the object and the optical sensor from which the source image I was acquired; the depth of the different objects of the imaged scene being, in the most cases, different for at least some of the objects in the scene.
  • the person skilled in the art will know how to convert or transpose the coordinates or positions of the pixels (or any other associated operator, matrix or grid) from the x and y space (sensor reference frame) to another spatial reference frame U and W (in physical position in space) to represent the images in a matrix (U, W, Z).
  • the convolution of the reconstructed image Mt or reconstructed image Mt being processed by the PSF may be carried out from any of the representation matrices chosen by the person skilled in the art.
  • This table represents elementary objects according to preferably a resolution equal to or greater than that of the union of all the photosites of all the colors of a considered optical sensor. It can have a scanning step and positions offset relative to the photosites of the considered sensor, but preferably in spatial agreement with the latter.
  • an elementary color filter matrix (or "Color Filter Array” in English or CFA) of 4 photosites R (Red), VI (Green 1), V2 (Green 2), B (Blue), arranged on 2 x 2 rows and columns
  • it can have a digital representation, for each of the for example three color properties R (red), V (green), B (blue), of a pixel opposite the R, then of a pixel opposite the VI, the V2, the B, that is to say in total 4 pixels comprising a channel R, V, B, in spatial correspondence of the 4 photosites R, VI, V2, B of detection, and repeated as many times as necessary in the U and W directions to describe the entire optical sensor considered associated with a given image.
  • Each source image I comprises the intensities of the photosites R (Red), G (Green), B (Blue) (or according to another possible choice of color matrix such as R (Red), Y (Yellow), W (White or White), B (Blue)) of the optical sensor associated with this source image I.
  • the source image I may, in addition, comprise other information on the gain and black level of the photosites, photosite by photosite (or region by region where appropriate), i.e. the intensities detected by the photosites will preferably have been corrected to have the same digital level of black restitution, and a level of restitution of a homogenized reference white, for example uniform, or according to a reference in accordance with the sequence of point spread correction treatments.
  • the method may comprise a step of correcting this source image I.
  • This table can also be completed, or replaced by a list of objects describing the image.
  • Each object can thus be the square or rectangle pixel, or objects with more properties such as an outline, average color components, but also brightness and color gradient components for example, and a particular shape.
  • This second representation allows more freedom of representation of positions, with possibly coordinates represented by numbers having more resolution than a collection of pixels at predefined locations.
  • one can authorize the addition of colors and intensities of objects that would be superimposed at certain locations.
  • the processing phase is now described, i.e. the iterative modification of the reconstructed image M (i.e. the iterations of the processing loop 3 shown in FIGURE 3).
  • Information is also generated from relatively precise knowledge of the optical focusing defects of the imaging system 2 or of one of the optical elements of the imaging system 2 (for example the lens).
  • This information may include the reading of a table providing access to specific information related to the defects of the imaging system 2 or of one of the optical elements of the imaging system 2 (for example the lens), as well as the distance between each lens or system and the scene observed through this lens or system, either considered according to a single distance, or differentiated into object-by-object distance of the scene, and the distance between the lens or system and the sensor associated with this lens or system, and possibly variations in angle between these elements.
  • PSF point spread functions
  • the PSF matrices are summed at different positions weighted by the time that has elapsed there, to calculate a composite PSF including these residual uncompensated movements, and to use this form of the PSF for the processing phase.
  • an acceleration sensor records the movements of the device containing the camera module 2 during image capture, and if the image is mechanically stabilized with respect to the movements of the device comprising the camera module 2, it would be sufficient for the absolute non-stabilization residual to be calculated with respect to the acceleration sensor and the stabilization signal.
  • the image in the absence of direct movement measurement data, is analyzed in order to determine the result of the movement trajectory and to deduce therefrom the composition to be applied to the PSFs in order to obtain compensation for this movement.
  • the restored image C will also be compensated for the blurring effects linked to the uncompensated residual movements.
  • the processing phase makes it possible to obtain compensation for optical projection defects on the optical sensor, and provides a reduction in noise from detection of light intensities. In particular, it also compensates for mosaic effects with spatially separated detection of several colors, and can also effectively compensate for movement residues of a camera module relative to the scene.
  • the processing phase does not consist of processing the image in successive stages but allows a single processing comprising all the restitution operations.
  • the processing phase P implemented from a reconstructed image M containing depth information
  • the processing phase provides as output a so-called restored image C comprising an absence of mosaicking, a significant reduction in noise according to a setting to be adjusted if necessary, a correction of position distortion and blurring of the image adapted to each region of the image, a compensation of relative movements between the lens or the imaging system 2 and the observed scene.
  • the processing phase P therefore does not include a succession of correction steps dissociated from each other. Thus, the effects of conjugations and/or additions of the defects inherent in each step are avoided. It also makes it possible to limit the interpolations of values which would have had to be detected in the absent photosites (because at the location of one of the other detected colors).
  • a block of an image corresponds to an object (or a part of an object) of the scene for which one or more data of the pixels (among the pixel table of the image) constituting the block (representative of the object of the scene) of the image has an identical, similar or equivalent value.
  • an image block a set of pixels for which one or more of the data that are contained in each of the pixels of the set of pixels constituting the block (and in particular the depth and/or speed information) have identical, neighboring, similar, close or similar values.
  • Such regionalization of the image makes it possible to considerably reduce the time of the calculations carried out on the basis of these images.
  • the processing or the step implemented from the image comprises or consists of moving (or translating) the position (in the x, y space) of all or part of the pixels within the pixel grid (which is for example the case during the processing phase, during the reconstruction step or during spreading), no loss of resolution is generated in this case.
  • blocks extends in the broad sense, it can, for example, be a group of pixels forming the outline (or part of the outline) of another block. Also, in most cases, it will be possible to constitute images formed from a set of blocks.
  • the processing phase P must take into account the entire model of optical defects by calculating, for each iteration k of the processing loop 3 and for a given imaging system 2 (from which the source image It associated with the reconstructed image Mt is acquired), from the reconstructed image Mt, the optical defects induced on each pixel or group of pixels (or blocks) of a source image It (represented by the values of the different color components of the photosites).
  • the reconstructed image Mt convolved with the PSF then spread, at least locally, according to a velocity field and/or according to an acquisition duration of the source image It, to which the reconstructed image Bt is associated, with
  • the term D can include the sum of several terms Di. Obtaining the distances Di obtained by comparing the reconstructed image Mt convolved by the PSFs with the source image It, can be, among other things, can be achieved by an evaluation of the local colors in the pixels or groups of pixels in front of the discretization grid of the PSFs, so as to know the colors calculated at the positions of the photosites of the reconstructed image Mt to make the distance comparisons at the appropriate locations, without offset, allows maximum restitution precision.
  • the optical defect model is taken into account by a calculation, at each iteration k, of the effects that it induces from the reconstructed image M, by composing this image M during processing with the optical defect model, according to the embodiment by a convolution product, noted MCt, between the matrix of the luminous values of the reconstructed image M (at each point of a fairly fine grid), and the PSF matrix on this same grid, which at the output provides a matrix of values MCt according to a grid (grid which allows the comparison with the photosites of the optical sensor from which the source image I was obtained).
  • a convolution calculation can be done by multiplication in the frequency domain, and it is also possible to take into account the point spreading effects by the spatial Fourier transforms of the PSF matrices, generally called OTF (Optical Transfer Function), which then simply need to be multiplied by the Fourier transforms of the reconstructed image being restored, then returned to the spatial domain by inverse transform, if this operating mode presents a interest.
  • Point spreading effects can be taken into account by using the TG operator which can be the identity, or a geometric transformation, which consists of locally moving the elements, either by translation of pixels in such a representation, or by equivalent modification of the PSF by recalculation of the set of coefficients to take into account this transformation, or possibly a mixture of the two.
  • Knowledge of the velocity field within the source images I and/or the reconstructed images M makes it possible to predict and anticipate the movement of objects of a source image It and/or, respectively, of a reconstructed image Mt associated with a successive source image It and/or, respectively, with a successive reconstructed image Mt+1.
  • the point spreading effects can be applied to the reconstructed image M, prior to comparison with the source image I, using the velocity field. This makes it possible, among other things, to eliminate the blur linked to the aperture time of the imaging system, when taking each image and offers a precise and more faithful restitution of the image of the objects present on the imaged scene (in particular when they are moving in the imaged scene).
  • the velocity field In addition to predicting or anticipating the movement of objects of a source image It and/or, respectively, of a reconstructed image Mt associated with a successive source image It and/or, respectively, with a successive reconstructed image Mt+1, the velocity field also makes it possible to calculate and predict the future position of objects in motion (or not) in the imaged scene and therefore to know the depth information associated with the objects of the imaged scene. Also, it is possible by analyzing, for example by comparing the position of identical objects within successive images, to know the position of objects occluded in the source image It.
  • MCt TG(reconstructed image Mt (*) PSF), where (*) means convolution product.
  • Di a first indicator or term called distance Di, possibly completed with other terms Di, resulting from a comparison between the image reconstructed Mt convolved by the PSFs (possibly taking into account point spread effects) with the source image It, which we denote by Di(Bt, It), is obtained:
  • the term A called penalty, representative of defects or anomalies within the reconstructed image Mdt, Mgt, is determined from the reconstructed image Mdt, Mgt, is calculated concomitantly with the term D.
  • the second term A comprises: at least one component Ai whose effect is minimized for small differences in intensity between neighboring pixels of the reconstructed image M being processed at iteration k, and/or at least one component A3 whose effect is minimized for small differences in hue between neighboring pixels of the reconstructed image M being processed at iteration k, and/or at least one component A2 whose effect is minimized for low frequencies of changes in direction between neighboring pixels of reconstructed image M being processed drawing an outline.
  • the second term A can thus include a sum of several terms Ai.
  • this penalty indicator also makes it possible to select the images which are most likely to be observed among those which will be restored.
  • the penalty function Pi will guide towards a preferred solution for example by preventing neighboring pixels from having values with a large gap between them (except, for example, for neighboring block/contour pixels) and thus reduce the noise of the restored image C compared to the potentially noisy source image I or even limit the effects of slots on the contours of the blocks or objects of the restored image C.
  • the penalty function Pi will, among other things, also improve the depth and speed information by preventing neighboring pixels from having values that are too different, by removing outliers within the same block.
  • the function E comprises or consists of the sum of the first term D and the second term A.
  • the processing loop at the processing phase PO compares the source image 10 and the result MCt of the convolution product of the reconstructed image MO at iteration 0 (i.e. unmodified or as resulting from the reconstruction step) by the PSF, and possibly processed by the geometric transformation TG so as to take into account a maximum of elements precisely modeling the geometry of all the parts of the optical sensor, the optical focusing effects throughout the sensor, any movements, the distance effects modifying the focusing effects.
  • the implementation of the method aims to obtain a restored image C which minimizes the indicator E.
  • the general method of resolution can for example be obtained by a method called Newton's gradient, which allows the minimum of a function to be found, by varying the parameters or input data inversely to the gradient of a function E, to minimize its value.
  • the aim of the iterations is to modify the image reconstructed M at each step, so as to minimize the indicator E.
  • the parameters or data of the image, and therefore of E are, depending on the embodiment, the values R, G, B and the depth information (Z) and/or the speed information (V). It may also be advantageous to consider the position (v, w) of any pixel or any image block (or the physical coordinates (x, y)) as a parameter.
  • any other techniques for minimizing the function E are applicable.
  • the minimization of E will amount, depending on the embodiment, to calculating dE to find its optimal value.
  • dE can be expressed as the sum of the partial derivatives dE/di(y,w).
  • the update step is performed from the reconstructed image Mgt being processed in the iterative loop associated with the source image Igt and the reconstructed image Mdt being processed in the iterative loop associated with the source image Idt.
  • a geometric transformation (GT) may sometimes be necessary before the comparison. This step is described in detail below.
  • contour search or extraction operations are to be carried out on the reconstructed image M or reconstructed M currently being processed at at least certain iterations, in order to create, move elements of the reconstructed image M or reconstructed M currently being processed.
  • the distance D or the distances Di therefore come from the reconstructed convolved images Mt (*) PSF (or TG (reconstructed image Mt (*) PSF) while P or the Pi come directly from the reconstructed images Mt.
  • the calculations of the distances Di are preferably made on the set of positions of the photosites. It is therefore appropriate to calculate the values of the different intensities of the colors from [Math. 4].
  • the Pi penalties can be calculated at positions not necessarily related to the positions of the photosites. They can be calculated from pixels or groups of pixels of the reconstructed image Mt-1 at the previous iteration k-1, or from properties of larger objects, without necessarily showing the color properties according to the precise image restitution grid or the PSF for example, but by a more global calculation from properties of the object.
  • the function describing the response of the at least one imaging system, the PSF according to the non-limiting embodiment may depend on:
  • a state of the imaging system such as a zoom or focus or numerical aperture setting of the imaging system, and/or
  • each pixel or group or block of pixels in particular depending on the depth information contained in each pixel or group of pixels
  • One of the objectives of the invention being to improve and make reliable the depth information contained in the enriched images, it is important that the PSF is a function, among other things, of the depth field so that the restored image C is sharp, has a maximum effective depth of field and accurately reflects the distance between the objects in the scene and the lens and/or the sensor.
  • the PSF is a function, among other things, of the depth field so that the restored image C is sharp, has a maximum effective depth of field and accurately reflects the distance between the objects in the scene and the lens and/or the sensor.
  • the distance between the imaging systems 2 must be known.
  • the imaging systems 2 are stationary relative to each other.
  • the orientation, relative and/or relative to each other, of the sensor and/or the lens and/or the imaging systems 2 to each other is known. In the case of a smartphone or a car, all these parameters are known and do not change.
  • the distance Z between the optical sensor and an object of the scene imaged by the optical sensor is known or, preferably, determined or calculated according to the invention. Also, the depth information determined or calculated can be used to feed the PSF during the successive implementations of the steps of the method according to the invention.
  • the processing phase P may be sufficient to obtain an improved image C, in particular comprising solidified depth and speed information.
  • the reconstruction step is not necessarily implemented before or during each processing phase. It is even possible that the method does not comprise a reconstruction step. It is possible, for example, to assign a predetermined or default depth and/or speed information value to the pixels of the source image It.
  • the processing phase P described above will make it possible to improve the depth and/or speed information as described above. It is even possible to enrich the source image It with several depth and/or speed information values, certain blocks being, for example, assigned a depth and/or speed value different from certain other blocks. However, to further improve the quality of the restored images C, it is preferable for the method to comprise a reconstruction step.
  • the method 1 comprises, prior to and/or, respectively, during the processing phase, a step of reconstructing the reconstructed image Mdt, Mgt or respectively the reconstructed image Mdt, Mgt currently being processed from at least one source image I and/or at least one reconstructed image M and/or at least one reconstructed image M currently being processed and/or at least one restored image C.
  • at least a portion of the pixels of the reconstructed image Mdt, Mgt comprises depth information.
  • a reconstructed image is understood to mean an image of which at least a portion of the pixels comprises depth information. In other words, apart from the source images I, all of the Process images are enriched with depth information, in particular is enriched with a depth field.
  • the reconstruction step comprises an extraction of the depth information from the imaged scene.
  • the depth information may not be extracted or may not be extracted prior to or during each processing phase p.
  • the reconstruction step may be implemented from depth information not extracted but obtained by or originating from, for example, a depth information measurement system such as, for example in the case of an autonomous vehicle, a LIDAR.
  • This depth information can be added and/or substituted in at least part of the pixels of an image (source I, reconstructed M, reconstructed M during processing or restored C) in order to obtain a reconstructed image Mdt, Mgt.
  • the reconstruction step i.e. obtaining a reconstructed image Mdt, Mgt, can comprise or consist of a displacement of image blocks, for example from the restored image Cdt-1, Cgt-1 to the previous processing phase Pt-1, according to a speed field and/or a depth field (preferably, but not necessarily, contained in the pixel table representing the image).
  • the method may also comprise an extraction of speed data and/or the initialization step may comprise an addition and/or a substitution of speed data from at least two source images It, It-1, It-2..., from at least two reconstructed images Mt, Mt-1, Mt-2..., from at least two reconstructed images Mt, Mt-1, Mt-2... currently being processed, from at least two restored images Ct, Ct-1, Ct-2..., from at least one source image It-1, It-2, It-3... and at least one resituated image Ct, Ct-1, Ct-2..., from at least one reconstructed image Mt-1, Mt-2, Mt-3 and at least one restored image Ct, Ct-1, Ct-2...
  • the method can also comprise a step of updating the speed information contained in an image from at least two source images It, It-1, It-2..., from at least two reconstructed images Mt, Mt-1, Mt-2..., from at least two reconstructed images Mt, Mt-1, Mt-2... currently being processed, from at least two restored images Mt, Mt-1, Mt-2..., from at least one source image It-1, It-2, It-3...
  • the extraction of speed data or information is carried out from two (or more) distinct images, preferably, but not necessarily, acquired by the same imaging system 2, at two distinct times so that the moving objects in the imaged scene are in two distinct positions on the two (or more) compared images.
  • the extraction of the velocity field comprises the comparison of two or more images originating from the same imaging system 2 (r or g) and acquired at different times.
  • a step of identifying a pixel or a group or a block of pixels common to the two (or more) compared images is carried out. This step aims to identify the same object which is present on the two compared images.
  • the comparison relates to any information or value or data contained in the pixels of the pixel matrix of the compared images.
  • the information can be color data and/or texture data, and/or brightness data, and/or hue data, and/or saturation data, and/or RGB data.
  • the speed information is extracted from the positions (and/or the difference in position) of the pixel or group or block of pixels identified on the two compared images and the time elapsed between the two images (time lapse between t and t-1 for example if the two compared images are It and It-1).
  • an extraction from the restored images is advantageous because of the better quality, the better resolution and the few defects that the images restored according to the method include in comparison with the source images I.
  • the velocity field is not necessarily determined by extraction but can be obtained by or come from, for example, a depth information measurement system such as, for example in the case of an autonomous vehicle, a rev counter, a tachometer or a LIDAR.
  • a depth information measurement system such as, for example in the case of an autonomous vehicle, a rev counter, a tachometer or a LIDAR.
  • the images can also be enriched with a velocity field.
  • the velocity field contained in the images (reconstructed Mt-1, Mt-2, Mt-3..., reconstructed Mt-1, Mt-2, Mt-3... during processing and restored Ct-1, Ct-2, Ct-3%) coming from previous processing phases Pt-1, Pt-2, Pt-3 can be used for implementing the extraction step, the initialization step (including moving image blocks according to the velocity field) and the velocity data updating step.
  • the method 1 preferably comprises a reconstruction step implemented prior to the or each of the processing phases P.
  • the reconstruction step implemented prior to the processing phase P is called the initialization step.
  • the reconstruction step can be implemented during the processing phase. This is particularly advantageous when a large disparity between the source images Id and Ig and/or the reconstructed images Md and Mg and/or the restored images Cd and Cg is observed or when the differences D are significant.
  • the reconstruction step implemented during the processing phase P is called the depth information updating step.
  • the method may not comprise, for one or more processing phases P, a reconstruction step.
  • the restored image Ct-1 at the processing phase Pt-1 may be used as the reconstructed image Bt at the processing phase Pt, possibly with the implementation of block displacements of the image Ct-1 (as described in detail above and below) prior to the processing phase Pt.
  • the reconstruction step therefore allows obtaining an image (reconstructed Mt, reconstructed Mt during processing or restored Ct) in which depth information has been added and/or substituted in at least part of the pixels.
  • the efficiency of the processing phase makes it possible to reduce the resources required for processing the source images Idt, Igt and allows therefore to process the source images Idt, Igt in real time and to restore images Cdt, Cgt prior to the acquisition of the source images Idt+1, Igt+1.
  • the image Ct, associated with the source image It acquired at time t, which is restored at the end of the iteration Kl is generally and ideally obtained before the acquisition of the source image Ct+1.
  • the restored image Ct can be used for the processing phase Pt+1, and if necessary for the subsequent processing phases Pt+2, Pt+3....
  • the reconstructed image Mdt or reconstructed Mdt currently being processed can be used for the reconstruction of a reconstructed image Mdt+1, Mdt+2 associated with another source image (preferably subsequent) Idt+1, Idt+2 or for the reconstruction of a reconstructed image Mgt, Mgt+1, Mgt+2 associated with a source image Igt, Igt+1, Igt+2 originating from another imaging system.
  • the restored image Cdt can be used for the reconstruction of a reconstructed image Mdt+1, Mdt+2 associated with another source image (preferably subsequent) Idt+1, Idt+2 or for the reconstruction of a reconstructed image Mgt, Mgt+1, Mgt+2 associated with a source image Igt, Igt+1, Igt+2 originating from another imaging system.
  • This is of particular interest because the processing phase makes it possible to obtain reconstructed images M during processing and restored images C whose quality is much higher than that of the source images I.
  • the reconstruction step is preferably implemented from reconstructed images Mt or reconstructed images Mt during processing or, in a particularly advantageous manner, from restored images Rt-1 at the previous processing phase, and/or at the previous processing phases.
  • the depth information is extracted from higher quality images (containing few or no defects, or at least fewer defects than the source images)
  • the depth information contained in the rendered images C is more reliable, more precise and includes fewer errors.
  • the initialization step and/or the depth information updating step can be implemented by extracting the depth information from at least two images (source I, reconstructed B, reconstructed B being processed and/or restored R).
  • source I source I, reconstructed B, reconstructed B being processed and/or restored R.
  • FIGURE 6 a method for extracting the depth information known to those skilled in the art under the name of photogrammetric comparison is illustrated. This method is well known to those skilled in the art and will not be described in detail. This method comprises comparing two or more images from separate imaging systems 2 (two or more) placed in two separate positions in space. A step of identifying a pixel or a group or block of pixels common to the two (or more) compared images is performed. This step aims to identify the same object that is present in both compared images.
  • the comparison relates to any information or value or data contained in the pixels of the pixel matrix of the compared images.
  • the information may be color data, and/or texture data, and/or brightness data, and/or hue data, and/or saturation data, and/or RGB data.
  • the disparity is measured or determined for each common object, including the offset (in coordinates or pixel positions) of the common object of one image relative to the other.
  • the depth information is extracted from the disparities in accordance with FIGURE 6 using principles of optics and geometry available to those skilled in the art. It should be noted that the embodiment presented is only a non-limiting example. Those skilled in the art will be able to adapt this method or choose another of the existing methods.
  • the extraction of the depth field is carried out, preferably, from two different images, acquired at the same time t, coming from the same scene.
  • the displacement of image blocks, according to the velocity and/or depth field makes it possible to solve this problem.
  • the extraction of depth information makes it possible, among other things, not to equip the autonomous vehicle with a LIDAR.
  • the extraction of depth information can be carried out by comparing at least two source images I.
  • the comparison can advantageously be carried out from the two source images Idt, Igt acquired at time t.
  • the initialization step by comparing the two source images IdtO, IgtO acquired at time tO is necessary so that the reconstructed images MdtO, MgtO include depth information prior to the implementation of the processing phase PO.
  • the extracted depth information is entered in all or part of the pixels of the pixel matrix source images IdO, IgO used during the comparison to obtain the reconstructed images MdO, MgO. It should be noted that the extraction can be carried out by comparing as many source images I acquired at the same time t as long as they include or correspond to, at least in part, the same scene.
  • any source image It (whatever the acquisition time t)
  • the quality of the reconstructed image Mt, and therefore the restored image Ct may include defects such as shifts between the restored colors, causing for example the appearance of colored fringe residues around the elements of the restored image, or geometric micro-distortions linked to these fractional parts in the calculated position indices not taken into account.
  • At least one source image for example: Idt and Igt, or at least two reconstructed images, for example: Mdt and Mdt-1 and/or Mgt and Mgt-1 and/or Mdt and Mgt, or at least two reconstructed images M currently being processed, for example: Mdt and Mdt-1 and/or Mgt and Mgt-1 and/or Mdt and Mgt, or at least two restored images, for example: Cdt-1 and Cdt-2 and/or Cgt-1 and Cgt-2 and/or Cdt-1 and Cgt-1, or at least one source image (Idt or Igt) with at least one restored image M, preferably at a previous processing phase (for example Mdt-1 or Mgt- 1) (or at previous processing phases Mdt-2, Mdt-3...
  • a previous processing phase for example Mdt-1 or Mgt- 1
  • a previous processing phase e.g. Cdt-1 or Cgt-1
  • the source image I is convolved by an inverse function of the PSF, called iPSF, prior to its comparison with the reconstructed image M, the reconstructed image M being processed or the restored image C.
  • iPSF an inverse function of the PSF
  • the iPSF is chosen so that the composition of the PSF with the iPSF tends to give the identity function at least on the low frequencies of the image (which have overall a good signal-to-noise ratio).
  • the inversion of the PSF is arbitrary because it is not possible to invert (generally amplify) all the frequency bands, only the bands having a good signal-to-noise ratio can be amplified to avoid degrading the image.
  • This is the concept known in the literature, of Wiener filtering: typically, the spatial Fourier transform (in dimension 2) of the PSF is calculated.
  • a certain threshold typically a frequency that can be previously determined so as not to degrade the image
  • the amplitude of the higher frequencies is voluntarily limited to limit the appearance of noise and high-frequency artifacts in the image.
  • a certain inversion of the matrix representing it is calculated, at least on the lowest, significant spatial frequencies.
  • iPSF which can be preferentially specific according to each wavelength, and each position in the image field, and one or more pieces of information or data or values contained in a pixel or in one or each group or block of pixels, in particular according to the depth of the object of each object, a convolution product is carried out with the values of the neighboring photosites from the source image I to produce a first reconstructed image value M or of the reconstructed image M being processed to initialize the restitution table.
  • TG is generally not linear to take into account differences in distortions between the imaging systems 2 and that the modeling of the geometric distortions is not perfect, or that the scene has moved relative to one or more imaging systems.
  • the translation that made it possible to obtain the best correlation is retained for subsequent image comparisons (at t>0). This operation is to be repeated on the set of several parts of each image, not necessarily exhaustively on all parts of the image.
  • the translation field obtained is interpolated by an interpolation method, for example linear, or preferably cubic, or any other method that allows such interpolation. It is the set of these interpolations that makes it possible to obtain complete coverage of the image field to obtain each TG operator.
  • the reconstruction step is carried out, without extracting depth information from images, by moving image blocks, according to a velocity field and/or a depth field:
  • the initialization step by extracting depth information from at least two source images Idt, Igt, can be implemented once only prior to the first processing phase PO.
  • the subsequent reconstruction steps, implemented beforehand or during the subsequent processing phases can be implemented without depth extraction but, for example:
  • the method 1 comprises the implementation of at least one reconstruction step, preferably at least one initialization step, by processed source images It, that is to say by processing phases Pt.
  • the velocity field can also be taken into account during the reconstruction step.
  • the velocity field is preferentially associated with objects identified within an image.
  • the image associated with time t-1 can be moved locally to produce the image expected at time t.
  • each object can be moved according to its own velocities by taking into account the time elapsed between t-1 and t.
  • the best correlation could be determined around of moving the elements of an image associated with time t-1 to manufacture the initialization of the reconstructed image Mt at time t.
  • the correlation is established, for example, between the source image It convolved by the iPSF and the reconstructed image Mt-1, the reconstructed image Mt-1 being processed or, preferably, the restored image Ct-1 in which pixel or image block movements are carried out according to the velocity field.
  • this amounts to considering the movements of objects, according to the depth velocity field and for a time interval between t and t-1 elapsed in the reconstructed image Mt-1, the reconstructed image Mt-1 being processed or, preferably, the restored image Ct-1, varying the position of the objects obtained so as to obtain the best correlation.
  • knowledge of hidden objects, as well as their depth and/or speed, in the source image It is known.
  • the depth field (Z) can also be taken into account during the reconstruction step to calculate and identify hidden objects at time t.
  • the images (reconstructed Mt-1, Mt-2, Mt-3..., reconstructed Mt-1, Mt-2, Mt-3... during processing and restored Ct-1, Ct-2, Ct-3%) coming from previous processing phases Pt-1, Pt-2, Pt-3... are enriched with a depth field. Therefore, it is appropriate to move the objects, generally locally, according to the depth field, preferably by ordering them, according to the depth field, during reconstruction. In practice, only the pixels of the pixel matrix corresponding to the objects in the scene closest to the imaging systems, i.e. those whose position variations are the most marked, are moved.
  • the reconstructed image Mt-1, the reconstructed image Mt-1 being processed or, preferably, the restored image Ct-1 can, at least in part, serve as a basis for the reconstruction step of the reconstructed image Ct.
  • the depth information contained in the pixel matrix can make it possible to generate a stack of object planes at different depths. Each plane will include the objects present at the depth of the plane considered. In this case, the displacement of objects, according to the depth field, can be carried out in each plane of the stack of planes. The calculations can be simplified in that only the objects included in the planes of the scene closest to the imaging systems 2 are moved.
  • the depth field contained in the images (reconstructed Mt-1, Mt-2, Mt-3..., reconstructed Mt-1, Mt-2, Mt-3... during processing and restored Ct-1, Ct-2, Ct-3%) coming from previous processing phases Pt-1, Pt-2, Pt-3... can be used for the implementation of the step extraction, the initialization step (including moving image blocks according to the depth field) and the update step.
  • the reconstruction of the reconstructed image M including the consideration of the speed and/or depth field is particularly advantageous because it makes it possible to know the position of hidden objects, as well as their depth in the imaged scene, in the source image It.
  • This information, entered in the pixel matrix without necessarily being restored in the displayed restored image Mt, is crucial in the case of autonomous vehicles because the automatic driving system contains information, not present in and not deducible from the source image It, allowing it, for example, to anticipate the upcoming presence of an obstacle on the trajectory or the detection of a traffic sign or a traffic light that is not visible on the source image It.
  • all the characteristics relating to the depth field are transposable, mutatis mutandis, to the velocity field and vice versa.
  • the source image It is generally close to the rendered image Ct-1 at the processing phase Pt-1 which achieves the exit criteria of the iteration loop (processing phase), because few details change between it-1 and it, except the movement of objects.
  • the convergence of the iteration loop can then be all the faster, i.e. include fewer iterations.
  • the translation of image parts is generally less resource-intensive than convolution calculations with PSF. Indeed, they correspond to pixel shifts, and/or interpolations, one-dimensional while the PSF is two-dimensional.
  • this initialization method is particularly advantageous. It generally allows to make fewer iterations k during the processing phase. It also allows to perform calculations only on parts of images to be refined, without having to perform calculations on the entire image and for parts where the image already meets the comparison criteria (as is the case in state-of-the-art image processing methods or a succession of steps performed on the entire image are implemented).
  • the previous processing phase Pt-2, Pt-3... to which it is possible to go back to use the rendered image Ct-2, Ct-3... depends, in particular, on the acquisition frequency of the source images I, the speed of movement of the objects in the scene and/or the imaging systems 2 relative to the scene. Furthermore, the time elapsed between the acquisition of the source image It-2, It-3... associated with the previous processing phase Pt-2, Pt-3...
  • the initialization step comprisesing the reconstruction of the reconstructed image Mt from the source image It, then convolving the image thus reconstructed Mt by the iPSF, then, possibly, moving pixels or blocks of the image thus reconstructed convolved Mt according to the velocity field or according to the velocity field and the depth field as described above.
  • the reconstruction step, and in particular the initialization step is carried out by extracting the information by comparing the source images Idt, Igt when significant position distortions in the PSF are present, or when focusing aberrations (blur) would be expected, in order to benefit from more precise data in Z prior to the processing phase Pt.
  • the convolution by the iPSF of the source image I, before reconstruction may be preferable because this makes it possible to take into account position distortions and precorrection of focusing aberrations (correction of the 'blur') which provides more precise and more faithful images of the imaged scene. Consequently, this proves advantageous because the extraction is carried out from more precise images containing fewer errors and therefore allows a better evaluation of the disparity between the compared images and therefore of the depth.
  • the invention has the following advantages: not producing a reduction in sharpness at a noise reduction step which must then be compensated for, which is difficult to maintain good homogeneity of the compensation over the entire image, and/or
  • the reconstructed image Mt is obtained by merging at least two reconstructed images, for example Mt-1 and Mt-2 or Mdt-1 and Mgt-1
  • the processing phase P comprises a step of merging at least two restored images, for example Cdt and Cgt and/or Cdt-1 and Cdt, to provide at least one restored image Ct
  • a device, a system or any apparatus comprising a processing unit implementing any one of the embodiments of the method according to the invention that has just been described for correct/process/restore images acquired by one or more imaging systems 2 of said device, said system or said apparatus or to correct/process/restore images stored in said device, said system or said apparatus, said device, said system or said apparatus being able to be, by way of non-limiting examples: a smart mobile phone (or smartphone), a computer, a camera, a vehicle, a drone, a medical device or a

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Procédé de restitution d'au moins une image source d'une scène obtenue par un capteur optique d'un système d'imagerie. Le procédé comprend une phase de traitement d'une image reconstruite, dont au moins une partie des pixels comprend une information de profondeur et/ou une information de vitesse. A l'issue de la phase de traitement une image restituée R est obtenue pour chaque image reconstruite traitée. La phase de traitement comprend une modification itérative de l'image reconstruite de façon à minimiser une fonction E comprenant un terme D, dit de différences, déterminé par comparaison de l'image reconstruite convoluée par une fonction d'étalement du point (PSF) avec l'image source et un terme A, dit de pénalités, représentatif de défauts ou anomalies au sein de l'image reconstruite, déterminé à partir de l'image reconstruite.

Description

DESCRIPTION
TITRE : Procédé de correction d'images
Domaine technique
La présente invention se rapporte au domaine des procédés de traitement et de correction d'images. Ces procédés visent à améliorer la qualité globale ou le rendu d'ensemble d'une image comportant des défauts.
L'invention se rapporte à un procédé de correction et d'amélioration de la qualité de tout type d'image.
L'invention concerne en particulier, mais pas uniquement, tout appareil comprenant des caméras ou des capteurs optiques aptes à acquérir des images. A titre d'exemple, il peut s'agir d'appareils photographiques, de caméras, de téléphones intelligents (ou smartphones), de tablettes, d'ordinateurs portables ou de systèmes, véhicules ou infrastructures équipés de caméras.
Etat de la technique antérieure
Le procédé de traitement de l'image le plus connu et le plus répandu est la vision dite stéréo issue de la vision humaine binoculaire, ou plus largement animale, à partir de deux images que l'on compare. Le traitement biologique des images obtenues est extrêmement performant, puisqu'il fournit en temps réel une notion de profondeur de la scène observée, permettant par exemple de se déplacer en sachant à quelle distance relative se trouvent les objets observés.
Malgré ces performances remarquables, ce système biologique de vue stéréo ne permet pas de restituer simultanément une image nette sur une grande profondeur de champ, allant de quelques dizaines de centimètres à l'infini. En particulier, ce flou provient pour partie de la profondeur de champ limitée de l'œil humain. L'optique oculaire ne permet pas d'obtenir une focalisation simultanément à toutes les distances, ce qui est bien expliqué par la loi de conjugaison en optique géométrique. Ce phénomène bien connu est lié à la notion d'accommodation de l'œil. Mais aussi, la vision humaine comporte un déplacement de rotation des yeux en particulier pour faire se correspondre la zone de meilleure netteté de chaque œil (fovéa), ce qui dépend de la distance des objets observés. Il en résulte que les objets observés en dehors de la distance de meilleure focalisation peuvent ne pas se recouvrir correctement et donner lieu à une interprétation 3D imparfaite. On connaît également dans l'état de l'art des procédés de reconstruction d'images comprenant une information de relief ou de profondeur à partir d'images 2D. Ces procédés permettent à partir de deux images de déduire une information de profondeur associée aux images. Une technique de reconstruction largement répandue est la photogrammétrie. Toutefois, il existe plusieurs problèmes et limites aux procédés de reconstruction de l'état de la technique. En effet, toutes ces techniques nécessitent d'identifier le plus de pixels communs sur les images 2D à partir desquelles est déterminée la profondeur. Cette identification est nécessaire pour pouvoir extraire l'information de profondeur.
Dès lors, pour obtenir une information sur une grande partie d'une scène imagée et/ou pour obtenir une information de profondeur la plus fiable possible, les procédés de l'état de l'art requièrent des images ayant la définition la plus élevée possible ainsi que la résolution la plus élevée possible.
Toutefois, en dépit d'une bonne qualité et/ou d'une bonne définition d'image, lorsque les images 2D, à partir desquelles est déterminée la profondeur, comprennent des zones lisses, c'est-à-dire comprenant peu de relief, ou des zones peu ou trop texturées ou des zones peu ou trop contrastées, l'information de profondeur déterminée est au mieux erronée voire impossible à déterminer.
En outre, les images brutes obtenues par les systèmes optiques équipant les appareils d'acquisition d'images, et en particulier les appareils grand public tels que les caméras et smartphones, sont imparfaites et contiennent des défauts, inhérents aux dispositifs d'acquisition d'images. Bien qu'il existe des procédés de traitement d'images visant à améliorer leur qualité, des défauts persistent dans les images traitées au moyen des procédés de l'état et/ou la résolution de l'image corrigée est diminuée par rapport à l'image brute obtenue par le capteur. Ces deux effets se cumulent aux problèmes précédemment cités et induisent des erreurs supplémentaires sur l'information de profondeur extraite et empêchent de déterminer l'information de profondeur sur un grand nombre de pixels des images reconstruites. Enfin, les procédés de traitement d'images de l'état de l'art, lorsqu'ils sont mis en œuvre par des moyens de traitement présentant une puissance de calcul « standard », présentent un temps de traitement souvent élevée qui n'est pas compatible avec l'extraction d'une information de profondeur en temps réel, en particulier à partir d'un flux d'images continus. La majorité des systèmes optiques équipant les caméras et smartphones comporte un seul système de focalisation et un seul capteur photographique. Ces systèmes optiques engendrent des images brutes mosaïquées en raison de l'utilisation d'une matrice de filtres colorés, l'exemple le plus connu étant la matrice de Bayer, permettant la séparation des couleurs. Cette technique requiert que les différents canaux de couleurs, typiquement R, V, B (Rouge, Vert, Bleu), soient obtenus en différentes positions du capteur photographique, c'est à dire via différentes photosites, typiquement des photodiodes, formant une mosaïque. De ce fait, les couleurs restituées sur l'image brute provenant du capteur ne le sont pas en tous les points (photosites) du capteur. Afin de conserver la meilleure résolution possible, c'est-à-dire la résolution native du capteur correspondant au pavage des photosites, il convient de traiter l'image brute pour extraire les deux couleurs manquantes des photosites, par exemple le bleu et le vert pour le photosite rouge. On connaît dans l'état de la technique des procédés visant à supprimer cet effet de mosaïque sur les images brutes. Toutefois, ces procédés entraînent l'apparition de franges de couleurs et la restitution erronée de couleurs non présentes dans l'objet imagé.
D'autres caméras et smartphones sont équipés de systèmes optiques comprenant plusieurs objectifs de focalisation distincts et un empilement de plusieurs plans de photosites alignés dans le capteur. Ainsi, chaque pixel de l'image brute comprend les trois canaux de couleurs et aucun effet de mosaïque n'est à traiter. Toutefois, ces systèmes optiques génèrent des aberrations sur l'image brute liés à des effets et défauts de focalisation. En pratique, cela génère des déformations géométriques et des effets de flou. On connaît dans l'état de la technique des procédés visant à supprimer ces aberrations optiques et de chromaticité. Toutefois, ces procédés entraînent l'apparition d'erreurs de restitution et de défauts au sein de l'image traitée.
Un but de l'invention est de proposer un procédé de traitement d'images permettant :
- d'améliorer la qualité des images, et/ou
- de compenser les défauts de focalisation inhérents à tout objectif optique , et/ou
- de limiter les artéfacts liés à la projection de l'image sur la matrice de détection des couleurs, et/ou
- de limiter les effets des bruits, et/ou
- d'augmenter l'étendue dynamique en amplitude, et/ou - d'extraire une profondeur, c'est-à-dire la distance à l'objectif, et/ou une vitesse en chaque point de l'image à partir d'images ne comprenant pas d'information de profondeur ni de vitesse, et/ou
- d'améliorer l'information de profondeur et/ou de vitesse contenue dans une image, et/ou
- d'augmenter la profondeur de champ de l'image, sans avoir recours à un réglage de focalisation du système optique d'acquisition d'images ,
- de traiter et/ou d'enrichir des images et/ou d'en extraire l'information de profondeur et/ou la vitesse plus précisément que l'état de l'art.
Présentation de l'invention
A cet effet, il est proposé un procédé de restitution d'au moins une image à partir d'une ou de plusieurs images sources. Chaque image source est une image d'une scène obtenue par un capteur optique d'un système d'imagerie.
Le procédé comprend une phase de traitement d'une image reconstruite, associée à une image source, dont au moins une partie des pixels comprend une information de profondeur et/ou une information de vitesse. A l'issue de la phase de traitement une image restituée est obtenue pour chaque image reconstruite traitée. La phase de traitement comprend une modification itérative de l'image reconstruite de façon à minimiser une fonction E.
La fonction E comprend un terme D, dit de différences, déterminé par comparaison de l'image reconstruite convoluée par une fonction d'étalement du point (PSF) avec l'image source, à laquelle l'image reconstruite est associée. La PSF décrit la réponse du système d'imagerie à partir duquel l'image source utilisée pour la comparaison est obtenue.
La fonction E comprend un terme A, dit d'anomalies ou pénalités, représentatif de défauts ou anomalies au sein de l'image reconstruite, déterminé à partir l'image reconstruite.
De préférence, le procédé comprend préalablement à et/ou, respectivement, au cours de la phase de traitement, une étape de reconstruction de l'image reconstruite ou respectivement de l'image reconstruite en cours de traitement à partir d'au moins une image source et/ou d'au moins une image reconstruite et/ou d'au moins une image reconstruite en cours de traitement et/ou d'au moins une image restituée. De préférence, l'étape de reconstruction de l'image reconstruite, ou respectivement de l'image en cours de reconstruction, comprend ou est réalisée par ou consiste en un ajout d'information de profondeur et/ou de vitesse et/ou une substitution de l'information de profondeur et/ou de l'information de vitesse contenue dans au moins une partie des pixels de l'au moins une image source et/ou de l'au moins une image reconstruite et/ou de l'au moins une image reconstruite en cours de traitement et/ou de l'au moins une image restituée, ou respectivement dans au moins une partie des pixels de l'au moins une image reconstruite en cours de traitement.
De préférence :
- l'information de profondeur et/ou l'information de vitesse ajoutée ou substituée est obtenue à partir de ou par comparaison de l'image reconstruite ou de l'image reconstruite en cours de traitement avec au moins une image source et/ou au moins une image reconstruite et/ou au moins une image reconstruite en cours de traitement et/ou au moins une image restituée, et/ou
- l'information de profondeur et/ou l'information de vitesse ajoutée ou substituée est obtenue par comparaison d'au moins une image source et/ou d'au moins une image reconstruite et/ou d'au moins une image reconstruite en cours de traitement et/ou d'au moins une image restituée avec au moins une image source et/ou au moins une image reconstruite et/ou au moins une image reconstruite en cours de traitement et/ou au moins une image restituée, et/ou
- l'information de profondeur et/ou l'information de vitesse est ajoutée ou est substituée par déplacement d'un pixel ou d'un ensemble de pixels ou d'un ou de plusieurs blocs d'une image par un opérateur, par exemple différentiel ou vectoriel, et/ou selon une fonction, par exemple un champ scalaire ou vectoriel.
Dans la présente demande il peut être entendu par « image en cours de traitement », l'image reconstruite en cours de traitement ou en cours de restitution. Dans la présente demande il peut être entendu par « phase de traitement », la modification itérative de l'image reconstruite.
Dans la présente demande, le terme « image » utilisé seul peut signifier une image source, une image reconstruite, une image reconstruite en cours de traitement ou une image restituée. Dans la présente demande, il peut être entendu par « bloc d'image » un ensemble de pixels, de préférence contigus et/ou adjacents les uns des autres, d'une image. Dans la présente demande, il peut être entendu par système d'imagerie un système optique apte à acquérir des images. A titre d'exemple, le système d'imagerie peut être une caméra.
La phase de traitement peut être définie comme consistant à minimiser la fonction E en modifiant l'image reconstruite. Autrement dit, la phase de traitement peut être définie comme comprenant au moins une itération d'une étape de modification de l'image reconstruite visant à minimiser la fonction E.
L'étape de reconstruction peut être définie comme consistant à ajouter de l'information de profondeur et/ou de l'information de vitesse, par exemple lorsque celle- ci est manquante, dans au moins une partie des pixels d'une image ne contenant pas d'information de profondeur et/ou d'information de vitesse et/ou à substituer une information de profondeur et/ou une information de vitesse contenue dans une image source, une image reconstruite, une image reconstruite en cours de traitement ou une image restituée et/ou à déplacer un pixel ou un ensemble de pixels ou un ou de plusieurs blocs d'une image par un et/ou selon une fonction.
L'image obtenue par un tel déplacement d'un pixel ou d'un ensemble de pixels ou d'un ou de plusieurs blocs d'une image peut être considérée comme une image reconstruite en ce que l'image avant déplacement voit, entre autres, l'information de profondeur et/ou l'information de vitesse contenue dans un ou plusieurs pixels modifiée dans l'image obtenue après déplacement. A titre d'exemple, l'étape de reconstruction peut comprendre un déplacement d'un pixel ou de plusieurs ou d'un ensemble de pixels ou d'un ou de plusieurs blocs d'une image selon un champ de vitesse. De préférence, le champ de vitesse correspond ou est représentatif d'un mouvement relatif d'un, de plusieurs ou de chacun des objets de la scène par rapport au système d'imagerie en fonction du temps.
La PSF peut être substituée par toute fonction connue décrivant la réponse d'un système d'imagerie. A titre d'exemple, la PSF peut être substituée par une fonction de transfert optique (OTF) du système d'imagerie.
De préférence, la fonction E, de préférence encore le terme D et/ou le terme A, dépend de l'information de vitesse et/ou de l'information de profondeur.
De préférence, le procédé ou l'étape de reconstruction de l'image reconstruite comprend une extraction de l'information de profondeur et/ou l'information de vitesse de la scène imagée par comparaison d'au moins deux images sources ou d'au moins deux images reconstruites ou d'au moins deux images reconstruites en cours de traitement ou d'au moins deux images restituées ou d'au moins une image source avec au moins une image restituée ou avec une image reconstruite ou avec une image reconstruite en cours de traitement.
Dans la présente demande, une extraction de profondeur et/ou une information de vitesse par comparaison d'images peut consister ou comprendre une comparaison d'au moins deux images sources ou d'au moins deux images reconstruites ou d'au moins deux images reconstruites en cours de traitement ou d'au moins deux images restituées ou une comparaison d'au moins deux images quelconques parmi au moins une image source, au moins une image restituée, au moins une image reconstruite et au moins une image reconstruite en cours de traitement.
Le procédé ou l'étape de reconstruction peut comprendre :
- au cours de la phase de traitement, un ajout d'information de profondeur et/ou d'information de vitesse dans au moins une partie des pixels de l'image reconstruite en cours de traitement ne contenant pas d'information de profondeur et/ou d'information de vitesse et/ou une substitution de l'information de profondeur et/ou de l'information de vitesse contenue dans l'au moins une partie des pixels de l'image reconstruite en cours de traitement à partir de l'information de profondeur et/ou de l'information de vitesse extraite d'une comparaison d'images, et/ou
- préalablement à la phase de traitement, un ajout d'information de profondeur et/ou d'information de vitesse dans au moins une partie des pixels d'une image ne contenant pas d'information de profondeur et/ou d'information de vitesse et/ou une substitution de l'information de profondeur et/ou de l'information de vitesse contenue dans l'au moins une partie des pixels de l'image à partir de l'information de profondeur et/ou de l'information de vitesse extraite d'une comparaison d'images.
De préférence, le terme D est déterminé par comparaison de :
- l'image reconstruite ou l'image reconstruite en cours de traitement convoluée avec la PSF, avec
- l'image source, à laquelle l'image reconstruite est associée.
De préférence, l'étape de détermination du terme D comprend, préalablement à la comparaison de l'image reconstruite convoluée avec la PSF ou de l'image reconstruite en cours de traitement convoluée avec la PSF avec l'image source, à laquelle l'image reconstruite est associée, un étalement, au moins localement, selon un champ de vitesse et/ou selon une durée d'acquisition de ladite image source, à laquelle l'image reconstruite ou l'image reconstruite en cours de traitement est associée, de pixel(s) ou de groupe(s) ou bloc(s) de pixels de ladite image reconstruite convoluée avec la PSF ou de ladite image reconstruite en cours de traitement convoluée avec la PSF.
De préférence, l'étalement, de préférence local, de pixel(s) ou de groupe(s) ou bloc(s) de pixels de l'image reconstruite convoluée avec la PSF ou de l'image reconstruite en cours de traitement convoluée avec la PSF est réalisée selon un champ de vitesse.
De préférence, la phase de traitement comprend, préalablement à la convolution de l'image reconstruite ou de l'image reconstruite en cours de traitement avec la PSF, une sélection de la PSF.
De préférence, l'étape de reconstruction comprend une convolution de l'image source, à laquelle l'image reconstruite est associée, par une fonction inverse de la PSF, dite iPSF, décrivant la réponse du système d'imagerie à partir duquel l'image source, convoluée par l'iPSF, est obtenue.
De préférence, la modification itérative de l'image reconstruite s'achève lorsque la fonction E, ou une combinaison de dérivées partielles de la fonction E par rapport à l'image reconstruite en cours de traitement, est inférieure à un seuil de minimisation, ou lorsqu'un certain nombre d'itérations de la modification itérative de l'image reconstruite est atteint ; l'au moins une image reconstruite ainsi modifiée est restituée.
De préférence, l'étape de reconstruction comprend ou est mise en œuvre par ou est réalisée par ou consiste en un déplacement de blocs, selon un champ de vitesse, d'une image source, d'une image reconstruit, d'une image reconstruite en cours de traitement ou d'une image restituée.
De préférence, l'étape de reconstruction comprend ou est mise en œuvre par ou est réalisée par ou consiste en un déplacement de blocs, selon un champ de profondeur, d'une image reconstruite, d'une image reconstruite en cours de traitement ou d'une image restituée De préférence, l'image reconstruite est obtenue par fusion d'au moins deux images reconstruites.
De préférence, la phase de traitement comprend une étape de fusion d'au moins deux images restituées pour fournir au moins une image restituée.
De préférence, pour un système d'imagerie considéré, la PSF dépend :
- d'une orientation d'un axe optique du système d'imagerie considéré relativement à au moins un autre axe optique d'un autre système d'imagerie, et/ou
- d'une position relative du système d'imagerie considéré par rapport à au moins un autre système d'imagerie, et/ou
- d'une distance entre le capteur du système d'imagerie considéré et un objet imagé par le capteur du système d'imagerie considéré, et/ou
- d'une distance entre une partie du système d'imagerie considéré et l'au moins un capteur, et/ou
- d'une distance entre une partie du système d'imagerie considéré et un objet imagé par le capteur du système d'imagerie considéré, et/ou
- d'un état du système d'imagerie, tel qu'un réglage de zoom ou focus ou d'ouverture numérique du système d'imagerie, et/ou
- du pixel ou d'un groupe ou d'un bloc de pixels d'une image source ou d'une image reconstruite ou d'une image restituée et/ou d'un photosite du capteur du système d'imagerie considéré, et/ou
- d'une ou des informations contenues dans un pixel ou un groupe ou bloc de pixels d'une image, et/ou
- d'un ou plusieurs angles entre le capteur optique du système d'imagerie considéré et le système d'imagerie.
De préférence, la PSF est sélectionnée parmi un ensemble de PSF. De préférence, la PST est sélectionnée en fonction d'un ou de plusieurs des paramètres dont la PSF dépend.
De préférence, l'au moins une image source I comprend un ensemble d'images sources comprenant ou consistant en une succession temporelle d'images sources (Itl, It2...) acquises, de préférence par un même système d'imagerie, à des temps (tl, t2...) différents, chaque phase de traitement (Pl, P2...), chaque étape de reconstruction (Ml, M2...), chaque image reconstruite (Ml, M2...) et chaque image restituée (Cl, C2...) sont associées à une image source obtenue à un temps t donné.
De préférence, l'image reconstruite Mt est obtenue à partir de l'image source It à laquelle l'image reconstruite Mt est associée.
L'image reconstruite Mt peut ne pas être reconstruite à partir de l'image source It à laquelle elle est associée. A titre d'exemple, l'image reconstruite Mt peut être obtenue ou reconstruite à partir d'au moins une image reconstruite et/ou d'au moins une image reconstruite en cours de traitement et/ou d'au moins une image restituée, associée à une image source (It-1, It-2...) obtenue à temps précédent (t-1, t-2...).
De préférence, l'image reconstruite Mt, associée à l'image source It, est obtenue, ou l'étape de reconstruction de l'image Mt, associée à l'image source It, comprend ou est réalisée, par comparaison :
- d'une image obtenue par déplacements, de préférence selon un champ de vitesse et/ou selon un champ de profondeur, de blocs de l'image restituée Ct-1, ou de l'image reconstruite Mt-1 ou de l'image reconstruite Mt-1 en cours de traitement, à la phase de traitement Pt-1, avec
- l'image source It, à laquelle l'image reconstruite Mt est associée, convoluée par la fonction inverse de la PSF, dite iPSF, décrivant la réponse du système d'imagerie à partir duquel l'image source It est obtenue.
De préférence, l'image reconstruite mt, associée à l'image source It, est obtenue à partir de l'image restituée Ct-1 obtenue à la phase de traitement Pt-1.
De préférence, l'image reconstruite Mt à la phase de traitement Pt est obtenue par déplacement de blocs, selon un champ de vitesse, de :
- l'image restituée Ct-1 obtenue à la phase de traitement Pt-1 ou de l'image reconstruite Mt-1 à la phase de traitement Pt-1 ou de l'image reconstruite Mt-1 en cours de traitement à la phase de traitement Pt-1, auxquelles est associée l'image source It-1, ou
- de l'image source It, à laquelle est associée l'image reconstruite Mt.
De préférence, au moins une étape, de préférence chaque étape, du procédé, et en particulier la phase de traitement et l'étape de reconstruction, est mise en œuvre pour chaque image source (Itl, It2...) acquises à chacun des temps différents (tl, t2...). De préférence, l'au moins une image source I comprend un ensemble d'images sources acquises par des systèmes d'imageries (d, g...) différents, de préférence à un même temps ou instant t donné, chaque phase de traitement (Pd, Pg...), chaque image reconstruite (Md, Mg...) et chaque image restituée (Cd, Cg...) sont associées à une image source I, de l'ensemble d'images sources (Id, Ig...), acquises par un système d'imagerie différent ; les systèmes d'imageries étant disposés de sorte à acquérir, au moins en partie, de préférence principalement, une même scène.
De préférence, au moins une étape, de préférence chaque étape, du procédé, et en particulier la phase de traitement et l'étape de reconstruction, est mise en œuvre pour chaque image source (Id, Ig...) acquises par un système d'imagerie différent (d, g...).
De préférence, l'étape de reconstruction de l'image reconstruite M est réalisée à partir :
- d'au moins une image source Id ou d'au moins une image reconstruite Md ou d'au moins une image restituée Cd, et
- d'au moins une image source Ig ou d'au moins une image reconstruite Mg ou d'au moins une image restituée Cg.
De préférence, la succession temporelle d'images sources (Itl, It2...) et les images sources acquises par les différents systèmes d'imageries (d, g...) peuvent former deux ensembles d'images sources distincts.
De préférence, la succession temporelle d'images sources (Itl, It2...) et les images sources acquises par les différents systèmes d'imageries (d, g...) forment un même ensemble d'images sources (Idtl, Idt2, Igtl, Igt2...). De préférence, chacune des images sources de l'ensemble d'images sources (Idtl, Idt2, Igtl, Igt2...) est acquise par un système d'imagerie distinct (d, g...) à un temps donné (tl, t2...). Chaque phase de traitement (Pdtl, Pdt2, Pgtl, Pgt2...), chaque image reconstruite (Mdtl, Mdt2, Mgtl, Mgt2...) et chaque image restituée (Cdtl, Cdt2, Cgtl, Cgt2...) sont associées à une image source obtenue par un système d'imagerie donné et à un temps t donné. Selon l'invention, il est également proposé un dispositif ou un appareil ou un système de traitement de données comprenant des moyens, par exemple une unité de traitement, agencés et/ou programmés et/ou configurés pour mettre en œuvre le procédé selon l'invention.
Selon l'invention, il est également proposé un programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l'invention.
Selon l'invention, il est également proposé un support, par exemple d’enregistrement, lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l'invention.
Selon l'invention, il est également proposé un support de données lisible par ordinateur, sur lequel est enregistré le programme d’ordinateur selon l'invention.
Description des figures
D'autres avantages et particularités de l'invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, et des dessins annexés suivants : [Fig. 1] la FIGURE 1 est un schéma illustrant la mise en œuvre de la boucle itérative, consistant en des modifications successives ou en des itérations successives de modifications apportées à l'image reconstruite, lors de la phase de traitement, pour chacune des images sources acquises successivement, par un système d'imagerie, [Fig. 2] la FIGURE 2 est une représentation schématique de la boucle itérative de la phase de traitement mise en œuvre à partir des images sources du système d'imagerie gauche,
[Fig. 3] sur la FIGURE 3 est illustrée une vue globale et simplifiée du procédé de restitution d'image selon l'invention,
[Fig. 4] la FIGURE 4 illustre un mode de réalisation de l'étape d'initialisation du procédé, [Fig. 5] la FIGURE 5 illustre un mode de réalisation de l'étape d'initialisation du procédé,
[Fig. 6] la FIGURE 6 illustre un mode de réalisation de l'extraction de profondeur à partir de deux images.
Description des modes de réalisation
Les modes de réalisation décrits ci-après étant nullement limitatifs, on pourra notamment considérer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites, isolées des autres caractéristiques décrites (même si cette sélection est isolée au sein d'une phrase comprenant ces autres caractéristiques), si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure.
En référence aux FIGURES 1 à 6, il est présenté un mode de réalisation du procédé 1 de restitution d'images à partir d'images sources I selon l'invention. Chaque image source I est une image d'une scène obtenue par un capteur optique d'un système d'imagerie 2, par exemple une caméra 2. De préférence, le procédé 1 est mis en œuvre pour un ensemble d'images sources I. Le procédé peut être mis en œuvre à partir d'images sources I stockées sur un support de stockage ou peut être mis en œuvre, en temps réel, à partir d'un flux d'images sources I provenant d'un ou de plusieurs dispositif d'acquisition d'images 2, tels que des caméras 2.
En référence à la FIGURE 1, le procédé 1 est mis en œuvre pour un ensemble d'images sources consistant en une succession temporelle d'images sources ItO, Itl, ..., It-1, It, It+1... acquises, par un même système d'imagerie 2, à des temps tO, tl ... t-1, t, t+1... différents. Sur la FIGURE 1, les temps auxquels sont acquises chaque image sources I sont discrétisés tO, tl, ..., t-1, t, t+1... de sorte que chaque nouvelle image source ItO, Itl, ..., It-1, It, It+1 acquise soit incrémentée successivement. Toutefois, le procédé 1 peut également être mis en œuvre pour un ensemble d'images sources I acquises par des systèmes d'imageries 2 d, g... différents à un même instant t. Selon l'invention, les systèmes d'imageries 2 sont disposés de sorte à acquérir la même scène.
Le procédé 1 selon l'invention convient particulièrement au traitement d'un ensemble d'images sources IdtO, Idtl, ..., Idt-1, Idt, Idt+1..., IgtO, Igtl, ..., Igt-1, Igt, Igt+1... acquises par un système d'imagerie 2 distincts d, g... à un temps donné tO, tl, t-1, t, t+1.... Ainsi, le procédé 1 permet de traiter en temps réel un flux d'images sources Idt, Igt provenant chacun de plusieurs systèmes d'imageries 2 (d, g). Ce mode de réalisation est particulièrement adapté, entre autres, au traitement des images qui est mis en œuvre par les véhicules autonomes. Toutefois, il est également particulièrement adapté à tout type de systèmes ou dispositifs, tels que, entre autre, les téléphones intelligents et les tablettes, qui possèdent plusieurs caméras distinctes. Dans le cas des véhicules autonomes, plusieurs caméras 2 sont disposées en différentes positions pour acquérir des images des alentours du véhicule. En général, plusieurs caméras sont orientées et disposées de sorte à acquérir une même scène. Dans un souci de simplicité et de compréhension, la description du mode de réalisation est basée sur l'utilisation de deux systèmes d'imageries 2 dit droit, noté d, et gauche, noté g. Les deux systèmes d'imagerie 2 droit et gauche sont disposés de sorte à acquérir, au moins en partie, une même scène.
Aussi, en référence à la FIGURE 3, et conformément au mode de réalisation non limitatif présenté, le procédé 1 de restitution d'images comprend une phase de traitement Pt d'une image reconstruite Mdt, Mgt. Tel qu'illustré sur la FIGURE 2 et détaillé plus bas, la phase de traitement Pt est mise en œuvre indépendamment pour chaque image reconstruite Mdt, Mgt et chaque image reconstruite Mdt, Mgt est associée à une image source Idt, Igt distincte ; chaque image source Idt, Igt étant obtenue par un système d'imagerie 2 distinct d, g. A l'issue de la phase de traitement Pt une image restituée Cdt, Cgt est obtenue pour chaque image reconstruite Mdt, Mgt traitée. Tel qu'illustré sur les FIGURES 1 et 2, la phase de traitement Pt comprend une modification itérative de l'image reconstruite Mdt, Mgt de façon à minimiser une fonction E.
La phase de traitement peut donc être décrite comme consistant à itérer la boucle de traitement 3 ou boucle itérative 3 illustrée sur la FIGURE 2. En référence à la FIGURE 1, le nombre d'itérations est notée k. Pour la boucle de traitement Pt-1, l'image reconstruite Mt-1 est modifiée itérativement jusqu'à ce que la fonction E, ou une combinaison de dérivées partielles de la fonction E par rapport à l'image reconstruite Mt-1 en cours de traitement, soit inférieure à un seuil de minimisation. Autrement dit, l'image reconstruite M sera modifiée à chaque itération k de la boucle itérative 3 afin que l'image reconstruite M en cours de traitement (obtenue après chaque modification itérative), et in fine l'image restituée C, corresponde au mieux ou soit le plus conforme ou restitue le mieux la scène observée. L'image reconstruite M avant d'être modifiée pour la première fois dans la première boucle itérative 3 (ou lors de la première modification itérative de la phase de traitement P) peut être dénommée image reconstruite M ou image reconstruite M à l'itération k=0, l'image reconstruite M avant d'être modifiée pour la deuxième fois (c'est-à-dire après la première boucle itérative 3 de la phase de traitement P et avant et avant la deuxième modification itérative de la phase de traitement P) peut être dénommée image reconstruite M en cours de traitement à l'itération k>0 (dans le cas de figure décrit à l'itération k=l). Autrement dit, l'image reconstruite M (à l'itération k=0) correspond à l'image reconstruite qui n'a jamais été modifiée dans la boucle itérative 3 et l'image reconstruite M en cours de traitement (à l'itération k>0) correspond à l'ensemble des images reconstruites M en cours de traitement aux itérations k>0 qui sont en cours restitution ou en cours de modification itérative. Il peut également être prévu que la phase de traitement P soit itérée jusqu'à ce qu'un certain nombre d'itérations k soit atteint au cas où le seuil de minimisation ne puisse être atteint dans un temps, et donc un nombre d'itérations, satisfaisant. A la phase de traitement Pt-1, l'image reconstruite Mt-1 ainsi modifiée après kl itérations est restituée Ct-1. A la phase de traitement Pt, l'image reconstruite Mt telle que modifiée après k2 itérations est restituée (image restituée Ct). Aussi, le procédé 1 comprend une succession de phases de traitement P, chacune mise en œuvre pour une image source I différente. Autrement dit, le procédé 1 comprend la mise en œuvre d'autant de phases de traitement P que d'images sources traitées I.
La fonction E comprend un terme D, dit de différences ou anomalie, déterminé par comparaison de l'image reconstruite Mdt, Mgt convoluée par une fonction d'étalement du point (PSF) avec l'image source Idt, Igt, à laquelle l'image reconstruite Mdt, Mgt est associée. Ainsi, chaque phase de traitement Pt (et donc chaque image reconstruite Mt, chaque image reconstruite Mt en cours de traitement et chaque image restituée Ct est associée à l'image source It à laquelle l'image reconstruite Mt convoluée par la PSF est comparée lors de la phase de traitement Pt. La PSF décrit la réponse du système d'imagerie d ou g à partir duquel l'image source Idt, Igt utilisée pour la comparaison est obtenue. L'étape de comparaison consiste à détecter une information ou valeur ou donnée quelconque contenue dans les pixels de la matrice de pixels des images comparées. Selon un mode de réalisation avantageux mais non limitatif, l'étape de comparaison consiste à détecter les couleurs au sein d'une matrice de couleur, par exemple une matrice de Bayer, de l'image reconstruite Mt et de l'image source It et à les comparer afin de trouver la meilleure correspondance. Dans le but de fournir une information de profondeur améliorée et/ou précise, il est avantageux de ne prendre en compte que les pixels R (Rouge), VI (Vert, ou G (Green)), V2 (Vert, ou G (Green)), B (Bleue) de la matrice de Bayer correspondant à l'image reconstruite Mt, ou sur des pixels sans filtre de couleur à géométrie particulière, dits « dual pixels », pour donner une sensibilité à la profondeur de l'image pour l'auto-focalisation de l'objectif du système d'imagerie 2. Toutefois, l'étape de comparaison peut consister à détecter une ou plusieurs données contenues dans les pixels de la matrice de pixels des images comparées parmi une donnée de couleur et/ou donnée de texture, et/ou donnée luminosité, et/ou donnée de teinte, et/ou donnée de saturation, et/ou donnée RVB.
La fonction E comprend un terme A, dit de pénalités, représentatif de défauts ou anomalies au sein de l'image reconstruite Mdt, Mgt, déterminé à partir l'image reconstruite Mdt, Mgt.
La phase de traitement P est décrite en détail plus bas.
Chaque image (source I, reconstruite M, reconstruite M en cours de traitement et restituée C) peut être représentée dans une table de valeurs. Elle contient à des positions discrétisées des valeurs de couleurs, par exemple selon les trois couleurs R (rouge), V (vert), B (bleu), ou dans un autre référentiel. L'on peut voir ces éléments comme des objets élémentaires carrés ou rectangulaires juxtaposés, comportant trois propriétés de couleurs, en plus de propriétés de largeur et longueur des éléments communes à tous ces objets élémentaires, ainsi que la propriété de position sur le capteur optique implicitement connue par un rangement en succession de ligne dans la table et au pas constant dans chaque direction x et y (x et y, étant deux directions orthogonales dans le plan de l'image). Ces objets peuvent être appelés pixels. Aussi, à l'exception des images sources I qui ne contiennent pas d'information de profondeur, chaque image reconstruite Mdt, Mgt, chaque image reconstruite Mdt, Mgt en cours de traitement et chaque image restituée Cdt, Cgt est représentable par une table de pixels ou matrice de pixels contenant (xd ou xg, yd ou yg, Z). Les images reconstruites Mdt, Mgt, images reconstruites Mdt, Mgt en cours de traitement et images restituées Cdt, Cgt contenant une information de profondeur peuvent être qualifiées d'images enrichies avec une information de profondeur. En outre, les objets de la scène imagée par les systèmes d'imagerie 2 se trouvent à des distances différentes d'un ou des capteurs optiques (des systèmes d'imagerie 2) et donc à une profondeur différente. Aussi, un groupe ou bloc de pixels correspondant à un des objets de la scène imagée aura une information de profondeur différente d'un ou des autres groupe(s) ou bloc(s) de pixels correspondant à l'autre ou aux autres objets de la scène imagée. Par conséquent, chaque image sera enrichie par un champ de profondeurs, c'est-à-dire que chaque pixel ou groupe ou bloc de pixel (de la matrice ou table de pixels représentant l'image de la scène) correspondant à un objet de la scène aura une information de profondeur qui correspond à la distance entre l'objet et le capteur optique à partir duquel l'image source I a été acquise ; la profondeur des différents objets de la scène imagée étant, dans la plupart des cas, différentes pour au moins une partie des objets de la scène. L'homme du métier saura convertir ou transposer les coordonnées ou positions des pixels (ou de tout autre opérateur, matrice ou grille associée) depuis l'espace x et y (référentiel du capteur) vers un autre référentiel spatial U et W (en position physique dans l'espace) pour représenter les images dans une matrice (U, W, Z). Ainsi, la convolution de l'image reconstruire Mt ou reconstruite Mt en cours de traitement par la PSF pourra être opérée à partir de l'une quelconque des matrices de représentation choisie par l'homme du métier.
Cette table représente des objets élémentaires selon de préférence une résolution égale ou supérieure à celle de la réunion de tous les photosites de toutes les couleurs d'un capteur optique considéré. Elle peut avoir un pas de balayage et de positions décalé par rapport aux photosites du capteur considéré, mais de préférence en accord spatial avec ces derniers. Par exemple, pour une matrice élémentaire de filtrage de couleur (ou « Color Filter Array » en anglais ou CFA) de 4 photosites R (Rouge), VI (Vert 1), V2 (Vert 2), B (Bleu), disposés sur 2 x 2 lignes et colonnes, elle peut avoir une représentation numérique, pour chacune des par exemple trois propriétés de couleurs R (rouge), V (vert), B (bleu), d'un pixel en face du R, puis de un pixel en face du VI, du V2, du B, c'est-à-dire au total 4 pixels comportant un canal R, V, B, en correspondance spatiale des 4 photosites R, VI, V2, B de détection, et répétés autant de fois que nécessaire dans les directions U et W pour décrire tout le capteur optique considéré associé à une image donnée. Chaque image source I comprend les intensités des photosites R (Rouge), V (Vert), B (Bleu) (ou selon un autre choix possible de matrice de couleur tel que R (Rouge), J (Jaune), W (Blanc ou White), B (Bleu)) du capteur optique associé à cette image source I. Tel que connu par l'homme du métier, l'image source I peut, en outre, comporter d'autres informations de gain et de niveau de noir des photosites, photosite par photosite, (ou région par région le cas échéant), c'est-à-dire que les intensités détectées par les photosites auront de préférence été corrigés pour avoir le même niveau numérique de restitution du noir, et un niveau de restitution d'un blanc de référence homogénéisé, par exemple uniforme, ou selon un référentiel en accord avec la suite des traitements de correction d'étalement du point. En cas de non linéarité ou de saturation, le procédé peut comprendre une étape de correction de cette image source I.
Il serait aussi possible de sous-échantillonner, bien que cela ne procéderait pas à une amélioration de restitution de la qualité de l'image en termes de netteté, mais permettrait une bonne qualité d'une image comprimée (en termes de nombre de pixels).
Cette table peut aussi être complétée, ou remplacée par une liste d'objets décrivant l'image. Chaque objet peut ainsi être le pixel carré ou rectangle, ou des objets comportant plus de propriétés tels qu'un contour, des composantes de couleur moyennes, mais aussi des composantes de dégradé de luminosité et de couleur par exemple, et une forme particulière. Cette deuxième représentation permet plus de liberté de représentation des positions, avec éventuellement des coordonnées représentées par des nombres ayant plus de résolution qu'une collection de pixels à des endroits prédéfinis. De plus, l'on peut autoriser l'addition des couleurs et intensités d'objets qui seraient superposés à certains endroits.
Il est désormais décrit la phase de traitement, c'est-à-dire la modification itérative de l'image reconstruite M (c'est-à-dire les itérations de la boucle de traitement 3 représentée sur la FIGURE 3). Une information est également générée à partir d'une connaissance relativement précise des défauts optiques de focalisation du système d'imagerie 2 ou d'un des éléments optiques du système d'imagerie 2 (par exemple l'objectif). Cette information peut comporter la lecture d'une table donnant accès à des informations particulières liées aux défauts du système d'imagerie 2 ou d'un des éléments optiques du système d'imagerie 2 (par exemple l'objectif), ainsi que la distance entre chaque objectif ou système et la scène observée à travers cet objectif ou système, soit considéré selon une unique distance, soit différentiée en distance objet par objet de la scène, et la distance entre l'objectif ou système et le capteur associé à cet objectif ou système, et éventuellement des variations d'angle entre ces éléments. De ces informations, il est synthétisé une restitution des fonctions d'étalements de points (dites PSF), que l'on peut matérialiser par des matrices de coefficients aptes à produire par convolution avec les intensités idéalement émises par chaque point de la scène, les intensités obtenues au niveau du capteur optique, pour chaque canal de couleur. Dans le cas où des défauts de déplacements seraient connus, par exemple par une représentation du mouvement résiduel de non compensation du module caméra par rapport à la scène, on somme les matrices PSF à différentes positions pondérées par le temps qui s'y est écoulé, pour calculer une PSF composite incluant ces mouvements résiduels non compensés, et utiliser cette forme des PSF pour la phase de traitement. Pour obtenir la trajectoire de mouvement d'un capteur ou système d'imagerie 2, il suffit par exemple qu'un capteur d'accélération enregistre les mouvements de l'appareil qui contient le module caméra 2 pendant la prise d'image, et si l'image est mécaniquement stabilisée par rapport aux mouvements de l'appareil comportant le module caméra 2, il suffirait que le résidu absolu de non stabilisation soit calculé par rapport au capteur d'accélération et au signal de stabilisation. Dans une autre mise en œuvre, en l'absence de données directes de mesure des mouvements, on analyse l'image afin de déterminer le résultat de la trajectoire de déplacement et d'en déduire la composition à appliquer aux PSF pour obtenir la compensation de ce mouvement. De la sorte, l'image restituée C sera aussi compensée des effets de flou liés aux mouvements résiduels non compensés.
Ainsi, la phase de traitement permet d'obtenir la compensation des défauts de projection optique sur le capteur optique, et apporte une réduction des bruits de détection des intensités lumineuses. En particulier, il compense aussi les effets de mosaïcage à détection spatialement séparée de plusieurs couleurs, et peut aussi compenser efficacement des résidus de mouvements d'un module caméra par rapport à la scène. La phase de traitement ne consiste pas à traiter l'image par étapes successives mais permet un traitement unique comprenant toutes les opérations de restitution.
Aussi, compte tenu du fait que la phase de traitement P mise en œuvre à partir d'une image reconstruite M contenant une information de profondeur, il convient de calculer les PSF en fonctions des distances aux différents objets sur la scène, afin d'obtenir une compensation de ces aberrations optiques tenant compte de la distance réelle de focalisation de chaque objet photographié, ce qui augmentera la profondeur de champ effective lors de la restitution de l'image.
Ainsi, la phase de traitement fournit en sortie une image dite restituée C comprenant une absence de mosaïcage, une réduction significative de bruit selon un réglage à ajuster le cas échéant, une correction de distorsion de position et de flou de l'image adapté à chaque région de l'image, une compensation de mouvements relatifs entre l'objectif ou le système d'imagerie 2 et la scène observée. La phase de traitement P ne comprend donc pas une succession d'étapes de corrections dissociées entre elles. Ainsi, les effets de conjugaisons et/ou d'additions des défauts inhérents à chaque étape sont évités. Il permet aussi de limiter les interpolations de valeurs qui auraient été dues être détectées dans les photosites absents (car à l'emplacement d'une des autres couleurs détectées). Tout d'abord, il est bon de noter que, de manière générale, il est avantageux, mais non nécessaire et dans certains cas à éviter, de mettre en œuvre les étapes du procédé (que ce soit, par exemple, dans le cadre de la phase de traitement d'images ou de reconstruction d'images ou pour toute étape, en particulier de comparaison d'images ou comprenant une comparaison d'images) à partir de blocs d'images plutôt que sur l'ensemble des pixels considérés individuellement. Un bloc d'une image correspond à un objet (ou une partie d'un objet) de la scène pour lequel une ou plusieurs données des pixels (parmi la table de pixels de l'image) constituant le bloc (représentatif de l'objet de la scène) de l'image présente une valeur identique, similaire ou équivalente. Aussi, il est avantageux de considérer comme un bloc d'image un ensemble de pixels pour lesquels une ou plusieurs des données qui sont contenues dans chacun des pixels de l'ensemble de pixels constituant le bloc (et en particulier l'information de profondeur et/ou de vitesse) présentent des valeurs identiques, voisines, similaires, proches ou semblables. Une telle régionalisation de l'image permet de considérablement réduire le temps des calculs réalisés sur la base de ces images. En outre, lorsque le traitement ou l'étape mise en œuvre à partir de l'image comprend ou consiste à déplacer (ou translater) la position (dans l'espace x, y) de tout ou partie des pixels au sein de la grille de pixels (ce qui est par exemple le cas lors de la phase de traitement, lors de l'étape de reconstruction ou lors d'étalements), aucune perte de résolution n'est engendrée dans ce cas.
Il est à noter que les étapes du procédé pourraient être mises en œuvre, en partie, à partir de blocs d'images mais également, en partie, à partir de pixel (s) (isolés) qui n'auraient pas pu être regroupés sous forme de blocs. Le terme de « bloc » s'étend au sens large, il peut, par exemple, s'agir d'un groupe de pixels formant le contour (ou une partie du contour) d'un autre bloc. Aussi, dans la plupart des cas, il sera possible de constituer des images formées d'un ensemble de blocs.
Il est également possible d'homogénéiser la ou les données présentant des valeurs similaires ou équivalentes en attribuant à l'ensemble des pixels une unique et même valeur pour cette ou ces données au détriment de la résolution d'image. Autrement dit, il est possible de donner une valeur identique à une ou plusieurs données contenues dans les pixels formant un bloc de l'image, lorsque ces valeurs ces valeurs ont été identifiées comme voisines, similaires, proches ou semblables. L'homme du métier saura en fonction de l'application visée, la qualité d'image requise et des ressources à allouer au traitement (ou le temps maximum de traitement toléré), adapté un écart seuil à partir duquel les valeurs des données ne sont plus considérées comme équivalentes.
La phase de traitement P doit prendre en compte l'ensemble du modèle des défauts optiques en calculant, pour chaque itération k de la boucle de traitement 3 et pour un système d'imagerie 2 donné (à partir duquel est acquise l'image source It associée à l'image reconstruite Mt), à partir de l'image reconstruite Mt, les défauts optiques induits sur chaque pixel ou groupe de pixels (ou blocs) d'une image source It (représentée par les valeurs des différentes composantes de couleurs des photosites).
D est déterminé par comparaison de :
- l'image reconstruite Mt convoluée avec la PSF puis étalée, au moins localement, selon un champ de vitesse et/ou selon une durée d'acquisition de l'image source It, à laquelle l'image reconstruite Bt est associée, avec
- l'image source It, à laquelle l'image reconstruite Bt est associée.
Le terme D peut comprendre la somme de plusieurs termes Di. L'obtention des distances Di obtenues par comparaison de l'image reconstruite Mt convoluée par les PSFs avec l'image source It, peuvent être, entre autres, peut être réalisée par une évaluation des couleurs locales dans les pixels ou groupes de pixels en face de la grille de discrétisation des PSF, de façon à connaître les couleurs calculées aux positions des photosites de l'image reconstruite Mt pour faire les comparaisons de distances aux endroits adéquats, sans décalage, permet une précision de restitution maximale.
Le modèle des défauts optiques est pris en compte par un calcul, à chaque itération k, des effets qu'il induit à partir de l'image reconstruite M, en composant cette image M en cours de traitement avec le modèle des défauts optiques, selon le mode de réalisation par un produit de convolution, noté MCt, entre la matrice des valeurs lumineuses de l'image reconstruite M (en chaque point d'une grille assez fine), et la matrice PSF sur cette même grille, ce qui en sortie fourni une matrice de valeurs MCt selon une grille (grille qui permet la comparaison aux photosites du capteur optique à partir duquel l'image source I a été obtenue).
Bien entendu, un calcul de convolution peut se faire par multiplication dans le domaine fréquentiel, et il est envisageable aussi de prendre en compte les effets d'étalement de points par les transformées de fourrier spatiales des matrices PSF, appelées généralement OTF (Optical Transfer Function), qu'il suffit alors de multiplier aux transformées de fourrier de l'image reconstruite en cours de restitution, puis de revenir au domaine spatial par transformée inverse, si ce mode opératoire présente un intérêt. Les effets d'étalement de points peuvent être pris en compte en utilisant l'opérateur TG qui peut être l'identité, ou une transformation géométrique, qui consiste à déplacer localement les éléments, soit par translation de pixels dans une telle représentation, soit par modification équivalente des PSF par recalcul du jeu de coefficients pour prendre en compte cette transformation, soit éventuellement un mélange des deux.
La connaissance du champ de vitesse au sein des images sources I et/ou des images reconstruites M permet de prévoir et anticiper le déplacement d'objets d'une image source It et/ou, respectivement, d'une image reconstruite Mt associée à une image source It successive et/ou, respectivement, à une image reconstruite Mt+1 successive. Ainsi, les effets d'étalements de points peuvent être appliqués à l'image reconstruite M, préalablement à la comparaison avec l'image source I, en utilisant le champ de vitesse. Cela permet, entre autres, de supprimer le flou lié au temps d'ouverture du diaphragme du système d'imagerie, lors de la prise de chaque image et offre une restitution précise et plus fidèle de l'image des objets présents sur la scène imagée (notamment lorsqu'ils sont en mouvement dans la scène imagée). Outre prévoir ou anticiper le déplacement d'objets d'une image source It et/ou, respectivement, d'une image reconstruite Mt associée à une image source It successive et/ou, respectivement, à une image reconstruite Mt+1 successive, le champ de vitesse permet également de calculer et prévoir la position à venir des objets en mouvement (ou non) dans la scène imagée et donc de connaître l'information de profondeur associée aux objets de la scène imagée. Aussi, il est possible en analysant, par exemple en comparant la position d'objets identiques au sein d'images successives, de connaître la position d'objets occultés dans l'image source It.
Selon un mode de réalisation non limitatif, il est possible d'exprimer le résultat, noté MCt, du produit de convolution de l'image reconstruite Mt en cours de traitement à l'itération k par la PSF, et éventuellement traité par la transformation géométrique TG :
[Math. 4]
MCt = image reconstruite Mt (*) PSF, ou
MCt = TG(image reconstruite Mt) (*) PSF, ou
MCt = TG(image reconstruite Mt (*) PSF), où (*) signifie produit de convolution.
De cette comparaison, un premier indicateur ou terme appelé distance Di, éventuellement complété avec d'autres termes Di, issu d'une comparaison entre l'image reconstruite Mt convoluée par les PSFs (prenant éventuellement compte des effets d'étalements de points) avec l'image source It, que l'on note Di(Bt, It), est obtenu :
[Math. 5]
D= Dl(Bt, It) + D2 + ... + Dnd.
Le terme A, dit de pénalités, représentatif de défauts ou anomalies au sein de l'image reconstruite Mdt, Mgt, est déterminé à partir l'image reconstruite Mdt, Mgt, est calculée de manière concomitante au terme D. Le second terme A comprend : au moins une composante Ai dont l'effet est minimisé pour de faibles écarts d'intensité entre pixels voisins de l'image reconstruite M en cours de traitement à l'itération k, et/ou au moins une composante A3 dont l'effet est minimisé pour de faibles écarts de teinte entre pixels voisins de l'image reconstruite M en cours de traitement à l'itération k, et/ou au moins une composante A2 dont l'effet est minimisé pour de faibles fréquences de changements de direction entre pixels voisins de reconstruite M en cours de traitement dessinant un contour.
Le second terme A peut ainsi comprendre une somme de plusieurs termes Ai.
Comme pour le terme D, pour chaque itération k et pour un système d'imagerie donné (à partir duquel est acquise l'image source It associée à l'image reconstruite Mt), une ou plusieurs pénalité(s) dite Pi, P2, ..., Pnp, sont calculées directement à partir de l'image reconstruite Mt ou à partir de l'image reconstruite Mt en cours de traitement.
Il est obtenu un indicateur d'écart E global qui, selon le mode de réalisation non limitatif, peut être exprimé comme : [Math. 6]
Figure imgf000026_0001
où nd est le nombre de distances Di, np le nombre de pénalités Pi, avec par exemple : nd = l, np = l, ai = 1 et 0i qui peut être ajusté pour donner plus ou moins de poids entre la distance qui force à se conformer à l'image source I, et la pénalité qui force à rendre l'image reconstruite M, à chaque itération, conforme à une autre propriété, ou à posséder une certaine cohérence par rapport aux images que le système d'imagerie est censé observer. Autrement dit, cet indicateur de pénalité permet aussi de sélectionner les images qu'il est le plus probable d'observer parmi celles qui seront restituées. Par exemple, il est peu probable d'observer une image reconstruite M comportant de la « neige » rouge, vert, bleu à l'intérieur de ses textures, et l'on peut dire que l'indicateur de pénalité P est construit pour rendre moins probable l'apparition de telles images restituées C, quand il est construit pour être sensible à un bruit de couleur dans l'image reconstruite M. La fonction de pénalités Pi va guider vers une solution privilégiée par exemple en empêchant les pixels voisins de présenter des valeurs ayant un grand écart entre elles (hormis, par exemple, pour les pixels voisins blocs/contours) et ainsi réduire le bruit de l'image restituée C par rapport à l'image source I potentiellement bruitée ou encore de limiter les effets de créneaux sur les contours des blocs ou objets de l'image restituée C. La fonction de pénalités Pi va, entre autres, va également améliorer l'information de profondeur et de vitesse en empêchant les pixels voisins de présenter des valeurs trop différentes, de supprimer les valeurs aberrantes au sein d'un même bloc.
En particulier, selon le mode de réalisation, la fonction E comprend ou consiste en la somme du premier terme D et du deuxième terme A. Aussi, à la première itération k=0, la boucle de traitement à la phase de traitement PO compare l'image source 10 et le résultat MCt du produit de convolution de l'image reconstruite MO à l'itération 0 (c'est- à-dire non modifiée ou telle qu'issue de l'étape de reconstruction) par la PSF, et éventuellement traitée par la transformation géométrique TG de sorte à prendre en compte un maximum d'éléments modélisant précisément la géométrie de toutes les parties du capteur optique, les effets de focalisation optique de part en part du capteur, les mouvements éventuels, les effets de distances modifiants les effets de focalisation.
La mise en œuvre du procédé vise à obtenir une image restituée C qui minimise l'indicateur E.
Sauf cas particulier ou l'expression de la distance Di permettrait un calcul direct pour la minimiser, et où la pénalité PI le permettrait aussi, ou serait prise nulle, la méthode générale de résolution peut par exemple s'obtenir par une méthode dite de gradient de newton, qui permet de trouver le minimum d'une fonction, en faisant varier les paramètres ou données d'entrée à l'inverse du gradient d'une fonction E, pour en minimiser la valeur.
Ainsi, l'on calcule, à chaque itération, la somme des dérivées de chaque terme de E par rapport à l'ensemble des paramètres ou données de l'image reconstruite Mt-1 à l'itération précédente k-1, puis l'on fait évoluer les éléments de l'image reconstruite Mt à l'itération k par rapport à ce gradient. Le but des itérations est de modifier l'image reconstruite M à chaque étape, de façon à rendre minimal l'indicateur E. Les paramètres ou données de l'image, et donc de E, sont, selon le mode de réalisation, les valeurs R, G, B et l'information de profondeur (Z) et/ou l'information de vitesse (V). Il peut également être avantageux de considérer la position (v, w) de tout pixel ou tout bloc d'image (ou les coordonnées physiques (x, y)) comme un paramètre.
Bien que le mode de réalisation particulier décrit se base sur l'utilisation des dérivés partielles de la fonction E par rapport à l'image reconstruite M en cours de traitement pour minimiser la fonction E, tout autre techniques permettant de minimiser la fonction E est applicable. S'agissant du mode de réalisation non limitatif décrit, il est possible de calculer une matrice locale de dérivées partielles dE/di( ,w') où i(v,w) est une des données ou un paramètre contenue dans un pixel ou un bloc, aux coordonnées (v,w), de l'image reconstruite M en cours de traitement. Aussi, la minimisation de E reviendra, selon le mode de réalisation, à calculer dE pour en trouver la valeur optimale. dE peut être exprimée comme étant la somme des dérivées partielles dE/di(y,w).
Tel que détaillée plus haut, il est préférable de mettre en œuvre le procédé sur des blocs d'images. Outre les paramètres R, G, B, V et Z, il peut être avantageux d'utiliser d'autres dérivées partielles par rapport à d'autres paramètres tels que, par exemple, un paramètre de dilatation de bloc et/ou un paramètre de contour de blocs représentatifs des effets de dilatation et de contour d'objets de la scène (contour qui peut, dans certains cas, être considéré comme un bloc. Il peut également être avantageux de considérer la position de tout pixel ou tout bloc d'image comme un paramètre, ce qui ajouterait à dE les dérivées partielles dE)dv et dE/dw.
Aussi, Selon le mode de réalisation, dE peut s'écrire :
[Math dE = d
Figure imgf000028_0001
[Math dE = d
Figure imgf000028_0002
[Math dE = (
Figure imgf000028_0003
Enfin, il est rappelé que cette minimisation de E est réalisée à chaque itération k de chaque phase de traitement Pt. Aussi, la dérivée dE, ainsi que chacune des dérivées partielles dE/di(y,w) peut être indicée de l'itération k à laquelle elle est calculée ainsi que du temps t à laquelle a été acquise l'image source It associée à la phase de traitement t en cours d(E(R,G,B,Z,V,v,w)k,t) et dE/di(y,w')k t . La description du mode de réalisation utilisant les dérivées partielles pour la minimisation de la fonction E est transposée, directement, au terme D de différences. Aussi, la minimisation de E va tendre à ce que chacun des termes Di = dD/di( ,w)kt et Pi = dP/di( ,w k t soit minimisé, c'est-à-dire à réduire les disparités entre les différents paramètres de l'image reconstruite Mt en cours de traitement à l'itération k par rapport à l'image source It et guider la restitution de l'image vers ce qui est attendue.
La convolution de l'image reconstruite M par la PSF va concourir à diminuer le terme Di de distances. A ce titre, tout ce qui est décrit dans la demande s'agissant des PSF, de la discrétisation de la grille PSF, de transformation géométrique (TG) (de l'image avant convolution ou du produit de convolution) s'applique évidement ici.
Afin d'améliorer encore davantage la qualité de l'image, et en particulier la restitution des paramètres de profondeur et de vitesse, il est possible de mettre en œuvre l'étape de mise à jour de l'information de profondeur et de vitesse durant la phase de traitement, c'est-à-dire entre deux itérations k de la phase de traitement. Dans ce cas, l'étape de mise à jour s'effectue à partir de l'image reconstruites Mgt en cours de traitement dans la boucle itérative associée à l'image source Igt et l'image reconstruite Mdt en cours de traitement dans la boucle itérative associée à l'image source Idt. Une transformation géométrique (TG) peut parfois s'avérer nécessaire avant la comparaison. Cette étape est décrite en détail plus bas.
En complément, préférentiellement, des opérations de recherches ou d'extraction de contours sont à mener sur l'image reconstruite M ou reconstruite M en cours de traitement à au moins certaines itérations, afin de créer, déplacer des éléments de l'image reconstruite M ou reconstruite M en cours de traitement.
La distance D ou les distances Di sont donc issues des images reconstruites convoluées Mt (*) PSF (ou TG(image reconstruite Mt (*) PSF) alors que P ou les Pi sont issues directement des images reconstruites Mt.
A la fin d'une phase de traitement Pt, soit la valeur de E est jugée suffisamment petite, soit une estimation des gradients par rapport à elle est suffisamment petite, soit on limite le nombre d'itération pour estimer que l'image obtenue est restituable.
Les calculs des distances Di sont faits préférentiellement sur l'ensemble des positions des photosites. Il convient donc de calculer les valeurs des différentes intensités des couleurs à partir de [Math. 4]. Les pénalités Pi peuvent être calculées en des positions non nécessairement liées aux positions des photosites. Elles peuvent l'être à partir de pixels ou de groupe de pixels de l'image reconstruite Mt-1 à l'itération précédente k-1, ou à partir de propriétés d'objets plus grands, sans nécessairement faire apparaître les propriétés de couleurs selon la grille précise de restitution des images ou de la PSF par exemple, mais par un calcul plus global à partir de propriétés de l'objet.
De manière générale, et pour chaque système d'imagerie considéré, la fonction décrivant la réponse de l'au moins un système d’imagerie, la PSF selon le mode de réalisation non limitatif, peut dépendre :
- d'une distance Z entre le capteur optique et un objet de la scène imagée par le capteur optique, et/ou
- d'une position relative du système d'imagerie considéré par rapport à au moins un autre système d'imagerie, et/ou
- d'une distance entre une partie du système d'imagerie et le capteur optique du système d'imagerie, et/ou
- d'une distance entre une partie du système d'imagerie et un objet de la scène imagée par le capteur optique, et/ou
- d'un état du système d'imagerie, tel qu'un réglage de zoom ou focus ou d'ouverture numérique du système d'imagerie, et/ou
- du pixel de l'image en cours de reconstruite M ou de l'image reconstruite M en cours de traitement et/ou de l'image restituée C et/ou du photosite du capteur, et/ou
- de ou des informations contenue(s) dans chaque pixel ou groupe ou bloc de pixels de l'image convoluée, et/ou
- de chaque position dans le champ de l'image, en particulier en fonction de la profondeur de l'objet, et/ou
- de chaque pixel ou groupe ou bloc de pixels, en particulier en fonction de l'information de profondeur contenu dans chaque pixel ou groupe de pixel), et/ou
- d'un ou plusieurs angles entre le capteur optique et le système d'imagerie.
Un des objectifs de l'invention étant d'améliorer et fiabiliser l'information de profondeur contenue dans les images enrichies, il est important que la PSF soit fonction, entre autres, du champ de profondeur pour que l'image restituée C soit nette, ait une profondeur de champ effective maximale et rende compte, précisément, de la distance entre les objets de la scène et l'objectif et/ou le capteur. Ainsi, pour une image reconstruite M donnée, il y aura donc au moins autant de PSF que de pixels ou bloc(s) d'image comprenant une information de profondeur différente.
La distance séparant les systèmes d'imagerie 2 doit être connue. De préférence, les systèmes d'imagerie 2 sont immobiles les uns par rapport aux autres. L'orientation, relative et/ou les uns par rapport aux autres, du capteur et/ou de l'objectif et/ou des systèmes d'imagerie 2 entre eux est connue. Dans le cas d'un smartphone ou d'une voiture, tous ces paramètres sont connus et ne changent pas.
La distance Z entre le capteur optique et un objet de la scène imagée par le capteur optique est connue ou, de préférence, déterminée ou calculée selon l'invention. Aussi, les informations de profondeur déterminées ou calculées peuvent servir à nourrir la PSF lors des mises en œuvre successives des étapes du procédé selon l'invention.
Bien que la phase de traitement P puisse suffire à obtenir une image améliorée C, en particulier comportant des informations de profondeur et de vitesse solidifiées. L'étape de reconstruction n'est pas nécessairement mise en œuvre préalablement ou durant chaque phase de traitement. Il est même possible que le procédé ne comprenne pas d'étape de reconstruction. Il est possible, par exemple, d'affecter une valeur d'information de profondeur et/ou de vitesse prédéterminée ou par défaut aux pixels de l'image source It. La phase de traitement P décrite plus haut permettra d'améliorer les informations de profondeur et/ou de vitesse tel que décrit ci-dessus. Il est même possible d'enrichir l'image source It avec plusieurs valeurs d'information de profondeur et/ou de vitesse, certains blocs se voyant, par exemple, attribuer une valeur de profondeur et/ou de vitesse différente de certains autres blocs. Toutefois, pour améliorer encore davantage la qualité des images restituées C, il est préférable que le procédé comprenne une étape de reconstruction.
En référence aux FIGURES 3 à 5, le procédé 1 comprend préalablement à et/ou, respectivement, au cours de la phase de traitement, une étape de reconstruction de l'image reconstruite Mdt, Mgt ou respectivement de l'image reconstruite Mdt, Mgt en cours de traitement à partir d'au moins une image source I et/ou d'au moins une image reconstruite M et/ou d'au moins une image reconstruite M en cours de traitement et/ou d'au moins une image restituée C. Aussi, au moins une partie des pixels de l'image reconstruite Mdt, Mgt comprend une information de profondeur. Il est entendu par image reconstruite une image dont au moins une partie des pixels comprend une information de profondeur. Autrement dit, hormis les images sources I, l'ensemble des images du procédé sont enrichies avec une information de profondeur, en particulier est enrichie avec un champ de profondeurs.
Le procédé présente un intérêt particulier lorsque les systèmes d'imagerie, la scène imagée et/ou des objets de la scène imagée sont en déplacement relatif l'un (les uns) par rapport à l'autre (aux autres). En effet, dans ce cas, il est avantageux que l'étape de reconstruction comprenne une extraction de l'information de profondeur de la scène imagée. Toutefois, l'information de profondeur peut ne pas être extraite ou ne pas être extraite préalablement à ou au cours de chaque phase de traitement p. En effet, à titre d'exemple non limitatif, l'étape de reconstruction peut être mis en œuvre à partir d'informations de profondeur non extraites mais obtenues par ou provenant de, par exemple, un système de mesure d'informations de profondeur tel que, par exemple dans le cas d'un véhicule autonome, un LIDAR. Cette information de profondeur peut être ajoutée et/ou substituée dans au moins une partie des pixels d'une image (source I, reconstruite M, reconstruite M en cours de traitement ou restituée C) afin d'obtenir une image reconstruite Mdt, Mgt. Toujours à titre d'exemple non limitatif, l'étape de reconstruction, c'est-à-dire l'obtention d'une image reconstruite Mdt, Mgt, peut comprendre ou consister en un déplacement de blocs d'images, par exemple de l'image restituée Cdt-1, Cgt-1 à la phase de traitement Pt-1 précédente, selon un champ de vitesses et/ou un champ de profondeurs (de préférence, mais non nécessairement, contenu dans la table de pixels représentant l'image).
A cet effet, le procédé peut également comprendre une extraction de données de vitesse et/ou l'étape d'initialisation peut comprendre un ajout et/ou une substitution de données de vitesse à partir d'au moins deux images sources It, It- l,It-2..., d'au moins deux images reconstruite Mt, Mt-1, Mt-2..., d'au moins deux images reconstruites Mt, Mt-1, Mt-2... en cours de traitement, d'au moins deux images restituées Ct, Ct-1, Ct- 2..., d'au moins une image source It-1, It-2, It-3... et au moins une image resituée Ct, Ct-1, Ct-2..., d'au moins une image reconstruite Mt-1, Mt-2, Mt-3 et au moins une image restituée Ct, Ct-1, Ct-2... ou d'au moins une image source It-1, It-2, It-3... et au moins une image reconstruite Mt, Mt-1, Mt-2. De la même manière, le procédé peut également comprendre une étape de mise à jour de l'information de vitesse contenue dans une image à partir à partir d'au moins deux images sources It, It- l,It-2..., d'au moins deux images reconstruite Mt, Mt-1, Mt-2..., d'au moins deux images reconstruites Mt, Mt-1, Mt-2... en cours de traitement, d'au moins deux image restituée Mt, Mt-1, Mt-2..., d'au moins une image source It-1, It-2, It-3... et au moins une image resituée Ct, Ct-1, Ct- 2..., d'au moins une image reconstruite Mt-1, Mt-2, Mt-3 et au moins une image restituée Ct, Ct-1, Ct-2... ou d'au moins une image source It-1, It-2, It-3... et au moins une image reconstruite Mt, Mt-1, Mt-2 mais également à partir d'images reconstruites Mt en cours de traitement à des itérations k-1, k-2, k-3... précédentes de la boucle itérative 3 de la phase de traitement Pt en cours. L'extraction de données ou d'informations de vitesse est réalisée à partir de deux images distinctes (ou plus), de préférence, mais pas nécessairement, acquises par un même système d'imagerie 2, à deux temps distincts de sorte que les objets en mouvement dans la scène imagée se trouvent en deux positions distinctes sur les deux images (ou plus) comparées.
Selon un mode de réalisation non limitatif, l'extraction du champ de vitesses comprend la comparaison de deux images ou plus provenant d'un même système d'imagerie 2 (d ou g) et acquises en des temps distincts. Une étape d'identification d'un pixel ou d'un groupe ou un bloc de pixels commun aux deux images (ou plus) comparées est réalisée. Cette étape vise à identifier un même objet qui est présent sur les deux images comparées. La comparaison porte sur une information ou valeur ou donnée quelconque contenue dans les pixels de la matrice de pixels des images comparées. De manière préférée mais non limitative, les informations peuvent être donnée de couleur et/ou donnée de texture, et/ou donnée luminosité, et/ou donnée de teinte, et/ou donnée de saturation, et/ou donnée RVB.
Lorsque les objets communs aux deux images ont été identifiés, l'information vitesse est extraite à partir des positions (et/ou de la différence de position) du pixel ou du groupe ou bloc de pixel identifié sur les deux images comparées et du temps écoulé entre les deux images (laps de temps entre t et t-1 par exemple si les deux images comparées sont It et It-1). Il est à noter qu'une extraction à partir des images restituées (par exemple Rt et Rt-1) est avantageuse du fait de la meilleure qualité, de la meilleure résolution et du peu de défauts que comprennent les images restituées selon le procédé en comparaison aux images sources I.
La connaissance de la vitesse de déplacement relative des systèmes d'imagerie 2 par rapport à la scène imagée, et éventuellement des systèmes d'imagerie 2 les uns par rapport aux autres, peut être prise en compte pour une meilleure résolution du champ de vitesses extrait ou même peut être utilisé pour en déduire le champ de vitesses qui pourra ainsi être ajouté et/ou substitué dans la table de pixel de l'image. Dès lors, le champ de vitesses n'est pas nécessairement déterminé par extraction mais peut être obtenue par ou provenir de, par exemple, un système de mesure d'informations de profondeur tel que, par exemple dans le cas d'un véhicule autonome, un compte tour, un tachymètre ou un LIDAR. Ainsi, selon l'invention, les images (reconstruites Mt, reconstruites Mt en cours de traitement et restituées Ct) peuvent également être enrichies avec un champ de vitesses. Par conséquent, le champ de vitesses contenu dans les images (reconstruites Mt-1, Mt-2, Mt-3..., reconstruites Mt-1, Mt-2, Mt-3... en cours de traitement et restituées Ct-1, Ct-2, Ct-3...) provenant de phases de traitement précédentes Pt-1, Pt-2, Pt-3 peut être utilisé pour la mise en œuvre de l'étape d'extraction, de l'étape d'initialisation (y compris le déplacement de blocs d'images selon le champ de vitesses) et de l'étape de mise à jour des données de vitesse.
De préférence, pour une, plusieurs ou chacune des phases de traitement P le procédé 1 comprend, de préférence, une étape de reconstruction mise en œuvre préalablement à la, les ou à chacune des phases de traitement P. En référence aux FIGURES 3 à 5, l'étape de reconstruction mise en œuvre préalablement à la phase de traitement P est dite étape d'initialisation. En outre, de manière alternative, de préférence de manière complémentaire, l'étape de reconstruction peut être mise en œuvre au cours de la phase de traitement. Ceci est particulièrement avantageux lorsqu'une grande disparité entre les images sources Id et Ig et/ou les images reconstruites Md et Mg et/ou les images restituées Cd et Cg est observée ou lorsque les différences D sont importantes. L'étape de reconstruction mise en œuvre au cours de la phase de traitement P est dite étape de mise à jour des informations de profondeur. Toutefois, dans certains cas, par exemple lorsque peu de disparités ou pas de disparités notables sont observées entre les images sources Id et Ig et/ou les images reconstruites Md et Mg et/ou les images restituées Cg et Cd ou lorsque les différences D sont faibles ou négligeables, le procédé peut ne pas comprendre, pour une ou plusieurs phases de traitement P, d'étape de reconstruction. Dans ce cas, l'image restituée Ct-1 à la phase de traitement Pt-1 peut être utilisée comme image reconstruite Bt à la phase de traitement Pt, avec éventuellement la mise en œuvre de déplacements de blocs de l'image Ct-1 (tel que décrit en détail plus haut et plus bas) préalablement à la phase de traitement Pt.
Pour une phase de traitement Pt considérée, l'étape de reconstruction permet donc l'obtention d'une image (reconstruite Mt, reconstruite Mt en cours de traitement ou restituée Ct) dans laquelle de l'information de profondeur a été ajoutée et/ou substituée dans au moins une partie des pixels.
En outre, tel que détaillée plus haut, l'efficacité de la phase de traitement permet d'alléger les ressources nécessaires au traitement des images sources Idt, Igt et permet donc de traiter les images sources Idt, Igt en temps réel et de restituer des images Cdt, Cgt préalablement à l'acquisition des images sources Idt+1, Igt+1. Ainsi, en référence à la FIGURE 1, l'image Ct, associée à l'image source It acquise au temps t, qui est restituée à l'issue de l'itération Kl, est généralement et idéalement obtenue avant l'acquisition de l'image source Ct+1. Ainsi, l'image restituée Ct peut être utilisée pour la phase de traitement Pt+1, et le cas échéant pour les phases de traitement subséquentes Pt+2, Pt+3.... L'image reconstruite Mdt ou reconstruite Mdt en cours de traitement peut être utilisée pour la reconstruction d'une image reconstruite Mdt+1, Mdt+2 associée à une autre image source (de préférence subséquente) Idt+1, Idt+2 ou pour la reconstruction d'une image reconstruite Mgt, Mgt+1, Mgt+2 associée à une image source Igt, Igt+1, Igt+2 provenant d'un autre système d'imagerie. L'image restituée Cdt peut être utilisée pour la reconstruction d'une image reconstruite Mdt+1, Mdt+2 associée à une autre image source (de préférence subséquente) Idt+1, Idt+2 ou pour la reconstruction d'une image reconstruite Mgt, Mgt+1, Mgt+2 associée à une image source Igt, Igt+1, Igt+2 provenant d'un autre système d'imagerie. Cela présente un intérêt particulier car la phase de traitement permet d'obtenir des images reconstruites M en cours de traitement et des images restituées C dont la qualité est bien supérieure à celles des images sources I. Aussi, l'étape de reconstruction est, de préférence, mise en œuvre à partir d'images reconstruites Mt ou d'images reconstruites Mt en cours de traitement ou, de manière particulière avantageuse, à partir d'images restituées Rt-1 à la phase de traitement précédente, et/ou aux phases de traitement précédentes. De cette manière, l'information de profondeur étant extraite à partir d'images de meilleure qualité (ne contenant peu ou pas de défauts, ou, a minima, moins de défauts que les images sources), l'information de profondeur contenue dans les images restituées C est plus fiable, plus précise et comprend moins d'erreurs.
L'étape d'initialisation et/ou l'étape de mise à jour de l'information de profondeur peuvent être mises en œuvre par extraction de l'information de profondeur à partir d'au moins deux images (source I, reconstruite B, reconstruite B en cours de traitement et/ou restituée R). En référence à la FIGURE 6 est illustré une méthode d'extraction de l'information de profondeur connue de l'homme du métier sous l'appellation de comparaison photogrammétrique. Cette méthode est bien connue de l'homme du métier et ne sera pas décrite en détail. Cette méthode comprend la comparaison de deux images ou plus provenant de systèmes d'imagerie distincts 2 (deux ou plus) placés en deux positions distinctes de l'espace. Une étape d'identification d'un pixel ou d'un groupe ou un bloc de pixels commun aux deux images (ou plus) comparées est réalisée. Cette étape vise à identifier un même objet qui est présent sur les deux images comparées. La comparaison porte sur une information ou valeur ou donnée quelconque contenue dans les pixels de la matrice de pixels des images comparées. De manière préférée mais non limitative, les informations peuvent être donnée de couleur, et/ou donnée de texture, et/ou donnée luminosité, et/ou donnée de teinte, et/ou donnée de saturation, et/ou donnée RVB.
Lorsque les objets communs aux deux images ont été identifiés, on mesure ou détermine, pour chaque objet commun, la disparité, entre autres le décalage (en coordonnées ou positions des pixels) de l'objet commun d'une image par rapport à l'autre. En pratique l'information de profondeur est extraite, à partir des disparités, conformément à la FIGURE 6 en utilisant des principes d'optique et de géométrie à la disposition de l'homme du métier. Il est à noter que le mode de réalisation présenté ne constitue qu'un exemple non limitatif. L'homme du métier saura adapter cette méthode ou choisir une autre des méthodes existantes.
A la différence de l'extraction du champ de vitesses qui est réalisée, de préférence à partir de deux images d'une même scène acquises à deux différents t, t-1, l'extraction du champ de profondeurs est réalisée, de préférence, à partir de deux images différentes, acquises au même temps t, provenant de la même scène. Toutefois, il est à noter que dans les deux cas, il se peut que des objets soient occultés par certains autres objets de la scène de sorte que le champ de vitesses et/ou de profondeur associé à ces objets ne puisse être extrait. Dès lors, le déplacement de blocs d'images, selon le champ de vitesse et/ou de profondeur (tel que décrit en détail plus haut et plus bas) permet de solutionner ce problème.
Dans le cas d'un véhicule autonome, l'extraction de l'information de profondeur permet, entre autres, de ne pas équiper le véhicule autonome d'un LIDAR. Dans ce cas, l'extraction de l'information de profondeur peut être réalisée par comparaison d'au moins deux images sources I. Lors de l'étape d'initialisation, la comparaison peut avantageusement être réalisée à partir des deux images sources Idt, Igt acquises au temps t. Dans le cas où aucune information de profondeur n'est fournie par un système de mesure de l'information de profondeur, l'étape d'initialisation par comparaison des deux images sources IdtO, IgtO acquises au temps tO est nécessaire de sorte que les images reconstruites MdtO, MgtO comprennent une information de profondeur préalablement à la mise en œuvre de la phase de traitement PO. L'information de profondeur extraite est renseignée dans tout ou partie des pixels de la matrice de pixels des images sources IdO, IgO utilisées lors de la comparaison pour obtenir les images reconstruites MdO, MgO. Il est à noter que l'extraction peut être réalisée par comparaison d'autant d'images sources I acquises au même temps t dès lors qu'elles comprennent ou correspondent à, au moins en partie, une même scène.
L'extraction de l'information de profondeur par comparaison d'au moins deux images sources It acquises au temps t, peut être mise en œuvre, pour toute étape d'initialisation et pour toute étape de mise à jour de l'information de profondeur (et non pas seulement pour l'étape d'initialisation ni seulement pour les images sources 10 acquises au temps t=0). En outre, pour toute image source It (quel que soit le temps d'acquisition t), si le pas de l'image reconstruite Mt diffère du pas de l'image source It associée, par exemple du fait de calculs de transformation géométriques, il convient alors d'interpoler les valeurs des pixels dans le repère de l'image reconstruite Mt, pour obtenir une matrice de représentation aux positions compatibles avec la matrice par exemple de PSF pour que les coefficients de sorties de la convolution Image reconstruite B (*) PSF correspondent aux positions des photosites, sans décalage. A défaut de cette précaution, la qualité de l'image reconstruite Mt, et donc l'image restituée Ct, peut comporter des défauts tels que des décalages entre les couleurs restituées, faisant apparaître par exemple des résidus de franges colorés autour des éléments de l'image restituée, on des micro-distorsions géométriques liées à ces parties fractionnaires dans les indices de positions calculées non prises en comptes.
En référence aux FIGURES 3 à 5, et pour les phases de traitement P où t>0, l'extraction de l'information de profondeur, utilisé pour la mise en œuvre de l'étape de reconstruction, peut également être réalisée à partir de la comparaison :
- d'au moins une image source, par exemple : Idt et Igt, ou d'au moins deux images reconstruites, par exemple : Mdt et Mdt-1 et/ou Mgt et Mgt-1 et/ou Mdt et Mgt, ou d'au moins deux images reconstruites M en cours de traitement, par exemple : Mdt et Mdt-1 et/ou Mgt et Mgt-1 et/ou Mdt et Mgt, ou d'au moins deux images restituées, par exemple : Cdt-1 et Cdt-2 et/ou Cgt-1 et Cgt-2 et/ou Cdt-1 et Cgt-1, ou d'au moins une image source (Idt ou Igt) avec au moins une image restituée M, de préférence à une phase de traitement précédente (par exemple Mdt-1 ou Mgt- 1) (ou à des phases de traitement précédentes Mdt-2, Mdt-3... ou Mgt-2, Mgt- 3...), ou d'au moins une image source (Idt ou Igt) avec au moins une image reconstruite (Mdt ou Mgt) et/ou avec au moins une image reconstruite (Mdt ou Mgt) en cours de traitement, ou d'au moins une image source (Idt ou Igt) avec au moins une image restituée C, de préférence à une phase de traitement précédente (par exemple Cdt-1 ou Cgt- 1) (ou à des phases de traitement précédentes Cdt-2, Cdt-3... ou Cgt-2, Cgt-3...), ou d'au moins une image reconstruite (Mdt ou Mgt) et/ou d'au moins une image reconstruite (Mdt ou Mgt) en cours de traitement avec au moins une image restituée C, de préférence à une phase de traitement précédente (par exemple Cdt-1 ou Cgt-1) (ou à des phases de traitement précédentes Cdt-2, Cdt-3... ou Cgt-2, Cgt-3...), ou d'au moins une image reconstruite (Mdt ou Mgt) en cours de traitement avec au moins une image reconstruite (Mdt ou Mgt).
De préférence, lorsque l'extraction est réalisée par comparaison d'une image source I avec une image reconstruite M, une image reconstruite M en cours de traitement ou une image restituée C, l'image source I est convoluée par une fonction inverse de la PSF, dite iPSF, préalablement à sa comparaison avec l'image reconstruite M, l'image reconstruite M en cours de traitement ou l'image restituée C. Ceci permet d'obtenir une meilleure corrélation entre l'image source I et l'image à laquelle elle est comparée. L'iPSF est choisie de sorte que la composition de la PSF avec l'iPSF tende à donner la fonction identité au moins sur les basses fréquences de l'image (qui ont dans l'ensemble un bon rapport signal sur bruit). L'inversion de la PSF est arbitraire car on ne peut pas inverser (en général amplifier) toutes les bandes de fréquences, seules les bandes ayant un bon rapport signal à bruit peuvent être amplifiées pour éviter de dégrader l'image. Il s'agit de la notion connue dans la littérature, de filtrage de Wiener: typiquement, on calcule la transformée de Fourier spatiale (en dimension 2) de la PSF. De préférence, on applique une amplification des basses fréquences jusqu'à un certain seuil (typiquement une fréquence qui peut être préalablement déterminée de sorte à ne pas dégrader l'image) de telle sorte à faire un gain de PSF composé avec iPSF plat jusqu'au seuil. De préférence encore, on limite volontairement l'amplitude des fréquences plus élevées pour limiter l'apparition de bruits et artéfacts à haute fréquence dans l'image. Préférentiellement, à partir des PSF, on calcule une certaine inversion de la matrice la représentant, cela au moins sur les fréquences spatiales les plus basses, significatives. A partir de cette matrice dite iPSF, qui peut être préférentiellement spécifique en fonction de chaque longueur d'onde, et de chaque position dans le champ de l'image, et d'une ou des informations ou données ou valeurs contenues dans un pixel ou dans un ou chaque groupe ou bloc de pixels, en particulier en fonction de la profondeur de l'objet de chaque objet, l'on procède à un produit de convolution avec les valeurs des photosites voisins issus de l'image source I pour produire une première valeur d'image reconstruite M ou de l'image reconstruite M en cours de traitement pour initialiser la table de restitution.
Préalablement à la comparaison d'images entre elles (source(s) I, reconstruite(s) M, reconstruite(s) M en cours de traitement et/ou restituée(s) C), il peut être avantageux de recourir à une entité dite transformation géométrique (TG) fournissant un canal de transformation géométrique de chaque scène pour la faire coïncider spatialement entre les différentes images. Cette TG n'est généralement pas linéaire pour prendre en compte des différences de distorsions entre les systèmes d'imageries 2 et que la modélisation des distorsions géométriques n'est pas parfaite, ou que la scène s'est déplacée relativement à un ou plusieurs systèmes d'imageries. Par exemple, la TG de chaque image source, par exemple IdO, IgO acquises à t=0, peut être calculée par exemple en cherchant des optimums de corrélation en déplaçant des parties d'une image source IdO par rapport à une autre image source IgO. La translation ayant permis d'obtenir la meilleure corrélation est conservée pour les comparaisons d'images subséquentes (à t>0). Cette opération est à répéter sur l'ensemble de plusieurs parties de chaque image, non nécessairement exhaustivement sur toutes les parties de l'image. De préférence, le champ de translations obtenu est interpolé par une méthode d'interpolation par exemple linéaire, ou de préférence cubique, ou toute autre méthode qui permet une telle interpolation. C'est l'ensemble de ces interpolations qui permet d'obtenir une couverture complète du champ de l'image pour obtenir chaque opérateur TG.
Tel que mentionné ci-dessus, pour les phases de traitement P>PO où t>0, et pour une phase de traitement P considérée, l'étape de reconstruction est réalisée, sans extraction de l'information de profondeur à partir d'images, par déplacement de blocs d'images, selon un champ de vitesses et/ou un champ de profondeurs :
- de l'image restituée Ct-1 obtenue à la phase de traitement Pt-1, en particulier pour obtenir une image reconstruite Mt (étape d'initialisation), ou - de l'image reconstruite Mt à la phase de traitement Pt, en particulier pour obtenir l'image reconstruite Mt en cours de traitement (étape de mise à jour de l'information de profondeur préalablement à une ou plusieurs des itérations k>0 de la phase de traitement Pt), ou
- de l'image reconstruite Mt-1 à la phase de traitement Pt-1, en particulier pour obtenir l'image restituée Ct-1 (étape de mise à jour de l'information de profondeur réalisée lors de la dernière itération k=K2 de la phase de traitement Pt), ou
- de l'image source It, en particulier pour obtenir une image reconstruite Mt (étape d'initialisation).
L'étape d'initialisation, par extraction de l'information de profondeur à partir d'au moins deux images sources Idt, Igt, peut être mise en œuvre une unique fois préalablement à la première phase de traitement PO. Les étapes de reconstruction subséquentes, mises en œuvre préalablement ou au cours des phases de traitement subséquentes (P>PO à t>0) peuvent être mise en œuvre sans extraction de profondeur mais, par exemple :
- par déplacement de blocs d'une image (source I, reconstruite M, reconstruite M en cours de traitement ou restituée C) selon un champ de vitesses et/ou un champ de profondeurs, ou
- par ajout et/ou modification de l'information de profondeur dans au moins une partie des pixels d'une image (source I, reconstruite M, reconstruite M en cours de traitement ou restituée C) obtenue par ou provenant d'un système de mesure d'informations de profondeur.
De préférence, le procédé 1 comprend la mise en œuvre d'au moins une étape de reconstruction, de préférence d'au moins une étape d'initialisation, par images sources traitées It, c'est-à-dire par phases de traitement Pt.
Le champ de vitesses peut également être pris compte lors de l'étape de reconstruction. Le champ de vitesses est préférentiellement associé à des objets identifiés au sein d'une image. Aussi, afin de prolonger ce champ dans les parties des objets où des données de vitesse sont manquantes, on peut déplacer localement l'image associée à l'instant t-1 pour fabriquer l'image attendue à l'instant t. Pour cela, chaque objet peut être déplacé selon ses propres vitesses en prenant en compte le temps écoulé entre t-1 et t. A titre d'exemple, il pourrait être déterminé la meilleure corrélation autour de déplacement des éléments d'une image associée à l'instant t-1 pour fabriquer l'initialisation de l'image reconstruite Mt au temps t. La corrélation est établie, par exemple, entre l'image source It convoluée par l'iPSF et l'image reconstruite Mt-1, l'image reconstruite Mt-1 en cours de traitement ou, de préférence, l'image restituée Ct-1 dans lesquelles sont réalisés des déplacements de pixels ou de blocs d'image selon le champ de vitesses. Autrement dit, cela revient à envisager les déplacements d'objets, selon le champ de vitesses de profondeurs et pour un l'intervalle de temps compris entre t et t-1 écoulé dans l'image reconstruite Mt-1, l'image reconstruite Mt-1 en cours de traitement ou, de préférence, l'image restituée Ct-1, faire varier la position des objets obtenue de sorte à obtenir la meilleure corrélation. Ainsi, la connaissance d'objets cachés, ainsi que de leur profondeur et/ou de leur vitesse, dans l'image source It sont connus.
Tel que précisé ci-dessus, le champ de profondeurs (Z) peut également être prise en compte lors de l'étape de reconstruction pour calculer et identifier des objets cachés à l'instant t. En effet, selon l'invention, les images (reconstruites Mt-1, Mt-2, Mt-3..., reconstruites Mt-1, Mt-2, Mt-3... en cours de traitement et restituées Ct-1, Ct-2, Ct-3...) provenant de phases de traitement précédentes Pt-1, Pt-2, Pt-3... sont enrichies avec un champ de profondeurs. Dès lors, il convient de déplacer les objets, généralement localement, selon le champ de profondeurs, de préférence en les ordonnant, selon le champ de profondeurs, lors de la reconstruction. En pratique, seuls les pixels de la matrice de pixels correspondant aux objets de la scène les plus proches des systèmes d'imagerie, c'est-à-dire ceux dont les variations de position sont les plus marquées, sont déplacés. Ainsi, l'image reconstruite Mt-1, l'image reconstruite Mt-1 en cours de traitement ou, de préférence, l'image restituée Ct-1 peut, au moins en partie, servir de base pour l'étape de reconstruction de l'image reconstruite Ct. En outre, l'information de profondeur contenue dans la matrice de pixels peut permettre de générer un empilement de plans d'objets à différentes profondeurs. Chaque plan comprendra les objets présents à la profondeur du plan considéré. Dans ce cas, le déplacement d'objets, selon le champ de profondeurs, pourra être réalisé dans chaque plan de l'empilement de plan. Les calculs peuvent en être simplifiés en ce que seuls les objets compris dans les plans de la scène les plus proches des systèmes d'imagerie 2 sont déplacés. De manière générale, il est à noter que le champ de profondeurs contenu dans les images (reconstruites Mt-1, Mt-2, Mt-3..., reconstruites Mt-1, Mt-2, Mt-3... en cours de traitement et restituées Ct-1, Ct-2, Ct-3...) provenant de phases de traitement précédentes Pt-1, Pt-2, Pt-3... peut être utilisé pour la mise en œuvre de l'étape d'extraction, de l'étape d'initialisation (y compris le déplacement de blocs d'images selon le champ de profondeur) et de l'étape de mise à jour.
La reconstruction de l'image reconstruite M comprenant la prise en compte du champ de vitesses et/ou de profondeurs est particulièrement avantageuse car elle permet de connaître la position d'objets cachés, ainsi que leur profondeur dans la scène imagée, dans l'image source It. Cette information, renseignée dans la matrice de pixels sans qu'elle ne soient nécessairement restituée dans l'image restituée Mt affichée, est cruciale dans le cas des véhicules autonomes car le système de conduite automatique contient des informations, non présentent dans et non déductible depuis l'image source It, lui permettant, par exemple, d'anticiper la présence à venir d'un obstacle sur la trajectoire ou la détection d'un panneau de circulation ou d'un feu de signalisation qui n'est pas visible sur l'image source It.
De manière générale, toutes les caractéristiques se rapportant au champ de profondeurs (quelles concernent les images enrichies, l'enrichissement des images, la reconstruction des images, la phase de traitement P des images, l'extraction de données, l'étape d'initialisation, l'étape de mise à jour des données de profondeur...) est transposables, mutatis mutandis, au champ de vitesses et inversement.
De manière générale, selon l'invention, il est avantageux, lors d'extraction de données (information de profondeur, champ de vitesses et champ de profondeurs) et/ou lors de l'étape d'initialisation (y compris lors de déplacements d'objets selon le champ de vitesses, ou selon le champ de vitesses et le champ de profondeurs, lors de la reconstruction de l'image reconstruite Mt à k>0), d'utiliser comme base(s) ou image(s) de départ (pour l'extraction et ou pour l'initialisation ou pour le déplacement de blocs), une image restituée Ct-1 à la phase de traitement précédente Pt-1 ou une image restituée Ct-2, Ct-3 ... à une des phases de traitement précédentes Pt-2, Pt-3..., car celle-ci comportera déjà les toutes les différentes modifications apportées lors de la phase de traitement précédente Pt-1. Cela peut réduire les itérations pour obtenir l'image restituée Ct à l'a phase de traitement Pt en comparaison de la méthode par composition avec la iPSF par exemple. De plus, l'image source It est généralement proche de l'image restituée Ct-1 à la phase de traitement Pt-1 qui réalise les critères de sortie de la boucle d'itération (phase de traitement), car peu de détails changent entre it-1 et it, sauf le déplacement d'objets. La convergence de la boucle d'itération peut alors être d'autant plus rapide, c'est-à-dire comprendre moins d'itérations. Ainsi l'on obtient de la sorte une image plus proche de l'image de fin d'itération k, que lors de l'initialisation à it= 0 ou lors d'un changement de plan. La translation de parties d'image (selon le champ de vitesses et selon le champ de vitesses et le champ de profondeurs) est généralement moins consommatrice de ressources que les calculs de convolutions avec PSF. En effet, elles correspondent à des décalages de pixels, et/ou des interpolations, monodimensionnelles alors que la PSF est bidimensionnelle. Ainsi ce procédé d'initialisation est particulièrement avantageux. Il permet généralement de faire moins d'itérations k durant la phase de traitement. Il permet également de ne réaliser des calculs que sur des parties d'images à affiner, sans avoir réaliser des calculs sur l'ensemble de l'image et pour des parties où l'image remplie déjà les critères de comparaison (comme c'est le cas dans les procédés de traitement d'images de l'état de l'art ou une succession d'étapes réalisées sur la totalité de l'image sont mise en œuvre).
De manière générale, et tel que détaillé ci-dessus, il est avantageux d'extraire des données et/ou de mettre en œuvre l'étape d'initialisation à partir d'une image restituée Ct-1 à la phase de traitement précédente Pt-1 ou à partir d'une image restituée Ct-2, Ct-3 ... à une des phases de traitement précédentes Pt-2, Pt-3.... La phase de traitement précédente Pt-2, Pt-3... jusqu'à laquelle il est possible de remonter pour en utiliser l'image restituée Ct-2, Ct-3... dépend, en particulier, de la fréquence d'acquisition des images sources I, de la vitesse de déplacement des objets dans la scène et/ou des systèmes d'imagerie 2 relativement à la scène. En outre, le temps écoulé entre l'acquisition de l'image source It-2, It-3... associée à la phase de traitement précédente Pt-2, Pt-3... jusqu'à laquelle il est possible de remonter pour en utiliser l'image restituée Ct-2, Ct-3... et l'acquisition de l'image source It correspondant à la phase de traitement Pt en cours ne doit pas être trop élevé de sorte que la majeure partie des objets de la scène soient toujours présents dans la scène. Le fait que les objets se soient déplacés, même de manière notable, durant ce laps de temps n'est pas critique en ce qu'il est possible d'identifier les objets identiques (ayant des positions différentes) sur différentes images. En outre, et en particulier pour l'extraction de profondeur et/ou de vitesse, il peut être intéressant d'effectuer des comparaisons multiples entre des images reconstruites Ct-1 avec Ct-2 et Ct-1 avec Ct-3 et Ct-2 avec Ct-3... pour obtenir une tendance de variation de profondeur et/ou de vitesse des objets de la scène et ainsi mieux prévoir et anticiper la position et/ou la profondeur des objets à venir. Cela permet également d'obtenir une information de profondeur et/ou de vitesse plus précise et fiable.
De manière générale, tout ce qui est détaillé ci-dessus en ce qui concerne l'extraction des données et/ou la mise en œuvre l'étape d'initialisation à partir d'images restituées Ct-1, Ct-2, Ct-3... à des phases de traitement précédentes Pt-1, Pt-2, Pt-3... est directement transposable à l'étape de mise à jour réalisée à partir d'images reconstruites Mt-1, Mt-2, Mt-3... ou d'images reconstruites Mt-1, Mt-2, Mt-3 en cours de traitement à des phases de traitement précédentes Pt-1, Pt-2, Pt-3... mais également à partir d'images reconstruites Mt en cours de traitement à des itérations k-1, k-2, k- 3... précédentes de la boucle itérative 3 de la phase de traitement Pt en cours.
Toutefois, rien ne s'oppose à ce que l'étape d'initialisation comprenne la reconstruction de l'image reconstruite Mt à partir de l'image source It, puis de convoluer l'image ainsi reconstruite Mt par l'iPSF, puis, éventuellement, de déplacer des pixels ou des blocs de l'image ainsi reconstruite convoluée Mt selon le champ de vitesses ou selon le champ de vitesses et le champ de profondeurs tel que décrit ci-dessus. En particulier, il est avantageux que l'étape de reconstruction, et en particulier l'étape d'initialisation soit réalisée par extraction de l'information par comparaison des images sources Idt, Igt dès lors que des distorsions significatives de position dans la PSF sont présentes, ou que des aberrations de focalisation (flou) seraient attendues, afin de bénéficier de données plus précises en Z préalablement à la phase de traitement Pt. En effet, dans ce cas, la convolution par l'iPSF de l'image source I, avant reconstruction, peut être préférable car cela permet de prendre en compte des distorsions de positions et précorrection des aberrations de focalisation (correction du 'flou') qui fournit des images plus précises et plus fidèles de la scène imagée. Par conséquent, cela s'avère avantageux car l'extraction est réalisée à partir d'images plus précises et contenant moins d'erreurs et permet donc une meilleure évaluation de la disparité entre les images comparées et donc de la profondeur.
Ainsi, en résumé, et selon les variantes de l'invention et/ou les modes de réalisations de l'invention et/ou la combinaison des variantes et modes de réalisation, l'invention a pour avantages : ne pas produire de réduction de la netteté à une étape de réduction de bruit qu'il convient de compenser ensuite, difficilement pour garder une bonne homogénéité de la compensation sur toute l'image, et/ou
- d'éviter l'apparition de franges colorées souvent visibles autour des contours des objets de l'image, et/ou - d'éviter l'apparition de bruit de couleur (sorte de neige rouge, vert, bleu) à l'intérieur de la texture des objets, ou plus généralement dans certaines zones de l'image, et/ou
- d'inclure à l'image restituée toutes les corrections de prise en compte de distorsion, ainsi que de perte de netteté, de façon homogène et précise sur toute l'image, et/ou
- d'éviter des effets de fausse couleur dans des parties de la texture des objets, et/ou
- d'améliorer la netteté sur l'ensemble de la profondeur de champ de l'image, et cela au-delà de la zone de netteté de la distance hyperfocale, pourvu de prendre en compte le Z de chaque objet dans les PSF (X, Y, Z), et/ou
- de fournir des images enrichies avec un champ de profondeur (Z) et/ou un champ de vitesse présentant une information de profondeur et/ou de vitesse précise, et/ou
- de connaître la position et/ou le déplacement et/ou la profondeur d'objets cachés, c'est-à-dire d'objets non observables car occultés par d'autres objets de la scène, et/ou
- de prédire ou prévoir le déplacement et/ou la position à venir d'objets de la scène imagée et/ou la profondeur et/ou les changements de profondeur à venir desdits objets.
Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.
Ainsi, dans des variantes combinables entre elles des modes de réalisation précédemment décrits : l'image reconstruite Mt est obtenue par fusion d'au moins deux images reconstruites, par exemple Mt-1 et Mt-2 ou Mdt-1 et Mgt-1, et/ou la phase de traitement P comprend une étape de fusion d'au moins deux images restituées, par exemple Cdt et Cgt et/ou Cdt-1 et Cdt, pour fournir au moins une image restituée Ct, et/ou il est proposé selon l'invention un dispositif, un système ou tout appareil comprenant une unité de traitement mettant en œuvre l'un quelconque des modes de réalisation de procédé selon l'invention venant d'être décrit pour corriger/traiter/restituer des images acquises par un ou plusieurs systèmes d'imagerie 2 dudit dispositif, dudit système ou dudit appareil ou pour corriger/traiter/restituer des images stockées dans ledit dispositif, ledit système ou ledit appareil, ledit dispositif, ledit système ou ledit appareil pouvant être, à titre d'exemples non limitatifs : un téléphone mobile intelligent (ou smartphone), un ordinateur, un appareil photographique, un véhicule, un drone, un appareil médical ou un satellite, et/ou il est proposé selon l'invention un dispositif, un système, engin (de préférence motorisé) ou tout appareil comprenant une unité de traitement mettant en œuvre l'un quelconque des modes de réalisation de procédé selon l'invention venant d'être décrit pour corriger/traiter/restituer des images acquises par un ou plusieurs systèmes d'imagerie 2 dudit dispositif, dudit système, dudit engin ou dudit appareil ou pour corriger/traiter/restituer des images stockées dans ledit dispositif, ledit système, ledit engin ou ledit appareil, ledit dispositif, ledit système, ledit engin ou ledit appareil pouvant être, à titre d'exemples non limitatifs : un téléphone mobile intelligent (ou smartphone), une tablette, un appareil photographique, un véhicule, un drone, un appareil médical ou un satellite, et/ou il est proposé une utilisation des images restituées Ct, de préférence d'un flux d'images restituées Ct, obtenues par mise en œuvre du procédé selon l'invention à partir d'images, de préférence d'un flux d'images, de préférence provenant d'un smartphone, pour alimenter, de préférence avec un flux continu d'images restituées Ct, un espace tridimensionnel virtuel (par exemple, le metaverse), et/ou une utilisation de l'un quelconque des modes de réalisation de dispositif selon l'invention venant d'être décrit et/ou de l'un quelconque des modes de réalisation du procédé selon l'invention venant d'être décrit au sein d'un dispositif, d'un système, d'un engin ou d'un appareil venant d'être décrit ou au sein d'une unité de traitement à partir d'images, de préférence un flux d'images, provenant d'un dispositif, d'un système, d'un engin ou d'un appareil venant d'être décrit, et/ou il est proposé selon l'invention un programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l'un quelconque des modes de réalisation décrits, et/ou il est proposé selon l'invention un support lisible, en particulier, par ordinateur ou par tout appareil comprenant une unité de traitement comprenant des instructions qui, lorsqu'elles sont exécutées par ledit ordinateur ou ledit appareil conduisent celui-ci à mettre en œuvre le procédé selon l'un quelconque des modes de réalisation décrits.
De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l'invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.

Claims

REVENDICATIONS
1. Procédé de restitution (1) d'au moins une image à partir d'une ou de plusieurs images sources, chaque image source étant une image d'une scène obtenue par un capteur optique d'un système d'imagerie (2), ledit procédé est mis en œuvre par un engin, un véhicule ou un drone et comprend :
- une phase de traitement P d'une image reconstruite M, associée à une image source I, dont au moins une partie des pixels comprend une information de profondeur et/ou au moins une information de vitesse, à l'issue de la phase de traitement une image restituée C est obtenue pour chaque image reconstruite traitée, la phase de traitement comprend une modification itérative de l'image reconstruite de façon à minimiser une fonction E comprenant :
• un terme D, dit de différences, déterminé par comparaison de l'image reconstruite convoluée par une fonction d'étalement du point (PSF) avec l'image source, à laquelle l'image reconstruite est associée, la PSF décrivant la réponse du système d'imagerie à partir duquel l'image source utilisée pour la comparaison est obtenue, et
• un terme A, dit d'anomalies, représentatif de défauts ou anomalies au sein de l'image reconstruite, déterminé à partir l'image reconstruite.
2. Procédé (1) selon la revendication précédente, comprenant préalablement à et/ou, respectivement, au cours de la phase de traitement, une étape de reconstruction de l'image reconstruite M ou respectivement de l'image reconstruite en cours de traitement à partir d'au moins une image source et/ou d'au moins une image reconstruite et/ou d'au moins une image reconstruite M en cours de traitement et/ou d'au moins une image restituée C.
3. Procédé (1) selon la revendication précédente, comprenant une extraction de l'information de profondeur et/ou l'information de vitesse de la scène imagée par comparaison d'au moins deux images sources I ou d'au moins deux images reconstruites M ou d'au moins deux images reconstruites M en cours de traitement ou d'au moins deux images restituées C ou d'au moins une image source avec au moins une image restituée ou avec une image reconstruite ou avec une image reconstruite en cours de traitement.
4. Procédé (1) selon la revendication 2 ou 3, dans lequel l'étape de reconstruction comprend une convolution de l'image source I, à laquelle l'image reconstruite est associée, par une fonction inverse de la PSF, dite iPSF, décrivant la réponse du système d'imagerie à partir duquel l'image source, convoluée par l'iPSF, est obtenue.
5. Procédé (1) selon l'une quelconque des revendications 2 à 4, dans lequel l'étape de reconstruction comprend un déplacement de blocs :
- selon un champ de vitesse, d'une image source I, d'une image reconstruite M, d'une image reconstruite M en cours de traitement ou d'une image restituée C, et/ou
- selon un champ de profondeur, d'une image reconstruite M, d'une image reconstruite M en cours de traitement ou d'une image restituée C.
6. Procédé (1) selon l'une quelconque des revendications précédentes, dans lequel le terme D est déterminé par comparaison de :
- l'image reconstruite M convoluée avec la PSF ou de l'image reconstruite M en cours de traitement convoluée avec la PSF, avec
- l'image source I, à laquelle l'image reconstruite est associée.
7. Procédé (1) selon la revendication précédente, comprenant, préalablement à la comparaison de l'image reconstruite M convoluée avec la PSF ou de l'image reconstruite M en cours de traitement convoluée avec la PSF avec l'image source I, à laquelle l'image reconstruite est associée, un étalement, au moins localement, selon un champ de vitesse et/ou selon une durée d'acquisition de ladite image source I, de pixel(s) ou de groupe(s) ou bloc(s) de pixels de ladite image reconstruite convoluée avec la PSF ou de ladite image reconstruite en cours de traitement convoluée avec la PSF.
8. Procédé (1) selon l'une quelconque des revendications précédentes, dans lequel la phase de traitement P comprend, préalablement à la convolution de l'image reconstruite M ou de l'image reconstruite M en cours de traitement avec la PSF, une sélection de la PSF.
9. Procédé (1) selon l'une quelconque des revendications précédentes, dans lequel la modification itérative (3) de l'image reconstruite M s'achève lorsque la fonction E, ou une combinaison de dérivées partielles de la fonction E par rapport à l'image reconstruite M en cours de traitement, est inférieure à un seuil de minimisation, ou lorsqu'un certain nombre d'itérations de la modification itérative de l'image reconstruite est atteint ; l'au moins une image reconstruite ainsi modifiée est restituée.
10. Procédé (1) selon l'une quelconque des revendications précédentes, dans lequel l'image reconstruite M est obtenue par fusion d'au moins deux images reconstruites.
11. Procédé (1) selon l'une quelconque des revendications précédentes, dans lequel la phase de traitement P comprend une étape de fusion d'au moins deux images restituées C pour fournir au moins une image restituée.
12. Procédé (1) selon l'une quelconque des revendications précédentes, dans lequel, pour un système d'imagerie (2) considéré, la PSF dépend :
- d'une orientation d'un axe optique du système d'imagerie considéré relativement à au moins un autre axe optique d'un autre système d'imagerie, et/ou
- d'une position relative du système d'imagerie considéré par rapport à au moins un autre système d'imagerie, et/ou
- d'une distance entre le capteur du système d'imagerie considéré et un objet imagé par le capteur du système d'imagerie considéré, et/ou
- d'une distance entre une partie du système d'imagerie considéré et l'au moins un capteur, et/ou
- d'une distance entre une partie du système d'imagerie considéré et un objet imagé par le capteur du système d'imagerie considéré, et/ou
- d'un état du système d'imagerie, tel qu'un réglage de zoom ou focus ou d'ouverture numérique du système d'imagerie, et/ou
- du pixel ou d'un groupe ou d'un bloc de pixels d'une image source ou d'une image reconstruite ou d'une image restituée et/ou d'un photosite du capteur du système d'imagerie considéré, et/ou
- d'une ou des informations contenues dans un pixel ou un groupe ou bloc de pixels d'une image, et/ou
- d'un ou plusieurs angles entre le capteur optique du système d'imagerie considéré et le système d'imagerie.
13. Procédé (1) selon la revendication 2 ou l'une quelconque des revendications 3 à 12 prise en combinaison avec la revendication 2, dans lequel l'au moins une image source I comprend un ensemble d'images sources consistant en une succession temporelle d'images sources (Itl, It2...) acquises à des temps (tl, t2...) différents, chaque phase de traitement (Pl, P2...), chaque étape de reconstruction, chaque image reconstruite (Ml, M2...) et chaque image restituée (Cl, C2...) sont associées à une image source obtenue à un temps t donné.
14. Procédé (1) selon la revendication 13, dans lequel l'image reconstruite Mt, associée à l'image source It, est obtenue par comparaison :
- d'une image obtenue par déplacements de blocs de l'image restituée Ct-1, ou de l'image reconstruite Mt-1 ou de l'image reconstruite Mt-1 en cours de traitement, à la phase de traitement Pt-1, avec - l'image source It, à laquelle l'image reconstruite Mt est associée, convoluée par la fonction inverse de la PSF, dite iPSF, décrivant la réponse du système d'imagerie (2) à partir duquel l'image source It est obtenue.
15. Procédé (1) selon la revendication 13 ou 14, dans lequel, l'image reconstruite Mt est obtenue à partir de l'image source It à laquelle l'image reconstruite Mt est associée.
16. Procédé (1) selon l'une quelconque des revendications 13 à 15, dans lequel l'image reconstruite Mt, associée à l'image source It, est obtenue à partir de l'image restituée Ct-1 obtenue à la phase de traitement Pt-1.
17. Procédé (1) selon la revendication 2 ou l'une quelconque des revendications 3 à 12 prise en combinaison avec la revendication 2, dans lequel l'au moins une image source I comprend un ensemble d'images sources (Id, Ig...) acquises par des systèmes d'imageries (d, g...) différents, chaque phase de traitement (Pd, Pg...), chaque image reconstruite (Md, Mg...) et chaque image restituée (Cd, Cg...) sont associées à une image source I acquises par un système d'imagerie (2) différent ; les systèmes d'imageries étant disposés de sorte à acquérir, au moins en partie, une même scène.
18. Procédé (1) selon la revendication précédente, dans lequel l'étape de reconstruction de l'image reconstruite Mt est réalisée à partir :
- d'une image source Id ou d'une image restituée Cd, et
- d'une image source Ig ou d'une image restituée Cg.
19. Procédé (1) selon la revendication 17 ou 18 prise en combinaison avec l'une quelconque des revendications 13 à 16, dans lequel chacune des images sources de l'ensemble d'images sources (Idtl, Idt2, Igtl, Igt2...) est acquise par un système d'imagerie distinct (2) (d, g...) à un temps donné (tl, t2...), chaque phase de traitement (Pdtl, Pdt2, Pgtl, Pgt2...), chaque image reconstruite (Mdtl, Mdt2, Mgtl, Mgt2...) et chaque image restituée (Cdtl, Cdt2, Cgtl, Cgt2...) sont associées à une image source (Idtl, Idt2, Igtl, Igt2...) obtenue par un système d'imagerie donné et à un temps t donné.
20. Dispositif de traitement de données comprenant des moyens agencés et/ou programmés et/ou configurés pour mettre en œuvre le procédé (1) selon l'une quelconque des revendications 1 à 19.
21. Programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé (1) selon l'une quelconque des revendications 1 à 19.
22. Support lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé (1) selon l'une quelconque des revendications 1 à 19.
PCT/FR2023/050402 2023-03-21 2023-03-21 Procede de correction d'images Ceased WO2024194540A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380096159.5A CN121039697A (zh) 2023-03-21 2023-03-21 图像校正方法
EP23738061.3A EP4684355A1 (fr) 2023-03-21 2023-03-21 Procede de correction d'images
PCT/FR2023/050402 WO2024194540A1 (fr) 2023-03-21 2023-03-21 Procede de correction d'images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FR2023/050402 WO2024194540A1 (fr) 2023-03-21 2023-03-21 Procede de correction d'images

Publications (1)

Publication Number Publication Date
WO2024194540A1 true WO2024194540A1 (fr) 2024-09-26

Family

ID=87136558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2023/050402 Ceased WO2024194540A1 (fr) 2023-03-21 2023-03-21 Procede de correction d'images

Country Status (3)

Country Link
EP (1) EP4684355A1 (fr)
CN (1) CN121039697A (fr)
WO (1) WO2024194540A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418243B1 (en) * 1996-03-07 2002-07-09 B. Ulf Skoglund Apparatus and method for providing high fidelity reconstruction of an observed sample
CN104574423A (zh) * 2015-02-03 2015-04-29 中国人民解放军国防科学技术大学 基于球面像差标定的单透镜成像psf估计算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418243B1 (en) * 1996-03-07 2002-07-09 B. Ulf Skoglund Apparatus and method for providing high fidelity reconstruction of an observed sample
CN104574423A (zh) * 2015-02-03 2015-04-29 中国人民解放军国防科学技术大学 基于球面像差标定的单透镜成像psf估计算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAUDHURI S ET AL: "Simultaneous estimation of super-resolved scene and depth map from low resolution defocused observations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 25, no. 9, 1 September 2003 (2003-09-01), pages 1102 - 1117, XP011100736, ISSN: 0162-8828, DOI: 10.1109/TPAMI.2003.1227986 *
PUNNAPPURATH ABHIJITH ET AL: "Multi-Image Blind Super-Resolution of 3D Scenes", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 26, no. 11, 4 July 2017 (2017-07-04), USA, pages 5337 - 5352, XP093093019, ISSN: 1057-7149, DOI: 10.1109/TIP.2017.2723243 *

Also Published As

Publication number Publication date
CN121039697A (zh) 2025-11-28
EP4684355A1 (fr) 2026-01-28

Similar Documents

Publication Publication Date Title
Wronski et al. Handheld multi-frame super-resolution
CA2592293C (fr) Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
EP2174289A2 (fr) Procede de traitement d'objet numerique et systeme associe.
FR2998126A1 (fr) Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR3047103A1 (fr) Procede de detection de cibles au sol et en mouvement dans un flux video acquis par une camera aeroportee
WO2021245290A1 (fr) Génération de modèles 3d à l'échelle à partir d'images 2d produites par un dispositif d'imagerie monoculaire
FR3053817A1 (fr) Methode et systeme de reconstruction d'une representation tridimensionnelle
EP0961227B1 (fr) Procédé de détection de la profondeur relative entre deux objects dans une scène à partir d'un couple d'images issues de prises de vues différentes
EP3301644B1 (fr) Procédé de construction d'une carte de profondeur d'une scène et/ou d'une image entièrement focalisée
WO2024194540A1 (fr) Procede de correction d'images
WO2024194541A1 (fr) Procede de correction d'images, au sein d'un appareil utilisateur
WO2024194542A1 (fr) Procede de correction d'images, au sein d'un vehicule
Schedl et al. Coded exposure HDR light‐field video recording
Chang et al. Anti-aliasing for light field rendering
FR3135553A1 (fr) Procédé de correction globale d’une image, et système associé
CA3131716C (fr) Procede de generation d'un point de vue stereoscopique a valeur d'entraxe modifiable
WO2025012527A1 (fr) Procede de traitement d'une image d'une scene pour restituer un changement de point de vue de la scene
Fanfani et al. Restoration and Enhancement of Historical Stereo Photos through Optical Flow
EP3999865A1 (fr) Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure
Yu et al. Racking focus and tracking focus on live video streams: a stereo solution
WO2025012530A1 (fr) Procede pour obtenir une pile d'images, produit programme d'ordinateur mettant en œuvre un tel procede
WO2025141252A1 (fr) Procede de rendu 3d pour visiocasques et dispositifs d'affichages 3d a partir d'une image d'une scene
WO2025141251A1 (fr) Procede de traitement d'images d'une scene pour restituer un changement de point de vue de la scene
WO2025257479A1 (fr) Procede et dispositif de determination d'une carte de profondeur d'une scene a partir d'une pile d'images de ladite scene

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23738061

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023738061

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023738061

Country of ref document: EP

Effective date: 20251021

ENP Entry into the national phase

Ref document number: 2023738061

Country of ref document: EP

Effective date: 20251021

ENP Entry into the national phase

Ref document number: 2023738061

Country of ref document: EP

Effective date: 20251021

ENP Entry into the national phase

Ref document number: 2023738061

Country of ref document: EP

Effective date: 20251021

ENP Entry into the national phase

Ref document number: 2023738061

Country of ref document: EP

Effective date: 20251021

ENP Entry into the national phase

Ref document number: 2023738061

Country of ref document: EP

Effective date: 20251021

WWP Wipo information: published in national office

Ref document number: 2023738061

Country of ref document: EP