EP4449703A1 - Camera multispectrale a acquisition " snapshot " (instantanee) - Google Patents

Camera multispectrale a acquisition " snapshot " (instantanee)

Info

Publication number
EP4449703A1
EP4449703A1 EP22834649.0A EP22834649A EP4449703A1 EP 4449703 A1 EP4449703 A1 EP 4449703A1 EP 22834649 A EP22834649 A EP 22834649A EP 4449703 A1 EP4449703 A1 EP 4449703A1
Authority
EP
European Patent Office
Prior art keywords
elementary
macropixel
spectral band
super
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22834649.0A
Other languages
German (de)
English (en)
Inventor
Philippe Foubert
Thierry TOUATI
Clotilde PEYROT
Nicolas Roux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran Electronics and Defense SAS
Original Assignee
Safran Electronics and Defense SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran Electronics and Defense SAS filed Critical Safran Electronics and Defense SAS
Publication of EP4449703A1 publication Critical patent/EP4449703A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths

Definitions

  • the invention relates to the field of multispectral cameras, and, in particular, multispectral cameras used to carry out decamouflage operations.
  • Multispectral imaging consists of discretely acquiring the energy reflected or emitted by a surface in a plurality of spectral bands, whether contiguous or not (classically between 3 and 20 spectral bands).
  • the acquisition is carried out by a multispectral acquisition device comprising a multispectral sensor capable of measuring spectra (of reflectance or luminance in particular) in ranges of wavelengths corresponding to spectral bands located for example in the visible range. and/or in the infrared range.
  • a multispectral acquisition device comprising a multispectral sensor capable of measuring spectra (of reflectance or luminance in particular) in ranges of wavelengths corresponding to spectral bands located for example in the visible range. and/or in the infrared range.
  • a VJC acquisition device provides images very close to what a human being sees. These images are particularly relevant for knowing the “context” of the decamouflage, that is to say for restoring the characteristics of the scene (of the vegetation in particular) in which the target is located. It has therefore been envisaged, in order to achieve the decamouflage, to use an acquisition system comprising a multispectral acquisition device, a VJC acquisition device, and a processing unit.
  • the multispectral acquisition device produces multispectral images
  • the VJC acquisition device produces VJC images
  • the processing unit combines the multispectral images and the VJC images to achieve decamouflage.
  • Multispectral acquisition and VJC acquisition indeed present very different radiometric behaviors.
  • VJC acquisition technique on small pixels generates calibration difficulties.
  • VJC images are very sensitive to noise due to the size of the pixels.
  • the subject of the invention is an acquisition device making it possible to acquire multispectral images and VJC type images in a combined manner, and which does not have the drawbacks which have just been mentioned.
  • an acquisition device comprising:
  • each super-macropixel comprising a plurality of macropixels each comprising a plurality of elementary pixels, each super-macropixel being such that: o each macropixel of said super-macropixel forms a band-pass filter global allowing a global spectral band to pass, the global spectral bands being distinct and successive; o each elementary pixel of each macropixel of said super-macropixel forms an elementary band-pass filter allowing an elementary spectral band to pass, the elementary spectral bands being distinct and successive; o for any pair of two macropixels belonging to said super-macropixel and having a common side or a common side portion, the global spectral bands associated with the two macropixels are not adjacent;
  • a processing unit arranged to produce a multispectral image from output signals from the sensors, the multispectral image comprising hyperpixels each associated with an elementary pixel, each hyperpixel comprising spectral components each corresponding to a distinct elementary spectral band.
  • the acquisition device according to the invention is therefore capable, by using relevant global spectral bands, of producing on a single channel both multispectral images and color and infrared images.
  • each super-macropixel and the relative positions of the macropixels, make it possible to significantly reduce crosstalk and noise problems, which improves the accuracy and reliability of decamouflage.
  • each super-macropixel has the shape of a square and comprises four macropixels each also having the shape of a square, the macropixels comprising a first macropixel allowing a first global spectral band Bg1 , a second macropixel letting through a second global spectral band Bg2 , a third macropixel letting through a third global spectral band Bg3 and a fourth macropixel letting through a fourth global spectral band Bg4 , the macropixels being such that: Bg1 ⁇ Bg2 ⁇ Bg3 ⁇ Bg4 .
  • each super-macropixel is arranged so that the first macropixel is located at the top at left, the second macropixel is located at the bottom right, the third macropixel is located at the bottom left, and the fourth macropixel at the top right of said super-macropixel.
  • the first global spectral band is included in a blue spectral band
  • the second global spectral band is included in a green spectral band
  • the third global spectral band is included in a red spectral band
  • the fourth global spectral band is included in a near infrared spectral band.
  • each macropixel comprises a first elementary pixel allowing a first elementary spectral band Bel to pass, a second elementary pixel allowing a second elementary spectral band Be2 to pass, a third elementary pixel letting pass a third elementary spectral band Be3 , and a fourth elementary pixel allowing a fourth elementary spectral band Be4 to pass, the elementary pixels being such that:
  • each macropixel is arranged so that the first elementary pixel is located at the top left, the second elementary pixel is located at the top right, the third elementary pixel is located at the bottom left, and the fourth elementary pixel is located at the bottom right of said macropixel.
  • the processing unit is arranged to confer, on each spectral component of the hyperpixel associated with a particular elementary pixel of a particular super-macropixel, a value equal to the output signal of the sensor associated with the elementary pixel belonging to said particular super-macropixel and passing the elementary spectral band corresponding to said spectral component.
  • the processing unit is arranged to confer, on each spectral component of the hyperpixel associated with a particular elementary pixel of a particular super-macropixel, a value obtained by interpolation of the output signals from the sensors associated with elementary pixels neighboring the particular elementary pixel and allowing the elementary spectral band corresponding to said spectral component to pass.
  • the processing unit is arranged to confer, on each spectral component of the hyperpixel associated with a particular elementary pixel of a particular super-macropixel, a value equal to the output signal of the sensor associated with an elementary pixel, allowing the elementary spectral band corresponding to said spectral component to pass, said elementary pixel belonging to a sliding window having the size of a super-macropixel and to which the elementary pixel belongs particular .
  • An acquisition device as described above is also proposed, the processing unit being further arranged to produce a color and infrared image from the output signals of the sensors.
  • the processing unit is arranged, to produce the image in color and infrared, to implement an operation of spatial grouping of elementary pixels, then an algorithm color reproduction, the pixel grouping operation elements consisting in associating a single intermediate value with each macropixel of each super-macropixel, said intermediate value being obtained by weighting the output signals of the sensors associated with the elementary pixels of said macropixel.
  • an acquisition device as described above, further comprising a notch filter, positioned at the level of a pupil of a camera in which the acquisition device is integrated, the notch filter being designed to cut a boundary spectral band located between the third global spectral band and the fourth global spectral band.
  • frontier spectral band belongs at least partially to the red spectral band, and in which the third global spectral band is shifted so as not to present any overlap with the red spectral band. frontier spectral band.
  • a camera is also proposed comprising an acquisition device as previously described.
  • FIG. 1 represents an acquisition device according to the invention
  • FIG. 2 represents a mosaic of filters and a super-macropixel
  • FIG. 3 represents a super-macropixel
  • FIG. 4 illustrates a sub-sampling method that can be implemented to obtain hyperpixels associated with elementary pixels
  • FIG. 5 illustrates an interpolation method that can be implemented to obtain hyperpixels associated with elementary pixels
  • FIG. 6 illustrates a sliding window method that can be implemented to obtain hyperpixels associated with elementary pixels
  • FIG. 7 represents spectral bands of the resins and of the elementary pixels
  • FIG. 8 represents the frontier spectral band cut by a Notch filter.
  • the acquisition device according to the invention 1 comprises a mosaic of filters 2 , a photodetector 3 and an internal processing unit 4 .
  • the acquisition device 1 is integrated in a camera 6 .
  • An external processing unit 5 is connected to the internal processing unit 4 .
  • the external processing unit 5 is located at a distance from the camera 6, but it could perfectly be integrated into the camera 6 (and for example share electronic or software resources with the internal processing unit 4).
  • the mosaic of filters 2 contains n*m elementary pixels.
  • the photodetector 3 integrates a matrix of sensors also comprising n*m sensors, each sensor forming a physical pixel and being associated with a distinct elementary pixel.
  • the sensors are for example CCD sensors (for Charged Coupled Device) or CMOS (for Complementary Metal Oxide Semiconductor).
  • the internal processing unit 4 is an electronic and software unit.
  • the internal processing unit 4 acquires the output signals produced by the sensors and analyzes them to produce multispectral images and color and infrared images.
  • the external processing unit 5 is also an electronic and software unit.
  • the external processing unit 5 acquires the multispectral images and the color and infrared images and performs the decamouflage operation.
  • the internal processing unit 4 comprises at least one processing component 8 suitable for executing program instructions.
  • the processing component 8 is for example a microcontroller, a conventional processor, a GPU (for Graphics Processing Unit, which can be translated as “graphics processor"), a DSP (for Digi tal Signal Processor, which can be translated as “digital signal processor”), or else a programmable logic circuit such as an FPGA (for Field Programmable Gate Arrays) or an ASIC (for Application Specific Integrated Circuit).
  • a microcontroller for example a microcontroller, a conventional processor, a GPU (for Graphics Processing Unit, which can be translated as "graphics processor"), a DSP (for Digi tal Signal Processor, which can be translated as “digital signal processor"), or else a programmable logic circuit such as an FPGA (for Field Programmable Gate Arrays) or an ASIC (for Application Specific Integrated Circuit).
  • a programmable logic circuit such as an FPGA (for Field Programmable Gate Arrays) or an ASIC (for Application Specific Integrated Circuit).
  • the internal processing unit 4 also comprises at least one memory 9 making it possible in particular to store the instructions of the programs which have just been mentioned.
  • the external processing unit 5 comprises at least one processing component 10 and at least one memory 11 .
  • the mosaic of filters 2 includes SM super-macropixels which are all identical.
  • Each super-macropixel SM comprises a plurality of macropixels M each comprising a plurality of elementary pixels Pe.
  • each super-macropixel SM comprises four macropixels M each comprising four elementary pixels Pe.
  • Each super-macropixel SM and each macropixel M each have the shape of a square.
  • each macropixel M of said super-macropixel SM forms a global band-pass filter allowing a global spectral band to pass, the global spectral bands being distinct and successive.
  • the macropixels M therefore here comprise a first macropixel M1 letting through a first global spectral band Bg1, a second macropixel M2 letting through a second global spectral band Bg2, a third macropixel M3 letting through a third global spectral band Bg3 and a fourth macropixel M4 letting through pass a fourth global spectral band Bg4, the macropixels M being such that: Bg1 ⁇ Bg2 ⁇ Bg3 ⁇ Bg4.
  • the global spectral bands are equidistributed by subdomains Blue, Green, Red, Near Infrared.
  • the first global spectral band Bg1 is included in a blue spectral band
  • the second global spectral band Bg2 is included in a green spectral band
  • the third global spectral band Bg3 is included in a red spectral band
  • the fourth global spectral band Bg4 is included in a near infrared (NIR) spectral band.
  • NIR near infrared
  • the first macropixel M1 is made with a blue resin (ReB).
  • the second macropixel M2 is made with a green resin (ReV).
  • the third M3 macropixel is made with a red resin (ReR).
  • the fourth macropixel M4 is made with a PIR (ReP) resin.
  • each super-macropixel SM is arranged so that the first macropixel M1 is located in top left, the second macropixel M2 is located bottom right, the third macropixel M3 is located bottom left, and the fourth macropixel M4 is located top right of said super-macropixel SM.
  • each super-macropixel SM for any pair of two macropixels M belonging to said super-macropixel and having a common side or a common side portion, the global spectral bands associated with said two macropixels M are not adjacent.
  • adjacent global spectral bands we mean two bands which follow one another in the list mentioned earlier.
  • each elementary pixel Pe of said macropixel M forms a elementary band-pass filter allowing an elementary spectral band to pass, the elementary spectral bands being distinct and successive.
  • Be_B1 is the elementary spectral band of elementary pixel B1
  • Be_B2 is the elementary spectral band of elementary pixel B2
  • Be_B3 is the elementary spectral band of elementary pixel B3
  • Be_B4 is the elementary spectral band of elementary pixel B4.
  • Be_R1 is the elementary spectral band of the elementary pixel R1
  • Be_R2 is the elementary spectral band of the elementary pixel R2
  • Be_R3 is the elementary spectral band of the elementary pixel R3
  • Be_R4 is the elementary spectral band of the elementary pixel R4.
  • Be_PIR1 is the elementary spectral band of the pixel elementary PIR1
  • Be_PIR2 is the elementary spectral band of elementary pixel PIR2
  • Be_PIR3 is the elementary spectral band of elementary pixel PIR3
  • Be_PIR4 is the elementary spectral band of elementary pixel PIR4 .
  • each macropixel M comprises a first elementary pixel allowing a first elementary spectral band Bel to pass, a second elementary pixel allowing a second elementary spectral band Be2 to pass, a third elementary pixel allowing a third elementary spectral band Be3 to pass, and a fourth elementary pixel allowing a fourth elementary spectral band Be4 to pass, the elementary pixels being such that: Be1 ⁇ Be2 ⁇ Be3 ⁇ Be4.
  • the Bel, Be2, Be3, Be4 depend on the micropixel concerned.
  • each macropixel M is arranged so that the first elementary pixel of said macropixel M is located at the top left, the second elementary pixel is located at the top right , the third elementary pixel is located at the bottom left, and the fourth elementary pixel is located at the bottom right of said macropixel M .
  • the elementary band-pass filter of each elementary pixel Pe typically has an FWHM (Full Width at Half Maximum, or “width at half-height”) equal to about 20 nm.
  • the global band-pass filter of each macropixel M typically has an FWHM equal to about 80 nm.
  • the multispectral image comprises, for each elementary pixel Pe, a hyperpixel comprising a plurality of spectral components, ie one spectral component per elementary spectral band.
  • Each hyperpixel therefore comprises here 16 spectral components each associated with a distinct elementary spectral band.
  • the use of the mosaic of filters has the consequence that the filtered pixels are not spatially coherent.
  • the optics and the multispectral image formation algorithm are dimensioned to maximize the performance of the acquisition device 1, and in particular, to optimize the detection range (or the apparent size of the smallest detectable target). This dimensioning must be based on a prediction model of this detection range, or, at the very least, on an analytical model making it possible to position in relative terms the ranges given by different architectures of sensor, optics and shaping. spectral data.
  • the range is intimately linked to the angular extent of the zone which contributes to the formation of a hyperpixel, to the spatial sampling step of the hyperpixels, but also to the angular difference separating two points to avoid a "mixing spectral” in the evaluation of their respective spectrum.
  • Contributors are both the optics (resolving power) and the hypercube formation algorithm.
  • FIG. 4 illustrates a first reconstitution mode. We see four SM super-macropixels in Figure 4.
  • the first reconstitution mode consists, for the internal processing unit 4, in conferring, on each spectral component 14 of the hyperpixel HP associated with a particular elementary pixel Pe of a particular super-macropixel SM, a value equal to the signal sensor output associated with the elementary pixel Pe belonging to said particular super-macropixel SM and allowing the elementary spectral band corresponding to said spectral component 14 to pass.
  • the apparent size of the target that one seeks to disambiguate is greater than or equal to 2 ⁇ 2 macropixels M to always encompass at least one complete super-macropixel SM .
  • the first reconstruction mode introduces a relatively strong under-sampling.
  • this reconstitution mode has the advantage of not impacting the radiometry, since no interpolation or smoothing type processing is carried out.
  • the volume of data used to produce the multispectral image corresponds to the initial volume.
  • a second reconstitution mode consists, for the internal processing unit 4, in giving, to each spectral component of the hyperpixel HP associated with a particular elementary pixel Pe of a particular super-macropixel, a value obtained by interpolation of the output signals from the sensors associated with elementary pixels neighboring the particular elementary pixel and allowing the elementary spectral band corresponding to said spectral component to pass.
  • the internal processing unit 4 therefore restores, for each elementary pixel, a hyperpixel by calculating the value of the various spectral bands by interpolation from the values measured on the neighboring physical pixels corresponding to this band, as would do, for a color image, a “Bayer” type treatment.
  • the target In order not to mix the spectral bands (condition of non-mixing), the target should however have a width and a height which cover the elementary pixels entering into the interpolation algorithm.
  • FIG. 5 illustrates a case where the interpolation involves the elementary pixels of the same spectral band surrounding the hyperpixel to be calculated.
  • the choice of the second reconstitution mode, and therefore of the interpolation algorithm, can decrease the impact of the furthest physical pixel, and the non-mixing zone can tend to approach the size of the super-macropixel.
  • a third reconstitution mode consists, for the internal processing unit 4, in giving, to each spectral component of the hyperpixel associated with a particular elementary pixel of a particular super-macropixel, a value equal to output signal of the sensor associated with an elementary pixel, allowing the elementary spectral band corresponding to said spectral component to pass, said elementary pixel belonging to a sliding window 15 having the size of a super-macropixel and to which the particular elementary pixel belongs.
  • the hyperpixel HP1 is associated with the elementary pixel Pel while the hyperpixel HP2 is associated with the elementary pixel Pe2.
  • This mode therefore restores a hyperpixel for each physical pixel by assigning, for each elementary spectral band, the value of the closest physical pixel corresponding to this band. This therefore amounts to moving on the sensor, from pixel to pixel, the window 15 , and assigning to the corresponding hyperpixel the reordered values taken from this window 15 .
  • This solution makes it possible to calculate as many hyperpixels as physical pixels, and therefore to restore a “high resolution” spectral image.
  • This “nearest neighbour” logic is the one that limits the interpolation medium the most: whatever the position of the window 15, all the wavelengths are represented in a close neighborhood.
  • the target In order not to mix the spectral bands (condition of non-mixing), the target should however have a width and a height close to those of a super-macropixel SM.
  • VJC and PIRL near wide band infrared
  • the internal processing unit 4 produces a color and infrared image from the output signals of the sensors.
  • color and infrared image is meant an image forming a colored composition and produced from blue, red, green, and infrared (here near infrared) spectral bands.
  • the internal processing unit 4 first implements an operation of spatial binning of elementary pixels Pe (that is to say an operation of spatial grouping of elementary pixels Pe) . Spatial binning makes it possible to obtain an intermediate image.
  • Spatial binning consists of associating a single intermediate value with each macropixel M of each super-macropixel SM, said intermediate value being obtained by weighting the output signals from the sensors associated with the elementary pixels of said macropixel.
  • B Super-macropixel (i 0 , j 0 ) is the intermediate value of an elementary pixel Pe belonging to a first macropixel M1 (blue), ⁇ B is a first weighting coefficient, and the Pixels(i,j) are the output signals from the sensors associated with the elementary pixels Pe belonging to said first macropixel M1;
  • V Super-macropixel (i 0 , j 0 ) is the intermediate value of an elementary pixel Pe belonging to a second macropixel M2 (green), ⁇ V is a second weighting coefficient, and the Pixels(i,j) are the output signals from the sensors associated with the elementary pixels Pe belonging to said second macropixel M2;
  • R Super-macropixel (i 0 , j 0 ) is the intermediate value of an elementary pixel Pe belonging to a third macropixel M3 (red), ⁇ R is a third weighting coefficient, and the Pixels(i,j) are the output signals from the sensors associated with the elementary pixels Pe belonging to said third macropixel
  • a 2x2 spatial binning (by macropixel) is therefore implemented according to the groups.
  • a gain in sensitivity is thus obtained (because the colorimetric calibration is sensitive to noise in images with small pixels and in images with low flux).
  • the image is obtained by a single reading for 4 elementary pixels.
  • a spreading of the PSF (for Point Spread. Function, or point spreading function) is obtained by adjusting the optics along 2 ⁇ 2 elementary pixels (elementary pixel greater than or equal to 4 ⁇ m ⁇ 4 ⁇ m), and a stress relief on optics in terms of optical cut-off frequency. The optical resolution is reduced and the optical spot is spread.
  • the spatial grouping is carried out in hardware, that is to say by electronic components (and not software). This allows an improvement of the sensor signal-to-noise ratio.
  • the accumulated charges of each physical pixel are for example accumulated by using summation gates to obtain the intermediate values of the intermediate image.
  • the color and infrared image is then reconstituted from the intermediate image, and therefore from the synthesized bands of the macropixels of each super-macropixel.
  • the resins may have imperfections producing rebounds in the near infrared range. It may be relevant to improve the spectral zone of transition between the visible domain (B, G, R) and the near infrared domain, to prevent the transmission profiles of the resins from being disturbed.
  • a Notch filter (band-stop filter) positioned at the level of the pupil of the camera 6 is therefore used.
  • the Notch filter makes it possible to cut a border spectral band Bf located between the third global spectral band Bg3 (red) and the fourth global spectral band Bg4 (near infrared) .
  • the response of the Notch filter has a downward slope from a wavelength greater than 680nm, and an upward slope from a wavelength less than 730nm.
  • the frontier spectral band Bf to be situated in the red spectral band Br, as can be seen in FIG. 8.
  • the third global spectral band Bg3 is then shifted so that the third global spectral band Bg3 and the spectral band Bf border do not show any overlap.
  • the red components are thus much better separated from the near infrared components.
  • a quartz blade forming a low-pass filter is also used.
  • the low-pass filter is positioned just before the matrix of sensors and makes it possible to reduce the interference produced by the mosaic of filters.
  • the internal processing unit 4 produces a combined image from the multispectral image and the color and infrared image, and directly transmits the combined image to the external processing unit 5.
  • the external processing unit 5 acquires the multispectral image and the color and infrared image.
  • the external processing unit 5 then implements the supra decamouflage to attempt to detect the presence of the target.
  • the acquisition device 1 is configured to carry out a defocusing and a spreading of the PSF over the 4 ⁇ 4 elementary pixels Pe of each super-macropixel SM.
  • the hyperspectral image is formatted in absolute luminance with a calibration process.
  • the contrast enhancement method possibly uses transparency and/or afterglow effects (see for example document FR 3 011 663 B1).
  • a metric, representative of a contrast in the scene, is then used to perform the decamouflage.
  • the metric is calculated from the 16 elementary spectral bands.
  • the color and infrared image is reconstructed to constitute the support channel (no binning for the application). Calibration is done with binning. Bands B, V, R and PIRL are digitally synthesized.
  • the acquisition device 1 is configured to carry out a defocusing and a spreading of the PSF on the 2 ⁇ 2 macropixels M of the super-macropixel SM.
  • a gain in sensitivity is obtained because the analysis is made on the basis of the macropixel (2 ⁇ 2 elementary pixels).
  • the hyperspectral image is formatted with a VJC + PIRL calibration process.
  • a contrast enhancement method is then implemented.
  • the contrast enhancement process possibly uses transparency and/or afterglow effects.
  • a metric, representative of a contrast in the scene, is then used to perform the decamouflage.
  • the metric is calculated on 4 spectral bands only (due to binning).
  • the color and infrared image is reconstructed to constitute the support channel (binning is used for the application). Calibration is done with binning. Bands B, V, R and PIRL are digitally synthesized.
  • the overall spectral bands may well be different from those described here. Any band in the visible, near infrared PIR or NIR (Near InfraRed) domains, or short infrared SWIR (Short Wavelength Infrared), could for example be used.
  • NIR Near InfraRed
  • SWIR Short Wavelength Infrared
  • Super-macropixels and macropixels may be different from those presented here: different number of elementary pixels or macropixels, different shape of macropixels or super-macropixel, etc.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Dispositif d' acquisition (1) comportant une mosaïque de filtres (2 ) comprenant des super-macropixels ( SM), comportant chacun une pluralité de macropixels (M) comprenant chacun une pluralité de pixels élémentaires (Pe), chaque super-macropixel étant tel que : o chaque macropixel dudit super-macropixel forme un filtre passe-bande global laissant passer une bande spectrale globale, les bandes spectrales globales étant distinctes et successives; o chaque pixel élémentaire de chaque macropixel forme un filtre passe-bande élémentaire laissant passer une bande spectrale élémentaire (Bel, Be2, Be3, Be4 ), les bandes spectrales élémentaires étant distinctes et successives; o pour tout couple de deux macropixels ayant un côté commun ou une portion de côté commune, les bandes spectrales globales associées aux deux macropixels ne sont pas adjacentes.

Description

CAMERA MULTISPECTRALE A ACQUISITION « SNAPSHOT »
(INSTANTANEE)
L' invention concerne le domaine des caméras multispectrales , et , en particulier, des caméras multispectrales utilisées pour réaliser des opérations de décamouflage . ARRIERE PLAN DE L' INVENTION
Il est connu, pour réaliser une opération de décamouflage d' une cible (un véhicule blindé par exemple ) , d' utiliser la technique de l ' imagerie multispectrale .
L' imagerie multispectrale consiste à acquérir de façon discrète l ' énergie réfléchie ou émise par une surface dans une pluralité de bandes spectrales contigües ou non (classiquement entre 3 et 20 bandes spectrales ) .
L' acquisition est réalisée par un dispositif d' acquisition multispectrale comprenant un capteur multispectral capable de mesurer des spectres (de réflectance ou de luminance notamment) dans des gammes de longueurs d' onde correspondant à des bandes spectrales situées par exemple dans le domaine du visible et/ou dans le domaine de l ' infrarouge .
Pour améliorer les performances du décamouflage , il est intéressant d' utiliser aussi des images issues d' un dispositifs d' acquisition d' images de type VJC (pour Voie Jour Couleurs ) . Un dispositif d' acquisition VJC fournit des images très proches de ce que voit un être humain . Ces images sont notamment pertinentes pour connaître le « contexte » du décamouflage , c' est-à-dire pour restituer les caractéristiques de la scène (de la végétation en particulier) dans laquelle est située la cible . On a donc envisagé, pour réaliser le décamouflage, d'utiliser un système d'acquisition comprenant un dispositif d'acquisition multispectrale, un dispositif d'acquisition VJC, et une unité de traitement. Le dispositif d'acquisition multispectrale produit des images multispectrales , le dispositif d'acquisition VJC produit des images VJC, et l'unité de traitement combine les images multispectrales et les images VJC pour réaliser le décamouflage.
Cependant, l'utilisation en opération d'un système comprenant deux caméras distinctes n'est pas aisée. Le système est à la fois volumineux et présente une consommation élevée .
Par ailleurs, la combinaison de ces images est complexe à réaliser.
L'acquisition multispectrale et l'acquisition VJC présentent en effet des comportements radiométriques très différents .
Comme les deux dispositifs d'acquisition ne sont pas intégrés dans une même caméra, il n'y a pas de voie support pour le décamouflage, ce qui engendre des difficultés pour harmoniser et corriger les voies VJC et multispectrale, ainsi que des difficultés de calage spatio / temporel.
Par ailleurs, la technique d'acquisition VJC sur petits pixels engendre des difficultés de calibration. Les images VJC sont très sensibles au bruit du fait de la taille des pixels .
OBJET DE L' INVENTION
L'invention a pour objet un dispositif d'acquisition permettant d'acquérir de manière combinée des images multispectrales et des images de type VJC, et qui ne présente pas les inconvénients qui viennent d'être cités.
RESUME DE L'INVENTION En vue de la réalisation de ce but , on propose un dispositif d' acquisition comportant :
- une mosaïque de filtres comprenant des super- macropixels identiques , chaque super-macropixel comportant une pluralité de macropixels comprenant chacun une pluralité de pixels élémentaires , chaque super-macropixel étant tel que : o chaque macropixel dudit super-macropixel forme un filtre passe-bande global laissant passer une bande spectrale globale, les bandes spectrales globales étant distinctes et successives ; o chaque pixel élémentaire de chaque macropixel dudit super-macropixel forme un filtre passe-bande élémentaire laissant passer une bande spectrale élémentaire, les bandes spectrales élémentaires étant distinctes et successives ; o pour tout couple de deux macropixels appartenant audit super-macropixel et ayant un côté commun ou une portion de côté commune , les bandes spectrales globales associées aux deux macropixels ne sont pas adj acentes ;
- une matrice de capteurs associés chacun à un pixel élémentaire ; une unité de traitement agencée pour produire une image multispectrales à partir de signaux de sortie des capteurs , l ' image multispectrale comprenant des hyperpixels associés chacun à un pixel élémentaire, chaque hyperpixel comprenant des composantes spectrales correspondant chacune à une bande spectrale élémentaire distincte .
Le dispositif d' acquisition selon l ' invention est donc capable, en utilisant des bandes spectrales globales pertinentes , de produire sur une seule voie à la fois des images multispectrales et des images en couleur et infrarouge . On peut donc mettre en œuvre une opération de décamouf lage efficace en utilisant une seule caméra dans laquelle est intégré le dispositif d' acquisition ; on obtient donc une réduction de coût, de volume et de consommation .
La configuration particulière de chaque super- macropixel , et les positions relatives des macropixels , permettent de réduire très nettement la diaphonie et les problèmes de bruit, ce qui améliore la précision et la fiabilité du décamouflage .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel chaque super-macropixel a la forme d' un carré et comporte quatre macropixels ayant aussi chacun la forme d' un carré, les macropixels comprenant un premier macropixel laissant passer une première bande spectrale globale Bg1 , un deuxième macropixel laissant passer une deuxième bande spectrale globale Bg2 , un troisième macropixel laissant passer une troisième bande spectrale globale Bg3 et un quatrième macropixel laissant passer une quatrième bande spectrale globale Bg4 , les macropixels étant tels que : Bg1 < Bg2 < Bg3 < Bg4 .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel , lorsque la mosaïque de filtres est vue de face et orientée selon une orientation prédéfinie, chaque super-macropixel est agencé de sorte que le premier macropixel est situé en haut à gauche, le deuxième macropixel est situé en bas à droite , le troisième macropixel est situé en bas à gauche , et le quatrième macropixel en haut à droite dudit super-macropixel .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel la première bande spectrale globale est incluse dans une bande spectrale bleue , la deuxième bande spectrale globale est incluse dans une bande spectrale verte, la troisième bande spectrale globale est incluse dans une bande spectrale rouge, et la quatrième bande spectrale globale est incluse dans une bande spectrale du proche infrarouge .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel chaque macropixel comporte un premier pixel élémentaire laissant passer une première bande spectrale élémentaire Bel , un deuxième pixel élémentaire laissant passer une deuxième bande spectrale élémentaire Be2 , un troisième pixel élémentaire laissant passer une troisième bande spectrale élémentaire Be3 , et un quatrième pixel élémentaire laissant passer une quatrième bande spectrale élémentaire Be4 , les pixels élémentaires étant tels que :
Be1 < Be2 < Be3 < Be4 .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel , lorsque la mosaïque de filtres est vue de face et orientée selon l ' orientation prédéfinie, chaque macropixel est agencé de sorte que le premier pixel élémentaire est situé en haut à gauche , le deuxième pixel élémentaire est situé en haut à droite, le troisième pixel élémentaire est situé en bas à gauche , et le quatrième pixel élémentaire est situé en bas à droite dudit macropixel .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel l ' unité de traitement est agencée pour conférer, à chaque composante spectrale de l ' hyperpixel associé à un pixel élémentaire particulier d' un super-macropixel particulier, une valeur égale au signal de sortie du capteur associé au pixel élémentaire appartenant audit super-macropixel particulier et laissant passer la bande spectrale élémentaire correspondant à ladite composante spectrale .
On propose de plus un dispositif d' acquisition tel que précédemment décrit , dans lequel l ' unité de traitement est agencée pour conférer, à chaque composante spectrale de l' hyperpixel associé à un pixel élémentaire particulier d' un super-macropixel particulier, une valeur obtenue par interpolation des signaux de sortie des capteurs associés à des pixels élémentaires voisins du pixel élémentaire particulier et laissant passer la bande spectrale élémentaire correspondant à ladite composante spectrale .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel l ' unité de traitement est agencée pour conférer, à chaque composante spectrale de l ' hyperpixel associé à un pixel élémentaire particulier d' un super-macropixel particulier, une valeur égale au signal de sortie du capteur associé à un pixel élémentaire , laissant passer la bande de spectrale élémentaire correspondant à ladite composante spectrale , ledit pixel élémentaire appartenant à une fenêtre glissante ayant la taille d' un super-macropixel et à laquelle appartient le pixel élémentaire particulier .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, l ' unité de traitement étant en outre agencée pour produire une image en couleur et infrarouge à partir des signaux de sortie des capteurs .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel l ' unité de traitement est agencée, pour produire l ' image en couleur et infrarouge, pour mettre en œuvre une opération de regroupement spatial de pixels élémentaires , puis un algorithme de reproduction de couleur, l ' opération de regroupement de pixels élémentaires consistant à associer une unique valeur intermédiaire à chaque macropixel de chaque super- macropixel , ladite valeur intermédiaire étant obtenue par pondération des signaux de sortie des capteurs associés aux pixels élémentaires dudit macropixel .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, comprenant en outre un filtre coupe- bande, positionné au niveau d' une pupille d' une caméra dans laquelle est intégré le dispositif d' acquisition, le filtre coupe-bande étant conçu pour couper une bande spectrale frontière située entre la troisième bande spectrale globale et la quatrième bande spectrale globale .
On propose de plus un dispositif d' acquisition tel que précédemment décrit, dans lequel la bande spectrale frontière appartient au moins partiellement à la bande spectrale rouge , et dans lequel la troisième bande spectrale globale est décalée de manière à ne pas présenter de recouvrement avec la bande spectrale frontière .
On propose de plus une caméra comprenant un dispositif d' acquisition tel que précédemment décrit .
L' invention sera mieux comprise à la lumière de la description qui suit d' un mode de mise en œuvre particulier non limitatif de l ' invention .
BREVE DESCRIPTION DES DESSINS
Il sera fait référence aux dessins annexés parmi lesquels :
La figure 1 représente un dispositif d' acquisition selon l ' invention ;
La figure 2 représente une mosaïque de filtres et un super- macropixel ;
La figure 3 représente un super-macropixel ; La figure 4 illustre une méthode de sous-échantillonnage pouvant être mise en œuvre pour obtenir des hyperpixels associés aux pixels élémentaires ;
La figure 5 illustre une méthode d' interpolation pouvant être mise en œuvre pour obtenir des hyperpixels associés aux pixels élémentaires ;
La figure 6 illustre une méthode de fenêtre glissante pouvant être mise en œuvre pour obtenir des hyperpixels associés aux pixels élémentaires ;
La figure 7 représente des bandes spectrales des résines et des pixels élémentaires ;
La figure 8 représente la bande spectrale frontière coupée par un filtre Notch .
DESCRIPTION DETAILLEE DE L' INVENTION
En référence à la figure 1 , le dispositif d' acquisition selon l ' invention 1 comprend une mosaïque de filtres 2 , un photodétecteur 3 et une unité de traitement interne 4 .
Le dispositif d' acquisition 1 est intégré dans une caméra 6 .
Une unité de traitement externe 5 est reliée à l ' unité de traitement interne 4 . Ici , l ' unité de traitement externe 5 est située à distance de la caméra 6 , mais elle pourrait parfaitement être intégrée dans la caméra 6 (et par exemple partager des ressources électroniques ou logicielles avec l ' unité de traitement interne 4 ) .
La mosaïque de filtres 2 contient n*m pixels élémentaires .
Le photodétecteur 3 intègre une matrice de capteurs comprenant aussi n*m capteurs , chaque capteur formant un pixel physique et étant associé à un pixel élémentaire distinct .
Les capteurs sont par exemple des capteurs CCD (pour Charged Coupled Device) ou CMOS (pour Complementary Metal Oxide Semiconductor) .
L' unité de traitement interne 4 est une unité électronique et logicielle . L' unité de traitement interne 4 acquiert les signaux de sortie produits par les capteurs et les analyse pour produire des images multispectrales et des images en couleur et infrarouge .
L' unité de traitement externe 5 est aussi une unité électronique et logicielle .
L' unité de traitement externe 5 acquiert les images multispectrales et les images en couleur et infrarouge et réalise l ' opération de décamouflage .
L' unité de traitement interne 4 comprend au moins un composant de traitement 8 adapté à exécuter des instructions de programmes .
Le composant de traitement 8 est par exemple un microcontrôleur, un processeur classique , un GPU (pour Graphics Processing Uni t, que l ' on peut traduire par « processeur graphique ») , un DSP (pour Digi tal Signal Processor, que l ' on peut traduire par « processeur de signal numérique ») , ou bien un circuit logique programmable tel qu' un FPGA (pour Field Programmable Gate Arrays) ou un ASIC (pour Application Specific Integrated Circui t) .
L' unité de traitement interne 4 comprend aussi au moins une mémoire 9 permettant notamment de stocker les instructions des programmes qui viennent d' être évoqués .
De même , l ' unité de traitement externe 5 comprend au moins un composant de traitement 10 et au moins une mémoire 11 .
On s ' intéresse maintenant plus particulièrement à la mosaïque de filtres 2 .
En référence aux figures 2 et 3 , la mosaïque de filtres 2 comprend des super-macropixels SM qui sont tous identiques .
Chaque super-macropixel SM comporte une pluralité de macropixels M comprenant chacun une pluralité de pixels élémentaires Pe .
Ici , chaque super-macropixel SM comporte quatre macropixels M comprenant chacun quatre pixels élémentaires Pe .
Chaque super-macropixel SM et chaque macropixel M ont chacun la forme d' un carré .
Dans chaque super-macropixel SM, chaque macropixel M dudit super-macropixel SM forme un filtre passe-bande global laissant passer une bande spectrale globale , les bandes spectrales globales étant distinctes et successives .
Par « distinctes et sucessives », on entend qu' il est possible d' ordonner les N bandes spectrales globales d' un super-macropixel Bg1 , Bg2 , ...Bgi , ..., BgN selon une liste telle que : Bg1 < Bg2 < ... < Bgi <... < BgN .
Cela signifie que la longueur d' onde maximale de Bg1 est inférieure à la longueur d' onde minimale de Bg2 , que la longueur d' onde maximale de Bg2 est inférieure à la longueur d' onde minimale de Bg3 , etc .
Les macropixels M comprennent donc ici un premier macropixel M1 laissant passer une première bande spectrale globale Bg1 , un deuxième macropixel M2 laissant passer une deuxième bande spectrale globale Bg2 , un troisième macropixel M3 laissant passer une troisième bande spectrale globale Bg3 et un quatrième macropixel M4 laissant passer une quatrième bande spectrale globale Bg4 , les macropixels M étant tels que : Bg1 < Bg2 < Bg3 < Bg4 .
Les bandes spectrales globales sont équiréparties par sous domaines Bleu, Vert, Rouge , Proche Infrarouge .
La première bande spectrale globale Bg1 est incluse dans une bande spectrale bleue, la deuxième bande spectrale globale Bg2 est incluse dans une bande spectrale verte, la troisième bande spectrale globale Bg3 est incluse dans une bande spectrale rouge , et la quatrième bande spectrale globale Bg4 est incluse dans une bande spectrale du proche infrarouge ( PIR) .
Le premier macropixel M1 est fabriqué avec une résine bleue (ReB) . Le deuxième macropixel M2 est fabriqué avec une résine verte (ReV) . Le troisième macropixel M3 est fabriqué avec une résine rouge (ReR) . Le quatrième macropixel M4 est fabriqué avec une résine PIR (ReP) .
Lorsque la mosaïque de filtres 2 est vue de face et orientée selon une orientation prédéfinie , qui correspond en l ' occurrence à l ' orientation visible sur la figure 2 , chaque super-macropixel SM est agencé de sorte que le premier macropixel M1 est situé en haut à gauche, le deuxième macropixel M2 est situé en bas à droite, le troisième macropixel M3 est situé en bas à gauche, et le quatrième macropixel M4 est situé en haut à droite dudit super- macropixel SM .
On constate que, dans chaque super-macropixel SM, pour tout couple de deux macropixels M appartenant audit super- macropixel et ayant un côté commun ou une portion de côté commune, les bandes spectrales globales associées auxdits deux macropixels M ne sont pas adj acentes .
Par « bandes spectrales globales adj acentes », on entend deux bandes qui se suivent dans la liste évoquée plus tôt .
De même , pour chaque macropixel M d' un super-macropixel SM, chaque pixel élémentaire Pe dudit macropixel M forme un filtre passe-bande élémentaire laissant passer une bande spectrale élémentaire, les bandes spectrales élémentaires étant distinctes et successives.
Ainsi, pour le premier macropixel M1 (bleu) , comprenant le groupe de pixels élémentaires {B1, B2, B3, B4}, on a :
Be_B1 < Be_B2 < Be_B3 < Be_B4, où Be_B1 est la bande spectrale élémentaire du pixel élémentaire B1, Be_B2 est la bande spectrale élémentaire du pixel élémentaire B2, Be_B3 est la bande spectrale élémentaire du pixel élémentaire B3, et Be_B4 est la bande spectrale élémentaire du pixel élémentaire B4.
Pour le deuxième macropixel M2 (vert) , comprenant le groupe de pixels élémentaires {V1, V2, V3, V4}, on a :
Be_V1 < Be_V2 < Be_V3 < Be_V4, où Be_V1 est la bande spectrale élémentaire du pixel élémentaire V1, Be_V2 est la bande spectrale élémentaire du pixel élémentaire V2, Be_V3 est la bande spectrale élémentaire du pixel élémentaire V3, et Be_V4 est la bande spectrale élémentaire du pixel élémentaire V4.
Pour le troisième macropixel M3 (rouge) , comprenant le groupe de pixels élémentaires {R1, R2, R3, R4 } , on a :
Be_R1 < Be_R2 < Be_R3 < Be_R4, où Be_R1 est la bande spectrale élémentaire du pixel élémentaire R1, Be_R2 est la bande spectrale élémentaire du pixel élémentaire R2, Be_R3 est la bande spectrale élémentaire du pixel élémentaire R3, et Be_R4 est la bande spectrale élémentaire du pixel élémentaire R4.
Pour le quatrième macropixel M4 (proche infrarouge) , comprenant le groupe de pixels élémentaires {PIR1, PIR2, PIR3, PIR4 } , on a :
Be_PIR1 < Be_PIR2 < Be_PIR3 < Be_PIR4, où Be_PIR1 est la bande spectrale élémentaire du pixel élémentaire PIR1 , Be_PIR2 est la bande spectrale élémentaire du pixel élémentaire PIR2 , Be_PIR3 est la bande spectrale élémentaire du pixel élémentaire PIR3, et Be_PIR4 est la bande spectrale élémentaire du pixel élémentaire PIR4 .
Ainsi , chaque macropixel M comporte un premier pixel élémentaire laissant passer une première bande spectrale élémentaire Bel , un deuxième pixel élémentaire laissant passer une deuxième bande spectrale élémentaire Be2 , un troisième pixel élémentaire laissant passer une troisième bande spectrale élémentaire Be3 , et un quatrième pixel élémentaire laissant passer une quatrième bande spectrale élémentaire Be4 , les pixels élémentaires étant tels que : Be1 < Be2 < Be3 < Be4 .
Les Bel , Be2 , Be3 , Be4 dependent du micropixel concerné .
Lorsque la mosaïque de filtres 2 est vue de face et orientée selon l' orientation prédéfinie , chaque macropixel M est agencé de sorte que le premier pixel élémentaire dudit macropixel M est situé en haut à gauche, le deuxième pixel élémentaire est situé en haut à droite, le troisième pixel élémentaire est situé en bas à gauche , et le quatrième pixel élémentaire est situé en bas à droite dudit macropixel M .
Le filtre passe-bande élémentaire de chaque pixel élémentaire Pe a typiquement une FWHM ( Full Width at Half Maximum, ou « largeur à mi-hauteur ») égale à environ 20nm .
Le filtre passe-bande global de chaque macropixel M a typiquement une FWHM égale à environ 80nm .
La disposition relative des macropixels M est importante pour limiter la contiguïté géométrique des bandes spectrales adj acentes , et donc pour limiter la diaphonie .
On décrit maintenant les traitements réalisés par l ' unité de traitement interne 4 pour produire une image multispectrale ( aussi appelée hypercube) à partir des signaux de sortie des capteurs.
L'image multispectrale comporte, pour chaque pixel élémentaire Pe, un hyperpixel comprenant une pluralité de composantes spectrales, c'est à dire une composante spectrale par bande spectrale élémentaire. Chaque hyperpixel comprend donc ici 16 composantes spectrales associées chacune à une bande spectrale élémentaire distincte.
Contrairement à d'autres architectures optiques, pour lesquelles la formation de l'image multispectrale consiste par exemple à « empiler » les imagettes, l'utilisation de la mosaïque de filtres a pour conséquence que les pixels filtrés ne sont pas cohérents spatialement.
Par conséquent, comme pour un capteur couleur à matrice dite « de Bayer », l'unité de traitement interne 4 utilise un algorithme pour calculer les valeurs spectrales correspondant à chaque hyperpixel .
L'optique et l'algorithme de formation de l'image multispectrale sont dimensionnés pour maximiser la performance du dispositif d'acquisition 1, et en particulier, pour optimiser la portée de détection (ou la taille apparente de la plus petite cible détectable) . Ce dimensionnement doit s'appuyer sur un modèle de prédiction de cette portée de détection, ou, à tout le moins, sur un modèle analytique permettant de positionner en relatif les portées données par différentes architectures de capteur, d'optique et de mise en forme des données spectrales.
En effet, la portée est intimement liée à l'étendue angulaire de la zone qui contribue à la formation d'un hyperpixel, au pas d'échantillonnage spatial des hyperpixels, mais aussi à l'écart angulaire séparant deux points pour éviter un « mélange spectral » dans l'évaluation de leur spectre respectif. Les contributeurs sont à la fois l'optique (pouvoir séparateur) et l'algorithme de formation de l' hypercube.
On présente ici trois modes de reconstitution de l'image multispectrale .
La figure 4 illustre un premier mode de reconstitution. On voit quatre super-macropixels SM sur la figure 4.
Le premier mode de reconstitution consiste, pour l'unité de traitement interne 4, à conférer, à chaque composante spectrale 14 de l'hyperpixel HP associé à un pixel élémentaire particulier Pe d'un super-macropixel particulier SM, une valeur égale au signal de sortie du capteur associé au pixel élémentaire Pe appartenant audit super-macropixel particulier SM et laissant passer la bande spectrale élémentaire correspondant à ladite composante spectrale 14.
Les quatre hyperpixels HP de la figure 4 sont donc distincts, chaque hyperpixel HP étant associé à tous les pixels élémentaires Pe d'un même super-macropixel SM.
Pour ne pas mélanger les bandes spectrales (condition de non mélange) , il convient cependant que la taille apparente de la cible que l'on cherche à décamoufler soit supérieure ou égale à 2x2 macropixels M pour toujours englober au moins un super-macropixel SM complet.
Le premier mode de reconstitution introduit un sous- échantillonnage relativement fort. Cependant, ce mode de reconstitution a pour avantage de ne pas impacter la radiométrie, car aucun traitement de type interpolation ou lissage n'est réalisé. Le volume de données utilisé pour produire l'image multispectrale correspond au volume initial .
En référence à la figure 5, un deuxième mode de reconstitution consiste, pour l'unité de traitement interne 4, à conférer, à chaque composante spectrale de l'hyperpixel HP associé à un pixel élémentaire particulier Pe d' un super- macropixel particulier, une valeur obtenue par interpolation des signaux de sortie des capteurs associés à des pixels élémentaires voisins du pixel élémentaire particulier et laissant passer la bande spectrale élémentaire correspondant à ladite composante spectrale .
Dans ce deuxième mode de reconstitution, l ' unité de traitement interne 4 restitue donc, pour chaque pixel élémentaire , un hyperpixel en calculant la valeur des différentes bandes spectrales par interpolation à partir des valeurs mesurées sur les pixels physiques voisins correspondant à cette bande , comme le ferait , pour une image couleur, un traitement de type « de Bayer » .
Cette solution, sur le principe, permet donc de calculer autant d' hyperpixels que de pixels élémentaire , et donc de restituer un hypercube « haute résolution » .
Pour ne pas mélanger les bandes spectrales ( condition de non mélange ) , il convient cependant que la cible ait une largeur et une hauteur qui couvrent les pixels élémentaires entrant dans l ' algorithme d' interpolation .
Le dessin de gauche de la figure 5 illustre un cas où l ' interpolation met en j eu les pixels élémentaires de même bande spectrale encadrant 1 ' hyperpixel à calculer .
Le choix du deuxième mode de reconstitution, et donc de l ' algorithme d' interpolation, peut faire décroître l ' impact du pixel physique le plus éloigné, et la zone de non mélange peut tendre à se rapprocher de la taille du super-macropixel .
En référence à la figure 6 , un troisième mode de reconstitution consiste, pour l ' unité de traitement interne 4 , à conférer, à chaque composante spectrale de 1 ' hyperpixel associé à un pixel élémentaire particulier d' un super- macropixel particulier, une valeur égale au signal de sortie du capteur associé à un pixel élémentaire , laissant passer la bande de spectrale élémentaire correspondant à ladite composante spectrale, ledit pixel élémentaire appartenant à une fenêtre glissante 15 ayant la taille d' un super- macropixel et à laquelle appartient le pixel élémentaire particulier .
Ainsi , sur la figure 6 , l' hyperpixel HP1 est associé au pixel élémentaire Pel alors que l ' hyperpixel HP2 est associé au pixel élémentaire Pe2 .
Ce mode restitue donc un hyperpixel pour chaque pixel physique en affectant, pour chaque bande spectrale élémentaire , la valeur du pixel physique le plus proche correspondant à cette bande . Cela équivaut donc à déplacer sur le capteur, de pixel en pixel , la fenêtre 15 , et d' affecter à l ' hyperpixel correspondant les valeurs ré- ordonnées prélevées dans cette fenêtre 15 .
Cette solution permet de calculer autant d' hyperpixels que de pixels physiques , et donc de restituer une image spectrale « haute résolution » . Cette logique du « plus proche voisin » est celle qui limite le plus le support d' interpolation : quelle que soit la position de la fenêtre 15 , l ' ensemble des longueurs d' onde est représenté dans un voisinage proche .
Pour ne pas mélanger les bandes spectrales ( condition de non mélange ) , il convient cependant que la cible ait une largeur et une hauteur proches de celles d' un super- macropixel SM .
On s ' intéresse maintenant à la synthèse des voies j our couleurs VJC et PIRL (proche infrarouge large bande ) .
L' unité de traitement interne 4 produit une image en couleur et infrarouge à partir des signaux de sortie des capteurs . Par « image en couleur et infrarouge », on entend une image formant une composition colorée et produite à partir de bandes spectrales bleu, rouge, verte , et infrarouge ( ici proche infrarouge ) .
Pour produire l ' image couleur et infrarouge, l ' unité de traitement interne 4 met tout d' abord en œuvre une opération de binning spatial de pixels élémentaires Pe ( c' est-à-dire une opération de regroupement spatial de pixels élémentaires Pe) . Le binning spatial permet d' obtenir une image intermédiaire .
Le binning spatial consiste à associer une unique valeur intermédiaire à chaque macropixel M de chaque super- macropixel SM, ladite valeur intermédiaire étant obtenue par pondération des signaux de sortie des capteurs associés aux pixels élémentaires dudit macropixel .
On a donc : où B Super-macropixel (i0, j0) est la valeur intermédiaire d' un pixel élémentaire Pe appartenant à un premier macropixel M1 (bleu) , θB est un premier coefficient de pondération, et les Pixel(i,j) sont les signaux de sortie des capteurs associés aux pixels élémentaires Pe appartenant audit premier macropixel M1 ; où V Super-macropixel (i0, j0) est la valeur intermédiaire d' un pixel élémentaire Pe appartenant à un deuxième macropixel M2 (vert) , θV est un deuxième coefficient de pondération, et les Pixel(i,j) sont les signaux de sortie des capteurs associés aux pixels élémentaires Pe appartenant audit deuxième macropixel M2 ; où R Super-macropixel (i0, j0) est la valeur intermédiaire d' un pixel élémentaire Pe appartenant à un troisième macropixel M3 (rouge) , θR est un troisième coefficient de pondération, et les Pixel(i,j) sont les signaux de sortie des capteurs associés aux pixels élémentaires Pe appartenant audit troisième macropixel M3 ; où PIR Super-macropixel (i0, j0) est la valeur intermédiaire d' un pixel élémentaire Pe appartenant à un quatrième macropixel M4 ( PIR) , θPIR est un quatrième coefficient de pondération, et les Pixel(i,j) sont les signaux de sortie des capteurs associés aux pixels élémentaires Pe appartenant audit quatrième macropixel M4 .
On met donc en œuvre un binning spatial 2x2 (par macropixel ) suivant les groupes .
Pour des pixels élémentaires de taille 4μm x 4μm à 6μm x 6μm, on obtient donc des pixels équivalents ayant pour taille 8μm x 8μm à 12μm x 12μm .
On obtient ainsi un gain en sensibilité ( car la calibration colorimétrique est sensible au bruit dans les images à petits pixels et dans les images à faible flux) . L' image est obtenue par une seule lecture pour 4 pixels élémentaires .
On obtient de plus un étalement de la PSF (pour Point Spread. Function, ou fonction d' étalement du point) par réglage de l ' optique suivant 2x2 pixels élémentaires (pixel élémentaire supérieur ou égal à 4μm x 4μm) , et une décontrainte sur l ' optique en terme de fréquence de coupure optique . La résolution optique est réduite et la tâche optique est étalée .
Avantageusement, le regroupement spatial est réalisé en hardware , c' est-à-dire par des composants électroniques (et non logiciels ) . Cela permet une amélioration du rapport signal à bruit capteur . Les charges accumulées de chaque pixel physique sont par exemple cumulées en utilisant des portes de sommation pour obtenir les valeurs intermédiaires de l ' image intermédiaire .
L' image en couleur et infrarouge est ensuite reconstituée à partir de l ' image intermédiaire , et donc à partir des bandes synthétisées des macropixels de chaque super-macropixel .
On voit sur la figure 7 la première bande spectrale globale Bg1 (transmission optique ) de la première résine (bleue) , la deuxième bande spectrale globale Bg2 de la deuxième résine (verte) , la troisième bande spectrale globale Bg3 de la troisième résine (rouge ) et la quatrième bande spectrale Bg4 de la quatrième résine ( PIR) .
On voit aussi , pour chaque bande spectrale globale, les bandes spectrales élémentaires associées Be1 , Be2 , Be3 , Be4 .
Les résines peuvent présenter des imperfections produisant des rebonds dans le domaine du proche infrarouge . Il peut être pertinent d' améliorer la zone spectrale de transition entre le domaine visible (B, V, R) et le domaine du proche infrarouge , pour éviter que les profils de transmission des résines ne soient perturbés .
On utilise donc un filtre Notch ( filtre coupe-bande ) positionné au niveau de la pupille de la caméra 6 .
En référence à la figure 8 , le filtre Notch permet de couper une bande spectrale frontière Bf située entre la troisième bande spectrale globale Bg3 (rouge) et la quatrième bande spectrale globale Bg4 (proche infrarouge) .
La réponse du filtre Notch présente une pente descendante à partir d'une longueur d'onde supérieure à 680nm, et une pente montante à partir d'une longueur d'onde inférieure à 730nm.
Avantageusement, on prévoit que la bande spectrale frontière Bf soit située dans la bande spectrale rouge Br, comme cela est visible sur la figure 8. On décale alors la troisième bande spectrale globale Bg3 de sorte que la troisième bande spectrale globale Bg3 et la bande spectrale frontière Bf ne présentent pas de recouvrement.
On voit sur la figure 8 que la longueur d'onde centrale de la troisième bande spectrale globale Bg3 est légèrement réduite, ce qui décale vers la gauche la troisième bande spectrale globale.
On sépare ainsi beaucoup mieux les composantes rouges des composantes proche infrarouge.
Avantageusement, on utilise aussi une lame de quartz formant un filtre passe-bas. Le filtre passe-bas est positionné juste avant la matrice de capteurs et permet de réduire les interférences produites par la mosaïque de filtres .
Suite à ces traitements, l'unité de traitement interne 4 produit une image combinée à partir de l'image multispectrale et de l'image en couleur et infrarouge, et transmet directement l'image combinée à l'unité de traitement externe 5. Alternativement, l'unité de traitement externe 5 acquiert l'image multispectrale et l'image en couleur et infrarouge.
L'unité de traitement externe 5 met alors en œuvre le décamouflage supra pour tenter de détecter la présence de la cible . Dans le cas d'une ambiance lumineuse normale, le dispositif d'acquisition 1 est configuré pour réaliser une défocalisation et un étalement de la PSF sur les 4x4 pixels élémentaires Pe de chaque super-macropixel SM.
L'image hyperspectrale est formatée en luminance absolue avec un procédé de calibration.
Un procédé d'accentuation de contraste est alors mis en œuvre. Le procédé d'accentuation de contraste utilise possiblement des effets de transparence et/ou de rémanence (voir par exemple le document FR 3 011 663 B1) .
On utilise ensuite une métrique, représentative d'un contraste dans la scène, pour réaliser le décamouflage. La métrique est calculée à partir des 16 bandes spectrales élémentaires .
L'image en couleur et infrarouge est reconstruite pour constituer la voie support (aucun binning pour l'application) . La calibration est faite avec binning. Les bandes B, V, R et PIRL sont synthétisés numériquement.
On n'utilise pas de binning pour l'application VJC, mais une pondération « custom » (personnalisée, adaptée à l'application) des bandes pour constituer la VJC, moins sensible au métamérisme de couleurs. Les coefficients de pondération sont stockés dans une table de correspondance (LUT) spécifique à couleurs saturées.
Dans le cas d'une ambiance lumineuse à faible éclairement solaire, le dispositif d'acquisition 1 est configuré pour réaliser une défocalisation et un étalement de la PSF sur les 2x2 macropixels M du super-macropixel SM. On obtient un gain de sensibilité car l'analyse est faite sur la base du macropixel (2x2 pixels élémentaires) .
L'image hyperspectrale est formatée avec un procédé de calibration VJC + PIRL. Un procédé d'accentuation de contraste est alors mis en œuvre. Le procédé d'accentuation de contraste utilise possiblement des effets de transparence et/ou de rémanence.
On utilise ensuite une métrique, représentative d'un contraste dans la scène, pour réaliser le décamouflage. La métrique est calculée sur 4 bandes spectrales seulement (du fait du binning) .
L'image en couleur et infrarouge est reconstruite pour constituer la voie support (on utilise le binning pour l'application) . La calibration est faite avec binning. Les bandes B, V, R et PIRL sont synthétisés numériquement.
Bien entendu, l'invention n'est pas limitée au mode de réalisation décrit mais englobe toute variante entrant dans le champ de l'invention telle que définie par les revendications .
Les bandes spectrales globales peuvent parfaitement être différentes de celles décrites ici. Toute bande des domaines du visible, du proche infrarouge PIR ou NIR (Near InfraRed) , ou de l'infrarouge court SWIR (Short Wavelength Infrared) , pourrait par exemple être utilisée.
Les super-macropixels et les macropixels peuvent être différents de ceux présentés ici : nombre différent de pixels élémentaires ou de macropixels, forme différente des macropixels ou du super-macropixel, etc.

Claims

REVENDICATIONS
1 . Dispositif d' acquisition ( 1 ) comportant :
- une mosaïque de filtres ( 2 ) comprenant des super- macropixels ( SM) identiques , chaque super-macropixel comportant une pluralité de macropixels (M) comprenant chacun une pluralité de pixels élémentaires ( Pe ) , chaque super-macropixel étant tel que : o chaque macropixel dudit super-macropixel forme un filtre passe-bande global laissant passer une bande spectrale globale (Bg1 , Bg2 , Bg3 , Bg4 ) , les bandes spectrales globales étant distinctes et successives ; o ledit super-macropixel ( SM) comporte quatre macropixels , les macropixels comprenant un premier macropixel (M1 ) laissant passer une première bande spectrale globale Bg1 , un deuxième macropixel (M2 ) laissant passer une deuxième bande spectrale globale Bg2 , un troisième macropixel (M3 ) laissant passer une troisième bande spectrale globale Bg3 et un quatrième macropixel (M4 ) laissant passer une quatrième bande spectrale globale Bg4 , les macropixels étant tels que : Bg1 < Bg2 < Bg3 < Bg4 ; o lorsque la mosaïque de filtres (2 ) est vue de face et orientée selon une orientation prédéfinie , ledit super- macropixel est agencé de sorte que le premier macropixel est situé en haut à gauche, le deuxième macropixel est situé en bas à droite , le troisième macropixel est situé en bas à gauche, et le quatrième macropixel en haut à droite dudit super-macropixel ; o chaque pixel élémentaire de chaque macropixel dudit super-macropixel forme un filtre passe-bande élémentaire laissant passer une bande spectrale élémentaire (Bel, Be2, Be3, Be4) incluse dans la bande spectrale globale dudit macropixel, les bandes spectrales élémentaires étant distinctes et successives ;
- une matrice de capteurs (3) associés chacun à un pixel élémentaire ;
- une unité de traitement (4) agencée pour produire une image multispectrales à partir de signaux de sortie des capteurs, l'image multispectrale comprenant des hyperpixels (HP) associés chacun à un pixel élémentaire, chaque hyperpixel comprenant des composantes spectrales (14) correspondant chacune à une bande spectrale élémentaire distincte .
2. Dispositif d'acquisition selon la revendication 1, dans lequel chaque super-macropixel (SM) et chaque macropixel ont la forme d'un carré.
3 Dispositif d'acquisition selon la revendication 1, dans lequel la première bande spectrale globale est incluse dans une bande spectrale bleue, la deuxième bande spectrale globale est incluse dans une bande spectrale verte, la troisième bande spectrale globale est incluse dans une bande spectrale rouge, et la quatrième bande spectrale globale est incluse dans une bande spectrale du proche infrarouge.
4. Dispositif d'acquisition selon l'une des revendications précédentes, dans lequel chaque macropixel comporte un premier pixel élémentaire laissant passer une première bande spectrale élémentaire Bel, un deuxième pixel élémentaire laissant passer une deuxième bande spectrale élémentaire Be2, un troisième pixel élémentaire laissant passer une troisième bande spectrale élémentaire Be3, et un quatrième pixel élémentaire laissant passer une quatrième bande spectrale élémentaire Be4, les pixels élémentaires étant tels que : Be1 < Be2 < Be3 < Be4.
5. Dispositif d'acquisition selon la revendication 4, dans lequel, lorsque la mosaïque de filtres (2) est vue de face et orientée selon l'orientation prédéfinie, chaque macropixel est agencé de sorte que le premier pixel élémentaire est situé en haut à gauche, le deuxième pixel élémentaire est situé en haut à droite, le troisième pixel élémentaire est situé en bas à gauche, et le quatrième pixel élémentaire est situé en bas à droite dudit macropixel.
6. Dispositif d'acquisition selon l'une des revendications précédentes, dans lequel l'unité de traitement (4) est agencée pour conférer, à chaque composante spectrale (14) de l'hyperpixel (15) associé à un pixel élémentaire particulier d'un super-macropixel particulier, une valeur égale au signal de sortie du capteur associé au pixel élémentaire appartenant audit super-macropixel particulier et laissant passer la bande spectrale élémentaire correspondant à ladite composante spectrale.
7. Dispositif d'acquisition selon l'une des revendications 1 à 5, dans lequel l'unité de traitement (4) est agencée pour conférer, à chaque composante spectrale de l'hyperpixel associé à un pixel élémentaire particulier d'un super- macropixel particulier, une valeur obtenue par interpolation des signaux de sortie des capteurs associés à des pixels élémentaires voisins du pixel élémentaire particulier et laissant passer la bande spectrale élémentaire correspondant à ladite composante spectrale.
8. Dispositif d'acquisition selon l'une des revendications 1 à 5, dans lequel l'unité de traitement (4) est agencée pour conférer, à chaque composante spectrale de l'hyperpixel associé à un pixel élémentaire particulier d'un super- macropixel particulier, une valeur égale au signal de sortie du capteur associé à un pixel élémentaire, laissant passer la bande de spectrale élémentaire correspondant à ladite composante spectrale, ledit pixel élémentaire appartenant à une fenêtre glissante ayant la taille d'un super-macropixel et à laquelle appartient le pixel élémentaire particulier.
9. Dispositif d'acquisition selon l'une des revendications précédentes, l'unité de traitement (4) étant en outre agencée pour produire une image en couleur et infrarouge à partir des signaux de sortie des capteurs.
10. Dispositif d'acquisition selon la revendication 9, dans lequel l'unité de traitement (4) est agencée, pour produire l'image en couleur et infrarouge, pour mettre en œuvre une opération de regroupement spatial de pixels élémentaires, puis un algorithme de reproduction de couleur, l'opération de regroupement de pixels élémentaires consistant à associer une unique valeur intermédiaire à chaque macropixel de chaque super-macropixel, ladite valeur intermédiaire étant obtenue par pondération des signaux de sortie des capteurs associés aux pixels élémentaires dudit macropixel.
11. Dispositif d'acquisition selon la revendication 10 et la revendication 3, comprenant en outre un filtre coupe-bande, positionné au niveau d'une pupille d'une caméra (6) dans laquelle est intégré le dispositif d'acquisition, le filtre coupe-bande étant conçu pour couper une bande spectrale frontière (Bf) située entre la troisième bande spectrale globale et la quatrième bande spectrale globale.
12. Dispositif d'acquisition selon la revendication 11, dans lequel la bande spectrale frontière (Bf) appartient au moins partiellement à la bande spectrale rouge, et dans lequel la troisième bande spectrale globale est décalée de manière à ne pas présenter de recouvrement avec la bande spectrale frontière .
13. Caméra (6) comprenant un dispositif d'acquisition (1) selon l'une des revendications précédentes.
EP22834649.0A 2021-12-14 2022-12-13 Camera multispectrale a acquisition " snapshot " (instantanee) Pending EP4449703A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2113448A FR3130369B1 (fr) 2021-12-14 2021-12-14 Caméra multispectrale à acquisition instantanée
PCT/EP2022/085693 WO2023110922A1 (fr) 2021-12-14 2022-12-13 Camera multispectrale a acquisition " snapshot " (instantanee)

Publications (1)

Publication Number Publication Date
EP4449703A1 true EP4449703A1 (fr) 2024-10-23

Family

ID=80735997

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22834649.0A Pending EP4449703A1 (fr) 2021-12-14 2022-12-13 Camera multispectrale a acquisition " snapshot " (instantanee)

Country Status (3)

Country Link
EP (1) EP4449703A1 (fr)
FR (1) FR3130369B1 (fr)
WO (1) WO2023110922A1 (fr)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3011663B1 (fr) 2013-10-07 2015-11-13 Sagem Defense Securite Procede de visualisation d'une image multispectrale
EP2879004A1 (fr) * 2013-12-02 2015-06-03 IMEC vzw Appareil et procédé permettant d'effectuer l'holographie numérique en ligne sans lentille d'un objet
US9467665B1 (en) * 2015-06-29 2016-10-11 Omnivision Technologies, Inc. Color filter array patterns for reduction of color aliasing
WO2020250773A1 (fr) * 2019-06-11 2020-12-17 富士フイルム株式会社 Dispositif d'imagerie
CN114449137B (zh) * 2020-11-02 2025-06-13 北京小米移动软件有限公司 滤光片结构、拍摄方法、装置、终端及存储介质

Also Published As

Publication number Publication date
WO2023110922A1 (fr) 2023-06-22
FR3130369A1 (fr) 2023-06-16
FR3130369B1 (fr) 2024-06-28

Similar Documents

Publication Publication Date Title
EP2987321B1 (fr) Dispositif d&#39;acquisition d&#39;images bimode
EP3387824B1 (fr) Système et procédé d&#39;acquisition d&#39;images visibles et dans le proche infrarouge au moyen d&#39;un capteur matriciel unique
US9615030B2 (en) Luminance source selection in a multi-lens camera
US9420241B2 (en) Multi-spectral imaging
JP6524617B2 (ja) 撮像装置および方法
EP2457379B1 (fr) Procédé d&#39;estimation d&#39;un défaut d&#39;un système de capture d&#39;images et systèmes associés
KR20190075057A (ko) 이미지로부터의 초분광 데이터 복원
JP2011239260A (ja) 撮像装置
WO2010128014A1 (fr) Procede d&#39;identification d&#39;une scene a partir d&#39;images polarisees multi longueurs d&#39;onde
EP2567537A1 (fr) Procede d&#39;imagerie polychrome
FR3038431A1 (fr) Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
EP2160904A2 (fr) Capteur d&#39;images numeriques, procede d&#39;acquisition et de reconstruction d&#39;images, et systeme de mise en uvre
WO2022112688A1 (fr) Imageur multispectral à domaine spectral élargi
EP3777129B1 (fr) Capteur d&#39;images aeroporte realisant des prises de vue matricielle par decalage temporel et sommation multi-spectrales
WO2009030698A1 (fr) Procédé d&#39;augmentation de résolution d&#39;images multi-spectrales
EP3384459A1 (fr) Procede de traitement de signaux issus d&#39;une matrice de prise d&#39;images en couleur, et capteur correspondant
EP4449703A1 (fr) Camera multispectrale a acquisition &#34; snapshot &#34; (instantanee)
EP2887655A1 (fr) Filtre couleur adaptatif pour capteur numérique
CA2647307A1 (fr) Dispositif de formation de spectre sur un capteur optique a rejet spatial
CA3231635A1 (fr) Procede pour l&#39;acquisition d&#39;images multispectrales et d&#39;imagettes panchromatiques
FR2860119A1 (fr) Dispositif et procede pour produire la representation d&#39;une scene objet
DiBella et al. Improved sensitivity high-definition interline CCD using the KODAK TRUESENSE Color Filter Pattern
FR3005226A1 (fr) Saisie d&#39;image avec addition de signaux d&#39;accumulation pour des photodetecteurs adjacents

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240611

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250821