EP4612642A1 - Procede et systeme de correction de bruit fixe d'une image - Google Patents

Procede et systeme de correction de bruit fixe d'une image

Info

Publication number
EP4612642A1
EP4612642A1 EP23817304.1A EP23817304A EP4612642A1 EP 4612642 A1 EP4612642 A1 EP 4612642A1 EP 23817304 A EP23817304 A EP 23817304A EP 4612642 A1 EP4612642 A1 EP 4612642A1
Authority
EP
European Patent Office
Prior art keywords
images
fixed noise
correction parameter
image
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23817304.1A
Other languages
German (de)
English (en)
Inventor
Axel DAVY
Arnaud BARRAL
Anthony Thomas
Pablo ARIAS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hgh Systemes Infrarouges
Original Assignee
Hgh Systemes Infrarouges
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hgh Systemes Infrarouges filed Critical Hgh Systemes Infrarouges
Publication of EP4612642A1 publication Critical patent/EP4612642A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Definitions

  • the present invention relates to a method for correcting fixed noise in at least one image. It also relates to a system for correcting fixed noise in at least one image.
  • Document US9900526 proposes using a visual shutter to calibrate a scene. This visual shutter corresponds to an object that appears almost uniform and covers a large part of the camera.
  • Document US9208542 proposes a method for reducing noise at the pixel level in thermal images. This method allows you to count the number of times a pixel is smaller or larger than its neighboring pixels and, accordingly, to correct the pixel in question.
  • the aim of the present invention is to resolve at least one of the aforementioned drawbacks.
  • This objective is achieved with a fixed noise correction method in at least one image.
  • the process includes the following steps:
  • the present invention is based on several images acquired from different scenes taken with the same image sensor in a short time. This is achieved with a rotating image sensor which can reconstruct a panorama using images taken while rotating the image sensor: each image corresponds to a different piece or sector of panoramic scene.
  • An acquisition frequency E of the image sensor is greater than a fixed noise change frequency between the acquisition of two images. The acquisition frequency E is sufficient so that any changes in the fixed noise parameters are very low.
  • the invention then makes it possible to avoid the defects of traditional methods based on regularity, because each fixed noise correction is estimated not from one, but from several acquired images.
  • the acquired images are substantially regular over a majority of the image, and that in each pixel one can find one or more very regular images locally around this pixel among the acquired images.
  • regular the fact that the intensity difference in the image considered does not undergo a sudden change over a majority of the image.
  • An image is also said to be "locally regular” if the pixel values in a small neighborhood can be described with a simple mathematical formula, for example the equation of a plane, with few errors.
  • Natural images are generally considered to be, with high probability, regular in a majority of pixels. This corresponds, for example, to flattened areas of the image, or with slight gradients. High contrast areas, such as the edges of objects, or heavily textured areas, such as a pile of branches, are not considered smooth.
  • non-uniformity correction parameters can be re-estimated frequently enough to compensate for variations in non-uniformity of the sensor.
  • non-uniformity variations we mean variations in fixed noise. It is considered here, given the high image acquisition frequency, that the value of the fixed noise in each image is substantially identical. By “substantially identical”, we mean that the fixed noise has a negligible evolution between the first and the last of the N images acquired.
  • the at least one fixed noise correction parameter determined by the processing module according to the invention minimizes a functional of the form
  • G, O and f. are image-sized matrices, and * is the Hadamard product.
  • G and O correspond respectively to a gain and offset matrix.
  • the values of the matrices O and G are the parameters which are estimated.
  • a variable number of parameters can be determined from the N images acquired. In the case where only O is estimated, the invention gives more robust and rapid results. In the case where several parameters are estimated, the signal is better represented and the correction is more efficient in practice.
  • the values of the matrices O and G are the parameters which are estimated in the present case.
  • the step of determining at least one fixed noise correction parameter by the processing module may comprise the following step:
  • the step of determining at least one fixed noise correction parameter by the processing module can be carried out via a direct implementation.
  • Direct implementation may include the following steps:
  • the first filtering of the N images can include the use of a high pass filter.
  • a judicious choice of G and h allows a direct implementation, where a succession of filtering makes it possible to directly obtain the minimum of the functional. At least one correction parameter can be determined in this way.
  • the judicious choice of G and h corresponds to
  • is the matrix of the size of the image containing 1 in each box
  • F is a high pass filter on the acquired image, such as subtracting the median of neighboring pixels from the value of each pixel
  • a direct implementation of the minimization of the functional then consists first of filtering the N images according to the high pass filter F.
  • the high pass filter corresponds to a spatial filter. Then the results of these filterings are filtered by the median operator along the N images.
  • the step of determining at least one fixed noise correction parameter by a processing module may also include the following step:
  • This temporal smoothing step makes it possible to refine the results of the determined correction parameter(s).
  • a system configured for the correction of fixed noise of at least one image, the system comprising:
  • At least one rotating image sensor arranged to acquire at least N substantially distinct and regular images, so that the combination of distinct images forms a panorama of a surrounding scene, the fixed noise included in each of the N images acquired being substantially identical
  • a processing module arranged and/or programmed to determine at least one fixed noise correction parameter from the N images acquired by the image sensor, F at least one correction parameter minimizing a functional, and for correct the fixed noise in each of the N images acquired from said estimate of F at least one determined correction parameter.
  • a computer program product comprising instructions which, when the program is executed by a computer, lead it to implement the steps of the method according to 'invention.
  • FIG.l is a schematic profile sectional view of a system according to the invention according to one embodiment.
  • FIG.2 is a flowchart of the method of the invention according to one embodiment.
  • variants of the invention comprising only a selection of characteristics described or illustrated subsequently isolated from the other characteristics described or illustrated (even if this selection is isolated within a sentence including these other characteristics), if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention compared to the state of the prior art.
  • This selection includes at least one preferably functional characteristic without structural details, and/or with only part of the structural details if this part only is sufficient to confer a technical advantage or to differentiate the invention from the state of the art. anterior.
  • the system comprises a rotating image sensor 1 arranged to acquire N substantially distinct and regular images, so that the combination of the distinct images forms a panorama of a surrounding scene, the fixed noise included in each of the N acquired images being substantially identical .
  • the system may include several image sensors, whether rotatable or not.
  • the image sensor 1 is rotated in order to acquire several images of the environment by following a panorama.
  • the acquired images are distinct from each other, that is to say that each acquired image images a sector of the panorama.
  • An image is defined as a set of pixel values measured during capture by an image sensor 1.
  • a scene corresponds to a physical reality in front of the image sensor 1 and which is captured by said sensor of images 1 which produces an image.
  • the rotary image sensor 1 corresponds, in a preferred embodiment, to an infrared rotary image sensor 1.
  • the image sensor is made up of a set of sensors each corresponding to a pixel. Indeed, depending on the model, the infrared rotary image sensor 1 acquires multiple images to reconstruct a panorama.
  • a panorama therefore corresponds to a set of scenes, or images, placed end to end to produce a 360 degree observation, preferably at least 90 degrees.
  • the rotating image sensor 1 rotates at a rotation frequency typically from 2Hz to 0.5Hz.
  • the image sensor 1 can rotate clockwise and vice versa.
  • the rotary image sensor 1 acquires images according to a minimum acquisition frequency F.
  • F can take values such as 7.5Hz, 45Hz or 64Hz.
  • the invention can be applied to other systems moving or rotating the system at a sufficiently high frequency that multiple images are acquired according to the presented embodiment.
  • the system also includes a processing module (not shown in the figure) arranged and/or programmed to determine at least one fixed noise correction parameter from the N images acquired by the image sensor, F at least a correction parameter minimizing a functional, and to correct the fixed noise in each of the N images acquired from said estimate of F at least one determined correction parameter.
  • a processing module (not shown in the figure) arranged and/or programmed to determine at least one fixed noise correction parameter from the N images acquired by the image sensor, F at least a correction parameter minimizing a functional, and to correct the fixed noise in each of the N images acquired from said estimate of F at least one determined correction parameter.
  • the method for correcting fixed noise in at least one image comprises three steps (El to E3).
  • Step El corresponds to an acquisition by the image sensor 1 of N substantially distinct and regular images, so that the combination of the distinct images forms a panorama of a surrounding scene, the fixed noise included in each of the N acquired images being substantially identical.
  • the acquisition of images is treated in the same way as that presented [Fig.l].
  • Step E2 corresponds to the determination of at least one fixed noise correction parameter by a processing module 2 from the N acquired images, F at least one correction parameter minimizing a functional.
  • the processing module 2 is configured to directly determine at least one fixed noise correction parameter by minimizing a functional.
  • the processing module 2 is then configured to estimate a set of parameters for all of the N acquired images, the set of parameters comprising a gain value and an offset value.
  • the functional returns a number, often positive definite, which is linked to the quantity of fixed noise present in the group of N acquired images considered.
  • the objective is to reduce this value to eliminate the fixed noise.
  • the functionality varies depending on the correction parameters defined (offset, gain, etc.).
  • the value of the functional corresponds to the value of a function linked to the quantity of noise present in the image in which these corrections are applied.
  • the set of correction parameters determined by the processing module 2 minimizes this functional.
  • the functional is often composed of a data attachment term and a regularization term.
  • the choice of the two terms reflects regularity assumptions made about the scenes that we expect to observe in practice.
  • a “total variation” term is used as a regularization term, and a quadratic penalization, on the norm of the corrections gains (minus one) and estimated offsets, as an attachment to the data.
  • the data attachment term reflects that the intensities of the images f.
  • correction parameters are applied to the image, here an offset parameter ( of order 0) and a gain parameter (of order 1). Parameters that minimize said quantity are sought.
  • the image index i ranging from 1 to N
  • the fixed noise is assumed to be fixed on this set of acquired images.
  • the total variations are summed for the different images because all of the images must have their discontinuities reduced by the correct fixed noise correction.
  • Other aggregation methods could also be used such as the minimum or the median.
  • the fixed noise varies slightly with time, the corrective parameters are therefore updated for a new group of images.
  • the correction parameters are estimated from several images.
  • new group we mean a batch of N images acquired during a rotation by the image sensor. Once the correction has been estimated for N images, it is assumed that, for the following N images, the fixed noise will have changed very little. We can therefore distribute determined correction parameters and adapt them.
  • the processing module 2 is configured to determine at least one fixed noise correction parameter from the N images acquired via a direct implementation.
  • This embodiment consists of taking each of the acquired images individually and applying processing equivalent to a high-pass filter on each of the N acquired images. More precisely, this high pass filter consists of taking, for each pixel of the acquired image, the median value of its eight direct neighboring pixels and subtracting it from the value of the pixel in question.
  • the result of the high pass filter on each image contains several components, such as the natural difference in the content of the scene in each pixel compared to the neighbors and the noise composed of a temporally dependent component (fixed noise) and a temporally independent component (photon noise and electronic).
  • a number of other alternative filters are possible. For example, for the first determination step, we can use the subtraction of the neighbor average or the subtraction of any other low-pass filter (which is equivalent to applying a high-pass filter).
  • Machine learning can also be used to independently predict the correction at each pixel on each image.
  • step E2 also includes a step of filtering the N images processed to extract at least one correction parameter common to each of the N images acquired. Filtering makes it possible to greatly reduce the contribution of the observed scenes, which implies that the scenes must correspond to varied scenes. This is the case here since, according to the invention, a rotating image sensor is used, each image acquired covering a different angle of view and with little overlap with the previous image. The result of the processing step with a high-pass filter on each acquired image is therefore filtered to produce a single image, i.e. a single estimate at each pixel. More precisely, a median at each pixel of all the images is produced, recovered and serves as a correction parameter.
  • This second filtering has the effect of greatly reducing in each pixel the contribution of the temporally independent noise and the observed scenes, while the fixed noise is preserved.
  • the common correction parameter therefore corresponds to an estimate of the fixed noise present in the acquired images.
  • other filters than that presented in this embodiment are possible such as averaging after removing the elements beyond the extreme quantiles or filtering the value appearing the most.
  • This second filtering step is equivalent to seeking a consensus between the independent estimates of the correction parameters of each image.
  • temporal smoothing of F at least one common correction parameter is used in order to refine the results of F at minus a common correction parameter.
  • Step E3 of the method corresponds to the correction of the fixed noise included in each of the N images acquired by the processing module from F at least one determined fixed noise correction parameter.
  • the correction is applied in the same way. This involves applying the correction parameter(s) determined to the N images, i.e. multiplying each image by the gain and adding the determined offset. There correction can be applied following a calibration of the image sensor predetermined at the factory for example.
  • each of the means of the device according to the invention previously described is a technical means.
  • each of the means of the device according to the invention previously described may comprise at least one computer, a central or calculation unit, an analog electronic circuit (preferably dedicated), a digital electronic circuit (preferably dedicated), and/or a microprocessor (preferably dedicated), and/or software means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Procédé de correction de bruit fixe dans au moins une image, le procédé comprenant les étapes suivantes : - acquisition (E1) d'au moins N images sensiblement distinctes et régulières par au moins un capteur d'images rotatif de sorte que la combinaison des N images forme un panorama d'une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique, - détermination (E2) d'au moins un paramètre de correction de bruit fixe par un module de traitement (2) à partir des au moins N images acquises, l'au moins un paramètre de correction minimisant une fonctionnelle, - correction (E3) du bruit fixe compris dans chacune des N images acquises par le module de traitement (2) à partir de l'au moins un paramètre de correction de bruit fixe déterminé.

Description

Description
Titre de l’invention : PROCEDE ET SYSTEME DE CORRECTION DE BRUIT FIXE D’UNE IMAGE Domaine technique
[0001] La présente invention concerne un procédé de correction de bruit fixe dans au moins une image. Elle concerne aussi un système pour la correction de bruit fixe dans au moins une image.
Etat de la technique antérieure
[0002] Bien que calibrées en usine, les caméras infrarouges sont connues pour subir de légères déviations dans les réponses des capteurs. Ces déviations changent lentement dans le temps, d’une prise image à l’autre. Mais ce changement est relativement lent par rapport à la fréquence de rafraîchissement de la caméra. Sur l’image, ces déviations causent une réponse non-uniforme spatialement pour un même signal lumineux, qui apparaît visuellement comme un bruit fixe d’une image à l’autre, d’où l’appellation de « Fixed Pattern Noise » (FPN). Ce bruit est typiquement modélisé comme ayant une composante fixe et une composante multiplicative par rapport au signal d’entrée (offsets et gains). On connaît des documents de l’état de l’art des procédés de correction de non uniformité d’une image tel que le document US8503821. Ce document propose de déterminer le mouvement de la scène par rapport au capteur entre deux prises de la même scène et d’utiliser les différentes réponses des pixels pour un même endroit de la scène pour déterminer ladite correction.
[0003] Le document US9900526 propose d’utiliser un obturateur visuel pour calibrer une scène. Cet obturateur visuel correspond à un objet qui apparaît quasiment uniforme et couvre une grande partie de la caméra.
[0004] Le document US9208542 propose une méthode de réduction du bruit au niveau des pixels dans les images thermiques. Cette méthode permet de compter le nombre de fois qu'un pixel est plus petit ou grand que ses pixels voisins et en fonction, de corriger le pixel en question.
[0005] Les procédés en question s’appuient donc soit sur la comparaison de vues différentes d’un même objet avec des lots de pixels différents, soit sur la présence d’un obturateur physique ou virtuel, soit sur des hypothèses de régularité des images réelles. Les méthodes basées sur la régularité des images réelles ont le problème que l’hypothèse de la régularité n’est pas bien vérifiée partout dans l’image. Certains pixels ne peuvent donc pas être corrigés correctement à partir d’une seule image. Les méthodes basées sur l’obturateur physique ont le désavantage de ne pas corriger exactement le bruit observé en pratique. Les méthodes basées sur l’obturateur virtuel impliquent une certaine logique complexe à mettre en place. Enfin, des méthodes comparant deux vues d’un même objet ou d’une même scène après un mouvement, ou à l’aide de plusieurs capteurs, sont assez sensibles à la qualité de la mise en correspondance des deux scènes et de la similarité entre les images. De plus, l’algorithme de mise en correspondance peut être coûteux en ressources de calcul.
[0006] Le but de la présente invention est de résoudre au moins un des inconvénients susmentionnés.
Exposé de l’invention
[0007] Cet objectif est atteint avec un procédé de correction de bruit fixe dans au moins une image. Le procédé comprend les étapes suivantes :
[0008] - acquisition d’au moins N images sensiblement distinctes et régulières par au moins un capteur d’images rotatif de sorte que la combinaison des N images forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
[0009] - détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement à partir des au moins N images acquises, F au moins un paramètre de correction minimisant une fonctionnelle,
[0010] - correction du bruit fixe compris dans chacune des N images acquises par le module de traitement à partir de F au moins un paramètre de correction de bruit fixe déterminé.
[0011] De nombreux paramètres de l’environnement peuvent affecter la non- uniformité du capteur, tels que de petites variations de la température. Cette non-uniformité varie donc avec le temps. On peut cependant considérer qu’elle reste quasiment fixe par rapport à plusieurs images consécutives prises à la fréquence image maximale du capteur. Il convient donc de mettre à jour fréquemment la correction.
[0012] La présente invention s’appuie sur plusieurs images acquises de scènes différentes prises avec le même capteur d’images dans un temps court. Ceci est réalisé avec un capteur d’images rotatif qui peut reconstruire un panorama à l’aide d’images prises lors de la rotation du capteur d’images : chaque image correspond à un morceau ou secteur de scène panoramique différent. Une fréquence d’acquisition E du capteur d’images est supérieure à une fréquence de changement de bruit fixe entre l’acquisition de deux images. La fréquence d’acquisition E est suffisante pour que les éventuelles évolutions des paramètres de bruit fixe soient très faibles. L’invention permet alors d’éviter les défauts des méthodes traditionnelles basées sur la régularité, car chaque correction de bruit fixe est estimée non à partir d’une, mais de plusieurs images acquises.
[0013] Il est également considéré que les images acquises sont sensiblement régulières sur une majorité de l’image, et qu’en chaque pixel on peut trouver une ou plusieurs images bien régulières localement autour de ce pixel parmi les images acquises. On entend par « régulière », le fait que le dénivelé d’intensité dans l’image considérée ne subit pas de changement brusque sur une majorité de l’image. Une image est également dite « régulière localement » si les valeurs des pixels dans un petit voisinage peuvent être décrites avec une formule mathématique simple, par exemple l’équation d’un plan, avec peu d'erreurs. Les images naturelles sont généralement considérées être, avec grande probabilité, régulières en une majorité de pixels. Cela correspond par exemple aux zones aplaties de l'image, ou avec de légers dégradés. Les zones à fort contraste, comme les bords des objets, ou les zones fortement texturées, par exemple une pile de branches, ne sont pas considérées comme régulières.
[0014] Les paramètres de la correction de non- uniformité peuvent être ré-estimés suffisamment fréquemment pour compenser les variations de non- uniformité du capteur. On entend par « variations de non uniformité » les variations de bruit fixe. Il est considéré ici, au vu de la fréquence d’acquisition d’images élevée, que la valeur du bruit fixe dans chaque image est sensiblement identique. Par « sensiblement identique », on entend que le bruit fixe a une évolution négligeable entre la première et la dernière des N images acquises.
[0015] L’au moins un paramètre de correction de bruit fixe déterminé par le module de traitement selon l’invention minimise une fonctionnelle de la forme
[0017] Dans cette fonctionnelle, . correspond à l'image i, et correspond à l'image i
1 i corrigée, c'est à dire
[0019] où G , O et f. sont des matrices de la taille d'une image, et * est le produit de Hadamard. G et O correspondent respectivement à une matrice de gain et d'offset.
[0020] Les valeurs des matrices O et G sont les paramètres qui sont estimés.
[0021] Un nombre variable de paramètres peut être déterminé à partir des N images acquises. Dans le cas où seulement O est estimé, l’invention donne des résultats plus robustes et rapides. Dans le cas où plusieurs paramètres sont estimés, le signal est mieux représenté et la correction est plus performante en pratique. Les valeurs des matrices O et G sont les paramètres qui sont estimés dans le cas présent.
[0022] L’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement peut comprendre l’étape suivante :
[0023] - détermination d’un jeu d’au moins deux paramètres de correction pour l’ensemble des N images acquises par le module de traitement, le jeu de paramètres de correction comprenant une valeur de gain et une valeur d’offset.
[0024] Afin de minimiser la fonctionnelle, un jeu de deux paramètres est directement déterminé à partir des N images acquises. L’ensemble des N images est pris en compte pour déterminer le jeu de paramètres. Dans cette réalisation la fonctionnelle peut être définie par :
[0028] L’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement peut être réalisée via une implémentation directe.
[0029] L’implémentation directe peut comprendre les étapes suivantes :
[0030] - premier filtrage des N images,
[0031] - deuxième filtrage le long des N images.
[0032] Avantageusement, le premier filtrage des N images peut comprendre l’utilisation d’un filtre passe haut.
[0033] Un choix judicieux de G et h permet une implémentation directe, où une succession de filtrages permet d'obtenir directement le minimum de la fonctionnelle. Au moins un paramètre de correction peut être déterminé de cette manière. Dans une réalisation, le choix judicieux de G et h correspond à
[0037] où ï est la matrice de la taille de l’image contenant 1 dans chaque case,
[0038] où F est un filtre passe haut sur l’image acquise, tel que la soustraction du médian des pixels voisins à la valeur de chaque pixel,
[0039] et
[0040] h( G, G) = 0 si G = I sinon /z( G, O) = + «
[0041] h G, O) = + oo permet de forcer le gain à valoir un en chaque pixel sans pénaliser la valeur de l’offset. On obtient alors que la fonctionnelle est minimisée par:
[0043] où l’opérateur médian est sous-entendu appliqué indépendamment en chaque position dans la matrice.
[0044] Une implémentation directe de la minimisation de la fonctionnelle consiste alors d'abord en un filtrage des N images selon le filtre passe haut F. Le filtre passe haut correspond à un filtre spatial. Ensuite les résultats de ces filtrages sont filtrés par l'opérateur médian le long des N images.
[0045] D'autres fonctionnelles similaires disposent d'implémentations directes. Par implémentation directe, on entend que le résultat de la minimisation de la fonctionnelle est obtenu directement sans utiliser d’algorithme de minimisation de la fonctionnelle.
[0046] Utiliser a pour effet de remplacer dans l'implémentation directe le médian par l'opérateur moyenne. Une moyenne pondérée est obtenue en utilisant des opérateurs Q- intégrant une pondération différente pour chaque image. Dans le cas de l'implémentation directe utilisant l'opérateur médian, on peut constater l'intérêt d'utiliser la norme 1 dans Q . En effet l'application du médian sur le résultat des filtres passe-haut a pour effet de ne pas prendre en compte les scènes où, pour le pixel considéré, et il y a fort contraste de la scène, et donc une réponse aberrante du filtre passe-haut. La majorité des scènes aura en ce pixel une valeur non erronée, et c'est donc ce que le médian retourne.
[0047] L’étape de détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement peut comprendre également l’étape suivante :
[0048] - lissage temporel de F au moins un paramètre de correction commun à chacune des
N images acquises.
[0049] Cette étape de lissage temporel permet d’affiner les résultats du ou des paramètres de correction déterminés.
[0050] Suivant encore un autre aspect de l'invention, il est proposé un système configuré pour la correction de bruit fixe d’au moins une image, le système comprenant :
[0051] - au moins un capteur d’images rotatif agencé pour acquérir au moins N images sensiblement distinctes et régulières, de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
[0052] - un module de traitement agencé et/ou programmé pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises par le capteur d’images, F au moins un paramètre de correction minimisant une fonctionnelle, et pour corriger le bruit fixe dans chacune des N images acquises à partir de ladite estimation de F au moins un paramètre de correction déterminé.
[0053] Suivant encore un autre aspect de l'invention, il est proposé un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’invention.
Description des figures et modes de réalisation
[0054] D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, et des dessins annexés suivants :
[0055] [Fig.l] est une vue schématique de coupe de profil d’un système selon l’invention selon un mode de réalisation. [0056] [Fig.2] est un ordinogramme du procédé de l’invention selon un mode de réalisation.
[0057] Ces modes de réalisation n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites ou illustrées par la suite isolées des autres caractéristiques décrites ou illustrées (même si cette sélection est isolée au sein d’une phrase comprenant ces autres caractéristiques), si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique de préférence fonctionnelle sans détails structurels, et/ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou à différencier l’invention par rapport à l’état de la technique antérieure.
[0058] On va tout d’abord décrire, en référence à la [Fig.l], un système configuré pour la correction de bruit fixe d’au moins une image. Le système comprend un capteur d’images rotatif 1 agencé pour acquérir N images sensiblement distinctes et régulières, de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique. Dans un autre mode de réalisation, le système peut comprendre plusieurs capteurs d’image qu’ils soient rotatifs ou non. Le capteur d’images 1 est mis en rotation afin d’acquérir plusieurs images de l’environnement en suivant un panorama. Les images acquises sont distinctes l’une de l’autre, c’est-à-dire que chaque image acquise image un secteur de panorama. Dans d’autres modes de réalisation, il peut également y avoir parmi les images acquises des images de la même scène ou avec un recouvrement fort avec d’autres images.
[0059] Une image est définie comme un ensemble de valeurs de pixels mesurées lors d’une capture par un capteur d’images 1. Une scène correspond à une réalité physique en face du capteur d’images 1 et qui est capturée par ledit capteur d’images 1 qui en réalise une image. Lorsque le capteur d’images 1 tourne, il observe une autre scène. Le capteur d’images rotatif 1 correspond, dans un mode de réalisation préféré, à un capteur d’images rotatif 1 infrarouge. Le capteur d’images est composé d’un ensemble de capteurs correspondant chacun à un pixel. En effet, en fonction du modèle, le capteur d’images rotatif 1 infrarouge acquiert de multiples images pour reconstruire un panorama. Un panorama correspond donc à un ensemble de scènes, ou d’images, mises bout à bout pour produire une observation 360 degrés, préférentiellement d’au moins 90 degrés. Le capteur d’images 1 rotatif tourne selon une fréquence de rotation typiquement de 2Hz à 0.5Hz. Le capteur d’images 1 peut faire une rotation dans le sens des aiguilles d’une montre et vice versa. Préférentiellement, le capteur d’images rotatif 1 acquiert des images selon une fréquence d’acquisition minimale F. F peut prendre des valeurs comme 7.5Hz, 45Hz ou 64Hz. L’invention peut s’appliquer à d’autres systèmes déplaçant ou tournant le système à une fréquence suffisamment élevée pour que plusieurs images soient acquises selon le mode de réalisation présenté.
[0060] Le système comprend également un module de traitement (non représenté sur la figure) agencé et/ou programmé pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises par le capteur d’images, F au moins un paramètre de correction minimisant une fonctionnelle, et de corriger le bruit fixe dans chacune des N images acquises à partir de ladite estimation de F au moins un paramètre de correction déterminé.
[0061] On va décrire, en référence à la [Fig.2], un ordinogramme du procédé de l’invention selon un mode de réalisation.
[0062] Le procédé de correction de bruit fixe dans au moins une image comprend trois étapes (El à E3). L’étape El correspond à une acquisition par le capteur d’images 1 de N images sensiblement distinctes et régulières, de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique. L’acquisition des images est traitée de la même manière que celle présentée [Fig.l].
[0063] L’étape E2 correspond à la détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement 2 à partir des N images acquises, F au moins un paramètre de correction minimisant une fonctionnelle.
[0064] Selon un premier mode de réalisation, le module de traitement 2 est configuré pour directement déterminer au moins un paramètre de correction de bruit fixe en minimisant une fonctionnelle. Le module de traitement 2 est alors configuré pour estimer un jeu de paramètres pour l’ensemble des N images acquises, le jeu de paramètres comprenant une valeur de gain et une valeur d’offset.
[0065] La fonctionnelle retourne un nombre, souvent défini positif, qui est lié à la quantité de bruit fixe présent dans le groupe des N images acquises considéré. L’objectif est de diminuer cette valeur pour éliminer le bruit fixe. La fonctionnelle varie selon les paramètres de corrections définis (offset, gain, etc.). La valeur de la fonctionnelle correspond à la valeur d'une fonction liée à la quantité de bruit présente dans l'image dans laquelle ces corrections sont appliquées. Le jeu de paramètres de correction déterminés par le module de traitement 2 vient minimiser cette fonctionnelle.
[0066] En pratique, la fonctionnelle est souvent composée d’un terme d’attache aux données et d’un terme de régularisation. Le choix des deux termes reflète des hypothèses de régularité faites sur les scènes que l’on s’attend à observer en pratique. Ici, un terme de “variation totale” est utilisé comme terme de régularisation, et une pénalisation quadratique, sur la norme des corrections gains (moins un) et offsets estimés, comme attache aux données. Le terme de régularisation, basé sur la variation totale, reflète que l’image f après correction 'f = Q*f _|_ ()■ doit donner une image dont la variation i i totale sera faible. Le terme d’attache aux données reflète que les intensités des images f. et 'e doivent être proches, et donc que le gain doit être proche de 1 en chaque pixel J i et l’offset proche de 0. Ainsi, des paramètres de correction sont appliqués à l’image, ici un paramètre d’offset (d’ordre 0) et un paramètre de gain (d’ordre 1). Les paramètres qui minimisent ladite quantité sont recherchés.
[0067] Ici, plusieurs images sont à disposition (l’indice d’image i allant de 1 à N), un seul jeu de paramètres gain et offset est déterminé pour l’ensemble des images (le bruit fixe est supposé fixe sur ce jeu d’images acquises). Les variations totales sont sommées pour les différentes images car l’ensemble des images doivent avoir leurs discontinuités diminuées par la bonne correction de bruit fixe. D’autres méthodes d’agrégation pourraient aussi être utilisées comme le minimum ou la médiane.
[0068] Nous obtenons alors la fonctionnelle :
[0070] Le bruit fixe variant légèrement avec le temps, les paramètres correctifs sont donc mis à jour pour un nouveau groupe d’images. A chaque fois, les paramètres de corrections sont estimés à partir de plusieurs images. On entend par « nouveau groupe » un lot de N images acquises lors d'une rotation par le capteur d’images. Une fois la correction estimée pour N images, on suppose que, pour les N images suivantes, le bruit fixe aura très peu changé. On peut donc répartir des paramètres de correction déterminés et les adapter.
[0071] Dans ce mode de réalisation, ou d’autres, afin de minimiser la fonctionnelle et d’obtenir les paramètres de correction, plusieurs techniques peuvent être utilisées, par exemple :
[0072] - une méthode itérative d’optimisation,
[0073] - une méthode avec un apprentissage machine, où une fonction est apprise pour produire directement une bonne approximation de solution de la minimisation de la fonctionnelle. Cette fonction prendra en entrée les N images et soit retourne les paramètres de correction, soit directement les N images corrigées (l’estimation des paramètres étant alors considérée comme implicite).
[0074] Selon un deuxième mode de réalisation, le module de traitement 2 est configuré pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises via une implémentation directe.
[0075] Ce mode de réalisation consiste à prendre chacune des images acquises individuellement et à appliquer un traitement équivalent à un filtre passe-haut sur chacune des N images acquises. Plus précisément, ce filtre passe haut consiste à prendre, pour chaque pixel de l’image acquise, la valeur médiane de ses huit pixels voisins directs et à la soustraire à la valeur du pixel en question. Le résultat du filtre passe-haut sur chaque image contient plusieurs composantes, tels que la différence naturelle du contenu de la scène en chaque pixel par rapport aux voisins et le bruit composé d’une composante temporellement dépendante (bruit fixe) et d’une composante tempo- rellement indépendante (bruit photonique et électronique). Dans d’autres modes de réalisation, un certain nombre d’autres filtres alternatifs sont possibles. Par exemple, pour la première étape de détermination, on peut utiliser la soustraction de la moyenne des voisins ou la soustraction de tout autre filtre passe-bas (ce qui est équivalent à appliquer un filtre passe-haut). De l’apprentissage machine peut également être utilisé pour prédire indépendamment sur chaque image la correction en chaque pixel.
[0076] Selon le mode de réalisation décrit, l’étape E2 comprend également une étape de filtrage des N images traitées pour extraire au moins un paramètre de correction commun à chacune des N images acquises. Le filtrage permet de réduire fortement la contribution des scènes observées, ce qui implique que les scènes doivent correspondre à des scènes variées. C’est le cas ici puisque, selon l’invention, un capteur d’images rotatif est utilisé, chaque image acquise couvrant un angle de vue différent et avec peu de recouvrement avec l’image précédente. Le résultat de l’étape de traitement avec un filtre passe-haut sur chaque image acquise est donc filtré pour produire une unique image, soit une unique estimation en chaque pixel. Plus précisément, un médian en chaque pixel de l’ensemble des images est réalisé, récupéré et fait office de paramètre de correction. Ce second filtrage a pour effet de réduire fortement en chaque pixel la contribution du bruit temporellement indépendant et des scènes observées, alors que le bruit fixe est conservé. Le paramètre de correction commun correspond donc à une estimation du bruit fixe présent dans les images acquises. Dans d’autres modes de réalisation, d’autres filtres que celui présenté dans ce mode de réalisation sont envisageables comme moyenner après retrait des éléments au-delà des quantiles extrêmes ou filtrer la valeur apparaissant le plus.
[0077] Cette étape de second filtrage est équivalente à chercher un consensus entre les estimations indépendantes des paramètres de correction de chaque image.
[0078] Si le nombre d’images utilisé est faible et que la fréquence de variation de la non- uniformité est suffisamment lente, un lissage temporel de F au moins un paramètre de correction commun est utilisé afin d’affiner les résultats de F au moins un paramètre de correction commun.
[0079] L’étape E3 du procédé correspond à la correction du bruit fixe compris dans chacune des N images acquises par le module de traitement à partir de F au moins un paramètre de correction de bruit fixe déterminé.
[0080] Quel que soit le mode de réalisation, la correction est appliquée de la même manière. Il s'agit d’appliquer le ou les paramètres de correction déterminés sur les N images, c’est à dire de multiplier chaque image par le gain et d'ajouter l'offset déterminé. La correction peut être appliquée à la suite d’une calibration du capteur d’images prédéterminée en usine par exemple.
[0081] Typiquement, au moins un des moyens du dispositif selon l’invention précédemment décrits, de préférence chacun des moyens du dispositif selon l’invention précédemment décrits, est un moyen technique.
[0082] Typiquement, chacun des moyens du dispositif selon l’invention précédemment décrits peut comprendre au moins un ordinateur, une unité centrale ou de calcul, un circuit électronique analogique (de préférence dédié), un circuit électronique numérique (de préférence dédié), et/ou un microprocesseur (de préférence dédié), et/ou des moyens logiciels.
[0083] Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention.
[0084] Bien entendu, les différents modes de réalisation, caractéristiques, formes et variantes de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons, dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.

Claims

Revendications
[Revendication 1] Procédé de correction de bruit fixe dans au moins une image, caractérisé en ce que le procédé comprend les étapes suivantes :
- acquisition (El) d’au moins N images sensiblement distinctes et régulières par au moins un capteur d’images rotatif (1) de sorte que la combinaison des N images forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
- détermination (E2) d’au moins un paramètre de correction de bruit fixe par un module de traitement (2) à partir des au moins N images acquises, F au moins un paramètre de correction minimisant une fonctionnelle,
- correction (E3) du bruit fixe compris dans chacune des N images acquises par le module de traitement (2) à partir de F au moins un paramètre de correction de bruit fixe déterminé.
[Revendication 2] Procédé selon la revendication 1, caractérisé en ce que l’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement (2) comprend l’étape suivante :
- détermination d’un jeu d’au moins deux paramètres de correction pour l’ensemble des N images acquises par le module de traitement (2), le jeu de paramètres de correction comprenant une valeur de gain et une valeur d’offset.
[Revendication 3] Procédé selon la revendication 1, caractérisé en ce que l’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement (2) est réalisée via une implémentation directe.
[Revendication 4] Procédé selon la revendication 3, caractérisé en ce que l’implémentation directe comprend les étapes suivantes :
- premier filtrage des N images,
- deuxième filtrage le long des N images.
[Revendication 5] Procédé selon la revendication 4, caractérisé en ce que le premier filtrage des N images comprend l’utilisation d’un filtre passe haut.
[Revendication 6] Procédé selon l’une quelconque des revendications 1 à 5, caractérisé en ce que l’étape de détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement (2) comprend également l’étape suivante :
- lissage temporel de F au moins un paramètre de correction commun à chacune des N images acquises.
[Revendication 7] Système configuré pour la correction de bruit fixe d’au moins une image, le système comprenant :
- au moins un capteur d’images rotatif (1) agencé pour acquérir au moins N images sensiblement distinctes et régulières de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
- un module de traitement (2) agencé et/ou programmé pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises par le capteur d’images, l’au moins un paramètre de correction minimisant une fonctionnelle, et pour corriger le bruit fixe dans chacune des N images acquises à partir de ladite estimation de l’au moins un paramètre de correction déterminé.
[Revendication 8] Produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 6.
EP23817304.1A 2022-12-13 2023-11-16 Procede et systeme de correction de bruit fixe d'une image Pending EP4612642A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2213248A FR3143163B1 (fr) 2022-12-13 2022-12-13 Procede et systeme de correction de bruit fixe d’une image
PCT/EP2023/082076 WO2024125939A1 (fr) 2022-12-13 2023-11-16 Procede et systeme de correction de bruit fixe d'une image

Publications (1)

Publication Number Publication Date
EP4612642A1 true EP4612642A1 (fr) 2025-09-10

Family

ID=85937110

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23817304.1A Pending EP4612642A1 (fr) 2022-12-13 2023-11-16 Procede et systeme de correction de bruit fixe d'une image

Country Status (4)

Country Link
US (1) US20260010983A1 (fr)
EP (1) EP4612642A1 (fr)
FR (1) FR3143163B1 (fr)
WO (1) WO2024125939A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250200963A1 (en) * 2023-12-18 2025-06-19 Nvidia Corporation Automatic determination of noise profiles for image sensors

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880777B2 (en) * 2005-05-26 2011-02-01 Fluke Corporation Method for fixed pattern noise reduction in infrared imaging cameras
US7995859B2 (en) 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
EP2719165B1 (fr) * 2011-06-10 2018-05-02 Flir Systems, Inc. Techniques de correction de non-uniformité pour dispositifs d'imagerie infrarouge
US9973692B2 (en) * 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US10417745B2 (en) * 2016-06-28 2019-09-17 Raytheon Company Continuous motion scene based non-uniformity correction
CN112424821B (zh) * 2018-05-15 2024-04-23 泰立戴恩菲力尔商业系统公司 基于由旋转成像器捕获的图像的全景图像构建

Also Published As

Publication number Publication date
FR3143163B1 (fr) 2024-12-20
FR3143163A1 (fr) 2024-06-14
WO2024125939A1 (fr) 2024-06-20
US20260010983A1 (en) 2026-01-08

Similar Documents

Publication Publication Date Title
EP2457379B1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
CN108541374B (zh) 一种图像融合方法、装置及终端设备
US8755628B2 (en) Image de-hazing by solving transmission value
EP1694058A1 (fr) Procédé et dispositif de capture d'images comprenant une mesure de mouvements locaux
EP1749278A2 (fr) Procede de traitement de donnees d'image, par réduction de bruit d'image, et camera integrant des moyens de mise en oeuvre du procede
Cao et al. Spatially adaptive column fixed-pattern noise correction in infrared imaging system using 1D horizontal differential statistics
Burge et al. Optimal defocus estimates from individual images for autofocusing a digital camera
EP3200153A1 (fr) Procédé de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra aéroportée
FR3019352A1 (fr) Systeme d'identification d'un modele d'appareil photographique associe a une image compressee au format jpeg, procede, utilisations et applications associes
EP4612642A1 (fr) Procede et systeme de correction de bruit fixe d'une image
Liu et al. Efficient polarization demosaicking via low-cost edge-aware and inter-channel correlation
EP3301644B1 (fr) Procédé de construction d'une carte de profondeur d'une scène et/ou d'une image entièrement focalisée
Chittilappilly et al. SVM based defect detection for industrial applications
FR3078427A1 (fr) Detection dynamique de lumiere parasite dans une image numerique
WO2024226097A1 (fr) Système et procédé d'apprentissage auto-supervisé de réseaux de restauration d'image
EP3963539B1 (fr) Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene changeante
FR3140724A1 (fr) Detection et correction de pixels defectueux
Ratliff et al. Scene-based correction of fixed pattern noise in hyperspectral image data using temporal reordering
Zheng et al. An improved adaptive preprocessing method for TDI CCD images
FR3025683A1 (fr) Procede et dispositif d'estimation de parametres d'egalisation d'image numerique
FR3095064A1 (fr) Procédés et dispositifs de levée de doute biométrique
EP4066204B1 (fr) Procédé et dispositif de traitement d'images
EP3963540B1 (fr) Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene statique
Song et al. Extreme Low-Light Image Denoising
EP4684352A1 (fr) Procede de traitement d'une image brute, produit programme d'ordinateur et dispositif de traitement associes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250602

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20260219

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)