EP1749278A2 - Procede de traitement de donnees d'image, par réduction de bruit d'image, et camera integrant des moyens de mise en oeuvre du procede - Google Patents

Procede de traitement de donnees d'image, par réduction de bruit d'image, et camera integrant des moyens de mise en oeuvre du procede

Info

Publication number
EP1749278A2
EP1749278A2 EP05757055A EP05757055A EP1749278A2 EP 1749278 A2 EP1749278 A2 EP 1749278A2 EP 05757055 A EP05757055 A EP 05757055A EP 05757055 A EP05757055 A EP 05757055A EP 1749278 A2 EP1749278 A2 EP 1749278A2
Authority
EP
European Patent Office
Prior art keywords
image
points
window
noise
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05757055A
Other languages
German (de)
English (en)
Inventor
Jean-Michel Morel
Bartomeu Coll
Antonio Buades
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitat de les Illes Balears
Centre National de la Recherche Scientifique CNRS
École Normale Supérieure Paris-Saclay
Original Assignee
Universitat de les Illes Balears
Centre National de la Recherche Scientifique CNRS
Ecole Normale Superieure de Cachan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitat de les Illes Balears, Centre National de la Recherche Scientifique CNRS, Ecole Normale Superieure de Cachan filed Critical Universitat de les Illes Balears
Publication of EP1749278A2 publication Critical patent/EP1749278A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Definitions

  • Image data processing method by reducing image noise, and camera integrating means for implementing the method
  • the present invention relates to the processing of image data by noise reduction.
  • an image appears as a table of values, generally rectangular.
  • a temporal sequence of images such as a film
  • it is a series of such tables, over time.
  • a “time pixel” for a point belonging to a sequence of images over time, for example a point which evolves from one image to another in a film. It will therefore be understood that a “temporal pixel” is associated with a temporal coordinate, additional compared to a conventional pixel.
  • a sample for the association of a point and its value.
  • Each point is the result of a measurement, generally made by a matrix or a strip of light sensors, such as CCD (for “Couple Charge Device”).
  • CCD for “Couple Charge Device”.
  • a point corresponds to a small square of the CCD matrix in which the number of arriving photons is account.
  • the arrival of photons follows a random process introducing fluctuations around an average value.
  • each sensor can itself produce a "dark noise" which is superimposed on the photon count.
  • the noise can depend, at each point, on the gray level of this point. This is how there is generally more noise in the bright parts of the image, even if the signal to noise ratio is better there.
  • signal / noise ratio t This parameter designates the proportion of a gray or color level that can come from noise. For example, a signal-to-noise ratio of 100 corresponds to fluctuations of one hundredth of the "true value" of the gray level. For images usual digital, the gray or color level varies between 0 (black) and 255 (white). Noise becomes sensitive as soon as it exceeds an average amplitude, or standard deviation, of 4 or 5, which corresponds to a signal / noise ratio of around 50. It is very useful to be able to eliminate all kinds of noise from the images, because the noise interferes with the vision of the images and hides details. Typically, a noise-free image appears sharper.
  • CCD sensors are itself dictated in part by the requirement for noise reduction. If we knew how to effectively suppress noise, we could build smaller sensors by applying noise reduction processing to the signals received. We could thus build smaller cameras, with fewer CCD sensors, but providing the same number of pixels as existing ones. We could also design cameras with the same characteristics, but at higher resolution, or identical cameras, but usable with a shorter exposure time.
  • noise reduction methods described in particular in documents ' US-6,681,054 and US-6,539,125 use a weighting based on the spatial distances between a point to be treated and current points surrounding this point to be treated, to calculate an average to be assigned to the values of the point to be treated. Consequently, if the image locally presents a wide variety of nuances, after processing by noise reduction based on a weighting with respect to a spatial distance, this variety of nuances is no longer found.
  • the present invention improves the situation.
  • a method for processing image data by reducing image noise, comprising the following steps: a) obtaining points of the image with respective values associated with the points, b) associating with a image reference point, a learning zone, and c) assign to the reference point new values obtained by a weighted statistical estimate, of weighted average or weighted median type, using the values of the points included in zone d 'learning.
  • the process within the meaning of the invention more precisely comprises the following steps: cl) for each current point of the learning zone, evaluate a distance characterizing a resemblance between: - the values of the points in a first window of the image, centered on the reference point, on the one hand, and - the values of the points in a second window, in the same format as the first window and centered on the current point, on the other hand, c2) and repeat step cl) for all the points of the learning zone as points successive currents using the distances obtained for all the current points to calculate the weights used in the weighted statistical estimate of step c).
  • the above-mentioned step c) is applied to all the points of the image as successive reference points, in order to process the entire image overall.
  • the learning zone can correspond to the entire image to be processed.
  • the learning zone belongs to one or more model images, different from the image to be processed.
  • the points can be pixels for a two-dimensional image, voxels for a three-dimensional image, or even time pixels when the image to be processed is a film.
  • these points are ultimately successive samples.
  • step a) of the method within the meaning of the invention the points of the image are acquired from one or more light sensors of given surface, by imposing on this or these sensors, a time d exposure to light, per unit area, predetermined. It is indicated that, generally, a decrease in exposure time leads to an increase in noise.
  • steps cl), c2) and c) offers a reduction in noise by a factor K, a reduction, appreciably by a factor K 2 , of the exposure times of the sensor (s) is authorized. , to operate at a substantially constant signal-to-noise ratio.
  • the number of sensors per unit area can be advantageously increased, in order to increase, by a factor of K 2 , the resolution of l image acquired and processed.
  • the present invention also relates to a camera, equipped with one or more sensors and comprising means for controlling the exposure time of the sensors for the implementation of the above process.
  • a processing unit adequately programmed to apply the processing method within the meaning of the invention to the signals acquired by the camera's sensor or sensors.
  • this processing unit comprises a memory suitable for storing a computer program product comprising instructions for the implementation of all or part of the steps of the above method.
  • the present invention also relates to such a computer program product, intended to be stored in a memory of a processing unit of the aforementioned type, or else on a removable memory medium, such as a CD-ROM or a floppy disk, intended for. cooperate with a reader of the processing unit.
  • FIG. 1 very schematically illustrates the elements of a camera involved in the implementation of the processing within the meaning of the invention
  • FIG. 2 schematically represents the format of the windows to be compared for the evaluation of the distance, and, from there, of the aforementioned weighting
  • FIG. 3 schematically represents a succession of windows of respective increasing sizes used for the evaluation of the aforementioned distance, in an embodiment described below
  • - Figure 4 summarizes the main steps of the method according to a preferred embodiment
  • - Figure 5 shows additional steps of the above method, in a preferred embodiment.
  • the camera defined above comprises a matrix of CCD sensors receiving a light flux from an OBJ objective, the two elements being for example housed in a black box (not shown) . It also includes an acquisition card 1 in particular for converting the signals from CCD sensors into digital samples, typically pixels, which are temporarily stored in a working memory 2 to be processed by a processor 3.
  • a digital image is made up of pixels which can be assimilated to points on a grid, provided with a gray value or with color levels.
  • a memory 4 for example a read only memory, stores the instructions of a computer program product for the implementation of the method according to the invention.
  • the processed pixels can then be transmitted by an interface 5 which, in the example described, is a graphical interface for displaying the processed image on an ECR display screen.
  • the interface 5 can be a communication interface for transmitting the processed pixels to a remote entity. It can also be an interface to a storage unit, for example for storing on a memory medium, for later retrieving the pixels. acquired and processed by the process within the meaning of the invention. Finally, it can be an interface to a paper printing unit.
  • the samples acquired are transmitted directly to a remote entity comprising a processing unit to apply the noise reduction processing within the meaning of the invention to these samples, rather than having the samples processed by the camera itself.
  • FIG. 2 shows a two-dimensional image.
  • the image can be three-dimensional and include voxels.
  • the image can also be a film and include temporal pixels, without these various distinctions affecting the principles of the invention, as will be seen.
  • I the value of the color (or of the gray level for a black and white image) associated with the Pref pixel.
  • This value is either an integer or real number (for a grayscale image) or a triplet in the case of RGB standard color images (for red-green-blue), or possibly a tuple in the case of a multispectral image, without these various distinctions still affecting the principles of the invention.
  • the objective is to remove the degradations while preserving the main characteristics of the image, as well as the details of small dimensions and the textures.
  • the processing within the meaning of the invention makes no assumption about the nature of the noise or of the image.
  • Knowledge of the type of noise will however make it possible to specify and adapt several of the elements of the process such as the type of statistical calculation to be carried out (weighted average or weighted median for example), or even the size to be fixed for the windows of resemblance.
  • the processing is nevertheless based on the fact that all the usual images have a high degree of redundancy. We then consider that there are around each pixel pixels which are very similar to it.
  • the requirement of resemblance is preferred over the criterion of spatial proximity.
  • FIG. 2 there is shown a plurality of points PC, PC, ... belonging to a learning zone ZA which can be located in the image to be processed IM or, sometimes more advantageously, in d ' other images considered as models.
  • a reference point Pref to be processed and which necessarily belongs to the IM image.
  • the window f2 including the point PC includes MOA image patterns in the form of oblique zebra lines, while the windows fl and f'2 respectively including the reference point Pref and the other current point PC are both "white".
  • the processing within the meaning of the present invention will allocate a greater distance d to the window f2 than the distance d 'which is allocated to the window f'2, even if, however, the point PC is closer, in distance, to the Pref reference point than the PC point.
  • window centered in one pixel is used to mean all the pixels which are at a predetermined distance from the central pixel. It is indicated that these windows are preferably square, here. However, their shape can also be rectangular, oval, or other.
  • a criterion of distance between windows is established, this distance being evaluated for example on the basis of a weighted sum of squares of the differences in point values, between the first window and the second window. Any other distance, norm, or measure evaluating the resemblance of the two windows is also possible.
  • the resemblance between two windows can be estimated preferentially based on the sum of the squares of the differences of gray levels or color in each window • pixel, as discussed in detail below.
  • the weighted average used to calculate the value assigned to the restored pixel of I (Pref) is therefore an average where the similar windows count a lot, while the non-similar windows count little or do not count at all.
  • FIG. 4 summarizes these steps.
  • a reference pixel Pref to be processed, is designated in the image.
  • a window of predetermined size f 1 is associated with it, in step 42.
  • the designation of the reference pixel to be processed also makes it possible to associate therewith a learning zone ZA and to designate, consequently, the current pixels PC, PC, ..., belonging to this area of learning ZA and on the basis of which the averaging will be carried out.
  • step 44 the method continues with the construction of the second windows f2, f'2, ... associated with the current pixels PC, PC, etc.
  • step 45 respective distances d, d ′, etc. are evaluated, according to a similarity criterion, between the window fl and the window f2, between the window fl and the window f'2, etc.
  • a weighted average MOY is evaluated as a function of the pixel values val (PC), val (PC), ..., of the current points PC, PC, ..., as well as the respective distances d, d ', ... calculated in step 45.
  • MOY val (PC) / D + val (PC) / D' + ...
  • D, D ', ... are values that vary as the distances d, d ', ...
  • step 47 the value MOY is assigned to the reference pixel Pref and the new value val (Pref) is preferably stored in memory for later display of the image, or other (step 50).
  • step 48 a test checks whether there is another pixel of the image to be processed, in which case this new pixel is designated as a reference pixel in step 41, which is implemented again, with the following steps 42 to 50. Otherwise, the process stops at step 49.
  • Each pixel p is associated with a "learning zone centered at p" ZA, defined as a window A (p, N) of any shape (square, circular, or other), centered at p and of fixed size (2N +1) (2N + 1).
  • the new value I r es (p) associated with p is written as a weighted average of the values I (q) of the pixels q which belong to the learning zone A (p, N), according to a relation of the type: Iresip ) ⁇ (D where the weights (p, q) vary inversely with the distance between the pixels p and q, according to a criterion of resemblance between respective associated windows.
  • the resemblance between pixels will depend on the resemblance of color values (or gray levels) between the W (p, M) and W (q, M) windows.
  • the weight w (p, q) is all the greater when the pixels in (p, M) and W (q, M) are more similar.
  • the weight w (Pref, PC) is large because the resemblance between the windows fl and f'2 including Pref and PC respectively is large.
  • the weight w (Pref, PC) is small because the windows of resemblance are different, the window f2 including stripes as indicated above.
  • - (p, i) (j) are the (2i + l) 2 values of the points of the window of size (2i + l) x (2i + l) and centered on the point p
  • - W (q, i ) (j) are the (2i + l) 2 values of the points of the window of size (2i + l) x (2i + l) and centered on the point q.
  • two windows fl and f2 of the same size (2M + l) x (2M + l) and denoted W (p, M) and W (q, M), are similar if and only if their sub-windows (p, i) and W (q, i), of size (2i + l) x (2i + l), with l ⁇ i ⁇ M, are also.
  • the window fl centered on the reference point Pref, as in Figure 2, includes a plurality of sub-windows (W (p, l), W (p, 2), (p , 3), ..., W (p, i), ..., W (p, M)) nested one inside the other, centered on the point Pref and of respective increasing sizes (3x3, 5x5, 7x7, ..., (2i + l) x (2i + l), ..., (2M + l) x (2M + l)), from (p, l) to W (p, M).
  • the window f2 centered on the current point PC, as in FIG. 2, includes a plurality of sub-windows (W (q, l), (q, 2), W (q, 3), .. ., (q, i), ..., (q, M)) nested one inside the other, centered on the current point PC and of respective increasing sizes (3x3, 5x5, 7x7, ..., (2i + l) x (2i + l), ..., (2M + 1) x (2M + 1)), from (q, l) to (q, M).
  • the windows fl and f2, like the sub-windows W (p, i) and W (q, i) (for all the i from 1 to M), are of the same format and, in particular, of the same respective sizes.
  • - u (p, i) (j) are the (2i + l) 2 vector values of coordinates u of the points of a current sub-window, of size (2i + l) x (2i + l), included in the first window fl and centered on the reference point p, and
  • the weighting assigned to a current point q decreases with the distance between the values associated with this point q and the values associated with the reference point p.
  • - h is a parameter indicative of a degree of filtering of the image.
  • Z (p) is a constant such that the sum of the weights w (p, q) is equal to 1.
  • Z (p) is therefore defined simply from the relation: Z (p) ⁇ YexO (- d [w (p, M ⁇ , W ⁇ q, MW) (5) qeA (p, N)
  • This process therefore involves three parameters, which can be set for digital images suitable for applications for the general public as follows.
  • the first parameter is the size of the learning zone (2N + 1) x (2N + 1). This area must be large enough to take into account the statistical properties of the image. Tests have shown that the size of the learning zone, in number of points, is preferably greater than 20 ⁇ 20. Typically, an area of 21 ⁇ 21 pixels is sufficient to guarantee proper learning.
  • the second parameter is the size of the resemblance window (2M + 1) x (2M + 1).
  • a window that is too small can lead to a too local comparison.
  • a window that is too large can have the consequence that no window is really similar.
  • the size of the first fl and second f2 windows is greater than 10x10 and preferably greater than or equal to 15x15.
  • a resemblance window size fl and f2 of 15x15 is optimal for a Gaussian noise of standard deviation 20.
  • a window size of 11x11 already provides very good results. This size is indicated for a grayscale image. For a color image, the size of the resemblance window can be reduced to 7x7 and for weak noise up to 3x3.
  • the third parameter is the h parameter which indicates the degree of filtering of the image.
  • This parameter is preferably fixed at a value close to 3. However, this value can be chosen smaller if the image is slightly degraded.
  • the method applied to a two-dimensional image with the values of N, M and h above makes it possible to increase the signal / noise ratio by a ratio greater than 2.
  • This measurement can be verified by taking an image with little noise, and by then adding an artificial noise to it.
  • the performance of the treatment is measured exactly by comparing the average relative error of the restored image with the noise-free original, as well as the relative error introduced by the noise. We then systematically observe a multiplication by a factor of more two of the signal-to-noise ratio.
  • CCD sensors can be used four times smaller (2 2 ) without increasing noise, as indicated above.
  • the computer program product within the meaning of the invention can be stored in a memory of a photographic development apparatus, a digital camera, or a device for restoring digital images, but the application of the invention can also influence the design of the sensors of any new camera or photographic device by allowing a signal / noise ratio reduced by a factor greater than four.
  • the size in pixels of the resemblance window therefore varies between 3x3 and 15x15 in the zoomed image.
  • the 3x3 size in a color image with a noise of standard deviation lower or close to 13 allows to restore the finest details.
  • the method within the meaning of the invention comprises the following overall steps, after obtaining the raw image IM in step 51: - in step 52 , we enlarge the image to be processed IM by a digital zoom operation, - the processing TR is applied within the meaning of the invention and preferably corresponding to steps 41 to 50 of FIG. 4, and - in step 55, the image processed 1st is reduced in the opposite direction; ' P has a zoom out operation, to restore the processed image I res -
  • step 54 adapt the format M, in particular in number of points, of the resemblance windows as a function of the estimated noise level
  • the processing is more efficient also if the value of the restored pixels depends not only on the average of the values of the resemblance windows, but also on the variance of these values, which can be estimated by a process known per se.
  • the noise reduction processing within the meaning of the invention generally consists of replacing the value in each pixel of the image by a weighted average of all the values of the pixels of the image.
  • the weighting is made in such a way that a window that looks a lot like the pixel-centered window contributes a lot to the average, while a window that doesn't look like that hardly contributes.
  • the resemblance between two windows of the same format is evaluated on the basis of a function of the differences in values between the respective pixels of the two windows (for example, a quadratic mean of these differences), or any other standard, difference or distance measuring more precisely the resemblance of the two windows.
  • This process makes it possible to use sensors with internal noise or photonic noise more than four times higher, and to eliminate the noise created by various restoration operations (typically clearing, extension of the gray scale for underexposed photographs , or others) .
  • weighted average can be replaced by other statistical estimators such as median or weighted median depending on the type of noise considered.
  • calculation weights in the weighted average or the weighted median may depend, in addition to the distance based on a similarity criterion as described above, other statistical parameters estimated globally in the image and on each similarity window, such as, for example, the variance of each window or the estimated variance of noise in the image.
  • the method described above is suitable for an image of arbitrary size, both in color and in black and white, for a film or a three-dimensional image, whatever its origin (on film or digital). If the image is initially in non-digital form, it is previously scanned.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

L'invention concerne le traitement de données d'image, par réduction de bruit, comportant les étapes suivantes : - associer à un point de référence (Pref) de l'image (IM), une zone d'apprentissage (ZA), - pour chaque point courant (PC,PC',...) de la zone d'apprentissage, évaluer une distance (d,d',...) entre : * des valeurs de points dans une première fenêtre (f1) de l'image, centrée sur le point de référence, et * des valeurs de points dans une seconde fenêtre (f2, f' 2,...), de même format que le format de la première fenêtre et centrée sur le point courant, - répéter ce calcul de distance pour tous les points de la zone d'apprentissage en tant que points courants successifs et estimer une valeur moyenne à assigner au point de référence, cette moyenne étant pondérée en fonction des distances évaluées pour chaque point courant.

Description

Procédé de traitement de données d' image, par réduction de bruit d' image, et caméra intégrant des moyens de mise en œuyre du procédé
La présente invention concerne le traitement de données d'image par réduction du bruit.
Elle peut s'appliquer à la photographie pour le grand public, à la vidéo numérique, à l'imagerie médicale, ou à tous nouveaux systèmes d'acquisition d'image. On indique aussi que l'invention peut s'appliquer, de façon avantageuse, à la restauration de films.
Notamment avec le succès des caméras digitales auprès du grand public, il est nouvellement' apparu le besoin de restaurer des images digitales prises en masse dans des conditions souvent défavorables. Toutefois, ces images peuvent présenter un bruit, qu'il soit dû aux conditions défavorables de prise de vue ou à des opérations de restauration numérique.
Les procédés de restauration existants, connus, ne sont pas applicables industriellement car ils dépendent d'ajustages de paramètres nécessitant une connaissance très précise de la nature du bruit, notamment. De plus, ces procédés introduisent tous des dégradations inacceptables, appelées artefacts, telles que du flou, des oscillations, des escaliers, des pertes de détails et de textures. C'est pourquoi, pour le moment, un rapport signal sur bruit élevé, typiquement équivalent à un facteur 100 au moins, est nécessaire dans les caméras digitales. Les images sous-exposées ont un faible rapport signal sur bruit et ne peuvent pas être restaurées avec les techniques actuellement connues.
Une fois digitalisée, une image se présente comme un tableau de valeurs, généralement rectangulaire. Dans le cas d'une séquence temporelle d'images telle qu'un film, il s'agit d'une suite de tels tableaux, dans le temps.
L'association d'un point dans le tableau et du niveau de gris (pour une image en noir et blanc) ou de niveaux de couleurs (typiquement rouge, bleue et verte pour une image couleur), en ce point, s'appelle : - « pixel » pour une image bidimensionnelle, et - « voxel » pour une image tridimensionnelle (notamment en imagerie médicale) .
On parlera aussi de « pixel temporel » pour un point appartenant à une séquence d'images dans le temps, par exemple un point qui évolue d'une image à l'autre dans un film. On comprendra alors que l'on associe à un « pixel temporel » une coordonnée temporelle, supplémentaire par rapport à un pixel classique. Dans le cas d'une image monodimensionnelle, c'est-à-dire de signal, on parle d'échantillon pour l'association d'un point et de sa valeur.
Chaque point est le résultat d'une mesure, généralement faite par une matrice ou une barrette de capteurs de lumière, telle que des CCD (pour « Couple Charge Device ») . Un point correspond à un petit carré de la matrice CCD dans lequel le nombre de photons arrivant est compté. L'arrivée des photons suit un processus aléatoire introduisant des fluctuations autour d'une valeur moyenne. De plus, chaque capteur peut lui-même produire un « bruit d' obscurité » qui se superpose au comptage de photons.
La plupart des images contiennent donc un bruit, qui est une perturbation aléatoire de la valeur du point. En d'autres termes, l'image observée, notée I, suit une relation du type I = 10 + b, où 10 est l'image idéale, sans bruit, et b le bruit.
Les images obtenues par d'autres procédés, comme l'impression de papier photosensible, présentent aussi un bruit dû aux caractéristiques chimiques du support utilisé. Ce bruit est bien sûr maintenu lors de la numérisation de la photographie (ou « scannage ») .
L'impression de pellicules de films conduit aussi à l'apparition de petites taches que l'on appelle également bruit, ici.
Le bruit peut dépendre, en chaque point, du niveau de gris de ce point. C'est ainsi qu'il y a en général plus de bruit dans les parties claires de l'image, même si le rapport signal à bruit y est meilleur.
On définit aussi ce que l'on entend par « rapport signal/brui t », ici. Ce paramètre désigne la proportion d'un niveau de gris ou de couleur qui peut provenir du bruit. Par exemple, un rapport signal/bruit de 100 correspond à des fluctuations d'un centième de la « vraie valeur » du niveau de gris. Pour les images digitales usuelles, le niveau de gris ou de couleur varie entre 0 (noir) et 255 (blanc) . Un bruit devient sensible dès qu'il dépasse une amplitude moyenne, ou écart type, de 4 ou 5, ce qui correspond à un rapport signal/ bruit de 50 environ. Il est d'une grande utilité de pouvoir éliminer toutes sortes de bruits des images, car le bruit gêne la vision des images et masque des détails. Typiquement, une image sans bruit paraît plus nette.
La taille des capteurs CCD est, elle-même, dictée en partie par l'exigence de réduction de bruit. Si l'on savait supprimer du bruit efficacement, on pourrait construire des capteurs plus petits en appliquant aux signaux captés un traitement de réduction du bruit. On pourrait ainsi construire des caméras plus petites, avec moins de capteurs CCD, mais fournissant le même nombre de pixels que celles existantes. On pourrait également concevoir des caméras de mêmes caractéristiques, mais à plus haute résolution, ou bien des caméras identiques, mais utilisables avec un temps d'exposition plus court.
Enfin, beaucoup d'opérations de restauration sur les images digitales amplifient le bruit et demandent donc à être couplées avec un traitement de débruitage. Les opérations augmentant le contraste d'images sous-exposées amplifient le bruit. De même, les opérations enlevant le flou d'une image contribuent à augmenter le bruit.
Malheureusement, les algorithmes de débruitage connus ont tendance à confondre le bruit avec des petits détails de l'image. Par exemple, les procédés de réduction de bruit décrits notamment dans les documents ' US-6,681,054 et US-6,539,125 utilisent une pondération basée sur les distances spatiales entre un point à traiter et des points courants entourant ce point à traiter, pour calculer une moyenne à assigner aux valeurs du point à traiter. En conséquence, si l'image présente localement une grande variété de nuances, après traitement par réduction de bruit basé sur une pondération par rapport à une distance spatiale, on ne retrouve plus cette variété de nuances.
De tels procédés détruisent en partie l'image. Le gain en qualité d'image est donc douteux.
La présente invention vient améliorer la situation.
Elle propose à cet effet un procédé de traitement de données d'image, par réduction de bruit d'image, comportant les étapes suivantes : a) obtenir des points de l'image avec des valeurs respectives associées aux points, b) associer à un point de référence de l'image, une zone d'apprentissage, et c) assigner au point de référence de nouvelles valeurs obtenues par une estimation statistique pondérée, de type moyenne pondérée ou médiane pondérée, utilisant les valeurs des points inclus dans la zone d'apprentissage.
Le procédé au sens de l'invention comporte plus précisément les étapes suivantes : cl) pour chaque point courant de la zone d'apprentissage, évaluer une distance caractérisant une ressemblance entre : - les valeurs des points dans une première fenêtre de l'image, centrée sur le point de référence, d'une part, et - les valeurs des points dans une seconde fenêtre, de même format que la première fenêtre et centrée sur le point courant, d'autre part, c2) et répéter l'étape cl) pour tous les points de la zone d'apprentissage en tant que points courants successifs en utilisant les distances obtenues pour tous les points courants pour calculer les poids utilisés dans l'estimation statistique pondérée de l'étape c) .
Préférentiellement, on applique l'étape c) précitée à tous les points de l'image en tant que points de référence successifs, pour traiter globalement toute l'image.
On indique aussi que la zone d'apprentissage peut correspondre à toute l'image à traiter. Toutefois, dans une variante avantageuse, la zone d'apprentissage appartient à une ou plusieurs images modèles, différentes de l'image à traiter.
Comme indiqué précédemment, les points peuvent être des pixels pour une image bidimensionnelle, des voxels pour une image tridimensionnelle, ou encore des pixels temporels quand l'image à traiter est un film. Enfin, pour un signal représentant une image monodimensionnelle telle qu'un film à un seul pixel par image, ces points sont finalement des échantillons successifs.
Comme indiqué ci-avant, on peut redéfinir maintenant la taille de capteurs de lumière d'une caméra ou encore leur temps d'exposition à la lumière, en appliquant le traitement par réduction de bruit au sens de l'invention.
Ainsi, à l'étape a) du procédé au sens de l'invention, on acquiert les points de l'image à partir d'un ou plusieurs capteurs de lumière de surface donnée, en imposant à ce ou ces capteurs, un temps d'exposition à la lumière, par unité de surface, prédéterminé. On indique que, de façon générale, une diminution du temps d'exposition entraîne une augmentation du bruit.
Avantageusement, si la mise en œuvre des étapes cl) , c2) et c) offre une réduction du bruit d'un facteur K, on autorise une réduction, sensiblement d'un facteur K2, des temps d'exposition du ou des capteurs, pour opérer à rapport signal à bruit sensiblement constant.
Dans une configuration où l'on opère à rapport signal à bruit constant et à durée d'exposition constante, on peut augmenter avantageusement le nombre de capteurs par unité de surface, pour augmenter, sensiblement d'un facteur K2, la résolution de l'image acquise et traitée.
A ce titre, la présente invention vise aussi une caméra, équipée d'un ou plusieurs capteurs et comportant des moyens de commande du temps d' exposition des capteurs pour la mise en œuvre du procédé ci-avant. On prévoit avantageusement d'équiper cette caméra d'une unité de traitement, programmée adéquatement pour appliquer le procédé de traitement au sens de l'invention aux signaux acquis par le ou les capteurs de la caméra. Plus particulièrement, cette unité de traitement comporte une mémoire propre à stocker un produit programme d'ordinateur comportant des instructions pour la mise en œuvre de tout ou partie des étapes du procédé ci-avant.
A ce titre, la présente invention vise aussi un tel produit programme d'ordinateur, destiné à être stocké dans une mémoire d'une unité de traitement du type précité, ou encore sur un support mémoire amovible, tel qu'un CD-ROM ou une disquette, destiné à . coopérer avec un lecteur de l'unité de traitement.
D'autres avantages et caractéristiques de l'invention apparaîtront à la lecture de la description détaillée ci- après, donnée à titre d'exemple non limitatif, et à l'examen des dessins sur lesquels : - la figure 1 illustre très schématiquement les éléments d'une caméra intervenant dans la mise en œuvre du traitement au sens de l'invention, - la figure 2 représente schématiquement le format des fenêtres à comparer pour l'évaluation de la distance, et, de là, de la pondération précitée, - la figure 3 représente schématiquement une succession de fenêtres de tailles respectives croissantes servant à l'évaluation de la distance précitée, dans un mode de réalisation décrit ci-après, - la figure 4 résume les principales étapes du procédé selon un mode de réalisation préféré, et - la figure 5 représente des étapes supplémentaires du procédé ci-avant, dans une réalisation préférée.
En se référant tout d'abord à la figure 1, la caméra définie ci-avant comprend une matrice de capteurs CCD recevant un flux lumineux issu d'un objectif OBJ, les deux éléments étant par exemple logés dans une boîte noire (non représentée). Elle comporte aussi une carte d'acquisition 1 notamment pour convertir les signaux issus des capteurs CCD en échantillons numériques, typiquement des pixels, lesquels sont stockés temporairement dans une mémoire de travail 2 pour être traités par un processeur 3.
On rappelle qu'une image digitale est faite de pixels qui peuvent être assimilés à des points sur une grille, munis d'une valeur de gris ou de niveaux de couleur.
Une mémoire 4, par exemple une mémoire morte, stocke les instructions d'un produit programme d'ordinateur pour la mise en œuvre du procédé selon l'invention. Les pixels traités peuvent être ensuite transmis par une interface 5 qui, dans l'exemple décrit, est une interface graphique pour l'affichage de l'image traitée sur un écran de visualisation ECR. Toutefois, on indique que, en variante, l'interface 5 peut être une interface de communication pour transmettre les pixels traités vers une entité distante. Il peut s'agir aussi d'une interface vers une unité de stockage, par exemple de mémorisation sur un support mémoire, pour récupérer ultérieurement les pixels acquis et traités par le procédé au sens de l'invention. Il peut enfin s'agir d'une interface vers une unité d'impression sur papier.
Dans une autre variante encore, les échantillons acquis sont directement transmis à une entité distante comportant une unité de traitement pour appliquer à ces échantillons le traitement par réduction de bruit au sens de l'invention, plutôt que de prévoir le traitement des échantillons auprès de la caméra elle-même.
Ci-après, on décrit en grandes lignes les principes du procédé au sens de l'invention, avant d'en décrire un mode de réalisation préféré.
En se référant à la figure 2, on considère une image digitale IM et un pixel Pref. On a représenté sur la figure 2 une image bidimensionnelle. On parle donc ci- après de pixel pour désigner un point de l'image. Toutefois, comme indiqué ci-avant, l'image peut être tridimensionnelle et comporter des voxels. L'image peut encore être un film et comporter des pixels temporels, sans que ces distinctions diverses n'affectent les principes de l'invention, comme on le verra.
On désigne par I(Pref) la valeur de la couleur (ou du niveau de gris pour une image noir et blanc) associée au pixel Pref. Cette valeur est soit un nombre entier ou réel (pour une image en niveaux de gris) soit un triplet dans le cas d'images couleur au standard RVB (pour rouge-vert- bleu) , ou encore éventuellement un n-uplet dans le cas d'une image multispectrale, sans que ces distinctions diverses n'affectent encore les principes de l'invention.
Pour une image dégradée IM, l'objectif est d'enlever les dégradations tout en conservant les caractéristiques principales de l'image, ainsi que les détails de petites dimensions et les textures. Pour atteindre cet objectif, le traitement au sens de l'invention ne fait aucune hypothèse sur la nature du bruit, ni de l'image. Une connaissance du type de bruit permettra toutefois de préciser et adapter plusieurs des éléments du procédé tels que le type de calcul statistique à effectuer (moyenne pondérée ou médiane pondérée par exemple) , ou encore la taille à fixer pour les fenêtres de ressemblance. Le traitement se base néanmoins sur le fait que toutes les images usuelles présentent un grand degré de redondance. On considère alors qu'il y a autour de chaque pixel des pixels qui lui sont très ressemblants.
Le traitement peut donc être décrit en termes très généraux comme suit :
- pour chaque pixel p, de valeur I (p) , on recherche les pixels de l'image qui lui ressemblent le plus (on désigne par p_l,..., p_n ces pixels ressemblants), - on remplace ensuite la valeur initiale I(p) par une moyenne des valeurs de I(p_l), ..., I (p_n) .
Cette opération de moyenne réduit le bruit. Toutefois, la qualité de ce traitement dépend de sa capacité à trouver les pixels les plus ressemblants à un pixel donné. La plupart des techniques connues de « déjbruitage » procèdent ainsi. Typiquement, celles décrites dans les documents US-6,681,054 et US-6,539,125, cités ci-avant, remplacent chaque valeur I(p) par une moyenne pondérée des valeurs des pixels les plus proches, en termes de distance spatiale, en supposant que les pixels les plus proches sont aussi les plus ressemblants.
Dans le traitement au sens de la présente invention, l'exigence de ressemblance est privilégiée par rapport au critère de proximité spatiale.
En se référant à la figure 2, on a représenté une pluralité de points PC, PC , ... appartenant à une zone d'apprentissage ZA qui peut être située dans l'image à traiter IM ou, parfois plus avantageusement, dans d'autres images considérées comme des modèles. On considère aussi un point de référence Pref à traiter et appartenant, lui, nécessairement à l'image IM. On construit des fenêtres de même format fl, f2, f'2,... respectivement autour des points Pref, PC, PC',.... On évalue les distances respectives d, d' , etc, entre les fenêtres fl et f2, puis entre les fenêtres fl et f'2, etc. Dans l'exemple représenté sur la figure 2, la fenêtre f2 incluant le point PC comporte des motifs d'image MOA en forme de zébrures obliques, alors que les fenêtres fl et f'2 incluant respectivement le point de référence Pref et l'autre point courant PC sont « blanches » toutes les deux. Dans ce cas, le traitement au sens de la présente invention attribuera une distance plus grande d à la fenêtre f2 que la distance d' qui est attribuée à la fenêtre f'2, même si, pourtant, le point PC est plus proche, en distance, du point de référence Pref que le point PC .
On indique que la ressemblance entre deux pixels, au sens de la présente invention, est évaluée comme suit : - soient deux pixels Pref et PC, comme représentés sur la figure 2, - on considère une première « fenêtre de resse.nLbIa.nce » fl, par exemple carrée, centrée sur le pixel Pref, et l'on considère une deuxième fenêtre f2 de même forme, mais centrée sur le pixel PC, - les pixels Pref et PC sont jugés ressemblants si les fenêtres fl et f2 se ressemblent (la ressemblance est mesurée par rapport à une norme qui sera précisée en tant qu'exemple préféré plus loin).
On appelle « fenêtre centrée en un pixel » l'ensemble des pixels qui sont à une distance prédéterminée du pixel central. On indique que ces fenêtres sont préférentiellement carrées, ici. Toutefois, leur forme peut aussi être rectangulaire, ovale, ou autre.
On indique aussi que, de façon générale, on établit un critère de distance entre fenêtres, cette distance étant évaluée par exemple sur la base d'une somme pondérée de carrés des différences de valeurs de points, entre la première fenêtre et la seconde fenêtre. Toute autre distance, norme, ou mesure évaluant la ressemblance des deux fenêtres est également envisageable. La ressemblance entre deux fenêtres peut s'estimer préférentiellement en fonction de la somme des carrés des différences des niveaux de gris ou de couleur en chaque • pixel de fenêtre, comme on le verra en détail plus loin.
On notera qu'il est inutile d'établir un seuil entre fenêtres ressemblantes et fenêtres non ressemblantes. Pour chaque fenêtre de ressemblance, on évalue un poids qui varie en sens inverse de la distance d. La moyenne pondérée permettant de calculer la valeur affectée au pixel restauré de I(Pref) est donc une moyenne où les fenêtres ressemblantes comptent beaucoup, tandis que les fenêtres non ressemblantes comptent peu ou ne comptent pas du tout.
Typiquement, pour que le bruit soit divisé par un facteur 2, il suffit que le nombre de fenêtres vraiment ressemblantes excède 4, ce qui est pratiquement toujours le cas. Les erreurs introduites par les techniques habituelles sont dues particulièrement au fait que la ressemblance des pixels dont on évalue la moyenne n'est pas un paramètre pleinement pris en compte.
La figure 4 résume ces étapes. A l'étape 41, on désigne un pixel de référence Pref, à traiter, dans l'image. On lui associe une fenêtre de dimension prédéterminée fl, à l'étape 42. On indique qu'à l'étape 43, la désignation du pixel de référence à traiter permet aussi d'y associer une zone d'apprentissage ZA et de désigner, en conséquence, les pixels courants PC, PC , ..., appartenant à cette zone d'apprentissage ZA et sur la base desquels le calcul de moyenne va être mené.
A l'étape 44, le procédé se poursuit par la construction des secondes fenêtres f2, f'2, ... associées aux pixels courants PC, PC, etc. A l'étape 45, on évalue des distances respectives d, d' , etc, selon un critère de ressemblance, entre la fenêtre fl et la fenêtre f2, entre la fenêtre fl et la fenêtre f'2, etc.
A l'étape 46, on évalue une moyenne pondérée MOY en fonction des valeurs de pixels val (PC), val (PC), ..., des points courants PC, PC , ..., ainsi que des distances respectives d, d',... calculées à l'étape 45. Typiquement : MOY = val (PC) /D + val(PC)/D' + ... où D, D' , ... sont des valeurs qui varient comme les distances d, d' , ...
A l'étape 47, on affecte la valeur MOY au pixel de référence Pref et l'on stocke préférentiellement cette nouvelle valeur val (Pref) en mémoire pour un affichage ultérieur de l'image, ou autre (étape 50). A l'étape 48, un test vérifie s'il reste un autre pixel de l'image à traiter, auquel cas ce nouveau pixel est désigné en tant que pixel de référence à l'étape 41, laquelle est implémentée à nouveau, avec les étapes suivantes 42 à 50. Sinon, le procédé s'arrête à l'étape 49.
On précise ci-après des calculs effectués à certaines étapes du procédé de la figure 4, en tant qu'exemple de réalisation et permettant toutefois d'atteindre une efficacité de traitement suffisante pour la réduction du bruit d'un facteur 2.
A chaque pixel p, on associe une « zone d' apprentissage centrée à p » ZA, définie comme une fenêtre A(p,N) de forme quelconque (carrée, circulaire, ou autre) , centrée en p et de taille fixe (2N+1) (2N+1) .
La nouvelle valeur Ires(p) associée à p s'écrit comme une moyenne pondérée des valeurs I(q) des pixels q qui appartiennent à la zone d'apprentissage A(p,N), selon une relation du type : Iresip)≈ (D où les poids (p,q) varient à l'inverse de la distance entre les pixels p et q, selon un critère de ressemblance entre fenêtres respectives associées.
La famille des poids d'une zone d'apprentissage associée à un pixel p est telle que : 0 < w(p, q) ≤ 1 et ∑w(p»?)=l qeA(p,N)
Pour évaluer la similarité entre pixels, on définit d'abord une « fenêtre de ressemblance centrée au pixel p », notée W(p,M), centrée autour du pixel p et de taille fixe (2M+l)x(2M+l) .
La ressemblance entre pixels va dépendre de la ressemblance de valeurs de couleur (ou de niveaux de gris) entre les fenêtres W(p,M) et W(q,M). Dans la moyenne exprimée dans la relation (1), le poids w(p,q) est d'autant plus grand que les pixels dans (p,M) et W(q,M) sont plus ressemblants. Typiquement, dans l'exemple représenté sur la figure 2, le poids w (Pref, PC) est grand car la ressemblance entre les fenêtres fl et f'2 incluant respectivement Pref et PC est grande. Par contre, le poids w (Pref, PC) est petit car les fenêtres de ressemblance sont différentes, la fenêtre f2 incluant des zébrures comme indiqué ci-avant.
Pour calculer la ressemblance entre fenêtres, on définit d'abord la distance entre (p,i) et W(q,i) comme la norme euclidienne d'un vecteur différence, selon une relation du type : où :
- (p,i) (j) sont les (2i+l)2 valeurs des points de la fenêtre de taille (2i+l) x (2i+l) et centrée sur le point p, et - W(q,i) (j) sont les (2i+l)2 valeurs des points de la fenêtre de taille (2i+l) x (2i+l) et centrée sur le point q.
Deux fenêtres W(p,i) et W(q,i) sont dites « semblables » si la norme donnée précédemment est petite.
Toutefois, dans une réalisation préférée, en référence à la figure 3, deux fenêtres fl et f2, de même taille (2M+l)x(2M+l) et notées W(p,M) et W(q,M), sont semblables si et seulement si leurs sous-fenêtres (p,i) et W(q,i), de taille (2i+l) x (2i+l) , avec l ≤ i ≤ M , le sont aussi. En se référant à la figure 3, la fenêtre fl, centrée sur le point de référence Pref, comme sur la figure 2, inclut une pluralité de sous-fenêtres (W(p,l), W(p,2), (p,3),..., W(p,i),..., W(p,M)) imbriquées les unes dans les autres, centrées sur le point Pref et de tailles respectives croissantes (3x3, 5x5, 7x7, ..., (2i+l) x (2i+l) , ..., (2M+l)x(2M+l) ) , de (p,l) à W(p,M).
De même, la fenêtre f2, centrée sur le point courant PC, comme sur la figure 2, inclut une pluralité de sous- fenêtres (W(q,l), (q,2), W(q,3),..., (q,i),..., (q,M)) imbriquées les unes dans les autres, centrées sur le point courant PC et de tailles respectives croissantes (3x3, 5x5, 7x7, ..., (2i+l)x(2i+l) , ..., (2M+1) x (2M+1) ) , de (q,l) à (q,M). Les fenêtres fl et f2, comme les sous-fenêtres W(p,i) et W(q,i) (pour tous les i de 1 à M) , sont de même format et, en particulier, de mêmes tailles respectives.
On définit alors la distance entre les fenêtres fl et f2 comme une norme dite ici « généralisée » du vecteur différence, selon une relation du type : i M d[w{p } <I,M)]=—∑ψ{p,i)-W(q,i \ (3) ,
avec \w(p )-w{q }\^ 2 +1 w{p w-w(qm> f comme indiqué ci-avant.
On rappelle que M est un entier tel que (2M+1) x (2M+1) est la taille, en nombre de points, des fenêtres fl et f2, notées W(p,M) et (q,M). Toutefois, on indique que, pour une image couleur au standard RVB, la distance précitée peut être évaluée à partir de la relation : mais avec ||^,t)-^, =-^ l∑∑[Wu(p Xj)- Wu(q,ilj- f
où :
- u(p,i)(j) sont les (2i+l)2 valeurs vectorielles de coordonnées u des points d'une sous-fenêtre courante, de taille (2i+l) x (2i+l) , incluse dans la première fenêtre fl et centrée sur le point de référence p, et
- u(q,i)(j) sont les (2i+l)2 valeurs vectorielles de coordonnées u des points d'une sous-fenêtre courante, de taille (2i+l) x (2i+l) , incluse dans la seconde fenêtre f2 et centrée sur le point courant q.
Ces coordonnées u sont alors des niveaux respectifs de bleu, de rouge et de vert.
De manière générale, la pondération affectée à un point courant q est décroissante avec la distance entre les valeurs associées à ce point q et les valeurs associées au point de référence p.
Le poids (p,q), représentant la pondération affectée à un point courant q pour l'estimation de la valeur moyenne qui sera affectée au point de référence q, est alors défini selon une relation du type : w(p, q) = -^exp (- d[w (p, M ),W (q, M )]/h) , (4) ZkP) où :
- A(p,N) est la zone d'apprentissage centrée sur le point de référence p et de taille (2N+1) x(2N+l) , et
- h est un paramètre indicatif d'un degré de filtrage de l'image.
On précise ici que Z (p) est une constante telle que la somme des poids w(p,q) soit égale à 1. Z(p) se définit donc simplement à partir de la relation : Z(p)≈ YexO(-d[w(p,M},W{q,MW ) (5) qeA(p,N)
Ce procédé implique donc trois paramètres, que l'on peut fixer pour les images digitales adaptées à des applications pour le grand public comme suit.
* Le premier paramètre est la taille de la zone d'apprentissage (2N+1) x (2N+1) . Cette zone doit être suffisamment grande pour permettre de prendre en compte les propriétés statistiques de l'image. Des essais ont montré que la taille de la zone d'apprentissage, en nombre de points, est préférentiellement supérieure à 20x20. Typiquement, une zone de 21x21 pixels est suffisante pour garantir un apprentissage convenable.
* Le second paramètre est la taille de la fenêtre de ressemblance (2M+1) x (2M+1) . Une fenêtre trop petite peut amener à une comparaison trop locale. Par contre, une fenêtre trop grande peut avoir pour conséquence qu'aucune fenêtre ne soit vraiment semblable. Là encore, des essais ont montré que la taille des première fl et seconde f2 fenêtres est supérieure à 10x10 et, de préférence, supérieure ou égale à 15x15. Typiquement, une taille de fenêtres de ressemblance fl et f2 de 15x15 est optimale pour un bruit gaussien d'écart-type 20. Une taille de fenêtre de 11x11 fournit déjà de très bons résultats. Cette taille est indiquée pour une image à niveaux de gris. Pour une image couleur, la taille de la fenêtre de ressemblance peut être réduite à 7x7 et pour des bruits faibles jusqu'à 3x3.
* Le troisième paramètre est le paramètre h qui indique le degré de filtrage de l'image. Ce paramètre est préférentiellement fixé à une valeur voisine de 3. Toutefois, cette valeur peut être choisie plus petite si l'image est peu dégradée.
Il se peut toutefois que d'autres jeux de paramètres soient plus judicieux pour des applications plus ciblées, telles que l'imagerie médicale, ou la restauration de films .
Le procédé appliqué à une image bidimensionnelle avec les valeurs de N, M et h ci-avant permet d'augmenter le rapport signal/bruit d'un rapport supérieur à 2. Cette mesure peut se vérifier en prenant une image peu bruitée, et en lui ajoutant ensuite un bruit artificiel. On mesure exactement la performance du traitement en comparant l'erreur relative moyenne de l'image restaurée à l'original sans bruit, ainsi que l'erreur relative introduite par le bruit. On constate alors systématiquement une multiplication par un facteur de- plus de deux du rapport signal/bruit. Ainsi, par exemple, on peut utiliser sans augmentation de bruit des capteurs CCD quatre fois plus petits (22), comme indiqué ci-avant. On indique d'ailleurs que le produit programme d'ordinateur au sens de l'invention peut être stocké dans une mémoire d'un appareil de développement photographique, d'une caméra digitale, ou d'un dispositif de restauration d'images digitales, mais l'application de l'invention peut aussi influer sur la conception des capteurs de toute caméra ou appareil photographique nouveaux en autorisant un rapport signal/bruit réduit d'un facteur plus grand que quatre .
Toutefois, dans une réalisation sophistiquée, on préfère calculer l'écart-type du bruit présent dans une image et fixer en conséquence la taille optimale (2M+1) x (2M+1) des fenêtres de ressemblance. Celle-ci peut aller de M=l à M=7, dans une image à traiter et à laquelle on a appliqué un zoom au préalable, comme on le verra plus loin en référence à un mode de réalisation préféré. La taille en pixels de la fenêtre de ressemblance varie donc entre 3x3 et 15x15 dans l'image zoomée. La taille 3x3 dans une image couleur avec un bruit d'écart-type inférieur ou voisin de 13 permet de restaurer les détails les plus fins.
En se référant à la figure 5, le procédé au sens de l'invention, dans une réalisation avantageuse, comporte les étapes globales suivantes, après l'obtention de l'image brute IM à l'étape 51 : - à l'étape 52, on agrandit l'image à traiter IM par une opération de zoom numérique, - on applique le traitement TR au sens de l'invention et correspondant préférentiellement aux étapes 41 à 50 de la figure 4, et - à l'étape 55, on réduit en sens inverse l'image traitée 1res; 'Pa une opération de zoom arrière, pour restituer l'image traitée Ires-
Préalablement à l'étape TR de traitement proprement dit, il est aussi avantageux, comme indiqué ci-avant, de : - estimer un niveau de bruit Ib dans l'image à traiter (étape 53) , et
- adapter le format M, notamment en nombre de points, des fenêtres de ressemblance en fonction du niveau de bruit estimé (étape 54) .
Il s'est avéré en effet que le traitement était plus performant s ' il est appliqué après un zoom conforme à la théorie de l'échantillonnage de Shannon (zoom par FFT) . La position des fenêtres de ressemblance devenant plus précise, la restauration des textures fines est améliorée.
Le traitement est plus performant aussi si la valeur des pixels restaurés dépend non seulement de la moyenne des valeurs des fenêtres de ressemblance, mais aussi de la variance de ces valeurs, que l'on peut estimer par un procédé connu en soi .
Ainsi, le traitement par réduction de bruit au sens de l'invention consiste globalement à remplacer la valeur en chaque pixel de l'image par une moyenne pondérée de toutes les valeurs des pixels de l'image. La pondération est faite de telle sorte qu'une fenêtre qui ressemble beaucoup à la fenêtre centrée au pixel contribue beaucoup à la moyenne, tandis qu'une fenêtre peu ressemblante n'y contribue pratiquement pas. On évalue la ressemblance entre deux fenêtres de même format à partir d'une fonction des différences de valeurs entre pixels respectifs des deux fenêtres (par exemple, une moyenne quadratique de ces différences), ou toute autre norme, écart ou distance mesurant plus finement la ressemblance des deux fenêtres.
Cette moyenne pondérée, à cause des redondances inhérentes aux images, confirme une bonne valeur tout en réduisant l'erreur due au bruit d'un facteur supérieur à 2. Le procédé au sens de l'invention ne présuppose aucune connaissance préalable sur le bruit ou l'image.
Ce procédé permet d'utiliser des capteurs à bruit interne ou bruit photonique plus de quatre fois supérieurs, et d'éliminer le bruit créé par diverses opérations de restauration (typiquement de déflouage, extension de l'échelle des gris pour les photographies sous-exposées, ou autres) .
Bien entendu, la présente invention ne se limite pas à la forme de réalisation décrite ci-avant à titre d'exemple ; elle s'étend à d'autres variantes.
De manière plus générale, on indique que la moyenne pondérée peut être remplacée par d'autres estimateurs statistiques tels que médiane ou médiane pondérée selon le type de bruit envisagé. On indique également que le calcul des poids dans la moyenne pondérée ou la médiane pondérée peut dépendre, outre de la distance basée sur un critère de ressemblance comme décrit ci-avant, d'autres paramètres statistiques estimés globalement dans l'image et sur chaque fenêtre de ressemblance, tels que, par exemple, la variance de chaque fenêtre ou la variance estimée du bruit dans l'image.
De manière générale encore, le procédé décrit ci-avant s'adapte à une image de dimension arbitraire, aussi bien de couleur qu'en noir et blanc, à un film ou à une image tridimensionnelle, quelle que soit son origine (sur pellicule ou digitale). Si l'image est initialement sous forme non digitale, elle est préalablement scannée.

Claims

Revendications
1. Procédé de traitement de données d'image, par réduction de bruit d'image, comportant les étapes suivantes : a) obtenir des points de l'image avec des valeurs respectives associées aux points, b) associer à un point de référence de l'image, une zone d' apprentissage, c) et assigner au point de référence de nouvelles valeurs obtenues par une estimation statistique pondérée, de type moyenne pondérée ou médiane pondérée, utilisant les valeurs des points inclus dans la zone d'apprentissage, caractérisé en ce qu'il comporte les étapes suivantes : cl) pour chaque point courant de la zone d'apprentissage, évaluer une distance caractérisant une ressemblance entre : - les valeurs des points dans une première fenêtre de l'image, centrée sur le point de référence, d'une part, et - les valeurs des points dans une seconde fenêtre, de même format que la première fenêtre et centrée sur le point courant, d'autre part, c2) et répéter l'étape cl) pour tous les points de la zone d'apprentissage en tant que points courants successifs en utilisant les distances obtenues pour tous les points courants pour calculer les poids utilisés dans l'estimation statistique pondérée de l'étape c) .
2. Procédé selon la revendication 1, caractérisé en ce que l'on applique l'étape c) à tous les points de l'image en tant que points de référence successifs.
3. Procédé selon l'une des revendications 1 et 2, caractérisé en ce que la zone d'apprentissage correspond à toute l'image.
4. Procédé selon l'une des revendications 1 et 2, caractérisé en ce que la zone d'apprentissage appartient à une ou plusieurs images modèles, différentes de l'image à traiter.
5. Procédé selon l'une des revendications précédentes, caractérisé en ce que les points sont des pixels pour une image bidimensionnelle ou des voxels pour une image tridimensionnelle, ou encore des pixels temporels quand l'image à traiter est un film.
6. Procédé selon l'une des revendications précédentes, caractérisé en ce que ladite distance est évaluée sur la base d'une somme de carrés des différences de valeurs de points, entre la première fenêtre et la seconde fenêtre.
7. Procédé selon l'une des revendications précédentes, caractérisé en ce que ladite distance est évaluée à partir de la relation : avec I^(p, -^fc'J=^^∑^(P.' )-^'X)r, où :
- M est un entier tel que (2M+1) x (2M+1) est la taille, en nombre de points, de la première fenêtre,
- W(p,i)(j) sont les (2i+l)2 valeurs des points d'une sous-fenêtre courante, de taille (2i+l) x (2i+l) , incluse dans la première fenêtre et centrée sur le point de référence p, et
- W(q,i)(j) sont les (2i+l)2 valeurs des points d'une sous-fenêtre courante, de taille (2i+l) x (2i+l) , incluse dans la seconde fenêtre et centrée sur le point courant q.
8. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que ladite distance est évaluée à partir de la relation :
ou :
- M est un entier tel que (2M+1) x (2M+1) est la taille, en nombre de points, de la première fenêtre, - u(p,i)(j) sont les (2i+l)2 valeurs vectorielles de coordonnées u des points d'une sous-fenêtre courante, de taille (2i+l) x (2i+l) , incluse dans la première fenêtre et centrée sur le point de référence p, et
- u(q,i)(j) sont les (2i+l)2 valeurs vectorielles de coordonnées u des points d'une sous-fenêtre courante, de taille (2i+l) x (2i+l) , incluse dans la seconde fenêtre et centrée sur le point courant q.
9. Procédé selon la revendication 8, dans lequel l'image est une image couleur, caractérisé en ce que lesdites coordonnées u sont des niveaux respectifs de bleu, de rouge et de vert.
10. Procédé selon l'une des revendications précédentes, caractérisé en ce que la pondération affectée à un point courant q est décroissante avec la distance entre les valeurs associées à ce point q et les valeurs associées au point de référence p.
11. Procédé selon la revendication 10, prise en combinaison avec l'une des revendications 9 et 10, caractérisé en ce que la pondération affectée à un point courant q est donnée par la relation : w(p, q)= -^exp (- d[w (p, M},W (q, M )]/h) r où :
- A(p,N) est la zone d'apprentissage centrée sur le point de référence p et de taille (2N+1) x (2N+1) ,
- h est un paramètre indicatif d'un degré de filtrage de l'image.
12. Procédé selon l'une des revendications précédentes, caractérisé en ce que la taille de la zone d'apprentissage, en nombre de points, est supérieure à 20x20.
13. Procédé selon la revendication 12, caractérisé en ce que la taille des première et seconde fenêtres est supérieure à 10x10 et, de préférence, supérieure ou égale à 15x15 et, dans une image couleur, de préférence supérieure ou égale à 5x5, voire 3x3 pour les images peu bruitées.
14. Procédé selon l'une des revendications 12 et 13, prises en combinaison avec la revendication 12, caractérisé en ce que le paramètre h est de valeur voisine de 3.
15. Procédé selon l'une des revendications précédentes, dans lequel, à l'étape a), on acquiert les points de l'image à partir d'un ou plusieurs capteurs de lumière de surface donnée, en imposant au(x) capteur(s), un temps d'exposition à la lumière, par unité de surface, prédéterminé, une diminution du temps d'exposition entraînant une augmentation du bruit, caractérisé en ce que, la mise en œuvre des étapes cl) , c2) et c) offrant une réduction du bruit d'un facteur K, on autorise une réduction, sensiblement d'un facteur K2, des temps d'exposition du ou des capteurs, pour opérer à rapport signal à bruit sensiblement constant.
16. Procédé selon la revendication 15, caractérisé en ce que l'on opère à rapport signal à bruit constant, et à durée d'exposition constante, tandis que l'on augmente le nombre de capteurs par unité de surface, pour augmenter, sensiblement d'un facteur K , la résolution de l'image acquise et traitée.
17. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comporte des étapes préalables consistant à : - estimer un niveau de bruit dans l'image à traiter, et adapter le format, notamment en nombre de points, desdites première et seconde fenêtres en fonction du niveau de bruit estimé.
18. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comporte les étapes globales suivantes : - agrandir 1 ' image à traiter par une opération de zoom numérique,
- appliquer les étapes a) , b) , cl) , c2) et c),
- et réduire en sens inverse l'image traitée, par une opération de zoom arrière.
19. Produit programme d'ordinateur, destiné à être stocké dans une mémoire d'une unité de traitement, ou sur un support mémoire amovible, destiné à coopérer avec un lecteur de ladite unité de traitement, caractérisé en ce qu'il comporte des instructions pour la mise en œuvre de tout ou partie des étapes du procédé selon l'une des revendications précédentes.
20. Caméra, équipée d'un ou plusieurs capteurs et d'une unité de traitement comportant une mémoire, caractérisée en ce que ladite mémoire est propre à stocker le produit programme d'ordinateur selon la revendication
19, et en ce qu'elle comporte des moyens de commande du temps d'exposition des capteurs pour la mise en œuvre du procédé selon l'une des revendications 15 et 16.
EP05757055A 2004-05-05 2005-04-13 Procede de traitement de donnees d'image, par réduction de bruit d'image, et camera integrant des moyens de mise en oeuvre du procede Withdrawn EP1749278A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0404837A FR2870071B1 (fr) 2004-05-05 2004-05-05 Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
PCT/FR2005/000897 WO2005122086A2 (fr) 2004-05-05 2005-04-13 Reduction de bruit d’image numerique

Publications (1)

Publication Number Publication Date
EP1749278A2 true EP1749278A2 (fr) 2007-02-07

Family

ID=34945477

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05757055A Withdrawn EP1749278A2 (fr) 2004-05-05 2005-04-13 Procede de traitement de donnees d'image, par réduction de bruit d'image, et camera integrant des moyens de mise en oeuvre du procede

Country Status (5)

Country Link
US (2) US8253825B2 (fr)
EP (1) EP1749278A2 (fr)
JP (1) JP4999680B2 (fr)
FR (1) FR2870071B1 (fr)
WO (1) WO2005122086A2 (fr)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2870071B1 (fr) * 2004-05-05 2006-12-08 Centre Nat Rech Scient Cnrse Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
KR100791391B1 (ko) * 2007-01-30 2008-01-07 삼성전자주식회사 노이즈 저감 방법 및 장치
FR2919943B1 (fr) * 2007-08-07 2010-02-26 Dxo Labs Procede de traitement d'objet numerique et systeme associe
FR2930360B1 (fr) * 2008-04-21 2010-10-08 Inst Nat Rech Inf Automat Dispositif de traitement d'images ameliore.
US20100156768A1 (en) * 2008-12-22 2010-06-24 Fletcher Ii James Douglas Display media, method of forming display media, and printer for printing on display media
JP4640508B2 (ja) 2009-01-09 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び撮像装置
US8331714B2 (en) 2009-02-23 2012-12-11 Sharp Laboratories Of America, Inc. Methods and systems for image processing
JP5326920B2 (ja) * 2009-08-07 2013-10-30 株式会社リコー 画像処理装置、画像処理方法、及び、コンピュータプログラム
GB2481239B (en) 2010-06-17 2014-04-02 Canon Kk Method and device for enhancing a digital image
JP6032467B2 (ja) * 2012-06-18 2016-11-30 株式会社日立製作所 時空間データ管理システム、時空間データ管理方法、及びそのプログラム
KR101910870B1 (ko) * 2012-06-29 2018-10-24 삼성전자 주식회사 잡음 제거 장치, 시스템 및 방법
FR2994307B1 (fr) 2012-08-06 2015-06-05 Commissariat Energie Atomique Procede et dispositif pour la reconstruction d'images a super-resolution
CN103686194B (zh) * 2012-09-05 2017-05-24 北京大学 基于非局部均值的视频去噪方法和装置
JP6071419B2 (ja) 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP6253331B2 (ja) * 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
TWI528815B (zh) * 2013-02-04 2016-04-01 鈺立微電子股份有限公司 可降低影像雜訊之影像處理方法
JP6161326B2 (ja) 2013-02-27 2017-07-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102144994B1 (ko) * 2013-09-30 2020-08-14 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
JP6332951B2 (ja) 2013-11-29 2018-05-30 キヤノン株式会社 画像処理装置および画像処理方法、およびプログラム
JP6501452B2 (ja) 2014-04-04 2019-04-17 キヤノン株式会社 画像処理装置及びシステム、画像処理方法、並びにプログラム
JP6465563B2 (ja) * 2014-05-14 2019-02-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
EP3132418B1 (fr) * 2014-11-13 2019-10-09 Huawei Technologies Co. Ltd. Suppression non-locale du bruit d'image
JP6624785B2 (ja) * 2015-01-16 2019-12-25 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
WO2016183743A1 (fr) 2015-05-15 2016-11-24 SZ DJI Technology Co., Ltd. Système et procédé de prise en charge d'un débruitage d'image basé sur le degré de différentiation de blocs voisins
JP6614843B2 (ja) 2015-07-30 2019-12-04 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
UA115360C2 (uk) * 2015-10-20 2017-10-25 Максим Володимирович Давидов Спосіб обробки цифрового зображення для зниження рівня шуму
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
US11750944B2 (en) 2021-05-28 2023-09-05 Varex Imaging Corporation Pixel noise cancellation system
US11812187B2 (en) 2021-05-28 2023-11-07 Varex Imaging Corporation Combined imaging array and strip
WO2022251716A1 (fr) * 2021-05-28 2022-12-01 Varex Imaging Corporation Matrice et bande d'imagerie et système de suppression de bruit de pixel combinés
US11756285B2 (en) 2021-06-10 2023-09-12 Bank Of America Corporation Image processing system and method for image noise removal

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970002967B1 (ko) * 1993-04-09 1997-03-13 대우전자 주식회사 영역 분류패턴을 이용한 움직임벡터 검출장치
US5461491A (en) * 1993-12-29 1995-10-24 Hewlett-Packard Company Procedure for reducing processing time for image elements by combining charge of adjacent pixels into a new composite pixel
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
KR100303086B1 (ko) 1998-08-31 2001-09-24 전주범 적응적움직임추정장치
JP2000293696A (ja) * 1999-04-07 2000-10-20 Matsushita Electric Ind Co Ltd 画像認識装置
JP2001094791A (ja) 1999-09-27 2001-04-06 Hitachi Kokusai Electric Inc 画像ノイズ削減方法及び画像ノイズ削減装置並びに画像入力方法及び画像入力装置
JP3576987B2 (ja) * 2001-03-06 2004-10-13 株式会社東芝 画像のテンプレートマッチング方法及び画像処理装置
KR100722596B1 (ko) * 2001-04-19 2007-05-28 가부시끼가이샤 도시바 화상처리방법과 화상처리장치
US7639741B1 (en) * 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
FR2870071B1 (fr) * 2004-05-05 2006-12-08 Centre Nat Rech Scient Cnrse Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
JP2007135662A (ja) 2005-11-15 2007-06-07 Terumo Corp 血液処理器具
JP2008046746A (ja) 2006-08-11 2008-02-28 Olympus Corp 工程管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
US8253825B2 (en) 2012-08-28
FR2870071A1 (fr) 2005-11-11
WO2005122086A2 (fr) 2005-12-22
JP2007536662A (ja) 2007-12-13
WO2005122086A3 (fr) 2006-12-21
US20100141804A1 (en) 2010-06-10
FR2870071B1 (fr) 2006-12-08
US8427559B2 (en) 2013-04-23
US20120268623A1 (en) 2012-10-25
JP4999680B2 (ja) 2012-08-15

Similar Documents

Publication Publication Date Title
EP1749278A2 (fr) Procede de traitement de donnees d&#39;image, par réduction de bruit d&#39;image, et camera integrant des moyens de mise en oeuvre du procede
EP1410327B1 (fr) Procede et systeme pour produire des informations formatees liees aux defauts d&#39;au moins un appareil d&#39;une chaine, notamment au flou
JP5543605B2 (ja) 空間画像事前確率を用いたぼけ画像修正
FR2851676A1 (fr) Procede d&#39;obtention d&#39;une image a resolution augmentee par l&#39;utilisation d&#39;une pluralite d&#39;images a faible resolution
WO2011010040A1 (fr) Procede d&#39;estimation d&#39;un defaut d&#39;un systeme de capture d&#39;images et systemes associes
Al-Hatmi et al. A review of Image Enhancement Systems and a case study of Salt &pepper noise removing
Mosleh et al. Explicit ringing removal in image deblurring
US7602989B2 (en) Realtime 2D deconvolution system and method
Mishra et al. Digital image restoration using image filtering techniques
FR3088755A1 (fr) Procede de defloutage d’une image
Narasimharao et al. Advanced techniques for color image blind deconvolution to restore blurred images
Khan et al. Digital image restoration in matlab: A case study on inverse and wiener filtering
Chittilappilly et al. SVM based defect detection for industrial applications
Safonov et al. Adaptive sharpening of photos
Ahalya et al. Deep Learning for Single Image Deblurring
Chahal et al. Robust statistics based filter to remove salt and pepper noise in digital images
Chopra et al. Low light GAN-based photo enhancement
Bundela et al. Restoration of Single Blur Image Using Blind Deconvolution Method
Lata et al. Novel method to assess motion blur kernel parameters and comparative study of restoration techniques using different image layouts
Hulaj et al. Removal of various noises from digital images with the application of a single algorithm
FR3066633A1 (fr) Procede de defloutage d&#39;une image
Lisha et al. Single image super resolution of blurred natural images using blur kernel estimation combined with super resolution convolution neural network
Kazi et al. Image Restoration using Blind Deconvolution
Dinesh et al. Image Processing
CN121437354A (zh) 图像的检测方法

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20061106

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR LV MK YU

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20070823

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20180727

RIN1 Information on inventor provided before grant (corrected)

Inventor name: MOREL, JEAN-MICHEL

Inventor name: BUADES, ANTONIO

Inventor name: COLL, BARTOMEU

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20181207