EP3545496A1 - Procédé de caracterisation de l'anisotropie de la texture d'une image numérique - Google Patents

Procédé de caracterisation de l'anisotropie de la texture d'une image numérique

Info

Publication number
EP3545496A1
EP3545496A1 EP17816923.1A EP17816923A EP3545496A1 EP 3545496 A1 EP3545496 A1 EP 3545496A1 EP 17816923 A EP17816923 A EP 17816923A EP 3545496 A1 EP3545496 A1 EP 3545496A1
Authority
EP
European Patent Office
Prior art keywords
image
function
vector
following
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP17816923.1A
Other languages
German (de)
English (en)
Other versions
EP3545496B1 (fr
Inventor
Frédéric Richard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aix Marseille Universite
Centre National de la Recherche Scientifique CNRS
Original Assignee
Aix Marseille Universite
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aix Marseille Universite, Centre National de la Recherche Scientifique CNRS filed Critical Aix Marseille Universite
Publication of EP3545496A1 publication Critical patent/EP3545496A1/fr
Application granted granted Critical
Publication of EP3545496B1 publication Critical patent/EP3545496B1/fr
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/45Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/46Analysis of texture based on statistical description of texture using random fields
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Definitions

  • the invention relates to a method for characterizing the anisotropy of the texture of a digital image.
  • the invention also relates to a method for classifying digital images according to the anisotropy of their texture.
  • the invention finally relates to an information recording medium and an electronic calculator for implementing these methods.
  • WO2016 / 042269A1 discloses a method for estimating Hurst's H exponent of the texture of an image and terms that vary depending on the characteristics of the texture of that image in a particular direction corresponding to an angle ⁇ ,. This method works very well to identify the anisotropy of an image.
  • an index A which characterizes the anisotropy of the texture of the image from the terms ⁇ is called the "anisotropy index”.
  • anisotropy index For example, the calculation of an anisotropy index A from the terms ⁇ is described in the following articles:
  • the index A is a function of the average of the terms ft.
  • the term ⁇ varies according to the characteristics of the texture in this given direction but also according to the H exponent of Hurst.
  • Hurst's exponent H is a global feature of texture that is independent of the orientation of the image.
  • this index A varies as a function of the anisotropy of the texture of the image as a function of the H exponent H of the texture of this image.
  • the invention aims to propose a method for characterizing the anisotropy of an image using an anisotropy index which varies as a function of the anisotropy of the texture while being much less sensitive to the variations of the Hurst exponent H of the same texture. It therefore relates to such a method according to claim 1.
  • the claimed method estimates from the terms ⁇ ,, the coefficients of a function ⁇ ( ⁇ ), here called asymptotic topothesis function.
  • This function ⁇ ( ⁇ ) has the particularity of returning a value that characterizes the texture of the image in the direction ⁇ while being almost completely independent of the value of the exponent H of Hurst associated with this same texture. Therefore, the construction of the anisotropy index, which varies monotonically as a function of the statistical dispersion of the function ⁇ ( ⁇ ), makes it possible to obtain an index which varies according to the anisotropy of the texture while being practically independent of the Hurst exponent value H of this same texture.
  • Embodiments of this method may have one or more of the features of the dependent claims.
  • the invention also relates to a method of automatic classification of digital images according to the anisotropy of their texture.
  • the invention also relates to an information recording medium, comprising instructions for carrying out the claimed method, when these instructions are executed by an electronic computer.
  • the invention also relates to an electronic calculator for implementing the claimed method.
  • FIGS. 1A to 1D are schematic illustrations of digital images presenting isotropic and anisotropic textures
  • FIG. 2 is a schematic illustration of a computing device for automatically characterizing the anisotropy of a digital image
  • FIG. 3 is a flow chart of a method for characterizing the anisotropy of the texture of a digital image
  • FIG. 4 is a flowchart of a method for automatically classifying images according to the anisotropy of their texture
  • FIGS. 5A to 5F are illustrations of digital images of the texture of different types of paper
  • FIG. 6 is a graph showing the distribution of the texture of different papers according to their Hurst exponent and their anisotropy index.
  • the interval [X, Y] is the interval of all integers greater than or equal to X and less than or equal to Y, where X and Y are themselves integers;
  • - [0, X] d denotes the product [0, Xi] x [0, X 2 ] x ... x [0, X d ]
  • X is a vector of M d with coordinates Xi, X 2 X d , so that the i-th coordinate U, of a vector U of [0, X] d belongs to the interval [ ⁇ , ⁇ ,], where i is an index greater than or equal to 0 and less than or equal to d;
  • Figure 1A represents a digital image 2 whose texture has an anisotropy.
  • anisotropy is understood to mean that the properties of the image texture are not the same in the direction in which they are observed.
  • the texture of a digital image is generally defined as relating to the spatial distribution of intensity variations and / or tonal variations of the pixels forming the digital image.
  • the texture is a manifestation of the Holderian regularity of the image.
  • the notions of texture are, for example, defined:
  • the anisotropy of an image can come from two factors: texture and "trend".
  • texture corresponds to the variations in intensity of the short-range (ie high-frequency) pixels whereas the trend relates to variations in intensity of the pixels at longer range (that is to say at low frequency).
  • image 2 is the texture, and especially its anisotropy, which are of interest for characterizing the image 2.
  • the anisotropic nature of the texture of the image can give a clue to the presence or risk of development of cancer cells within this tissue.
  • image 2 is a mammography snapshot.
  • FIG. 1B represents an image whose texture is isotropic.
  • FIGS. 1C and 1D represent, respectively, images whose texture is isotropic and anisotropic and which each comprise anisotropy caused by a second order polynomial tendency. This trend is oriented along the horizontal direction of these images.
  • the image 2 is formed of a plurality of pixels. Each pixel is associated with: -a pixel intensity value, and
  • d is a natural integer greater than or equal to two which represents the dimension of the image 2.
  • d 2.
  • the pixels of the image 2 are arranged in space in the manner of a matrix ("lattice" in English) in the space Z d .
  • the resolution of the image is the same in all the d axes of the image.
  • the set of possible positions of the pixels of the image 2 is denoted by [0, N] d , where N is a vector which codes the size of the image and whose components are strictly positive natural integers belonging to at l ⁇ l d .
  • This notation means that the coordinates pi, p 2 p d of the position p of a pixel of the image belong, respectively, to the set
  • image 2 is an area of interest extracted from an image of larger size. The sides of the image 2 have a length greater than or equal to 50 pixels or 100 pixels or 500 pixels.
  • the luminous intensity of the pixels is encoded in gray levels, for example, on 8 bits. Pixel intensity values are integers belonging to the range [0.255].
  • FIG. 2 represents a device 12 for identifying and characterizing the anisotropy of the texture of the image 2.
  • the device 12 is suitable, for a given image 2, for indicating whether the image is isotropic or anisotropic and, advantageously, in the latter case, to quantify, that is to say, characterize, the extent of the anisotropy.
  • the device 12 comprises for this purpose:
  • a programmable electronic calculator 14 such as a microprocessor
  • a support 16 for recording information such as a memory
  • an interface 18 for acquiring a digital image is provided.
  • the interface 18 allows the acquisition of the image 2.
  • the digital image is generated by an electronic image taking device such as an X-ray machine.
  • the computer 14 executes the instructions recorded in the support 16.
  • the support 16 comprises in particular instructions for implementing the method of Figures 3 and 4 which will be described in more detail in the following.
  • the identification and characterization of the anisotropy of the image 2 is done using a number of operations.
  • the image 2 is modeled as the statistical realization of an intrinsic random Gaussian field ("Intrisic random gaussian field" in English).
  • intrinsic random Gaussian field in English
  • the intensity value associated with each pixel of the image 2 is said to correspond to the realization of a Gaussian random variable Z.
  • the notion of intrinsic random Gaussian field is defined in more detail in the following work: JP Chiles et al. "Geostatistics: Modeling Spatial Uncertainty", J. Wiley, 2nd edition, 2012.
  • Z [p] is the intensity value associated with the pixel whose position in the image 2 is given by the position p.
  • Z d For example, we define an orthonormal coordinate system in Z d that originates from the null vector (0) d . The position p belongs to Z d .
  • the image 2 is automatically acquired by the interface 18 and recorded, for example, in the support 16. This image will subsequently be designated by the notation "I".
  • the normalized image 2 is modeled by a square matrix Z of dimensions (Ni + 1) * (N 2 +1).
  • the coefficients of this matrix Z are the Z [p] corresponding to the intensity of the pixels of position p.
  • the components of the vector p give the position of this coefficient in the matrix Z.
  • Z [p] is the coefficient of the pi-th line and p 2 -th column of Z, where Pi and p 2 are the coordinates of the position p in [0, N] 2 .
  • geometric transformations of the image 2 are applied to obtain a series of transformed images 1j, k .
  • These transformations comprise modifications T j, k , of the image 2 which each include:
  • T j, k (l) the image obtained after the application of the modification Tj, k to the acquired image I.
  • the space Z 2 ⁇ ⁇ (0,0) ⁇ is the private space Z 2 of the coordinate point (0,0).
  • the indices "j" and “k” are integer indices which respectively and uniquely identify the angle a, is the factor y k .
  • the index j varies between 1 and ⁇ ,.
  • rotation j and “change of scale k” with reference to, respectively, the rotation of angle a, and the change of scale of factor y k .
  • the rotation j rotates the angle a, each of the pixels of the image 2 from a starting position to an arrival position around the same point or the same predetermined axis. Typically this point or this axis of rotation passes through the geometric center of the image. Rotation takes place here with respect to the geometric center of the image.
  • the geometric center of a digital image is defined as being the barycentre of the positions of all the pixels of the image, each weighted by a coefficient of the same value.
  • the change of scale k enlarges or reduces the image by a factor y y kernification .
  • the center of the homothety is the geometric center of the image.
  • modifications T jk are applied for at least two and, preferably at least three or four angles a, of different values.
  • the different values of the angles a are distributed as uniformly as possible between 0 ° and 180 ° while respecting the constraint that the vector u jk must belong to the space Z 2 ⁇ ⁇ (0,0) ⁇ .
  • the number n, of different values for the angle a is generally chosen not too great to limit the number of calculations to be made. For example, this number n is chosen to be less than 150 or 100.
  • a good compromise is to choose at least four different values for angle ⁇ , and preferably at least ten or twenty different values.
  • modifications Tj, k are applied for at least two, and preferably at least three or four or five, scale changes y k different.
  • the values of the factor y k are for example greater than or equal to 1 and less than or equal to 10 2 or 8 2 or 4 2 .
  • the different values of the factor y k are distributed as evenly as possible over the chosen range of values.
  • the changes of scale y k used are all those for which the following condition is satisfied: the Euclidean norm of the vector u jk belongs to the interval [2; 10].
  • angles a, rotation are chosen according to the horizontal and vertical directions of the image 2.
  • the angles are here expressed with respect to the horizontal axis of the image 2.
  • the modifications Tj, k applied are as follows, expressed here in matrix form:
  • K-increments are calculated for each of the transformed images Tj, k (1).
  • This computation comprises a filtering intended to eliminate the polynomial trends of order strictly smaller than K. More precisely, for each image T jk (l), a filter is applied to calculate the K-increment Vj, k of this image. Tj, k (l). It is the K-increment of this image Tj, k (l) which constitutes the transformed image lj, k .
  • the K-increment Vj, k of this image is not calculated for all the points of the image Tj, k (l), but only for some of them, as will be seen below.
  • K-increment is for example defined in more detail in the following work: JP Chilès et al. "Geostatistics: Modeling Spatial Uncertainty", J. Wiley, 2nd edition, 2012.
  • the filter v is defined on the set [0, L] d .
  • This filter v is characterized by a characteristic polynomial Q v (z) defined by:
  • the filter v denotes a matrix and the quantity v [p] denotes a particular scalar value of this filter for the position p, where p is a vector of [0, L] d .
  • This value v [p] is zero if the vector p does not belong to [0, L] d .
  • the filter v has a bounded support on [0, L] d .
  • This filter v is distinct from the null function which, for any value of the vector p has a value v [p] zero.
  • the notation z here denotes the monomer z 1 * z 2 2 * ... * z d d .
  • the filter is thus set by the vector L which is a vector of [0, N] d.
  • the vector L is chosen so as to be contained in the image I.
  • the filter v is such that its characteristic polynomial Q v (z) satisfies the following condition: as then
  • Vj, k [m] is a K-increment calculated on the image Tj, k (l) for the position pixel m, with m a vector belonging to a set E which will be defined in what follows;
  • the product Tj, k .p corresponds to the application of the modification Tj, k at the picture pixel position p of the I and expresses coordinates in Z d, after application of the modification Tj, k, of the pixel that had initially the position p in image I,
  • the K-increment calculation is performed only on the pixels of the image Tj, k (l) whose positions belong to a set E.
  • the set E contains only positions:
  • the filtering is performed within the same formula as the application of modifications Tj, k .
  • the filtering produces the increments Vj, k [m] of order K.
  • This filtering makes it possible to ignore an anisotropy of the image that would be caused by the trend, but only the anisotropy of the texture of the underlying image. This results in a better reliability of the characterization process.
  • step 22 here comprises the acquisition of a value of the vector L as well as a value of the constant K.
  • the filtering of the image Tj, k (l) by the filter v makes it possible to eliminate the effect of the "trend" when the latter has a polynomial form of order P 0 , provided that the parameter L is chosen as follows:
  • the vector L has two components, and 1_2.
  • U and L 2 3
  • 11_ I 4
  • L 2 0.
  • the filter has a greater sensitivity directional.
  • it will react more markedly, thus filter more effectively, variations that are oriented in a particular direction.
  • the filter v is defined by the following relationship:
  • £ j, k is a regression error term whose statistical properties are predetermined and set by the user.
  • the error terms £ j, k are Gaussian random variables correlated with each other.
  • a number n, of terms ⁇ ,, n being the number of different rotations applied to the image I.
  • the calculator 14 estimates the scalar coefficients T m of a function pair ⁇ ( ⁇ ) called asymptotic topothesis function.
  • the function ⁇ ( ⁇ ) is continuous over the interval [0; 2 ⁇ ].
  • the function ⁇ ( ⁇ ) is the function that minimizes the following criterion C: or :
  • ⁇ ( ⁇ ) [
  • v is the discrete Fourier transform of the core v
  • M is an integer greater than one
  • - f m (0) are the functions of a base of ⁇ -periodic functions defined on the interval [0; 2 ⁇ ].
  • a ⁇ -periodic function is a periodic function of period ⁇ .
  • the ⁇ -periodic function base used is a Fourier base. Therefore, the function ⁇ ( ⁇ ) is here defined by the following relation: where To, Ti m and T 2 , m are the scalar coefficients of the function ⁇ ( ⁇ ),
  • the number M is a predefined constant, for example by the user. Generally, this number M is smaller than the number n, of angles a, different. Typically, this number M is also greater than or equal to 2 or 4. Typically, the number M is chosen so that the number of scalar coefficients of the function ⁇ ( ⁇ ) is in the range [0.35 ⁇ , ; 0.75 ⁇ ] or in the range [0.45 ⁇ ,; 0,55 ⁇ ].
  • T * is the vector ( ⁇ 0 *, ⁇ , ⁇ *, T 2 , I *, TI, 2 *, T 2 , 2 * Ti, M-1 *, T 2 , M- I *, TI, M *, T 2 , m *) t , the coefficients
  • R is a diagonal matrix of dimension (2M + 1) x (2M + 1) whose coefficients on the diagonal are, in the order: 0, 2, 2, 5, 5 (1 + M 2 ), (1 + M 2 ),
  • the inventors have also established that the optimum value of the parameter ⁇ is equal to or very close to a value ⁇ * . * The ⁇ value is obtained using the following relationship:
  • K is equal to v + / v-, v + and v. being, respectively, the largest and the smallest eigenvalue of the matrix L T L,
  • trace (X) is the function that returns the sum of the diagonal coefficients of a square matrix X
  • the computer 14 calculates the value ⁇ * using the above relationship. Then, he chooses the value of the parameter ⁇ close to the value ⁇ * . For example, it chooses, for example randomly, the value of the parameter ⁇ in the interval [0; 1,3X] or [0; 1.1X]. Most often, the value of the parameter ⁇ is chosen in the interval [0.7 ⁇ * ; 1,3X] or [0,9 ⁇ * ; ⁇ , ⁇ * ]. Here, the parameter ⁇ is systematically chosen equal to the value ⁇ * . Finally, the calculator estimates the coefficients ⁇ 0 , Ti, m , T 2 , m using the relation (3).
  • the relation (4) could be established by looking for the numerical expression of the coefficients ⁇ 0 *, Ti, m *, T 2 , m * which does not directly reduce the criterion C but a penalized criterion C A.
  • This penalized criterion C A is for example the following: (5)
  • the symbol "*" is the circular convolution product so that ⁇ * ⁇ ( ⁇ ) designates the function resulting from the circular convolution product between the functions ⁇ ( ⁇ ) and ⁇ ( ⁇ ).
  • the value of the function ⁇ ( ⁇ ) depends on the characteristics of the texture of the image in the direction ⁇ . This value is independent of the Hurst exponent value H. Therefore, the statistical dispersion of the values of the function ⁇ ( ⁇ ) for ⁇ varying between 0 and ⁇ is representative of the anisotropy of the texture of the image.
  • the statistical dispersion of the function ⁇ ( ⁇ ) is represented by an index A that is a function of the sum of the following deviations:
  • - ⁇ ⁇ is an average value of the values of the function ⁇ ( ⁇ ) for ⁇ varying from 0 to ⁇ or an approximation of this average
  • I L is the norm Ll if Lp is equal to 1, the norm L2 if Lp is equal to 2 and so on, Lp being strictly greater than zero.
  • the statistical dispersion of the function ⁇ ( ⁇ ) can be the variance or the standard deviation of the values of this function on [0; ⁇ ].
  • Lp is chosen equal to 2 and the calculated index A is equal to the square root of the sum defined above. Therefore, the higher the value of the index A, the greater the anisotropy of the image. Under these conditions, the index A is defined by the following relation:
  • the calculator 14 calculates the index A using the following formula which corresponds to the relation (7):
  • FIG. 4 describes an example of application of the above method for automatically classifying images 2 relative to one another according to their texture. This example is given in the particular case where the images are photographs of sheets of paper taken using a microscope and under a grazing illumination. Such shots are illustrated in FIGS. 5A-5F.
  • Figures 5A to 5C show images of glossy paper sheets from three different manufacturers.
  • Figures 5D and 5E show images of satin paper sheets.
  • Figure 5F shows an image of a sheet of matte paper.
  • the databases containing these images are described in detail in the following articles:
  • a plurality of digital images 2 are automatically acquired. Of the images acquired, some correspond to glossy paper, others to satin paper and others to matte paper.
  • a step 42 for each of them, the index A of anisotropy and the exponent H of Hurst are calculated by implementing the method of FIG. 3.
  • a step 44 the acquired images are automatically classified with respect to each other as a function of their index A and their exponent H calculated during step 42.
  • This classification is for example carried out by means of FIG. a classifier, such as a neural network classification algorithm or a support vector machine.
  • the graph of FIG. 6 represents a coordinate point (H, A), where H and A are, respectively, the Hurst exponent and the anisotropy index calculated for this image.
  • H and A are, respectively, the Hurst exponent and the anisotropy index calculated for this image.
  • the function ⁇ ( ⁇ ) has been normalized.
  • the points represented by crosses, circles and lozenges correspond to images of a paper, respectively, shiny, satin and matte.
  • This graph shows that the combination of the H exponent H and the anisotropy index A makes it possible to effectively distinguish the different types of paper between them.
  • all glossy, satin and matt papers are in very different areas. These zones are surrounded on the graph of FIG. 6.
  • a cluster of points all grouped in an even narrower zone often corresponds to a particular manufacturer or to a particular print run.
  • the classification can not only distinguish the different types of paper but also, for the same type of paper, different manufacturers or different prints.
  • the pixels of the image 2 may have other intensity values.
  • the intensity value of each pixel can be a real value. Or it may be greater than 256.
  • image 2 is color encoded.
  • the color image is separated into a plurality of monochrome images each corresponding to color channels that make up the color image. The process is then applied separately for each of these monochrome images.
  • the notions of "horizontal" and "vertical" direction are replaced by reference directions adapted to the geometry of the image. For example, in the case of a triangular image, the base and height of the triangle will be used as reference.
  • the dimension d of the images may be greater than two.
  • image 2 can be a hypercube of dimension d.
  • the image 2 may be something other than a mammogram or a sheet of paper. For example, it may be a cliché of bone tissue.
  • the anisotropy of the texture of the image then informs about the presence of bone pathologies, such as osteoporosis.
  • Other wider areas of application may be considered, such as other types of biological tissue, aerial or satellite imagery, geological images, or clichés of materials.
  • the method applies to any type of irregular and textured image such as an image obtained from any electronic imaging apparatus.
  • the values of the angle a may be different.
  • values of the angle ⁇ are chosen which do not require interpolations.
  • values of the angle a which require interpolations of the pixels of the transformed image to find the values associated with each position p included in the set E.
  • v2 a convolutional core v2 equal to the kernel previously described.
  • nucleus v1 is an identity matrix
  • the filter v previously described.
  • choosing a kernel v1 different from the identity matrix makes it possible to construct a large number of different filters from the previously described v-filters, all of which are suitable for calculating K-increments.
  • the filtering can be implemented differently in step 22.
  • the transformation and the filtering are not necessarily applied simultaneously, but in separate formulas.
  • step 22 comprises a filter selection operation v , for example from a predefined filter library.
  • the quadratic variations ⁇ ⁇ ⁇ : ⁇ are then calculated during step 24 using the following relation:
  • step 26 the regression is then performed in the following manner taking into account the n, applied filters: log (
  • ) log (
  • the method of FIG. 3 is implemented for each filter v 1.
  • the index A of anisotropy is then calculated from the coefficients approximated for each of these functions ⁇ , ( ⁇ ). For example, in a simplified embodiment, an index A, anisotropy is calculated as described above for each of the functions ⁇ , ( ⁇ ). Then, the calculated index A is the average of these indices A.
  • the number of filters v applied can vary from one image Tj, k (l) to the other, provided however that a filter i correspond to at least two rotations j and for each of these rotations j, at least two changes of scale k.
  • the penalty used in criterion C A may be different. As long as the penalty is a differentiable function, then it is possible to determine a linear relation, such as the relation (3), which directly expresses the estimation of the coefficients T m as a function of the terms ⁇ ,. In particular, it is possible to find such a linear relation irrespective of the filter v and the basis of f m (0) ⁇ -periodic functions used.
  • the filter v may therefore be different from that defined by the relation (1) and the base used may also be different from the Fourier base. When the filter v is different from the one defined by the relation (1) or when the base is different from the Fourier basis, the linear relation is different from that defined by the relation (3).
  • the penalty used in criterion C A can also be a non-differentiable function. In this case, it can be difficult or impossible to establish a linear relationship between the estimation of the coefficients T m and the terms ⁇ ,.
  • the penalty may use a norm L1 of the function ⁇ ( ⁇ ) which is nondifferentiable. In this case, other methods are possible to approximate the coefficients of the function ⁇ ( ⁇ ) which minimizes this penalized criterion.
  • the estimation of the coefficients ⁇ 0 , Ti, m , T 2 , m which minimize the criterion C A are estimated by executing a known algorithm for minimizing such a criterion such as the ISTA algorithm ("Iterative Shrinkage- Thresholding Algorithm ”) or FISTA (" Fast Iterative Shrinkage-Thresholding Algorithm ").
  • a known algorithm for minimizing such a criterion such as the ISTA algorithm (“Iterative Shrinkage- Thresholding Algorithm ") or FISTA (“ Fast Iterative Shrinkage-Thresholding Algorithm ").
  • T m are the scalar coefficients of the function ⁇ ( ⁇ ).
  • the functions f m are piecewise constant ⁇ -periodic functions on [0; ⁇ ].
  • a piecewise constant function is a function that takes constant values over several immediately successive subintervals and between
  • the number M may be greater than or equal to the number n ,.
  • the index A is calculated only for the angles ⁇ equal to the angles a, and not for all the values of ⁇ between 0 and ⁇ . In this case, for example, the index A is only a function of the sum of the following deviations:
  • the classification can be performed differently in step 42.
  • the order of classification of the images can be chosen differently.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Ce procédé de caractérisation comporte : - l'estimation (28) des coefficients scalaires τm d'une fonction paire τ(θ) définie sur [0; 2π] qui minimise le critère C suivant (I) où -βj sont des termes estimés à partir d'une image numérique acquise, - τ(θ) est une fonction π-périodique définie sur l'intervalle [0; 2π], - Γ(θ) est la fonction définie par la relation suivante (II) où : - (III) est la transformée de Fourier discrète d'un noyau de convolution v, - H est un exposant de Hurst estimé de l'image acquise, f) puis, le calcul (30), en fonction de l'estimation des coefficients scalaires τm1, d'un indice d'anisotropie qui caractérise l'anisotropie de l'image, cette indice variant de façon monotone en fonction de la dispersion statistique des valeurs de la fonction τ(θ) pour θ variant entre 0 et π.

Description

PROCÉDÉ DE CARACTERISAT! ON DE L'ANISOTROPIE DE LA TEXTURE D'UNE
IMAGE NUMÉRIQUE
[ooi] L'invention concerne un procédé de caractérisation de l'anisotropie de la texture d'une image numérique. L'invention concerne également un procédé pour classer des images numériques selon l'anisotropie de leur texture. L'invention concerne enfin un support d'enregistrement d'informations et un calculateur électronique pour mettre en œuvre ces procédés.
[002] La demande WO2016/042269A1 décrit un procédé qui permet d'estimer l'exposant H de Hurst de la texture d'une image et des termes qui varient en fonction des caractéristiques de la texture de cette image dans une direction particulière correspondant à un angle α,. Ce procédé fonctionne très bien pour identifier l'anisotropie d'une image.
[003] Il a également été proposé de construire un indice A qui caractérise l'anisotropie de la texture de l'image à partir des termes β,. Cet indice est appelé « indice d'anisotropie ». Par exemple, le calcul d'un indice A d'anisotropie à partir des termes β, est décrit dans les articles suivants :
- F.J.P Richard : « Analysis of anisotropic brownian textures and application to lésion détection in mammograms », Procedia Environmental Sciences 27 (2015) 16 - 20, 2015,
- F.J.P Richard : « Anisotropy indices for the characterization of brownian textures and their application for breast images », 2016
- F.J.P Richard : « Some anisotropy indices for the characterization of Brownian texture and their application to breast images », SPATIAL STATISTICS, vol. 18, 17/02/2016, pages 147-162,
- F.J.P Richard : « Tests of isotropy for rough textures of trended images », STATISTICA SINICA, vol. 26, n°3, 1/7/2016, pages 1-32.
[004] Dans ces articles, l'indice A est fonction de la moyenne des termes ft. Pour un angle a, donné, le terme β, varie en fonction des caractéristiques de la texture dans cette direction donnée mais aussi en fonction de l'exposant H de Hurst. On rappelle que l'exposant H de Hurst est une caractéristique globale de la texture qui est indépendante de l'orientation de l'image. Ainsi, quand une variation du terme β, est observée, il n'est pas possible de savoir simplement si cette variation est due à une modification de l'anisotropie de l'image ou à une modification de la texture dans son ensemble et donc de l'exposant H de Hurst. Dès lors, cet indice A varie aussi bien en fonction l'anisotropie de la texture de l'image qu'en fonction de l'exposant H de Hurst de la texture de cette image.
[005] L'invention vise à proposer un procédé de caractérisation de l'anisotropie d'une image à l'aide d'un indice d'anisotropie qui varie en fonction de l'anisotropie de la texture tout en étant beaucoup moins sensible aux variations de l'exposant H de Hurst de cette même texture. Elle a donc pour objet un tel procédé conforme à la revendication 1.
[006] Le procédé revendiqué estime à partir des termes β,, les coefficients d'une fonction τ(θ), appelée ici fonction de topothésie asymptotique. Cette fonction τ(θ) présente la particularité de retourner une valeur qui caractérise la texture de l'image dans la direction Θ tout en étant quasiment totalement indépendante de la valeur de l'exposant H de Hurst associé à cette même texture. Dès lors, la construction de l'indice d'anisotropie qui varie de façon monotone en fonction de la dispersion statistique de la fonction τ(θ) permet d'obtenir un indice qui varie en fonction de l'anisotropie de la texture tout en étant pratiquement indépendant de la valeur de l'exposant H de Hurst de cette même texture.
[007] Les modes de réalisation de ce procédé peuvent présenter une ou plusieurs des caractéristiques des revendications dépendantes.
[008] Ces modes de réalisation du procédé de caractérisation présentent en outre les avantages suivants :
- Le calcul de l'estimation des coefficients scalaires de la fonction τ(θ) grâce à une relation linéaire entre ces coefficients à estimer et les termes β, accélère de façon très importante l'exécution du procédé de caractérisation.
- Le fait de calculer la valeur optimale du paramètre λ permet d'améliorer l'estimation des coefficients scalaires de la fonction τ(θ) et donc d'obtenir un indice qui est encore moins sensible vis-à-vis des variations de l'indice H de Hurst.
[009] L'invention a également pour objet un procédé de classement automatique d'images numériques en fonction de l'anisotropie de leur texture.
[ooio] L'invention concerne également un support d'enregistrement d'informations, comportant des instructions pour la réalisation du procédé revendiqué, lorsque ces instructions sont exécutées par un calculateur électronique.
[ooii] L'invention concerne également un calculateur électronique pour la mise en œuvre du procédé revendiqué.
[ooi2] L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple non limitatif et faite en se référant aux dessins sur lesquels :
-les figures 1A à 1D sont des illustrations schématiques d'images numériques présentant des textures isotropes et anisotropes ;
-la figure 2 est une illustration schématique d'un dispositif de calcul pour caractériser automatiquement l'anisotropie d'une image numérique ;
-la figure 3 est un ordinogramme d'un procédé de caractérisation de l'anisotropie de la texture d'une image numérique ;
-la figure 4 est un ordinogramme d'un procédé de classement automatique d'images en fonction de l'anisotropie de leur texture, - les figures 5A à 5F sont des illustrations d'images numériques de la texture de différents types de papier,
- la figure 6 est un graphe représentant la répartition de la texture de différents papiers en fonction de leur exposant de Hurst et de leur indice d'anisotropie.
[ooi3] Dans ces figures, les mêmes références sont utilisées pour désigner les mêmes éléments. Dans la suite de cette description, les caractéristiques et fonctions bien connues de l'homme du métier ne sont pas décrites en détails.
[ooi4] Dans cette description, les conventions de notations mathématiques suivantes sont adoptées, sauf mentions contraires :
- l'intervalle [X,Y] désigne l'intervalle de tous les nombres entiers supérieurs ou égaux à X et inférieurs ou égaux à Y, où X et Y sont eux-mêmes des entiers ;
- un vecteur A dans un espace à d dimensions (tel que Md) a pour coordonnées Ai, A2 Ad ;
- [0, X]d désigne le produit [0,Xi]x[0,X2]x...x[0,Xd] où X est un vecteur de Md de coordonnées Xi, X2 Xd, de telle sorte que la i-ième coordonnée U, d'un vecteur U de [0, X]d appartient à l'intervalle [Ο,Χ,], où i est un indice supérieur ou égal à 0 et inférieur ou égal à d ;
- |X| est la somme des composantes du vecteur X, telle que |X| = |Xi| + |X2| + ... + | Xd| ;
- |X|2 est la norme euclidienne au carré du vecteur X, telle que |X|2 = (Xi2 + X2 2 + ... +
[ooi5] La figure 1A représente une image numérique 2 dont la texture présente une anisotropie.
[ooi6] Dans cette description, l'anisotropie s'entend comme étant le fait que les propriétés de la texture de l'image ne sont pas les mêmes selon la direction dans laquelle elles sont observées.
[ooi7] La texture d'une image numérique est généralement définie comme se rapportant à la distribution spatiale de variations d'intensité et/ou de variations tonales des pixels formant l'image numérique. La texture est une manifestation de la régularité holdérienne de l'image. Les notions de texture sont, par exemple, définies :
- dans l'ouvrage « Handbook of Texture Analysis », M. Mirmehdi et al., eds., World Scientific, oct. 2008 au chapitre « Introduction to Texture Analysis » de E.R. Davies, ou encore :
- à la section « I. Introduction » de l'article de Robert M. Haralick et al ; « Textural features for image classification » ; IEEE Transactions on Systems, Man and Cybernetics ; vol. SMC-3, n°6, p. 610-621, novembre 1973.
[ooi8] L'anisotropie d'une image peut provenir de deux facteurs : la texture et la « tendance ». Typiquement, la texture correspond aux variations d'intensité des pixels à courte portée (c'est-à-dire à haute fréquence) alors que la tendance se rapporte à des variations d'intensité des pixels à plus longue portée (c'est-à-dire à basse fréquence).
[ooi9] Ici, c'est la texture, et surtout son anisotropie, qui présentent un intérêt pour caractériser l'image 2. Par exemple, lorsque l'image 2 représente un tissu biologique, le caractère anisotrope de la texture de l'image peut donner un indice sur la présence ou le risque de développement de cellules cancéreuses au sein de ce tissu. Dans cet exemple, l'image 2 est un cliché de mammographie.
[0020] Les figures 1B à 1D illustrent d'autres exemples d'images susceptibles de correspondre à un cliché de mammographie. La figure 1B représente une image dont la texture est isotrope. Les figures 1C et 1D représentent, respectivement, des images dont la texture est isotrope et anisotrope et qui comportent chacune une anisotropie causée par une tendance polynomiale d'ordre deux. Cette tendance est orientée suivant la direction horizontale de ces images.
[0021] L'image 2 est formée d'une pluralité de pixels. Chaque pixel est associé à : -une valeur d'intensité de pixel, et à
-une position p dans l'espace Zd.
où d est un entier naturel supérieur ou égal à deux qui représente la dimension de l'image 2. Ici, dans cet exemple, d = 2.
[0022] Ainsi, les pixels de l'image 2 sont disposés dans l'espace à la manière d'une matrice (« lattice » en langue anglaise) dans l'espace Zd. De préférence, la résolution de l'image est la même selon tous les d axes de l'image. Par la suite, l'ensemble des positions possibles des pixels de l'image 2 est noté [0, N]d, où N est un vecteur qui code la taille de l'image et dont les composantes sont des entiers naturels strictement positifs appartenant à l^ld. Cette notation signifie que les coordonnées pi, p2 pd de la position p d'un pixel de l'image appartiennent, respectivement, aux ensemble
[0,Ni], [0, N2] [0, Nd], où Ni, N2 Nd sont les coordonnées de N. Ici, l'image 2 présente une forme carrée de dimension (Ni+1)*(N2+1), où Ni+1 = N2+l et Ni+1 est la longueur d'un côté de ce carré exprimé en nombre de pixel. Par exemple, l'image 2 est une zone d'intérêt extraite à partir d'une image de dimension plus étendue. Les côtés de l'image 2 présentent une longueur supérieure ou égale à 50 pixels ou à 100 pixels ou à 500 pixels.
[0023] Dans cet exemple, l'intensité lumineuse des pixels est encodée en niveaux de gris, par exemple, sur 8 bits. Les valeurs d'intensité de pixel sont des nombres entiers appartenant à l'intervalle [0,255].
[0024] La figure 2 représente un dispositif 12 pour identifier et caractériser l'anisotropie de la texture de l'image 2. Le dispositif 12 est apte, pour une image 2 donnée, à indiquer si l'image est isotrope ou anisotrope et, avantageusement, dans ce dernier cas, à quantifier, c'est-à-dire caractériser, l'ampleur de l'anisotropie.
[0025] Le dispositif 12 comporte à cet effet :
-un calculateur 14 électronique programmable, tel qu'un microprocesseur, -un support 16 d'enregistrement d'informations, tel qu'une mémoire,
-une interface 18 d'acquisition d'une image numérique.
[0026] L'interface 18 permet l'acquisition de l'image 2. Typiquement, l'image numérique est générée par un appareil électronique de prise d'images comme un appareil de radiographie. Le calculateur 14 exécute les instructions enregistrées dans le support 16. Le support 16 comporte notamment des instructions pour mettre en œuvre le procédé des figures 3 et 4 qui sera décrit plus en détail dans ce qui suit. [0027] L'identification et la caractérisation de l'anisotropie de l'image 2 se fait à l'aide d'un certain nombre d'opérations.
[0028] Dans cet exemple, l'image 2 est modélisée comme étant la réalisation statistique d'un champ gaussien aléatoire intrinsèque (« Intrisic random gaussian field » en langue anglaise). Autrement dit, la valeur d'intensité associée à chaque pixel de l'image 2 est dite correspondre à la réalisation d'une variable aléatoire gaussienne Z. La notion de champ gaussien aléatoire intrinsèque est définie plus en détail dans l'ouvrage suivant : J. P. Chilès et al. « Geostatistics : Modeling Spatial Uncertainty », J. Wiley, 2e édition, 2012.
[0029] On note Z[p] la valeur d'intensité associée au pixel dont la position dans l'image 2 est donnée par la position p. Par exemple, on définit un repère orthonormé dans Zd ayant pour origine le vecteur nul (0)d. La position p appartient à Zd.
[0030] Un exemple de mise en œuvre du procédé automatique de caractérisation de l'anisotropie de la texture va maintenant être décrite en référence à l'ordinogramme de la figure 3 est à l'aide des figures 1 et 2.
[0031] Lors d'une étape 20, l'image 2 est automatiquement acquise par l'interface 18 et enregistrée, par exemple, dans le support 16. On désignera par la suite cette image 2 par la notation « I ».
[0032] Dans cet exemple, en dimension d = 2, l'image 2 normalisée est modélisée par une matrice carrée Z de dimensions (Ni+1)*(N2+1). Les coefficients de cette matrice Z sont les Z[p] correspondant à l'intensité des pixels de position p. Les composantes du vecteur p donnent la position de ce coefficient dans la matrice Z. Par exemple, Z[p] est le coefficient de la pi-ième ligne et de la p2-ième colonne de Z, où Pi et p2 sont les coordonnées de la position p dans [0, N]2.
[0033] Puis, lors d'une étape 22, des transformations géométriques de l'image 2 sont appliquées pour obtenir une série d'images transformées lj,k. Ces transformations comportent des modifications Tj,k, de l'image 2 qui incluent chacune :
-une rotation d'un angle α,, et
-un changement d'échelle (« scaling » en langue anglaise) d'un facteur d'échelle yk.
[0034] Par la suite, on note Tj,k(l) l'image obtenue après l'application de la modification Tj,k à l'image I acquise. [0035] Chaque modification Tj,k est caractérisée de façon unique par un vecteur ujk de l'espace Z2\{(0,0)}, de telle sorte que α, = arg(ujk) et yk = |ujk|2. L'espace Z2\{(0,0)} est l'espace Z2 privé du point de coordonnées (0,0).
[0036] Les indices « j » et « k » sont des indices entiers qui identifient respectivement et de façon unique l'angle a, est le facteur yk. L'indice j varie entre 1 et η,. Pour simplifier la notation, on parlera dans ce qui suit de «rotation j» et de «changement d'échelle k» en référence, respectivement, à la rotation d'angle a, et au changement d'échelle de facteur yk.
[0037] La rotation j fait tourner de l'angle a, chacun des pixels de l'image 2 depuis une position de départ vers une position d'arrivée autour d'un même point ou d'un même axe prédéterminé. Typiquement ce point ou cet axe de rotation passe par le centre géométrique de l'image. La rotation s'effectue ici par rapport au centre géométrique de l'image. Le centre géométrique d'une image numérique est défini comme étant le barycentre des positions de l'ensemble des pixels de l'image, pondéré chacune par un coefficient de même valeur.
[0038] Le changement d'échelle k agrandit ou réduit l'image par une homothétie de facteur yk. Dans les exemples qui suivent, le centre de l'homothétie est le centre géométrique de l'image.
[0039] Ces modifications Tj k sont appliquées pour au moins deux et, de préférence au moins trois ou quatre angles a, de valeurs différentes. Avantageusement, les différentes valeurs des angles a, sont réparties le plus uniformément possible entre 0° et 180° tout en respectant la contrainte que le vecteur ujk doit appartenir à l'espace Z2\{(0,0)}. Le nombre n, de valeurs différentes pour l'angle a, est généralement choisi pas trop grand pour limiter le nombre de calcul à réaliser. Par exemple, ce nombre n, est choisi inférieur à 150 ou 100. Un bon compromis consiste à choisir au moins quatre valeurs différentes pour l'angle a, et, de préférence, au moins dix ou vingt valeurs différentes. Pour chaque angle α,, des modifications Tj,k sont appliquées pour au moins deux et, de préférence au moins trois ou quatre ou cinq, changements d'échelle yk différents.
[0040] Les valeurs du facteur yk sont par exemple supérieures ou égales à 1 et inférieures ou égales à 102 ou à 82 ou à 42. De préférence, les différentes valeurs du facteur yk sont réparties de façon aussi uniforme que possible sur l'intervalle de valeurs choisi. Par exemple, ici, les changements d'échelle yk utilisés sont tous ceux pour lesquels la condition suivante est satisfaite : la norme euclidienne du vecteur ujk appartient à l'intervalle [ 2 ; 10].
[oo4i] Par exemple, les angles a, de rotation sont choisis en fonction des directions horizontales et verticales de l'image 2. Par exemple, pour faire deux rotations jl et j2, on choisit des valeurs α,ι = 90° et aj2 = 180°, où jl et j2 sont des valeurs particulières de l'indice j. Les angles sont ici exprimés par rapport à l'axe horizontal de l'image 2. [0042] Dans cet exemple, en dimension d = 2, les modifications Tj,k appliquées sont les suivantes, exprimées ici sous forme matricielle :
[0043] Lors de l'étape 22, on calcule des K-incréments pour chacune des images transformées Tj,k(l). Ce calcul comporte un filtrage destiné à éliminer les tendances de forme polynomiale d'ordre strictement inférieur à K. Plus précisément, pour chaque image Tj k(l) , on applique un filtre permettant de calculer le K-incrément Vj,k de cette image Tj,k(l). C'est le K-incrément de cette image Tj,k(l) qui constitue l'image transformée lj,k. Le K-incrément Vj,k de cette image n'est pas calculé pour tous les points de l'image Tj,k(l), mais seulement pour certains d'entre eux, comme on le verra plus loin.
[0044] La notion de K-increment est par exemple définie plus en détails dans l'ouvrage suivant : J. P. Chilès et al. « Geostatistics : Modeling Spatial Uncertainty », J. Wiley, 2e édition, 2012.
[0045] Ici, le filtrage est réalisé au moyen d'un noyau de convolution (« convolution kernel » en langue anglaise) noté « v », pour assurer un filtrage linéaire. Par la suite, on parlera de « filtre v » pour désigner ce noyau de convolution.
[0046] Le filtre v est défini sur l'ensemble [0,L]d. Ce filtre v est caractérisé par un polynôme caractéristique Qv(z) défini par :
[0047] Ici, le filtre v désigne une matrice et la quantité v[p] désigne une valeur scalaire particulière de ce filtre pour la position p, où p est un vecteur de [0,L]d. Cette valeur v[p] est nulle si le vecteur p n'appartient pas à [0,L]d. De façon équivalente, on dit aussi que le filtre v présente un support borné sur [0,L]d. Ce filtre v est distinct de la fonction nulle qui, pour toute valeur du vecteur p présente une valeur v[p] nulle. La notation z désigne ici le monôme z 1* z2 2*...*zd d.
[0048] Le filtre v est ainsi paramétré par le vecteur L qui est un vecteur de [0,N]d. De façon générale, le vecteur L est choisi de sorte à être contenu dans l'image I. On prend donc de préférence des valeurs de L qui satisfont, pour tout i allant de 1 à d, à la relation L, « N,, c'est-à-dire que L, est inférieur à 10 fois ou à 100 fois N,.
[0049] De surcroît, le filtre v est tel que son polynôme caractéristique Qv(z) satisfait la condition suivante : tel que alors
où la constante K est un entier naturel non nul et d|a|Qv/dZial...dzd ad est la dérivée partielle du polynôme Qv(z) par rapport aux composantes du vecteur z, le symbole dZiai indiquant une différentiation du polynôme Qv(z) d'ordre a, par rapport à la variable z,, où z, désigne la i-ième composante du vecteur z et a, la i-ième composante du vecteur a, i étant un indice entier supérieur ou égal à 0 et inférieur ou égal à d.
[0050] Le filtrage de l'image Tj,k(l) par le filtre v permet d'éliminer l'effet de la « tendance » sur les calculs ultérieurs du procédé lorsque celle-ci présente une forme polynomiale d'ordre P0, a condition que la valeur de la constante K soit choisie comme suit :
- K > P0 + 1 si d est inférieur ou égal à 4, et
- K > Po/2 + d/4 si d > 4.
[0051] Les K-incréments de l'image Tj k(l) , notés Vj,k, sont alors calculés grâce au filtre v comme suit
où :
- Vj,k[m] est un K-incrément calculé sur l'image Tj,k(l) pour le pixel de position m, avec m un vecteur appartenant à un ensemble E qui sera défini dans ce qui suit ;
- le produit Tj,k.p correspond à l'application de la modification Tj,k au pixel de position p de l'image I et exprime les coordonnées dans Zd, après application de la modification Tj,k, du pixel qui avait initialement la position p dans l'image I,
- v[p] est la valeur du filtre v pour la valeur de p.
[0052] Pour chaque image Tj,k(l), le calcul du K-incrément est réalisé uniquement sur les pixels de l'image Tj,k(l) dont les positions appartiennent à un ensemble E. L'ensemble E contient seulement des positions :
- qui appartiennent à l'image I, et
- qui, quelle que soit la modification Tj k appliquée, occupent une position qui existe déjà dans l'image I après application de cette modification Tj k.
[0053] En outre, pour toute position m appartenant à E, les pixels de position
« m - Tj,k.p » occupent une position contenue dans l'image I .
[0054] On note nE le nombre des positions qui appartiennent à l'ensemble E.
[0055] Ainsi, le calcul des variations quadratiques est réalisé uniquement sur les points de l'image transformée pour lequel aucune interpolation n'est nécessaire. On peut ainsi avoir recours à des rotations j suivant n'importe quel angle, au contraire de ce qui se passe avec les projections. En effet, si une projection est réalisée suivant une direction par exemple diagonale de l'image, des points projetés ont une position qui n'appartient pas à l'ensemble [0,N]d . Autrement dit, ils ne font plus partie de la matrice. Il faut donc avoir recours à une interpolation pour déterminer la valeur d'intensité associée à des points qui eux appartiennent à cette matrice. Cela introduit une approximation et donc une erreur. Avec les modifications Tj,k puis la sélection des points de l'ensemble E, la fiabilité du procédé est améliorée.
[0056] Dans cet exemple, le filtrage est effectué au sein de la même formule que l'application des modifications Tj,k.
[0057] Avec ce choix de la constante K, le filtrage produit les incréments Vj,k[m] d'ordre K. Ce filtrage permet de ne pas tenir compte d'une anisotropie de l'image qui serait causée par la tendance, mais seulement de l'anisotropie de la texture de l'image sous-jacente. Il en résulte une meilleure fiabilité du procédé de caractérisation.
[0058] La constante K doit donc être choisie comme décrit précédemment en fonction de la nature de la tendance présente dans l'image 2. Typiquement, dans le cas d'un cliché de mammographie, le degré polynomial P0 de la tendance est inférieur ou égal à deux. Par exemple, une valeur est sélectionnée par un utilisateur du procédé. À cet effet, l'étape 22 comporte ici l'acquisition d'une valeur du vecteur L ainsi que d'une valeur de la constante K.
[0059 Dans cet exemple, le filtre v est choisi comme suit : si le vecteur p appartient à [0,L]d et v[p] = 0 sinon, où les termes CP L désignent des coefficients binomiaux.
[0060] Avec ce filtre particulier, la condition précédemment exprimée sur le polynôme caractéristique Qv(z) est satisfaite si K = |L| - 1. Aussi, la valeur de K se déduit de la valeur du paramètre L qui a été acquise.
[0061] Alors, dans ce cas particulier, le filtrage de l'image Tj,k(l) par le filtre v permet d'éliminer l'effet de la « tendance » lorsque celle-ci présente une forme polynomiale d'ordre P0, à condition que le paramètre L soit choisit comme suit :
- 11_ I = P0 + 2 si d inférieur ou égal à 4, et
- |L| = P0/2 + d/4 + l si d > 4.
[0062] Dans cet exemple, en dimension d = 2, le vecteur L a deux composantes, et l_2. Pour éliminer une tendance de degré polynomial P0=2, il faut choisir U et L2 tels que 11_ I soit égal à quatre. On choisit de préférence l_i=4 et L2=0. En effet, en choisissant des valeurs pour les coordonnées du vecteur « L » suffisamment éloignées les unes des autres, le filtre présente une plus grande sensibilité directionnelle. Ainsi, il réagira de façon plus marquée, donc filtrera plus efficacement, des variations qui sont orientées selon une direction particulière. Au contraire, un filtre pour lequel on choisirait l_i=2 et L2=2 serait moins sensible à un signal directionnel et présenterait une efficacité moindre.
[0063] Dans ce mode de réalisation, le filtre v est défini ar la relation suivante :
si le vecteur p appartient à [0,L]x{0} et sinon v[p] = 0, où l_i appartient à l^l\{0}. Ici, l_i=4. Dans ces conditions, l'ordre du noyau v est égal à K = Li-1.
[0064] Lors de cette étape 22, pour chaque valeur différente de j et k, le calculateur 14 réalise successivement les opérations suivantes :
- application de la modification Tj,k à l'image 2 pour obtenir l'image Tj k(l) , puis
- application du filtre v à l'image Tj,k(l) pour obtenir l'image transformée lj,k.
[0065] Ensuite, lors d'une étape 24, pour chaque image lj,k, on calcule la p-variation Wj,k associée à cette image lj k. La notion de p-variations est bien connue de l'homme du métier dans le domaine des statistiques et des probabilités. Ici, elle est calculée de la façon suivante : [0066] Dans l'équation ci-dessus, on a utilisé le symbole « q » à la place du symbole « p », classiquement utilisé dans cette équation , pour éviter toute confusion avec le symbole « p » utilisé dans cette description pour désigner la position d'un pixel. Dans cet exemple, on utilise une forme particulière des p-variations : les « variations quadratiques » ou « 2-variations », pour lesquelles q=2. Ainsi, on calcule la variation quadratique Wj k de l'image lj k de la façon suivante, à partir des K-incréments calculés après filtrage lors de l'étape 22 :
[0067] Ces variations quadratiques Wj k contiennent des informations importantes pour l'identification de l'anisotropie. Pour extraire ces informations, on procède comme suit. [0068] Lors d'une étape 26, une analyse de covariance comportant une régression statistique est effectuée sur toutes les variations Wj,k calculées pour chacune des images lj,k afin d'estimer :
- la valeur de l'exposant de Hurst H de l'image I et,
- un terme β,.
[0069] La régression statistique est définie par la relation suivante :
log(|Wjlk I) = log(|ujk |2)*H + + ejlk , où :
- 1 ujk |2 est la norme euclidienne au carré du vecteur ujk;
- H est l'exposant de Hurst de l'image I ;
- β] est une quantité qui ne dépend pas du changement d'échelle k ; ici ce paramètre est analogue à un paramètre dit d'intercept de la régression, sauf qu'il dépend des rotations j.
- £j,k est un terme d'erreur de la régression dont les propriétés statistiques sont prédéterminées et fixées par l'utilisateur. Par exemple, les termes d'erreur £j,k sont des variables aléatoires gaussiennes corrélées entre elles.
[0070] On rappelle que l'exposant de Hurst H est une grandeur physique indépendante des rotations de l'image.
[0071] On obtient ainsi un nombre n, de termes β,, n, étant le nombre de rotations différentes appliquées à l'image I .
[0072] Par exemple, si l'on s'est contenté de faire les deux rotations jl et \2 précédemment décrites, on effectue la régression sur la base de toutes les variations quadratiques calculées pour jl et pour 2. On obtient ainsi deux termes, fti et ft2.
[0073] À ce stade, lors d'une étape 28, le calculateur 14 estime les coefficients scalaires Tm d'une fonction paire τ(θ) appelée fonction de topothésie asymptotique. La fonction τ(θ) est continue sur l'intervalle [0 ; 2π]. La fonction τ(θ) est la fonction qui minimise le critère C suivant : où :
- le symbole « τ*Γ(θ) » désigne la fonction obtenue en réalisant le produit de convolution circulaire entre les fonctions τ(θ) et Γ(θ),
- Γ(θ) est la fonction définie par la relation suivante :
Γ(θ)= [ |ν (ρθ| H"lâp
ou : - v est la transformée de Fourier discrète du noyau v,
- H est l'exposant de Hurst de l'image acquise,
- p est la variable d'intégration,
[0074] Les coefficients scalaires Tm de le fonction τ(θ) sont définis par la relation suivante : ï(9)=∑¾ f.(e)
- a où :
- M est un nombre entier supérieur à un,
- Tm sont les coefficients scalaires de la fonction τ(θ),
- fm(0) sont les fonctions d'une base des fonctions π-périodiques définies sur l'intervalle [0 ; 2π].
[0075] Une fonction π-périodique est une fonction périodique de période π.
[0076] Dans ce mode de réalisation, la base de fonction π-périodique utilisée est une base de Fourier. Par conséquent, la fonction τ(θ) est ici définie par la relation suivante : où To, Ti m et T2,m sont les coefficients scalaires de la fonction τ(θ),
[0077] Le nombre M est une constante prédéfinie, par exemple par l'utilisateur. Généralement, ce nombre M est inférieur au nombre n, d'angles a, différents. Typiquement, ce nombre M est également supérieur ou égale à 2 ou 4. Typiquement, le nombre M est choisi de manière à ce que le nombre de coefficients scalaires de la fonction τ(θ) soit compris dans l'intervalle [0,35η, ; 0,75η] ou dans l'intervalle [0,45η, ; 0,55η].
[0078] Dans ce mode de réalisation et dans le contexte précisé ci-dessus, il a été possible d'établir une relation linéaire entre une approximation τ des coefficients de la fonction τ(θ) et les termes β, estimés. Cette relation est la suivante :
(3) T*=(LT L +Â A)"' ΙΤβ
où :
- T* est le vecteur (τ0*, ΤΙ,Ι*, T2,I* , TI,2*, T2,2* Ti,M-i*, T2,M-I* , TI,M*, T2,m*)t, les coefficients
¾*, Τι,ι*, τ2,ι*, Ti,2*, τ2,2* ΤΙ,Μ-Ι*, T2,M-I*, ΤΙ,Μ*, τ2,Μ* étant les estimations, respectivement, des coefficients τ0, Τι,ι, τ2,ι, τι,2, τ2,2 τι,Μ-ι, τ2,Μ-ι, τι,Μ , τ2,Μ, - L est une matrice de dimension n, x (2M+1) dont la k-ième colonne est définie par la relation suivante :
( μ ! 0 ] , [ 1 ] cos ( ak ) ,μ[ ΐ] sin ( α k ) , ... , μ [ M ] cos ( M k ) , μ [ M j sin ( M a k ) )
ou Λ μ [0] , μ [1], ... , μ[Μ] sont les coefficients de la transformée de Fourier μ (θ)=|εοε ( θ)|
discrète de la fonction μ(θ) suivante : , où H est l'exposant de Hurst de l'image acquise,
- λ est un paramètre prédéterminé,
- R est une matrice diagonale de dimension (2M+1) x (2M+1) dont les coefficients sur la diagonale sont, dans l'ordre : 0, 2, 2, 5, 5 (1+M2), (1+M2),
- le symbole «T » désigne l'opération transposée,
- β est le vecteur (βι, β2 β„κ, nj )T.
[0079] Les inventeurs ont également établi que la valeur optimale du paramètre λ est égale ou très proche d'une valeur λ*. La valeur λ* est obtenue à l'aide de la relation suivante :
(4) K trace{ V ( ))
où :
- K est égal à v+/v-, v+ et v. étant, respectivement, la plus grande et la plus petite valeur propre de la matrice LTL,
- trace(X) est la fonction qui retourne la somme des coefficients diagonaux d'une matrice carrée X,
- V({3) est la matrice de covariance de l'estimateur du vecteur |3,
- 1{3|2 est la norme euclidienne au carré du vecteur |3.
[0080] Ainsi, dans ce mode de réalisation, lors de l'étape 28, le calculateur 14 calcule la valeur λ* à l'aide de la relation ci-dessus. Ensuite, il choisit la valeur du paramètre λ proche de la valeur λ*. Par exemple, il choisit, par exemple aléatoirement, la valeur du paramètre λ dans l'intervalle [0 ; 1,3X] ou [0 ; 1,1X]. Le plus souvent, la valeur du paramètre λ est choisie dans l'intervalle [0,7λ* ; 1,3X] ou [0,9λ* ; Ι,ΐλ*]. Ici, le paramètre λ est systématiquement choisi égal à la valeur λ*. Enfin, le calculateur estime les coefficients τ0, Ti,m, T2,m a l'aide de la relation (3).
[0081] La relation (4) a pu être établie en recherchant l'expression numérique des coefficients τ0*, Ti,m*, T2,m* qui minimise non pas directement le critère C mais un critère pénalisé CA. Ce critère pénalisé CA est par exemple le suivant : (5)
m~ ί
[0082] Le terme qui vient se soustraire au critère C dans la relation (4) est connue sous l'expression « pénalité ».
[0083] De plus, dans le cas où le filtre v est celui défini par la relation (1), alors le produit de convolution circulaire τ*Γ(θ) peut s'écrire sous la forme suivante :
où :
- μ(θ) est défini par la relation suivante :
- γ est une constante indépendante de la valeur Θ,
- le symbole « * » est le produit de convolution circulaire de sorte que τ*μ(θ) désigne la fonction résultant du produit de convolution circulaire entre les fonctions τ(θ) et μ(θ).
[0084] La constante γ est définie par la relation suivante :
2
y =2 J |v(p)| p '2 H→àp
JR -
où les symboles utilisés dans la relation ci-dessus on déjà été définis précédemment et |...|2 est la norme euclidienne au carré.
[0085] Dès lors, le critère approché C s'écrit sous la forme suivante :
où les symboles L, τ, {3, λ et R ont précédemment été définis et |...|2 est la norme euclidienne au carré. Le vecteur τ* est la solution numérique du critère CA.
[0086] Pour une valeur donnée de l'angle Θ comprise entre 0 et π, la valeur de la fonction τ(θ) dépend des caractéristiques de la texture de l'image dans la direction Θ. Cette valeur est indépendante de la valeur de l'exposant H de Hurst. Dès lors, la dispersion statistique des valeurs de la fonction τ(θ) pour Θ variant entre 0 et π est représentative de l'anisotropie de la texture de l'image. Par exemple, la dispersion statistique de la fonction τ(θ) est représentée par un indice A fonction de la somme des écarts suivants : | τ - Μτ | L , pour Θ variant entre 0 et π, où :
- τ est la fonction τ(θ),
- Μτ est une valeur moyenne des valeurs de la fonction τ(θ) pour Θ variant de 0 à π ou une approximation de cette moyenne, et
- I ... I L est la norme Ll si Lp est égal à 1, la norme L2 si Lp est égal à 2 et ainsi de suite, Lp étant strictement supérieur à zéro.
[0087] Ainsi, la dispersion statistique de la fonction τ(θ) peut être la variance ou l'écart type des valeurs de cette fonction sur [0 ; π]. Par exemple, ici, Lp est choisi égal à 2 et l'indice A calculé est égal à la racine carrée de la somme définie ci-dessus. Dès lors, plus la valeur de l'indice A est grande, plus l'anisotropie de l'image est grande. Dans ces conditions, l'indice A est défini par la relation suivante :
[0088] Ici, lors d'une étape 30, le calculateur 14 calcule l'indice A à l'aide de la formule suivante qui correspond à la relation (7) :
[0089] L'ordinogramme de la figure 4 décrit un exemple d'application du procédé ci- dessus pour classer automatiquement des images 2 les unes par rapport aux autres en fonction de leur texture. Cet exemple est donné dans le cas particulier où les images sont des photographies de feuilles de papier prises à l'aide d'un microscope et sous une illumination rasante. De telles prises de vues sont illustrées sur les figures 5A à 5F. Les figures 5A à 5C représentent des images de feuilles de papier brillant de trois fabricants différents. Le figures 5D et 5E représentent des images de feuilles de papier satiné. La figure 5F représente une image d'une feuille de papier mate. Les bases de données contenant ces images sont décrites en détails dans les articles suivants :
- R. Johnson, P. Messier, W. Sethares, et al : « Pursuing automated classification of historié photographie papers from raking light images », J. AM. Inst. Conserv. 53(3):159-170, 2014, et - P. Messier, R. Johnson, H. Wilhelm, W. Sethares, A. Klein, et Al : « Automated surface texture classification of inkjet and photographie média », In NIP & Digital Fabrication Conférence, pages 85-91, Society for Imaging Science and Technology, 2013.
[0090] Lors d'une étape 40, une pluralité d'images numériques 2 sont automatiquement acquises. Parmi les images acquises, certaines correspondent à du papier brillant, d'autres à du papier satiné et d'autres à du papier mate.
[0091] Lors d'une étape 42, pour chacune d'entre elles, l'indice A d'anisotropie et l'exposant H de Hurst sont calculés en mettant en œuvre le procédé de la figure 3. Dans ce cas particulier, le procédé de la figure 3 a été mis en œuvre avec M=23 et n, = 96.
[0092] Lors d'une étape 44, les images acquises sont classées automatiquement les unes par rapport aux autres en fonction de leur indice A et de leur exposant H calculés lors de l'étape 42. Cette classification est par exemple réalisée au moyen d'un classificateur (« classifier » en langue anglaise) tel qu'un algorithme de classement à base de réseaux de neurones ou une machine à vecteurs de support (« support vector machine » en langue anglaise).
[0093] Le graphe de la figure 6 représente pour chaque image un point de coordonnées (H, A), où H et A sont, respectivement, l'exposant de Hurst et l'indice d'anisotropie calculés pour cette image. Ici, la fonction τ(θ) a été normalisé. Sur ce graphe, les points représentés par des croix, des ronds et des losanges correspondent à des images d'un papier, respectivement, brillant, satiné et mate. Ce graphe montre que la combinaison de l'exposant H de Hurst et de l'indice A d'anisotropie permet de distinguer efficacement les différents types de papier entre eux. Ici, tous les papiers brillants, satinés et mates sont dans des zones très différentes. Ces zones sont entourées sur le graphe de la figure 6. De plus, à l'intérieur d'une même zone, un amas de points tous regroupés dans une zone encore plus étroite correspond souvent à un fabricant particulier ou à un tirage particulier. Ainsi, la classification peut non seulement distinguer les différents types de papier mais aussi, pour un même type de papier, des fabricants différents ou des tirages différents.
[0094] Variantes de l'image :
[0095] Les pixels de l'image 2 peuvent présenter d'autres valeurs d'intensités. La valeur d'intensité de chaque pixel peut être une valeur réelle. Ou bien elle peut être supérieure à 256. Par exemple, l'image 2 est encodée en couleurs. Dans ce cas, l'image en couleurs est séparée en une pluralité d'images monochromes correspondant chacune à des canaux colorimétriques qui composent l'image en couleurs. Le procédé est alors appliqué séparément pour chacune de ces images monochromes. [0096] L'image 2 peut présenter une forme non carrée. Par exemple, en dimension d = 2, l'image présente une forme rectangulaire ou même trapézoïdale. Lorsque l'image ne présente pas une forme régulière, les notions de direction « horizontale » et « verticale » sont remplacées par des directions de références adaptées à la géométrie de l'image. Par exemple, dans le cas d'une image de forme triangulaire, on prendra comme référence la base et la hauteur du triangle.
[0097] La dimension d des images peut être supérieure à deux. Par exemple, l'image 2 peut être un hypercube de dimension d.
[0098] L'image 2 peut être autre chose qu'un cliché de mammographie ou d'une feuille de papier. Par exemple, il peut s'agir d'un cliché d'un tissu osseux. L'anisotropie de la texture de l'image renseigne alors sur la présence de pathologies osseuses, comme l'ostéoporose. D'autres domaines d'application plus larges peuvent être envisagés, comme d'autres types de tissus biologiques, des images aériennes ou satellitaires, des images géologiques, ou des clichés de matériaux. De façon générale, la méthode s'applique à n'importe quel type d'image irrégulière et texturée tel qu'une image obtenue à partir d'un appareil électronique quelconque de prise d'images.
[0099] Variante du procédé d'estimation des termes β, et H :
[ooioo] D'autres modifications Tj,k peuvent être utilisées. Par exemple, en dimension d = 3, les modifications Tj,k réalisent une rotation j autour d'un axe de rotation donné et un changement d'échelle k selon une direction donnée de l'image. Par exemple, les modifications suivantes peuvent être utilisées :
)
Les modifications Tj,k ci-dessus réalisent une rotation autour d'un axe et un changement d'échelle dans une direction non-parallèle à cet axe.
[ooioi] Les valeurs de l'angle a, peuvent être différentes. De préférence, on choisit des valeurs de l'angle a, qui ne nécessitent pas d'interpolations. Toutefois, il est aussi possible de choisir des valeurs de l'angle a, qui nécessitent une interpolations des pixels de l'image transformée pour retrouver les valeurs associées à chaque position p comprise dans l'ensemble E.
[ooio2] En variante, la rotation et le changement d'échelle ne sont pas appliqués en même temps.
[ooio3] D'autres filtres v peuvent être utilisés pour calculer les K-incréments. Par exemple, pour calculer les K-incréments on peut également utiliser tout filtre dont le noyau de convolution est défini comme étant égal au produit de convolution :
- d'un noyau vl de convolution quelconque, et
- d'un noyau v2 de convolution égal au noyau v précédemment décrit.
Dans le cas particulier où le noyau vl est une matrice identité, on retrouve le filtre v précédemment décrit. A l'inverse, choisir un noyau vl différent de la matrice identité permet de construire un grand nombre de filtres différents des filtres v précédemment décrits mais qui conviennent tous pour calculer les K-incréments.
[ooio4] Le filtrage peut être implémenté différemment lors de l'étape 22. En particulier, la transformation et le filtrage ne sont pas forcément appliqués simultanément, mais dans des formules séparées.
[ooio5] En variante, toutes les transformations Tj,k sont d'abord appliquées sur l'image I, puis, dans un second temps, les filtres sont appliqués sur chacune des images [ooio6] La valeur de K peut être différente. En particulier, avec le filtre v choisi dans l'exemple, lorsque l'image I ne présente pas de tendance, c'est-à-dire que M = 0, alors on prendra préférentiellement |L| = 2 ou, si d>4, |L| = l+d/4.
[ooio7] En variante, plusieurs filtres v, sont appliqués sur chaque image Tj,k(l) lors de l'étape 22. On note n, le nombre de filtres v, différents appliqués sur une image donnée Tj,k(l). Dans ce cas, on note li,j,k l'image transformée obtenue en appliquant le filtre v, sur l'image Tj,k(l) et Vi,j,k[m] le K-incrément de cette image à la position m dans cette image, où « i » est un indice qui identifie de façon unique le filtre v, appliqué. Cet indice « i » est ici distinct de l'indice « i » utilisé précédemment comme variable muette notamment en référence à la dérivée partielle du polynôme Qv(z). De fait, on peut alors calculer plusieurs variations quadratiques pour chaque image Tj,k(l), une pour chaque filtre v, appliqué à cette image Tj,k(l). On note ainsi Wy la variation quadratique calculée pour l'image li,j,k.
[00108] À cet effet, l'étape 22 comporte une opération de sélection des filtres v,, par exemple parmi une bibliothèque de filtres prédéfinie. [00109] Les variations quadratiques \ΝΙ:Ι sont alors calculées lors de l'étape 24 a l'aide de la relation suivante :
[ooiio] Lors de l'étape 26, la régression est alors effectuée de la manière suivante en tenant compte des n, filtres appliqués : log(|Wij,k |) = log(|ujk |2)*H + β,,, + ε^ , où :
- f¾i,j est le terme β, associé au filtre v, ;
- £i,j,k est le terme d'erreur εί associé au filtre v,.
[ooiii] On obtient ainsi un nombre nb de termes β,,,, où nb = η,*η,, n, étant le nombre de rotations différentes appliquées à l'image I . Lors de l'étape 28, le procédé de la figure 3 est mis en œuvre pour chaque filtre v,. Ainsi, on obtient les coefficients scalaires de i fonctions τ,(θ). L'indice A d'anisotropie est alors calculé à partir des coefficients approximés pour chacune des ces fonctions τ,(θ). Par exemple, dans un mode de réalisation simplifié, un indice A, d'anisotropie est calculé comme décrit précédemment pour chacune des fonctions τ,(θ). Ensuite, l'indice A calculé est la moyenne de ces indices A.
[00H2] Lorsque plusieurs filtres v, sont utilisés, le nombre de filtres v, appliqués peut varier d'une image Tj,k(l) à l'autre, à condition toutefois qu'à un filtre i correspondent au moins deux rotations j et, pour chacune de ces rotations j, au moins deux changements d'échelle k.
[00H3] Variantes de l'estimation de T* :
[00H4] La pénalité utilisée dans le critère CA peut être différente. Tant que la pénalité est une fonction différentiable, alors il est possible de déterminer une relation linéaire, telle que la relation (3) , qui exprime directement l'estimation des coefficients Tm en fonction des termes β,. En particulier, il est possible de trouver une telle relation linéaire quel que soit le filtre v et la base de fonctions fm(0) π-périodiques utilisés. Le filtre v peut donc être différent de celui défini par la relation (1) et la base utilisée peut aussi être différente de la base de Fourier. Lorsque le filtre v est différent de celui défini par la relation (1) ou lorsque la base est différente de la base de Fourier, la relation linéaire est différente de celle définie par la relation (3).
[00H5] La pénalité utilisée dans le critère CA peut aussi être une fonction non différentiable. Dans ce cas, il peut être difficile voire impossible d'établir une relation linéaire entre l'estimation des coefficients Tm et les termes β,. Par exemple, la pénalité peut utiliser une norme Ll de la fonction τ(θ) qui est non différentiable. Dans ce cas, d'autres méthodes sont possibles pour approximer les coefficients de la fonction τ(θ) qui minimise ce critère pénalisé. Par exemple, l'estimation des coefficients τ0, Ti,m, T2,m qui minimisent le critère CA sont estimées en exécutant un algorithme connu de minimisation d'un tel critère tel que l'algorithme ISTA (« Itérative Shrinkage- Thresholding Algorithm ») ou FISTA («Fast Itérative Shrinkage-Thresholding Algorithm »).
[00H6] La variante décrite ici permet d'estimer les valeurs des coefficients τ0, Ti,m, T2,m qui minimisent le critère CA sans disposer pour cela d'une relation numérique linéaire, comme la relation (3), qui permet d'obtenir directement une estimation de ces coefficients τ0, Ti,m, T2,m à partir des valeurs des termes β,.
[00H7] Le mode de réalisation précédent a été décrit dans le cas particulier où la fonction τ(θ) est décomposée sur une base de Fourier de fonction π-périodique. Toutefois, le procédé décrit précédemment fonctionne aussi si la fonction τ(θ) est décomposée sur n'importe quelle autre base de fonction fm π-périodique où chaque fonction fm est définie sur l'intervalle [0 ; 2π]. En particulier, il n'est pas nécessaire que la base des fonctions fm π-périodique soit une base orthogonale. Ainsi, dans la base des fonctions fm, la fonction τ(θ) est définie la par la relation suivante :
M
où les Tm sont les coefficients scalaires de la fonction τ( θ). Par exemple, en variante, les fonctions fm sont des fonctions π-périodiques constantes par morceaux sur [0 ; π]. Une fonction constante par morceaux est une fonction qui prend des valeurs constantes sur plusieurs sous-intervalles immédiatement successifs et compris entre
[0 ; n].
[00H8] La méthode de minimisation du critère C ou du critère CA au moyen d'algorithmes connus de minimisation d'un tel critère peut être mise en œuvre quelle que soit la forme de la fonction fm retenue.
[00H9] En variante, le nombre M peut être supérieur ou égal au nombre n,.
[00120] Variantes du calcul de l'indice A :
[00121] En variante, l'indice A est calculée uniquement pour les angles Θ égaux aux angles a, et non pas pour toutes les valeurs de Θ comprises entre 0 et π. Dans ce cas, par exemple, l'indice A est uniquement fonction de la somme des écarts suivants :
[00122] La classification peut être réalisée différemment lors de l'étape 42. Par exemple, l'ordre de classement des images peut être choisi différemment.

Claims

REVENDICATIONS
1. Procédé de caractérisation de l'anisotropie de la texture d'une image numérique, comportant :
a) l'acquisition (20) d'une image numérique formée de pixels, chaque pixel étant associé à une intensité lumineuse et à une position dans l'espace Zd, où d est un entier naturel supérieur ou égal à deux ;
b) la transformation automatique (22) de l'image acquise pour obtenir une image transformée lj,k, la transformation comportant l'application d'une modification Tj,k de l'image qui fait tourner d'un angle a, chaque pixel de l'image acquise d'une position à une autre autour d'un point ou d'un axe et qui agrandit ou réduit l'image d'un facteur yk, où (¾ = arg(Ujk) et yk = |ujk|2, ujk étant un vecteur qui caractérise complètement la modification Tj,k, les indices j et k identifiant respectivement et de façon unique l'angle a, et le facteur yk ,
puis, pour chaque image transformée, le calcul d'un K-incrément Vj,k[m] pour chaque pixel de position m de l'image transformée, ce K-incrément étant calculé par application d'un no au de convolution v au mo en de la formule suivante :
ou :
- le produit Tj k.p correspond à l'application de la modification Tj k au pixel qui avait initialement la position p dans l'image I ;
- le noyau de convolution v réalise un filtrage linéaire et possède un polynôme caractéristique Qv(z) et un support fini [0,L]d, v[p] étant la valeur du noyau v de convolution pour la position p, le polynôme caractéristique Qv(z) étant défini par la formule suivante :
Vz e Rrf .&(z) = ∑v\ p \- ! '
/< I'
et satisfaisant la condition suivante :
où :
- L est un vecteur acquis de [0, N]d qui paramétrise le noyau v,
- N est un vecteur appartenant à l^ld qui code la taille de l'image et dont les composantes sont des entiers naturels strictement positifs ;
- la constante K est un entier naturel non nul acquis;
- z un vecteur de composantes Zi, z2 zd ;
- zp désigne le monôme z 1* z2 p2*...*zd pd ;
- d|a|Qv/dZial...dzd ad est la dérivée partielle du polynôme Qv(z) par rapport aux composantes du vecteur z, le symbole dz,3' indiquant une différentiation du polynôme Qv(z) d'ordre a, par rapport à la variable z,, où z, désigne la i-ième composante du vecteur z et a la i-ième composante du vecteur a, i étant un indice entier supérieur ou égal à 0 et inférieur ou égal à d ;
l'étape b) étant exécutée avec n, angles a, différents et, pour chaque angle α,, avec au moins deux facteurs yk différents, n, étant un entier supérieur ou égal à deux de manière à obtenir au moins quatre images transformées lj,k différentes ;
c) pour chaque image transformée lj,k différente, le calcul (24) d'une p-variation Wj,k de cette image transformée à partir desdits K-incréments calculés ;
d) l'estimation (26) des termes de la régression statistique suivante :
log(|Wj,k I) = log(|ujk |2)*H + + ejlk , où :
- H est l'exposant de Hurst de l'image acquise ;
- £j,k est un terme d'erreur de la régression dont les propriétés statistiques sont prédéterminées ;
caractérisé en ce que le procédé comporte également :
e) l'estimation (28) des coefficients scalaires Tm d'une fonction paire τ(θ) définie sur [0 ; 2π] qui minimise le critère C suivant :
il
c=∑(P / - ^* r(c¾,.))2
où :
- j sont les termes estimés lors de l'étape d),
- τ(θ) est la fonction définie par la relation suivante pour tout angle Θ appartenant à
Ai
où :
- M est un nombre entier supérieur à un acquis et constant,
- Tm sont les coefficients scalaires de la fonction τ(θ), - fm(6) sont les fonctions d'une base des fonctions ττ-périodiques définies sur l'intervalle [0 ; 2π],
- Γ(θ) est la fonction définie par la relation suivante :
2
Γ(θ)= J |v> ( e)| ' l'
ou :
v est la transformée de Fourier discrète du
H est l'exposant de Hurst de l'image acquise,
- p est la variable d'intégration,
- le symbole « * » désigne le produit de convolution circulaire entre les fonctions τ(θ) et Γ(θ),
f) puis, le calcul (30), en fonction de l'estimation des coefficients scalaires Tm, d'un indice d'anisotropie qui caractérise l'anisotropie de l'image, cette indice variant de façon monotone en fonction de la dispersion statistique des valeurs de la fonction τ(θ) pour Θ variant entre 0 et π.
2. Procédé selon la revendication 1, dans lequel le noyau v utilisé lors de l'étape b) est égal au produit de convolution d'un noyau de convolution quelconque avec le noyau défini de la façon suivante :
d
LA
v[/?] = (-i'r' x ¾ = (- 1) ' < fi
si le vecteur p appartient à [0,L]d et v[p] = 0 sinon, où les termes CP L désignent des coefficients binomiaux, la constante K étant alors égale à K = |L| -1.
3. Procédé selon la revendication 2, dans lequel :
- les fonctions fm sont les fonctions de la base de Fourier et la fonction τ(θ) est définie par la relation suivante : xf6j=x„+£ |ti acos(2mB!+¾ristn(2mBj) où To, Ti m et T2,m sont les coefficients scalaires de la fonction τ(θ), le noyau v est définie par la relation suivante p ., -' (. Ls— pi } !
- lors de l'étape e) (28), l'estimation de ces coefficients est calculée à l'aide de la relation suivante :
ou :
- τ* est le vecteur (τ0*, ΐι,ι*, τ2, *, Τι,2*, τ2,2* τι,Μ-ι*, τ2,Μ-ι*, Τι,Μ*, τ2,Μ*)Τ, les coefficients
Το*, τι,ι*, τ2,ι*, τι,2*, τ2,2* ΤΙ,Μ-Ι*, τ2,Μ-ι*, τι,Μ*, τ2,Μ* étant les estimations, respectivement, des coefficients τ0, Τι,ι, τ2,ι, Τι,2, τ2,2 τι,Μ-ι, τ2,Μ-ι, Τι,Μ , τ2,Μ,
- L est la matrice de dimension nj x (2M+1) dont la k-ième colonne est définie par la relation suivante :
( [03, μ·[ 1 jcos{c¾) ,μ[ 1] sin(ak), ... , μ [Μ] cos (M k) ,\i[M ]sm{Mak))
0Q Μ- [0 ] > Μ' [ 1 ] >> · [-Μ' ] sont |es coefficients de la transformée de Fourier discrète de la fonction μ(θ) suivante : ^' -lcos l^)i _ 0ù H est l'exposant de Hurst de l'image acquise,
- λ est un paramètre prédéterminé,
- R est une matrice diagonale de dimension (2M+1) x (2M+1) dont les coefficients sur la diagonale sont, dans l'ordre : 0, 2, 2, 5, 5 (1+M2), (1+M2),
- le symbole «T » désigne l'opération transposée,
- β est le vecteur (βι, β2 βη, -ι, βη1 )Τ.
4. Procédé selon la revendication 3, dans lequel le procédé comporte :
- le calcul (28) d'une valeur λ* définie par la relation suivante :
- K trace{V{ ))
Λ " ( 1+Af 2) ëi" où :
- K est égal à vJv., v+ et v. étant, respectivement, la plus grande et la plus petite valeur propre de la matrice LTL,
- trace(X) est la fonction qui retourne la somme des coefficients diagonaux d'une matrice carrée X,
- V(|3) est la matrice de covariance du vecteur |3, - |β|2 est la norme euclidienne au carré du vecteur {3, et
- le choix (28) automatique du paramètre λ dans l'intervalle [0 ; 1,3λ*].
5. Procédé selon l'une quelconque des revendications précédentes, dans lequel l'indice d'anisotropie est calculé (30) à partir de la somme des écarts suivants :
∑|xia;)-Mj
où :
- Μτ est une estimation d'une valeur moyenne de la fonction τ(θ) pour Θ variant entre 0 et π,
- |... |L est la norme Ll si Lp est égal à 1, la norme L2 si Lp est égal à deux et ainsi de suite, Lp étant strictement supérieur à zéro.
6. Procédé selon la revendication 5, dans lequel l'indice A d'anisotropie est calculé (30) à l'aide de la relation suivante :
Procédé selon l'une quelconque des revendications précédentes, dans lequel le vecteur ujk est un vecteur de Z2\{(0,0)},
la modification Tj,k présente :
- pour d = 2, la forme matricielle suivante :
- et, pour d = 3, l'une des formes matricielles suivantes ou une composition de ces formes matricielles : cos{a;) -sinf c^) 0
sin f ^) cos i a ^ 0
0 0 ' yk l'image transformée étant obtenue en multipliant les coordonnées de la position de chaque pixel par la matrice Tj,k, et
- le calcul des K-incréments est réalisé à partir des seuls pixels de l'image qui occupent une position m appartenant à un ensemble E, cet ensemble E comportant seulement des positions m qui existent déjà dans l'image I et qui, quelle que soit la modification Tj,k, après application de cette modification Tj,k, occupent une position qui existe aussi déjà dans l'image I et pour lesquels la position « m- Tj,k.p » occupe une position qui existe aussi déjà dans l'image I ; l'image transformée lj,k obtenue à l'issue du calcul de ce K-incrément comportant uniquement des pixels dont les positions appartiennent à l'ensemble E.
8. Procédé selon la revendication 7, dans lequel les p-variations calculées lors de l'étape c) sont des variations quadratiques calculées selon la formule suivante :
où q=2 et nE le nombre des positions qui appartiennent à l'ensemble E.
9. Procédé de classement automatique d'images numériques en fonction de l'anisotropie de leur texture, ce procédé comportant l'acquisition (40) d'une pluralité d'images formées chacune d'une pluralité de pixels ;
caractérisé en ce qu'il comporte :
- le calcul automatique (42), pour chacune des images acquises, d'un indice d'anisotropie respectif au moyen d'un procédé conforme à l'une quelconque des revendications précédentes, et
- le classement (44) des images numériques acquises, à l'aide d'un classificateur automatique, en fonction de l'indice d'anisotropie calculé pour chacune desdites images.
10. Support (16) d'enregistrement d'informations, caractérisé en ce qu'il comporte des instructions pour la réalisation d'un procédé conforme à l'une quelconque des revendications précédentes, lorsque ces instructions sont exécutées par un calculateur électronique.
11. Calculateur électronique (14) pour la mise en œuvre de l'une quelconque des revendications 1 à 9, ce calculateur étant programmé pour exécuter les étapes suivantes :
a) l'acquisition (20) d'une image numérique formée de pixels, chaque pixel étant associé à une intensité lumineuse et à une position dans l'espace Zd, où d est un entier naturel supérieur ou égal à deux ;
b) la transformation automatique (22) de l'image acquise pour obtenir une image transformée lj,k, la transformation comportant l'application d'une modification Tj,k de l'image qui fait tourner d'un angle a, chaque pixel de l'image acquise d'une position à une autre autour d'un point ou d'un axe et qui agrandit ou réduit l'image d'un facteur yk, où (¾ = arg(Ujk) et yk = |ujk|2, ujk étant un vecteur qui caractérise complètement la modification Tj,k, les indices j et k identifiant respectivement et de façon unique l'angle a, et le facteur yk ,
puis, pour chaque image transformée, le calcul d'un K-incrément Vj,k[m] pour chaque pixel de position m de l'image transformée, ce K-incrément étant calculé par application d'un noyau de convolution v au moyen de la formule suivante :
ou :
- le produit Tj k.p correspond à l'application de la modification Tj k au pixel qui avait initialement la position p dans l'image I ;
- le noyau de convolution v réalise un filtrage linéaire et possède un polynôme caractéristique Qv(z) et un support fini [0,L]d, v[p] étant la valeur du noyau v de convolution pour la position p, le polynôme caractéristique Qv(z) étant défini par la formule suivante :
et satisfaisant la condition suivante : tel que alors
ou :
- L est un vecteur acquis de [0, N]d qui paramétrise le noyau v,
- N est un vecteur appartenant à l^ld qui code la taille de l'image et dont les composantes sont des entiers naturels strictement positifs ;
- la constante K est un entier naturel non nul acquis;
- z un vecteur de composantes Zi, z2 zd ;
- zp désigne le monôme z 1* z2 p2*...*zd pd ;
- d|a|Qv/dZial...dzd ad est la dérivée partielle du polynôme Qv(z) par rapport aux composantes du vecteur z, le symbole dz,3' indiquant une différentiation du polynôme Qv(z) d'ordre a, par rapport à la variable z,, où z, désigne la i-ième composante du vecteur z et a, la i-ième composante du vecteur a, i étant un indice entier supérieur ou égal à 0 et inférieur ou égal à d ;
l'étape b) étant exécutée avec n, angles a, différents et, pour chaque angle α,, avec au moins deux facteurs yk différents, n, étant un entier supérieur ou égal à deux de manière à obtenir au moins quatre images transformées lj,k différentes ;
c) pour chaque image transformée lj,k différente, le calcul (24) d'une p-variation Wj,k de cette image transformée à partir desdits K-incréments calculés ;
d) l'estimation (26) des termes de la régression statistique suivante :
log(|Wj,k I) = log(|ujk |2)*H + + ejik , où :
- H est l'exposant de Hurst de l'image acquise ;
- £j,k est un terme d'erreur de la régression dont les propriétés statistiques sont prédéterminées ;
caractérisé en ce que le calculateur est également programmé pour exécuter les étapes suivantes :
e) l'estimation (28) des coefficients scalaires Tm d'une fonction paire τ(θ) définie sur [0 ; 2π] qui minimise le critère C suivant :
- j sont les termes estimés lors de l'étape d), - τ(θ) est la fonction définie par la relation suivante pour tout angle Θ appartenant à où :
- M est un nombre entier supérieur à un acquis et constant,
- Tm sont les coefficients scalaires de la fonction τ(θ),
- fm(6) sont les fonctions d'une base des fonctions π-périodiques définies sur l'intervalle [0 ; 2π],
- Γ(θ) est la fonction définie par la relation suivante :
2
Γ( θ)= J" |ν (ρ θ| p Ui ldp
où :
- v est la transformée de Fourier discrète du noyau v,
- H est l'exposant de Hurst de l'image acquise,
- p est la variable d'intégration,
- le symbole « * » désigne le produit de convolution circulaire entre les fonctions τ(θ) et Γ(θ),
f) puis, le calcul (30), en fonction de l'estimation des coefficients scalaires Tm, d'un indice d'anisotropie qui caractérise l'anisotropie de l'image, cette indice variant de façon monotone en fonction de la dispersion statistique des valeurs de la fonction τ(θ) pour Θ variant entre 0 et π.
EP17816923.1A 2016-11-24 2017-11-23 Procédé de caracterisation de l'anisotropie de la texture d'une image numérique Not-in-force EP3545496B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1661425A FR3059128B1 (fr) 2016-11-24 2016-11-24 Procede de caracterisation de l'anisotropie de la texture d'une image numerique
PCT/FR2017/053241 WO2018096288A1 (fr) 2016-11-24 2017-11-23 Procédé de caracterisation de l'anisotropie de la texture d'une image numérique

Publications (2)

Publication Number Publication Date
EP3545496A1 true EP3545496A1 (fr) 2019-10-02
EP3545496B1 EP3545496B1 (fr) 2020-12-30

Family

ID=58609474

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17816923.1A Not-in-force EP3545496B1 (fr) 2016-11-24 2017-11-23 Procédé de caracterisation de l'anisotropie de la texture d'une image numérique

Country Status (4)

Country Link
US (1) US10872429B2 (fr)
EP (1) EP3545496B1 (fr)
FR (1) FR3059128B1 (fr)
WO (1) WO2018096288A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699070B2 (en) 2019-03-05 2023-07-11 Samsung Electronics Co., Ltd Method and apparatus for providing rotational invariant neural networks
DE102020211596A1 (de) * 2020-05-27 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren eines trainierten neuronalen Faltungs-Netzwerks mit invarianter Integrationsschicht zum Klassifizieren von Objekten

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647132B1 (en) 1999-08-06 2003-11-11 Cognex Technology And Investment Corporation Methods and apparatuses for identifying regions of similar texture in an image
US6766054B1 (en) 2000-08-14 2004-07-20 International Business Machines Corporation Segmentation of an object from a background in digital photography
CA2505194C (fr) * 2002-12-03 2011-03-29 Forensic Technology Wai Inc. Procede permettant de definir automatiquement des zones d'interet en vue d'apparier et de visualiser des images legales
FR2892811B1 (fr) 2005-10-28 2009-04-17 Commissariat Energie Atomique Procede et systeme de determination du parcours de propagation d'au moins une fissure a partir d'une ou de surface(s) de rupture creees par cette ou ces fissure(s).
CN101216435A (zh) 2008-01-03 2008-07-09 东华大学 一种基于多分形特征参数的织物瑕疵自动检测方法
CA2723367A1 (fr) 2008-05-16 2009-11-19 Calgary Scientific Inc. Caracterisation d'images medicales par la texture des images
CN101996323B (zh) 2010-11-09 2012-09-19 东华大学 一种用于表征织物纹理的分形概貌与分形细节混合特征向量提取方法
CN101976441B (zh) 2010-11-09 2012-07-18 东华大学 一种用于表征织物纹理的Sobel算子滤波概貌与分形细节混合特征向量提取方法
CN101976442B (zh) 2010-11-09 2012-05-23 东华大学 一种用于表征织物纹理的分形概貌与Sobel算子滤波细节混合特征向量提取方法
CN101996322B (zh) 2010-11-09 2012-11-14 东华大学 一种用于表征织物纹理的分形细节特征提取方法
US9998684B2 (en) * 2013-08-16 2018-06-12 Indiana University Research And Technology Corporation Method and apparatus for virtual 3D model generation and navigation using opportunistically captured images
TWI613552B (zh) 2013-12-26 2018-02-01 崑山科技大學 軸承摩擦偵測方法、電腦可讀取記錄媒體與使用其之系統
FR3026211B1 (fr) 2014-09-19 2017-12-08 Univ Aix Marseille Procede d'identification de l'anisotropie de la texture d'une image numerique
FR3026843B1 (fr) 2014-10-03 2016-11-18 Univ Pierre Et Marie Curie Paris 6 Procede de caracterisation du mecanisme de fissuration d'un materiau a partir de sa surface de rupture
CN105787903A (zh) 2016-03-23 2016-07-20 重庆邮电大学 一种基于自适应分数阶向各异性扩散的纹理图像去噪滤波器
US20180151767A1 (en) 2016-11-29 2018-05-31 Christopher Dwight Barnes Solar panel system

Also Published As

Publication number Publication date
WO2018096288A1 (fr) 2018-05-31
FR3059128A1 (fr) 2018-05-25
FR3059128B1 (fr) 2020-01-10
US10872429B2 (en) 2020-12-22
US20190325591A1 (en) 2019-10-24
EP3545496B1 (fr) 2020-12-30

Similar Documents

Publication Publication Date Title
EP1410331B1 (fr) Procede et systeme pour modifier une image numerique en prenant en compte son bruit
BE1022636B1 (fr) Procede et methode de correction de distorsions projectives avec des etapes d&#39;elimination a des multiples niveaux
WO2011131410A1 (fr) Methode de controle de l&#39;aspect de la surface d&#39;un pneumatique
FR3009518A1 (fr)
EP4046129B1 (fr) Procédé de fabrication
BE1025504B1 (fr) Système de reconnaissance de formes
EP3195259B1 (fr) Procédé d&#39;identification de l&#39;anisotropie de la texture d&#39;une image numérique
FR3019352A1 (fr) Systeme d&#39;identification d&#39;un modele d&#39;appareil photographique associe a une image compressee au format jpeg, procede, utilisations et applications associes
BE1025502B1 (fr) Système et procédé de reconnaissance de formes utilisant des fonctions de gabor
EP3545496A1 (fr) Procédé de caracterisation de l&#39;anisotropie de la texture d&#39;une image numérique
FR3088755A1 (fr) Procede de defloutage d’une image
FR2870969A1 (fr) Dispositif, procede et programme d&#39;elimination de pores
WO2019211094A1 (fr) Methode de detection et de quantification du flou dans une image numerique
EP4432256B1 (fr) Procédé utilisant des distances inter-crêtes en pixels se rapportant à des empreintes digitales
EP4432255B1 (fr) Procédé d&#39;estimation d&#39;une distance inter-crêtes se rapportant à une empreinte digitale
EP3830789B1 (fr) Analyse d&#39;au moins un type de defauts parmi une pluralite de types de defauts entre au moins deux echantillons
Katre et al. Image forgery detection using analysis of CFA artifacts
WO2019077026A1 (fr) Procede de calcul d&#39;un descripteur global d&#39;une image
WO2014108652A1 (fr) Estimation de mouvement d&#39;une image
FR2875627A1 (fr) Procede de determination d&#39;un descripteur d&#39;image, procede de comparaison d&#39;images, procede de recherche d&#39;image et dispositifs associes
FR3142026A1 (fr) Détection d’objets dans une image
EP4356117A1 (fr) Procédé de détermination de la présence d&#39;au moins un défaut sur une image en tomographie d&#39;une pièce tridimensionnelle par décomposition en composantes principales
WO2016046502A1 (fr) Generation d&#39;un film d&#39;animation personnalise
FR3150622A3 (fr) Procédé de traitement d’une image d’épreuve, dispositif informatique et programme d’ordinateur associés.
WO2012107696A1 (fr) Procédés, dispositif et programmes d&#39;ordinateur pour la reconnaissance de formes, en temps réel, à l&#39;aide d&#39;un appareil comprenant des ressources limitées

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190517

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200618

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1350676

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602017030653

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210330

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210331

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1350676

Country of ref document: AT

Kind code of ref document: T

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210330

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210430

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602017030653

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

26N No opposition filed

Effective date: 20211001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210430

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602017030653

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20211123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211123

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211130

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20211130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211130

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211123

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211123

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20171123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201230