WO2020002810A1 - Détection de nerfs dans une série d'images échographiques par la détermination de régions d'intérêts définies par la détection d'artères - Google Patents

Détection de nerfs dans une série d'images échographiques par la détermination de régions d'intérêts définies par la détection d'artères Download PDF

Info

Publication number
WO2020002810A1
WO2020002810A1 PCT/FR2019/051540 FR2019051540W WO2020002810A1 WO 2020002810 A1 WO2020002810 A1 WO 2020002810A1 FR 2019051540 W FR2019051540 W FR 2019051540W WO 2020002810 A1 WO2020002810 A1 WO 2020002810A1
Authority
WO
WIPO (PCT)
Prior art keywords
artery
image
nerves
regions
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2019/051540
Other languages
English (en)
Inventor
Adel HAFIANE
Arnaud PARIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite d Orleans UFR de Sciences
Institut National des Sciences Appliquées Centre Val de Loire
Original Assignee
Universite d Orleans UFR de Sciences
Institut National des Sciences Appliquées Centre Val de Loire
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite d Orleans UFR de Sciences, Institut National des Sciences Appliquées Centre Val de Loire filed Critical Universite d Orleans UFR de Sciences
Publication of WO2020002810A1 publication Critical patent/WO2020002810A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the invention relates to the field of analysis of digital images from ultrasound. It relates more particularly to the automatic detection of nerves in a series of images to assist the work of an anesthesiologist.
  • Locoregional anesthesia requires injecting the anesthetic product near a patient's nerve. It is therefore important for the anesthesiologist to have tools that facilitate his work by allowing him to precisely locate the nerves. To do this, it has equipment allowing it to view in real time an ultrasound image of the studied area of the patient's anatomy. The anesthesiologist can scan the area to find the nerves and determine the appropriate place to insert the anesthetic.
  • the invention provides such a tool for detecting nerves, automatically and in real time, in a series of images from an ultrasound.
  • Such a tool must deal with the very nature of ultrasound images which contain significant noise and numerous artifacts linked to ultrasound imaging.
  • the variability of the nervous structures also makes their appearance on the images very varied and all the more difficult an automatic detection process.
  • the object of the invention is therefore to provide an automatic detection method having performances substantially improving the existing techniques and greatly facilitating the work of the anesthesiologist.
  • the invention aims to provide a method of detecting a nerve in a series of ultrasound images, comprising, for each image in said series,
  • a step of determining a set of regions of interest by the detection of arteries said detection consisting in applying an automatic classification to a sliding window on said image generating a set of candidate zones, then in selecting regions of interests among said candidate areas by seeking outlines characteristic of an artery within said candidate areas;
  • the invention includes one or more of the following features which can be used separately or in partial combination with one another or in total combination with one another:
  • the automatic classification is implemented by a previously trained neural network applied to each zone defined by a position of said sliding window and making it possible to determine the probability of said zone of corresponding to an artery;
  • the determination step comprises a pre-processing sub-step consisting in calculating a monogenic map of said image
  • the selection of regions of interest includes a likelihood calculation between an artery contour extracted from said image and a reference form
  • the selection of regions of interest includes a search for elliptical shapes within said image
  • the determination of the nerves as a function of the relative arrangement with respect to the arteries detected within said regions of interest comprises the calculation of a probability map determining the probabilities of the presence of a set of types of nerves in the vicinity of a artery;
  • Another object of the invention relates to an information processing device having the means to implement the method as previously presented.
  • Another object of the invention relates to a computer program comprising computer code implementing the method such as previously presented, when run on an information processing device.
  • FIG. 1 schematically represents an example of practical use of the method according to an embodiment of the invention.
  • FIG. 2 schematically represents an example of a processing chain according to an embodiment of the invention.
  • FIGS. 3 a and 3b schematically represent examples of a neural network for the implementation of an embodiment of the invention.
  • FIG. 4 schematically represents an example of the application of a principal component analysis, PCA, according to an embodiment of the invention.
  • FIG. 5 represents the most common relative anatomical positions between the median, ulnar, radian and musculocutaneous nerves relative to the position of the artery, according to an embodiment of the invention.
  • the anesthesiologist scans an area of the patient's body with an ultrasound probe to identify the nerves and determine the area where to inject the anesthetic product.
  • the ultrasound equipment operates continuously and generates a flow of images (that is to say a video) which are displayed in real time on a monitor available to the anesthesiologist, or another practitioner ( surgeon, etc.). So the scanning exercised by the anesthesiologist can be done according to what he sees on the monitor.
  • the method according to the invention is based on a digital image processing chain taking as input the flow of ultrasound images and providing as output a detection of anatomical structures such as nerves, arteries, etc. on this stream.
  • FIG. 1 shows schematically a situation of practical use of the method according to the invention.
  • An anesthesiologist 10 visualizes a terminal 11 while handling a probe 12.
  • the ultrasound images from the probe 12 are transmitted to a processing platform 13 (typically a computer) which implements software modules 14 implementing the method according to the invention .
  • a stream of enriched images, as well as possibly other data are transmitted to the terminal 11.
  • These enriched images can be similar to the images coming from the probe, but contain data generated by the detection of nerves, arteries, etc.
  • this detection can lead to the highlighting of nerves, arteries and other structures of interest in overexposure on the flow of ultrasound images displayed on the monitor.
  • this highlighting may consist in surrounding the detected nerve, or in precisely delimiting its contours, etc. It can be done in color to make the practitioner's task even easier: for example, the nerves in yellow, the arteries in red, the veins in blue, the bone in white, ...
  • Detection must therefore be done in real time since it must be reflected on the monitor to guide the practitioner's action in real time.
  • FIG. 2 illustrates the processing chain according to an embodiment of the invention.
  • a first set of steps consists in determining regions of interest by detecting routes. The nerves will then be sought based on these regions of interest.
  • a first step E1 consists in applying an automatic classification by a sliding window on an image resulting from the flow of ultrasound images, in order to generate a set of candidate zones which may contain the main artery.
  • the classification method provides an index of confidence in the classification.
  • an index of confidence in the classification At each position of the window during its course of the image, we provide both a class among at least two possible classes: corresponds or does not correspond to an artery, as well as an index of confidence in this classification .
  • the positions of the window which maximize the confidence index in the “artery” class constitute the output, or result, of this step E1 and therefore represent “candidate zones”.
  • a “deep leaming” type approach can be used to perform this classification. This approach uses a learning base comprising different real situations in ultrasound images, in order to build models via training on this basis.
  • a sliding window of 140 by 140 pixels is used, by applying a pitch of 6 pixels in height and in width.
  • the size of the window and the pitch will depend on the ultrasound device used, the resolution of the image, the depth of the nerves, the size of the artery, ...
  • Each of the zones defined by the window is assessed using a network of deep leaming type, previously trained. This allows to calculate the probability of 4 classes (artery, vein, skin and other). The areas classified by the neural network as the artery, and whose values of classification confidence are the most important are kept for the following steps.
  • FIG. 3a represents a general description of a neural network according to an embodiment of the invention.
  • a neural network can consist of an input layer, “Input”, 310, of a first element 320, called “Feature Map” which can consist of several layers of neurons, of a second element, “ FC ", 330, which can also consist of several layers of neurons, and an output," Output ", 340.
  • FIG. 3b illustrates a particular embodiment of such a diagram of a convolutional neural network consisting of 6 internal layers 301, 302, 303, 304, 305, 306 and an input layer 300.
  • the first three internal layers consist of convolutional layers, one of which, 303, is normalized. These layers are followed by 3 layers of neurons, 304, 305, 306, completely connected (FC for "Fully Connected” in the figure)
  • FC Fully Connected
  • the figures indicated in the figure represent a number of neurons for the layer.
  • Other types of neural network can be used in this case. Learning and detection can be done using the "caffe” library, as described in the article "Caffe: Convolutional architecture for fast feature embedding.
  • a post-processing step E2 can be implemented in order to reduce the number of candidate zones.
  • the positions determined for the same artery can be very close. It is then possible to reconcile these positions, in order to merge the corresponding candidate zones into a single zone of larger size. This makes it possible to reduce the number of zones to be treated by the subsequent stages of the treatment chain.
  • a validation step E3 it is sought to select regions of interest from among the candidate areas by seeking outlines characteristic of an artery within these candidate areas. It is therefore considered that the previous steps E1, E2 are configured so as to generate over-detections, therefore not to be too selective but to generate candidate zones as soon as the confidence index is sufficiently high.
  • Step E3 aims to reject a certain number of candidate zones according to a morphological criterion consisting in finding that the arteries appear globally round on an ultrasound image.
  • the Doppler ultrasound allows to distinguish between arteries and veins because it is based on the direction of blood flow.
  • a pre-processing sub-step E31 can be implemented in order to optimize the subsequent deployment of the sub-steps E32, E33 for searching the contours of the arteries.
  • Different preprocessing of the image is possible in order to allow better detection of the contours of the arteries, for example by reducing noise.
  • Noise reduction can itself be implemented in various ways, in particular by using low-pass or selective filters.
  • the monogenic signal approach can be used, as described in Michael Felsberg and Gerald Sommer, "The monogenic signal", 2001, IEEE Transactions on Signal Processing, (49), 12, 3136-3144.
  • Hafiane, A., Vieyres, P. and Delbos, A., "Phase-based Probabilistic active contour for nerve detection in ultrasound images for regional anesthesia ”, in Computers in Biology and Medicine, 52: 88-95, 2014 such a monogenic map can be used to identify the contours in an image.
  • the transformation into a monogenic signal, or card allows an efficient representation of the variations and thus identifies the contours of the artery within the noisy image.
  • the monogenic map f ⁇ i is calculated using the Riesz transformation defined by the following equation:
  • Another preprocessing making it possible to specify the position of the artery within the candidate zones originating from steps E1 and E2 may consist in using a method of calculating connected components on the previously calculated monogenic map, in order to label the binary regions spatially separated.
  • the artery corresponds to one of the largest labeled regions in terms of number of pixels.
  • the selected regions are used to initialize the procedures E32 and E33.
  • the steps E32 and E33 represent the validation steps proper, consisting in selecting regions of interest from among the candidate areas by searching for the characteristic contours of an artery within these candidate areas provided by the steps E1, E2.
  • the first method E32 to validate the result of the classification El consists in checking the likelihood between the shape of the artery calculated in a given area and a reference shape of the artery.
  • a first sub-step consists in extracting the contour of the artery in the candidate zones resulting from the pre-treatment step E31 (or possibly directly from steps El, E2 of determining the regions of interest).
  • the contour of the artery can be calculated according to different algorithms, such as for example those described in Papari G., and Petkov, N. in "Edge and line oriented contour detection: State of the art In Image and Vision Computing, 29 (2-3): 79-103, 2011
  • a contour can be defined by a set of points connected together.
  • the method consists in moving each point in its neighborhood in order to minimize the energy of the contour E sna ke defined by the following formula:
  • Ei mg is the energy of the image
  • ac, bo and I are respective weights of the energies of continuity, curvature and image.
  • N is the number of points of the contour.
  • a first version thus consists in directly using the values of the pixels. It is also possible to preprocess the image. For example, use the gradient of the pixel value. It was chosen to calculate the energy using the gradient of the monogenic map, calculated as described above. The points being moved at each iteration, the final contour depends on the initial contour. Thus, the method is initialized using the previously defined connected components.
  • This contour determined on the image is then compared to a reference shape calculated from a multitude of contours representative of an artery. This comparison will provide a measure of likelihood.
  • the reference shape can be calculated with a statistical method from a learning base containing the different variations of the contours of the arteries.
  • the contours extracted from the learning base can be normalized and aligned beforehand in order to eliminate the problems of scales (zoom ..) and orientations.
  • the Shape Context and ICP Interative Closest Point
  • the points are then associated and the components are defined using a principal component analysis, PCA.
  • PCA principal component analysis
  • the choice of the initial shape allowing the points to be aligned is a parameter to be taken into account in order to improve the results.
  • a first naive approach consists in aligning on the first calculated contour.
  • a second approach consists in regularly calculating the statistical forms as the contours of the videos are extracted, by aligning the extracted contours then on these forms.
  • an additional step is to delete the extracted forms containing outliers. This step is added before the calculation of the intermediate statistical forms used to align the contours.
  • This method makes it possible to define the reference form of the artery by three sets of values: the average of the values of the x and y coordinates of the different points making up the form, their eigenvectors P s and their weighted eigenvalues b s , according to the formula :
  • the defined statistical model can then be used to calculate the likelihood between a form defined in the previous phase and the statistical form.
  • the current contour is, first of all, normalized with respect to the reference shape.
  • Likelihood is then defined as the statistical distance from the contour. For this, at each point of the contour is calculated its likelihood in relation to the point closest to the statistical form, defined by normalization.
  • an additional step can be used to strengthen the identification of the artery. This is to take into account the hypoechoic character of the artery. This means that the average of the pixel values within the artery outline is relatively small. This average is used with the plausibility of the statistical form for the notation of the various zones with a view to their rejection.
  • the second method, or sub-step, E33 to validate the result of the classification El consists in finding the elliptical forms most conforming to the typical form of an artery, within the detected zones. Generally speaking, one can model the blood vessels by an ellipse, including the arteries. These can also be approximated to circles, that is to say ellipses whose values of the major and minor axes are very close. This sub-step E33 thus reinforces the statistical validation carried out in step E32 by another complementary methodology. It is also possible to deploy only this single validation method by elliptical shapes or to combine it with other validation methods.
  • G is the gradient of the monogenic map.
  • This score assesses whether the ellipse corresponds to the reality of an elliptical shape in the image.
  • a second method is based on the optimization of an objective function f (x, y, a, b) by gradient descent, with x, y the coordinates of the center of the ellipse.
  • This function can be expressed as follows:
  • f (x, y, a, b) wi. S i (x, y, a, b) + w 2 . S 2 (x, y, a, b) + w 3 . S 3 (a, b) + w 4 . S 4 (x, y, a, b)
  • the parameters wi, w 2 , w 3 , w 4 represent weights weighting the sub-functions Si, S 2 , S 3 , S 4 respectively.
  • the objective function f (x, y, a, b) is composed of different sub-functions Si, S 2 , S 3 , S 4 .
  • the sub-function Si can be based on Smistad and can be defined by the following formula:
  • the sub-function S 2 is based on the assumption that the pixel values inside the ellipse are lower and their means closer than outside the ellipse. More generally, the sub-function S 2 represents a colorimetric difference between the inside and the outside of the ellipse to be detected (hereinafter called "main ellipse").
  • the parameters x, y, a, b are the same as those of the main ellipse.
  • p ext, i the points of the external ellipse.
  • S 3 is defined according to the following formula:
  • the sub-function S4 is defined by the following formula with v c and V h the mean values in the neighborhoods of the pixels defined respectively by (x, y + b) and (x, yb). the neighborhood chosen within the framework of this function are the designated pixel as well as the 4 immediately adjacent pixels along the horizontal and vertical axes.
  • This sub-function makes it possible to ensure that the parameter b corresponds well to the size of the ellipse, and to take into account the technology of ultrasound which makes the edges at the top and bottom of the artery are much more marked than on the coast. We can thus for example write:
  • the parameters x and y are input parameters of the method. Since the gradient descent is very sensitive to local minima, the ellipse returned by the method may not be correct if the center is not close enough to reality. These two methods make it possible to estimate the different potentialent areas resulting from the classification phase. The returned areas that do not correspond to the artery can then be rejected in order to validate the position of the artery.
  • the ellipses of each labeled region are assessed against the characteristics of the artery.
  • the first criterion tested is the size of the ellipse, proportional to the image acquisition depth. For this, the values were defined from the learning base.
  • the second is to check that the ellipse tends towards a round shape, i.e. 3 ⁇ 4 1.
  • this step E4 of determination of the nerves within the regions of interest previously determined is based on the relative arrangement of the nerves with respect to the arteries.
  • the first is that it is easier to detect than the nerves in the axillary block.
  • the second is that the relative position of the different nerves with respect to the artery largely follows well defined anatomical topologies.
  • the detection of nerves is guided by the delimitation of a smaller research area since only confined to a limited number of regions of interest, thanks to the relative positions of the nerves with respect to the arteries.
  • the proposed approach thus wins both in quality of results but also in processing performance, by reducing the calculation time.
  • Figure 5 is inspired by the article by Christophe, JL, Berthier, F., Boillot, A., Tatu, L., Viennet, A., Boichut, N., and Samain, E., “Assessment of topographie brachial plexus nerves variations at the axilla using ultrasonography ”in British Journal of Anaesthesia, 103 (4): 606-6l2, 2009. It presents the most common relative anatomical positions between the median nerves 51, ulnar 52, radian 53 and musculocutaneous 54 by with respect to the axis of the artery 50. Each of the arrangements shown corresponds to a probability of occurrence, respectively 64.7%, 13%,
  • the relative position of the different nerves relative to the artery is calculated in the learning base.
  • These define a number of variations in the positions of the nerves relative to the artery. It is possible to define, for each nerve in the axillary block, P (ni
  • the probability distributions depend on the positions of the nerves, which can be defined in a polar coordinate system with the center of the artery as the reference point, by two variables: the angle Q and the distance d.
  • the probability Pfnfx ,, yi)) that the nerve i is at position (x, y) in the image can be defined by the formula
  • the learning step is to calculate the parameters of the Gaussian distributions using the relative positions of the nerves in the learning database. These parameters are calculated by maximizing the probability of the positions calculated in the database. From these Gaussians and the position of the artery, it is possible to calculate the probability of the presence of each of the nerves in a given area. Gaussian parameters can be improved by increasing the number of examples.
  • a validation step can be applied to the areas of probable nerves previously generated.
  • This step consists in applying to the image a second network of neurons making it possible to detect the nerves. In addition, it is not necessary to test the entire image.
  • the map of probable positions indeed makes it possible to exclude all the areas of the image where the probabilities of presence of the nerves are too low. This can significantly reduce the number of areas to be tested.
  • This step will locate nerves more precisely than the probability map.
  • a possible evolution can consist in constructing a dynamic probability map.
  • This evolution will consist in integrating the sets of Gaussians within a model allowing to calculate the probability maps by integrating the temporal dimension of the images within the video.
  • HMM Hidden Markov Model
  • This model is defined by the tuple (p, A, B).
  • the parameter p defines the probabilities of the initial state of the model. These probabilities correspond, in our case, to the probability of the initial topology at the start of the processing of the image stream. Given the different topologies (spatial artery-nerves arrangements) possible, this parameter may correspond to the probabilities of occurrence of the different topologies.
  • the transition matrix A defines the probability of transition from one state to another, that is to say the set of probability functions a nm such that a , is the probability of the transition from state Si to the state Sj. In our case, it makes it possible to model the evolution of the relative positions during successive images, for example, the reduction of the distance between the musculocutaneous nerve and the median nerve when the probe goes up, or, conversely, the increase in distance.
  • the third parameter defining the MoG-HMM is the set of observation probabilities B. In the case of HMM, it is a matrix defining the probability that a state will emit an observation, ie l the set of functions b n (k) such that bi (k) is the probability that the state Si causes the observation k. MoG-HMM replace these probabilities with sets of Gaussians. For this, the probabilities of observations B are redefined with
  • Ci m the mixing coefficient of state i
  • G a Gaussian function, with a vector of mean m and a covariance matrix U.
  • the modeling of the probabilities of position of the nerves described for the implementation according to a static probability map corresponds here to the probabilities of emission of the MoG-HMM, in other words the probabilities of a spatial arrangement of the nerves around the artery.
  • the properties of the Markov models make it possible in particular to take into account the evolution of the variations of the positions.
  • the algorithm is an iterative method allowing to locally resolve argmax l P (0
  • neural networks and MoG-HMM can be hybridized to improve detection.
  • the results of the neural network make it possible to define, a posteriori, the probabilities of St as a function of O t . These results thus make it possible to define in a more specific way the probabilities of s t + i .
  • the probability map can thus be more specific, making it possible to reduce the size of the zones where the probabilities of presence of the nerve are non-zero. This reduction also makes it possible to reduce the number of zones to be tested with neural networks.
  • the method defined above makes it possible to detect the artery, and thus the relative positions of the nerves in a given image, resulting from a video (or flow of images). In order to increase the efficiency of the method, it is possible to use the results from the previous images in the image stream, in order to test in particular whether the results are consistent.
  • a second advantage is to speed up the calculation time. For this, the results of the previous phases are used to improve the different phases. It is thus possible to directly reject the zones whose probabilities are too low in the previous images. Another example is to use the contours calculated during the previous image to speed up the calculation of the contour for the current image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

L'invention concerne un procédé de détection d'un nerf dans une série d'images échographiques, comportant, pour chaque image de ladite série, - une étape de détermination (E1, E3) d'un ensemble de régions d'intérêts par la détection d'artères, cette détection consistant à appliquer une classification automatique sur une fenêtre glissante sur ladite image générant un ensemble de zones candidates, puis à sélectionner (E32, E33) des régions d'intérêts parmi les zones candidates en recherchant des contours caractéristiques d'une artère au sein de celles-ci; - une étape de détermination (E4) des nerfs en fonction de l'agencement relatif par rapport aux artères détectés en fonction desdites régions d'intérêts.

Description

DÉTECTION DE NERFS DANS UNE SÉRIE D’IMAGES ÉCHOGRAPHIQUES PAR LA DÉTERMINATION DE RÉGIONS
D’INTÉRÊTS DÉFINIES PAR LA DÉTECTION D’ARTÈRES
DOMAINE DE L’INVENTION
L'invention est relative au domaine de l'analyse d'images numériques issues d’échographies. Elle concerne plus particulièrement la détection automatique des nerfs dans une série d’images afin d’aider le travail d’un anesthésiste.
CONTEXTE DE L’INVENTION
Une anesthésie locorégionale nécessite d’injecter le produit anesthésiant à proximité d'un nerf du patient. Il est donc important pour l'anesthésiste de disposer d'outils facilitant son travail en lui permettant de localiser précisément les nerfs. Pour ce faire, il dispose d’appareillage lui permettant de visualiser en temps-réel une image échographique de la zone étudiée de l'anatomie du patient. L'anesthésiste peut balayer la zone pour rechercher les nerfs et déterminer l'endroit approprié pour insérer le produit anesthésiant.
Toutefois, la détection des nerfs dans une image échographique est une tâche malaisée, même pour un anesthésiste expérimenté.
Il est donc intéressant de permettre à l’anesthésiste de disposer d’outils automatiques l'aidant dans sa tâche et d'ainsi minimiser la fatigue, les risques d’erreur et le temps nécessaire pour chaque acte de l’anesthésiste. L’invention propose un tel outil permettant de détecter les nerfs, automatiquement et en temps-réel, dans une série d’images provenant d’une échographie. Un tel outil doit faire face à la nature même des images échographiques qui comportent un bruit important et de nombreux artefacts liés à l'imagerie échographique. La variabilité des structures nerveuses rend en outre leurs apparences sur les images très variées et d'autant plus difficile un processus de détection automatique.
De plus, du fait de la criticité du travail de l'anesthésiste, le procédé automatique doit être suffisamment robuste pour minimiser les erreurs malgré la mauvaise qualité des images échographiques, tant en sur-détection qu'en sous-détection.
L'invention a donc pour but de fournir un procédé de détection automatique présentant des performances améliorant substantiellement les techniques existante et facilitant grandement le travail de l’anesthésiste.
RÉSUMÉ DE L’INVENTION
Plus particulièrement, l’invention vise à fournir un procédé de détection d'un nerf dans une série d'images échographiques, comportant, pour chaque image de ladite série,
- une étape de détermination d’un ensemble de régions d’intérêts par la détection d'artères, ladite détection consistant à appliquer une classification automatique sur une fenêtre glissante sur ladite image générant un ensemble de zones candidates, puis à sélectionner des régions d'intérêts parmi lesdites zones candidates en recherchant des contours caractéristiques d'une artère au sein desdites zones candidates;
- une étape de détermination des nerfs en fonction de l’agencement relatif par rapport aux artères détectés en fonction des dites régions d'intérêts. Suivant des modes de réalisation préférés, l’invention comprend une ou plusieurs des caractéristiques suivantes qui peuvent être utilisées séparément ou en combinaison partielle entre elles ou en combinaison totale entre elles :
- la classification automatique est mise en œuvre par un réseau de neurones préalablement entraîné appliquée à chaque zone définie par une position de ladite fenêtre glissante et permettant de déterminer la probabilité de ladite zone de correspondre à une artère ;
- préalablement à la sélection, l’étape de détermination comprend une sous-étape de prétraitement consistant à calculer une carte monogénique de ladite image ;
- la sélection de régions d’intérêt comprend un calcul de vraisemblance entre un contour d’artère extrait à partir de ladite image et une forme de référence ;
- la détermination dudit contour d’artère est effectuée par un contour actif ;
- la sélection de régions d’intérêt comprend une recherche de formes elliptiques au sein de ladite image ;
- la détermination des nerfs en fonction de l'agencement relatif par rapport aux artères détectés au sein desdites régions d’intérêts comprend le calcul d’une carte de probabilités déterminant des probabilités de présence d’ensemble de types de nerfs au voisinage d’une artère ;
- les résultats obtenus sur une image de ladite série sont exploités pour examiner leur cohérence dans les images suivantes du flux ;
Un autre objet de l’invention concerne un dispositif de traitement de l’information disposant des moyens pour mettre en œuvre le procédé tel que précédemment présenté.
Un autre objet de l’invention concerne un programme d’ordinateur comportant du code informatique mettant en œuvre le procédé tel que précédemment présenté, lorsqu’il est exécuté sur un dispositif de traitement de l’information.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit d’un mode de réalisation préféré de l'invention, donnée à titre d'exemple et en référence aux dessins annexés.
BRÈVE DESCRIPTION DES DESSINS La figure 1 représente schématiquement un exemple d’utilisation pratique du procédé selon un mode de réalisation de l’invention.
La figure 2 représente schématiquement un exemple de chaîne de traitements selon un mode de réalisation de l’invention.
Les figures 3 a et 3b représentent schématiquement des exemples de réseau de neurones pour l’implémentation d’un mode de réalisation de l’invention.
La figure 4 représente schématiquement un exemple d’application d’une analyse en composantes principales, ACP, selon un mode de réalisation de l’invention.
La figure 5 représente les positions anatomiques relatives les plus courantes entre les nerfs médian, ulnaire, radian et musculocutané par rapport à la position de l’artère, selon un mode de réalisation de l’invention.
DESCRIPTION DÉTAILLÉE DE L’INVENTION
En pratique, l’anesthésiste balaye une zone du corps du patient avec une sonde échographique afin de repérer les nerfs et déterminer la zone où procéder à l’injection du produit anesthésiant. L’appareillage échographique fonctionne de façon continue et génère un flux d'images (c'est-à-dire une vidéo) qui sont affichées en temps-réel sur un moniteur à disposition de l’anesthésiste, ou d’un autre praticien (chirurgien, etc.). Ainsi, le balayage exercé par l'anesthésiste peut se faire en fonction de ce qu'il visualise sur le moniteur.
Le procédé selon l’invention repose sur une chaîne de traitement numérique d'images prenant en entrée le flux d'images échographiques et fournissant en sortie une détection de structures anatomiques telles que des nerfs, des artères, etc. sur ce flux.
La figure 1 schématise une situation d’utilisation pratique du procédé selon l’invention. Un anesthésiste 10 visualise un terminal 11 tout en manipulant une sonde 12. Les images échographiques issues de la sonde 12 sont transmises à une plateforme de traitement 13 (typiquement un ordinateur) qui met en œuvre des modules logiciels 14 implémentant le procédé selon l’invention. En sortie, un flux d’images enrichies, ainsi qu’ éventuellement d’autres données, sont transmis au terminal 11. Ces images enrichies peuvent être similaires aux images issues de la sonde, mais contenir des données engendrées par la détection des nerfs, des artères, etc.
Typiquement, cette détection peut entraîner la mise en exergue des nerfs, des artères ainsi que d’autres structures d’intérêt en surexposition sur le flux d’images échographiques affiché sur le moniteur. Par exemple, cette mise en exergue peut consister à entourer le nerf détecté, ou à en délimiter précisément les contours, etc. Elle peut se faire en couleur afin de faciliter plus encore la tâche du praticien : par exemple, les nerfs en jaune, les artères en rouges, les veines en bleu, l’os en blanc,...
La détection doit donc se faire en temps-réel puisqu'elle doit être reflétée sur le moniteur pour guider en temps-réel l’action du praticien.
La détection directe des nerfs pouvant présenter un grand nombre de difficultés, il est proposé de se baser sur les repères anatomiques, notamment la distance et la position des nerfs par rapport à l’artère, afin de restreindre les zones possibles de l’image où peuvent se situer les nerfs. Cela consiste à détecter dans un premier temps un élément anatomique plus facilement détectable et dont la position, par rapport aux nerfs, est connue. Dans le cas du bloc axillaire, il s’agit de l’artère. Cette information est ensuite utilisée afin de définir les probabilités des positions des nerfs dans l’image. Il sera ensuite possible de les identifier. La figure 2 illustre la chaîne de traitement selon un mode de réalisation de l'invention.
Détermination de régions d'intérêts par détection d'artères Un premier ensemble d'étape consiste à déterminer des régions d'intérêts par la détection d'artères. Les nerfs seront ensuite recherchés en fonction de ces régions d’intérêts.
Pour ce faire, une première étape El consiste à appliquer une classification automatique par une fenêtre glissante sur une image issue du flux d’images échographiques, afin de générer un ensemble de zones candidates pouvant contenir l’artère principale.
Autrement dit, pour chaque image, on fait parcourir une fenêtre sur l’image, au sein de laquelle on applique une méthode de classification automatique afin de décider si la fenêtre contient ou non une artère.
Selon un mode de réalisation, la méthode de classification fournit un indice de confiance en la classification. Ainsi, à chaque position de la fenêtre lors de son parcours de l’image, on fournit à la fois une classe parmi au moins deux classes possibles : correspond ou ne correspond pas à une artère, ainsi qu'un indice de confiance en cette classification.
Les positions de la fenêtre qui maximisent l'indice de confiance en la classe « artère » constituent la sortie, ou résultat, de cette étape El et représentent donc des « zones candidates ». Selon un mode de réalisation de l'invention, une approche de type « deep leaming » peut être utilisée pour effectuer cette classification. Cette approche utilise une base d'apprentissage comprenant différentes situations réelles dans des images échographiques, afin de construire des modèles via un entrainement sur cette base.
Selon un mode de réalisation particulier, on utilise une fenêtre glissante de 140 par 140 pixels, en appliquant un pas de 6 pixels en hauteur et en largeur. Cependant, la taille de fenêtre et le pas dépendra de l’appareil échographique utilisé, de la résolution de l’image, de la profondeur des nerfs, de la taille de l’artère,... Chacune des zones définies par la fenêtre est évaluée en utilisant un réseau de type deep leaming, préalablement entraîné. Celui-ci permet de calculer la probabilité de 4 classes (artère, veine, peau et autre). Les zones classifiées par le réseau de neurones comme étant l’artère, et dont les valeurs de la confiance de classification sont les plus importantes sont gardées pour les étapes suivantes.
La figure 3a représente une description générale d’un réseau de neurones selon un mode de réalisation de l’invention. Un tel réseau de neurones peut être constituée d’une couche d’entrée, « Input », 310, d’un premier élément 320, dit « Feature Map » pouvant être constitué de plusieurs couches de neurones, d’un second élément, « FC », 330, pouvant également être constitué de plusieurs couches de neurones, et d’une sortie, « Output », 340.
La figure 3b illustre un exemple particulier de réalisation d’un tel schéma de réseau de neurones convolutifs constitué de 6 couches internes 301, 302, 303, 304, 305, 306 et une couche d’entrée 300. Les trois premières couches internes consistent en des couches de convolution, dont une, 303, est normalisée. Ces couches sont suivies de 3 couches de neurones, 304, 305, 306, complètement connectés (FC pour « Fully Connected » sur la figure) Les chiffres indiqués sur la figure représentent un nombre de neurones pour la couche. D’autres types de réseau de neurones pourront être employés dans ce cas. L’apprentissage et la détection peuvent se faire en utilisant la librairie « caffe » , telle que décrite dans l’article « Caffe: Convolutional architecture for fast feature embedding. » de Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadarrama, S., et Darrell, T., 2014, arXiv : 1408.5093.
Une étape E2 de post-traitement peut être mise en œuvre afin de réduire le nombre de zones candidates. Notamment, les positions déterminées pour une même artère peuvent être très proches. Il est alors possible de rapprocher ces positions, afin de fusionner les zones candidates correspondantes en une seule zone de taille plus importante. Cela permet de réduire le nombre de zones à traiter par les étapes subséquentes de la chaîne de traitement.
De plus, au cours de cette mutualisation, nous pouvons considérer les probabilités combinées afin de favoriser les zones fortement renvoyées par le réseau de neurones.
Il est également important de prendre en considération l’information écho-doppler pour réduire les zones de recherches des artères. Les appareils échographiques actuels disposent de la fonctionnalité doppler, permettant de visualiser le flux sanguin par rapport à la sonde et l’inclure dans le flux d’images de sortie de l’échographe. Dans le cadre de cette application, il est tout à fait possible de récupérer les informations doppler pour localiser les régions susceptibles de contenir des artères, et par conséquent on peut réduire la zone de recherche de celles-ci. Ce qui permettra de réduire les faux positifs de détection d’artère.
Dans une étape E3 de validation, on cherche à sélectionner des régions d'intérêts parmi les zones candidates en recherchant des contours caractéristiques d’une artère au sein de ces zones candidates. On considère, donc que les étapes antérieures El, E2 sont paramétrées de façon à générer des sur-détections, donc à ne pas être trop sélectives mais à générer des zones candidates dès que l'indice de confiance est suffisamment élevé.
L’étape E3 vise alors à rejeter un certain nombre de zones candidates selon un critère morphologique consistant à constater que les artères apparaissent globalement rondes sur une image échographique.
En outre, il est également possible de distinguer les artères des veines car les artères ne se compresse que soumise à une forte pression de la sonde échographique, contrairement aux veines qui peuvent s’aplatir sous des pressions plus faibles. Ainsi les veines peuvent apparaître, en fonction de la pression de la sonde, rondes, ovales ou complètement aplaties. Il est à noter, que l’écho-doppler permet de distinguer entre les artères et le veines car il est basé sur la direction du flux sanguin.
Plusieurs sous-étapes E32, E33 peuvent être mises en place, soit de façon indépendantes, soit en combinaison, selon différentes mises en œuvre de l’invention.
En outre, une sous-étape E31 de prétraitement peut être mise en œuvre afin d'optimiser le déploiement subséquent des sous-étapes E32, E33 de recherche de contours des artères.
Différents prétraitement de l’image sont possibles afin de permettre une meilleure détection des contours des artères, par exemple en réduisant le bruit.
La réduction de bruit peut elle-même être mise en œuvre de différentes façons, notamment en utilisant des filtres passe-bas ou sélectifs.
Afin de détecter les contours de l’artère, selon un mode de réalisation, on peut utiliser l’approche du signal monogénique, tel que décrit dans Michael Felsberg and Gerald Sommer, « The monogenic signal », 2001, IEEE Transactions on Signal Processing, (49), 12, 3136-3144. Ainsi que décrit dans Hafiane, A., Vieyres, P. et Delbos, A., « Phase-based Probabilistic active contour for nerve détection in ultrasound images for régional anesthésia », in Computers in Biology and Medecine, 52:88-95, 2014, une telle carte monogénique peut être utilisée pour identifier les contours dans une image.
La transformation en signal, ou carte, monogénique permet une représentation efficace des variations et d’ainsi identifier les contours de l’artère au sein de l’image bruitée. Pour une image f, la carte monogénique f\i est calculée en utilisant la transformation de Riesz définie par l’équation suivante :
Figure imgf000012_0001
La carte monogénique est calculée par la combinaison de deux composantes : f et sa transformation de Riesz fM=(f, f*hi, f*h2)
Il faut néanmoins pour cela définir les longueurs d’onde correctes du signal permettant de définir de manière optimale les contours de l’artère tout en réduisant les erreurs. Il a été choisi trois longueurs d’onde : 15.0, 21.0 et 23.0 testées expérimentalement et confirmant les valeurs de ces paramètres issus d’un travail précédent et publié dans Hafïane, A., Vieyre, P., Delbos, A., « Phase-based probabilistic active contour for nerve détection in ultrasound images for régional anessthesia » in Computers in Biology and Medecine, 52 :88-95 (2014).
Un autre prétraitement permettant de préciser la position de l’artère au sein des zones candidates issues de des étapes El et E2 peut consister à utiliser une méthode de calcul de composantes connectées sur la carte monogénique précédemment calculée, afin d’étiqueter les régions binaires spatialement séparées.
Pour ce faire, on applique dans un premier temps un seuil inverse sur la carte monogénique, ainsi qu’une binarisation de l’image dans les zones candidates. Ceci permet d’obtenir les régions à l’intérieur des contours. L’étiquetage en composantes connexes permet de donner un numéro unique pour chaque région binaire.
On suppose que l’artère correspond à l’une des régions étiquetées les plus grandes en termes de nombre de pixels. Les régions sélectionnées permettent d’initialiser les procédures E32 et E33.
Les étapes E32 et E33 représentent les étapes de validation proprement dites, consistant à sélectionner des régions d'intérêts parmi les zones candidates en recherchant des contours caractéristiques d'une artère au sein de ces zones candidates fournies par les étapes El, E2.
La première méthode E32 pour valider le résultat de la classification El consiste à vérifier la vraisemblance entre la forme de l’artère calculée dans une zone donnée et une forme de référence de l’artère.
Une première sous-étape consiste à extraire le contour de l’artère dans les zones candidates issues de l’étape de prétraitement E31 (ou éventuellement directement des étapes El, E2 de détermination des régions d’intérêt).
A partir de la position initialisée précédemment, on peut calculer le contour de l’artère selon différents algorithmes, tels que par exemple ceux décrits dans Papari G., et Petkov, N. dans « Edge and line oriented contour détection : State of the art » in Image and Vision Computing, 29 (2-3) :79- 103, 2011
Selon un mode de réalisation de l’invention, il est proposé d’utiliser la méthode des contours actifs, telle que par exemple décrite dans Kass, M., Witkin, A et Terzopoulos, D., « Snakes : Active contour models » in International Journal of Computer Vision, 1(4) :321-331, 1988.
Un contour peut être défini par un ensemble de points connectés ensemble. La méthode consiste à déplacer chacun des points dans son voisinage afin de minimiser l’énergie du contour Esnake définie par la formule suivante :
Figure imgf000014_0001
dans laquelle
Econt est l’énergie de continuité
Ecurv est l’énergie de courbure
Eimg est l’énergie de l’image
ac, bo et je sont des poids respectifs des énergies de continuité, de courbure et de l’image.
N est le nombre de points du contour.
On applique ensuite un processus itératif pour faire converger le contour vers la région désirée en minimisant l’énergie.
L’énergie étant définie par la somme pondérée des trois énergies, les poids doivent être définis. Selon un mode de réalisation de l’invention, les poids ont été fixés à ac=3, b( =2.0 et yc=l .5.
De plus, afin de calculer l’énergie de l’image Eimg différentes variantes existe en fonction des valeurs à partir desquelles l’énergie est calculée. Une première version consiste ainsi à utiliser directement les valeurs des pixels. Il est également possible de prétraiter l’image. Par exemple, utiliser le gradient de la valeur des pixels. Il a été choisi de calculer l’énergie en utilisant le gradient de la carte monogénique, calculé comme décrit plus haut. Les points étant déplacés à chaque itération, le contour final dépend du contour initial. Ainsi, la méthode est initialisée en utilisant les composants connectés précédemment définis.
Ce contour déterminé sur l’image est ensuite comparé à une forme de référence calculée à partir d’une multitude de contours représentatifs d’une artère. Cette comparaison permettra de fournir une mesure de vraisemblance. La forme de référence peut être calculée avec une méthode statistique à partir d’une base d’apprentissage contenant les différentes variations des contours des artères.
Les contours extraient de la base d’apprentissage peuvent être préalablement normalisés et alignés afin d’évacuer les problématiques d’échelles (zoom..) et d’orientations. Pour ce faire, les méthodes de « Shape Context » et d’ICP (Interative Closest Point) peuvent être utilisées.
Les points sont ensuite associés et les composantes sont définies grâce à une analyse en composantes principales, ACP. Cela permet de définir un modèle statistique de la forme du nerf, ainsi que représenté sur la figure 4. Le choix de la forme initiale permettant d’aligner les points est un paramètre à prendre en compte afin d’améliorer les résultats. Une première approche naïve consiste à aligner sur le premier contour calculé. Une deuxième approche consiste à régulièrement calculer les formes statistiques au fur et à mesure de l’extraction des contours des vidéos, en alignant les contours extraits ensuite sur ces formes.
Pour optimiser la forme statistique, une étape supplémentaire est de supprimer les formes extraites contenant des points aberrants. Cette étape est ajoutée avant le calcul des formes statistique intermédiaires utilisées pour aligner les contours. Cette méthode permet de définir la forme de référence de l’artère par trois ensembles de valeurs : la moyenne des valeurs des coordonnées x et y des différents points composant la forme, leurs vecteur propres Ps et leurs valeurs propres pondérées bs, selon la formule :
x = x + Ps . b s
Le modèle statistique défini peut ensuite être utilisé afin de calculer la vraisemblance entre une forme définie lors de la phase précédente et la forme statistique. Pour cela, le contour courant est, en premier lieu, normalisé par rapport à la forme de référence. La vraisemblance est ensuite définie comme la distance statistique du contour. Pour cela, à chaque point du contour est calculée sa vraisemblance par rapports au point le plus proche de la forme statistique, défini grâce à la normalisation.
Une fois que le contour est défini, une étape supplémentaire peut être utilisée pour renforcer l’identification de l’artère. Il s’agit de prendre en compte le caractère hypoéchogène de l’artère. Cela signifie que la moyenne des valeurs des pixels à l’intérieur du contour de l’artère est relativement faible. Cette moyenne est utilisée avec la vraisemblance de la forme statistique pour la notation des différentes zones en vue de leur rejet. La seconde méthode, ou sous-étape, E33 pour valider le résultat de la classification El consiste à trouver les formes elliptiques les plus conformes à la forme typique d’une artère, au sein des zones détectées. D’une façon générale, on peut modéliser les vaisseaux sanguins par une ellipse, y compris les artères. Celles-ci peuvent en outre être approximées à des ronds, c’est-à-dire des ellipses dont les valeurs des axes majeur et mineur sont très proches. Cette sous-étape E33 vient ainsi renforcer la validation statistique effectuée en étape E32 par une autre méthodologie complémentaire. Il est également envisageable de ne déployer que cette unique méthode de validation par formes elliptiques ou bien de l’adjoindre avec d’autres méthodes de validation.
Dans le cas où l’on se base sur les résultats de l’étape E32, on peut appliquer cette seconde méthode aux contours extraits.
Dans le calcul des formes elliptiques, on ne considère que les régions étiquetées par la méthode des composantes connectées lors de l’étape E31. En effet, la méthode des composants connectés, décrite précédemment pour la sous-étape E31, permet de définir les coordonnées a priori de l’ellipse, et notamment de son centre c. Il est donc possible de réduire les centres testés aux pixels situés à proximité du centre des régions étiquetées. La recherche consiste ensuite à faire varier les valeurs des rayons a et b, afin de définir un ensemble d’ellipses. Plusieurs méthodes peuvent être utilisées pour détecter les ellipses. Par exemple, les ellipses peuvent être recherchées en utilisant la méthode décrite par : Guerrero et al. « Real-time vessel segmentation and trackingfor ultrasound imaging applications » in IEEE Transactions on Medical Imaging 26(8), 1079-1090, 2007.
À chacune de ces ellipses correspond alors un score, défini par la formule suivante,
Figure imgf000017_0001
dans laquelle
n; est la normale au point pi, et
G est le gradient de la carte monogénique.
Ce score permet d’évaluer si l’ellipse correspond à la réalité d’une forme elliptique dans l’image. Afin d’améliorer les résultats, nous ne calculons pas les scores des ellipses à partir de l’image d’origine mais sur la carte monogénique calculée précédemment auquel est appliqué un filtre gaussien. Les gradients sont ensuite calculés sur le résultat de ce filtre, permettant de définir les scores des différentes ellipses. Les ellipses de chaque région étiquetée ayant les scores les plus élevés sont gardées.
Une seconde méthode est basée sur l’optimisation d’une fonction objectif f(x,y,a,b) par descente de gradient, avec x, y les coordonnées du centre de l’ellipse. Cette fonction peut s’exprimer ainsi :
f(x,y,a,b) = wi . S i (x,y,a,b)+w2. S2(x,y,a,b)+w3. S3(a,b)+w4. S4(x,y,a,b) Les paramètres wi, w2, w3, w4 représentent des poids pondérant les sous-fonctions Si, S2, S3, S4 respectivement.
Pour cela, on peut considérer un modèle d’ellipse non orientée et composée de N points pi équitablement distribués et défini par la formule suivante :
Figure imgf000018_0001
avec
c le centre de l’ellipse,
a le grand axe,
b le petit axe, et
r un facteur de taille
L’orientation de l’ellipse n’est pas prise en compte. Cette hypothèse est faible étant donné que l’artère a une forme globalement ronde.
La fonction objectif f(x,y,a,b) est composée de différentes sous- fonctions Si, S2, S3, S4.
La sous-fonction Si peut être basée sur Smistad et peut être définie par la formule suivante :
Figure imgf000018_0002
avec ni la normale au point pi, et M la valeur de la dérivée de la carte monogénique au point pi.
La sous-fonction S2 se base sur l’hypothèse que les valeurs de pixels à l’intérieur de l’ellipse sont plus faibles et leurs moyennes plus proches qu’à l’extérieur de l’ellipse. Plus généralement, la sous-fonction S2 représente une différence colorimétrique entre l’intérieur et l’extérieur de l’ellipse à détecter (dite ci-après « ellipse principale »).
Pour ce faire, on peut définir des ellipses spécifiques définis à partir de l’ellipse principale afin de mieux caractériser celle-ci.
La première ellipse spécifique supplémentaire est définie comme l’ellipse extérieure caractérisée par un rapport sur les rayons tel que r=l .2. Les paramètres x,y,a,b sont les mêmes que ceux de l’ellipse principale. Dans la suite, nous appelons pext,i les points de l’ellipse extérieure.
Un autre ensemble d’ellipses ajoutées sont les ellipses intérieures de l’ellipse principale. Pour cela, nous définissons :
),3), et
Figure imgf000018_0003
avec 0<l<Lab.
Pour une ellipse principale donnée, nous définissons Lab-l ellipses intérieures. Les rapports aux rayons sont définis, pour chacune des ellipses intérieures, par r=l/Lab. On définit py le point i de l’ellipse 1.
Ces ellipses permettent de définir la sous-fonction S2 selon la formule suivante, avec 0(p) la valeur du pixel situé aux coordonnées p.
Figure imgf000019_0001
La sous-fonction S^pcrmct de s’assurer que la taille des ellipses est suffisamment grande. Pour cela, S 3 est définie selon la formule suivante :
S3=ln(min(a,b)2)
La sous-fonction S4 est définie par la formule suivante avec vc et Vh les valeurs moyennes aux voisinages des pixels défini respectivement par (x, y+b) et (x,y-b). le voisinage choisi dans le cadre de cette fonction sont le pixel désigné ainsi que les 4 pixels immédiatement voisins selon les axes horizontal et vertical. Cette sous-fonction permet de s’assurer que la paramètre b corresponde bien à la taille de l’ellipse, et de prendre compte la technologie des échographies qui fait que les bords en haut et en bas de l’artère sont beaucoup plus marqués que sur les côtés. On peut ainsi par exemple écrire :
Figure imgf000019_0002
Afin d’initialiser la méthode de la descente de gradient, les paramètres x et y sont des paramètres d’entrée de la méthode. La descente de gradient étant très sensible aux minima locaux, l’ellipse renvoyée par la méthode peut ne pas être correcte si le centre n’est pas suffisamment proche de la réalité. Ces deux méthodes permettent d’estimer les différentes zones potentilles issues de la phase de classification. Les zones renvoyées ne correspondant pas à l’artère peuvent ensuite être rejetées afin de valider la position de l’artère.
Les ellipses de chaque région étiquetée sont évaluées par rapport aux caractéristiques de l’artère. Le premier critère testé est la taille de l’ellipse, proportionnellement à la profondeur d’acquisition de l’image. Pour cela, les valeurs ont été définies à partir de la base d’apprentissage. Le second est de vérifier que l’ellipse tend vers une forme ronde, c’est à dire
Figure imgf000020_0001
¾ 1.
Ces étapes de validation E31, E32 permettent ainsi de rejeter des zones candidates issues de l’étape El, et de n’en sélectionner qu’une partie, constituant les régions clés (artères,...) à partir desquelles les nerfs vont être recherchés.
Détermination des nerfs en fonction des artères précédemment détectées Selon l’invention, cette étape E4 de détermination des nerfs au sein des régions d’intérêt précédemment déterminées se base sur l'agencement relatif des nerfs par rapport aux artères.
Le fait de commencer par détecter l’artère a deux avantages majeurs. Le premier est que celle-ci est plus facile à détecter que les nerfs du bloc axillaire. Le second est que la position relative des différents nerfs par rapport à l’artère suit, en grande partie, des topologies anatomiques bien définies.
Ainsi, la détection des nerfs est guidée par la délimitation d’une zone de recherche plus réduite puisque que cantonnée à un nombre restreint de régions d’intérêts, grâce aux positions relatives des nerfs par rapport aux artères. L’approche proposée gagne ainsi à la fois en qualité des résultats mais aussi en performances de traitement, par la réduction du temps de calcul.
La figure 5 est inspirée de l’article de Christophe, J. L., Berthier, F., Boillot, A., Tatu, L., Viennet, A., Boichut, N., et Samain, E., « Assessment of topographie brachial plexus nerves variations at the axilla using ultrasonography » in British Journal of Anaesthesia, 103(4) :606-6l2, 2009. Elle présente les positions anatomiques relatives les plus courantes entre les nerfs médian 51, ulnaire 52, radian 53 et musculocutané 54 par rapport à l’axe de l’artère 50. A chacun des arrangements représentés, correspond une probabilité d’occurrence, respectivement 64.7%, 13%,
5.2%, 5.2%.
Ainsi, connaissant la position de l’artère, on peut cibler les recherches des nerfs dans les localisations à plus forte probabilité.
Plusieurs mises en œuvre sont possibles pour ce faire.
II est ainsi possible d’utiliser une carte de probabilité statique, ou une carte de probabilité dynamique. Il pourrait être également possible de définir la probabilité des zones par un réseau de neurones.
Selon une première mise en œuvre, on calcule, dans la base d’apprentissage, la position relative des différents nerfs par rapport à l’artère. Celles-ci permettent de définir un certain nombre de variations des positions des nerfs par rapport à l’artère. Il est possible de définir, pour chaque nerf du bloc axillaire, P(ni|a), la probabilité de la position du nerf i connaissant la position de l’artère dans l’image, c’est à dire la probabilité de la position relative des nerfs par rapport à l’artère.
Les distributions de probabilités dépendent des positions des nerfs, qui peuvent être définies dans un système de coordonnées polaires avec le centre de l’artère comme point de référence, par deux variables : l’angle Q et la distance d.
Ainsi, la probabilité Pfnfx,, yi)) que le nerf i soit à la position (x, y) dans l’image peut être défini par la formule
Figure imgf000022_0001
avec
axa ,ya l’artère à la position (xa, ya) dans l’image, xi=xa+di.cos(0i), et,
yi=ya+di.sin(0i),
Figure imgf000022_0002
sont statiquement indépendants.
Une seconde hypothèse est que ces distributions de probabilité sont, chacune, modélisées par une fonction Gaussienne.
Ces hypothèses permettent de modéliser une variation anatomique des positions des nerfs du bloc axillaire par rapport à l’artère par un ensemble de 8 distributions Gaussiennes, 2 pour chaque nerf. L’étape d’apprentissage consiste à calculer les paramètres des distributions Gaussiennes en utilisant les positions relatives des nerfs dans la base de données d’apprentissage. Ces paramètres sont calculés grâce à la maximisation de la probabilité des positions calculées dans la base de données. À partir de ces Gaussiennes et de la position de l’artère, il est possible de calculer la probabilité de la présence de chacun des nerfs dans une zone donnée. Les paramètres des gaussiennes peuvent être améliorés par une augmentation du nombre d’exemples.
Ainsi, la formule précédente qui fournit la probabilité que le nerf i soit à la position (¾, y) peut être modifiées pour prendre en compte les variations anatomiques en définissant S topologies :
Figure imgf000022_0003
Une étape de validation peut être appliquée sur les zones de nerfs probables générées préalablement. Cette étape consiste à appliquer sur l’image un second réseau de neurones permettant de détecter les nerfs. De plus, il n’est pas nécessaire de tester toute l’image. La carte des positions probables permet en effet d’exclure l’ensemble des zones de l’image où les probabilités de présence des nerfs sont trop faibles. Cela peut permettre de réduire considérablement le nombre de zones à tester. Cette étape permettra de localiser les nerfs d’une manière plus précise que la carte de probabilité. Selon un deuxième mode de réalisation, une évolution possible peut consister à construire une carte de probabilité dynamique.
Cette évolution va consister à intégrer les ensembles des gaussiennes au sein d’un modèle permettant de calculer les cartes de probabilités en intégrant la dimension temporelle des images au sein de la vidéo. Compte tenu de cette définition, le choix a été fait d’utiliser une variante du Modèle de Markov caché ou « Hidden Markov Model » (HMM) permettant de gérer les différentes positions relatives, le Mélange de gaussienne-HMM ou « Mixture of Gaussian-HMM » (MoG-HMM). Ce modèle est défini par le tuple (p, A, B). Le paramètre p définit les probabilités de l’état initial du modèle. Ces probabilités correspondent, dans notre cas, à la probabilité de la topologie initiale au début du traitement du flux d’images. Compte tenu des différentes topologies (dispositions spatiales artère-nerfs) possibles, ce paramètre pourra correspondre aux probabilités d’occurrence des différentes topologies.
La matrice de transition A, définit la probabilité de passage d’un état à un autre, c’est à dire l’ensemble des fonctions de probabilité anm tel que a,, est la probabilité de la transition de l’état Si à l’état Sj . Dans notre cas, elle permet de modéliser l’évolution des positions relatives au cours d’images successives, par exemple, la réduction de la distance entre le nerf musculocutané et le nerf médian quand la sonde monte, ou, à l’inverse, l’augmentation de la distance. Le troisième paramètre définissant les MoG-HMM est l’ensemble des probabilités d’observation B. Dans le cas des HMM, il s’agit d’une matrice définissant la probabilité qu’un état émette une observation, c’est à dire l’ensemble de fonctions bn(k) tel que bi(k) est la probabilité que l’état Si provoque l’observation k. Les MoG-HMM remplacent ces probabilités par des ensembles de gaussiennes. Pour cela, les probabilités d’observations B sont redéfinies avec
Figure imgf000024_0001
avec
O un vecteur d’observation à un instant donné,
Cim le coefficient de mélange de l’état i,
G une fonction gaussienne, avec un vecteur de moyenne m et une matrice de covariance U.
La modélisation des probabilités de position des nerfs décrite pour la mise en œuvre selon une carte de probabilité statique correspond ici aux probabilités d’émission des MoG-HMM, en d’autres termes les probabilités d’un arrangement spatiale des nerfs autour de l’artère.
Si les probabilités d’émissions permettent de modéliser les positions des nerfs, les propriétés des modèles de Markov permettent notamment de prendre en compte l’évolution des variations des positions.. Le modèle peut être appris en utilisant l’algorithme de Baum-Welch. Cet algorithme permet de définir le modèle l= (p, A, B) permettant de représenter au mieux le système ayant généré la séquence d’observations O, c’est à dire trouver l tel que la probabilité R(0|l) soit maximale. Dans notre cas, les observations sont les ensembles de positions relatives des nerfs par rapport à l’artère. L’algorithme est une méthode itérative permettant de résoudre localement argmaxl P(0|l). Afin d’éviter des maxima locaux, l’algorithme est itéré plusieurs fois, en utilisant plusieurs modèles initiaux aléatoires. En outre, les réseaux de neurones et le MoG-HMM peuvent être hybridés afin d’améliorer la détection. Les résultats du réseau de neurones permettent de définir, a posteriori, les probabilités de St en fonction de Ot. Ces résultats permettant ainsi de définir de manière plus spécifique les probabilités de st+i. La carte de probabilité peut ainsi être plus spécifique, permettant de réduire la taille des zones où les probabilités de présence du nerf sont non-nulles. Cette réduction permet également de réduire le nombre de zones à tester avec les réseaux de neurones.
Utilisation de la cohérence temporelle
La méthode définie précédemment permet de détecter l’artère, et ainsi les positions relatives des nerfs dans une image donnée, issue d’une vidéo (ou flux d’images). Afin d’augmenter l’efficacité de la méthode, il est possible d’utiliser les résultats issus des images précédentes du flux d’images, afin de tester notamment si les résultats sont cohérents.
Dans la seconde mise en œuvre, l’utilisation des méthodes de Markov permet une première forme de cohérence temporelle, mais d’autres possibilités existent.
Par exemple, il est possible de prendre en compte l’évolution des zones détectées au cours de différentes images successives du flux, afin d’améliorer les résultats, notamment en prenant en compte l’aspect dynamique des structures anatomiques
Pour cela, différents critères peuvent être pris en compte, comme les probabilités déterminées lors des images précédentes, les positions calculées, la consistance des structures anatomiques, ou la cohérence des configurations spatiales.
Un second avantage est d’accélérer le temps de calcul. Pour cela, les résultats des phases précédentes sont utilisés afin d’améliorer les différentes phases. Il est ainsi possible de rejeter directement les zones dont les probabilités sont trop faibles dans les images précédentes. Un autre exemple, est d’utiliser les contours calculés lors de l’image précédente afin d’accélérer le calcul du contour pour l’image courante.
Bien entendu, la présente invention n'est pas limitée aux exemples et au mode de réalisation décrits et représentés, mais elle est susceptible de nombreuses variantes accessibles à l'homme de l'art.

Claims

REVENDICATIONS
1. Procédé de détection d'un nerf dans une série d'images échographiques, comportant, pour chaque image de ladite série,
- une étape de détermination (El, E3) d'un ensemble de régions d’intérêts par la détection d’artères, ladite détection consistant à appliquer une classification automatique sur une fenêtre glissante sur ladite image générant un ensemble de zones candidates, puis à sélectionner (E32, E33) des régions d'intérêts parmi lesdites zones candidates en recherchant des contours caractéristiques d'une artère au sein desdites zones candidates;
- une étape de détermination (E4) des nerfs en fonction de l’agencement relatif par rapport aux artères détectés en fonction desdites régions d'intérêts.
2. Procédé selon la revendication précédente, dans lequel ladite classification automatique est mise en œuvre par un réseau de neurones préalablement entraîné appliquée à chaque zone définie par une position de ladite fenêtre glissante et permettant de déterminer la probabilité de ladite zone de correspondre à une artère.
3. Procédé selon Tune des revendications 1 ou 2, dans lequel, préalablement à la sélection, ladite étape de détermination (E3) comprend une sous-étape de prétraitement (E31) consistant à calculer une carte monogénique de ladite image.
4. Procédé selon Tune des revendications précédentes, dans lequel la sélection de régions d’intérêt comprend un calcul de vraisemblance (E32) entre un contour d’artère extrait à partir de ladite image et une forme de référence.
5. Procédé selon la revendication précédente, dans lequel la détermination dudit contour d’artère est effectuée par un contour actif
6. Procédé selon l’une des revendications précédentes, dans lequel la sélection de régions d’intérêt comprend une recherche (E33) de formes elliptiques au sein de ladite image.
7. Procédé selon la revendication précédente, dans lequel la recherche de formes elliptiques consiste à effectuer une descente de gradient pour optimiser une fonction objectif.
8. Procédé selon l’une des revendications précédentes, dans lequel ladite détermination (E4) des nerfs en fonction de l'agencement relatif par rapport aux artères détectés au sein desdites régions d’intérêts comprend le calcul d’une carte de probabilités déterminant des probabilités de présence d’ensemble de types de nerfs au voisinage d’une artère.
9. Procédé selon l’une des revendications précédente, dans lequel les résultats obtenus sur une image de ladite série sont exploités pour examiner leur cohérence dans les images suivantes du flux.
10. Dispositif de traitement de l’information disposant des moyens pour mettre en œuvre le procédé selon l’une quelconque des revendications précédentes.
11. Programme d’ordinateur comportant du code informatique mettant en œuvre le procédé selon l’une quelconque des revendications précédentes lorsqu’il exécuté sur un dispositif de traitement de l’information.
PCT/FR2019/051540 2018-06-25 2019-06-24 Détection de nerfs dans une série d'images échographiques par la détermination de régions d'intérêts définies par la détection d'artères Ceased WO2020002810A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1855623 2018-06-25
FR1855623A FR3082976B1 (fr) 2018-06-25 2018-06-25 Detection de nerfs dans une serie d'images echographiques par la determination de regions d'interets definies par la detection d'arteres

Publications (1)

Publication Number Publication Date
WO2020002810A1 true WO2020002810A1 (fr) 2020-01-02

Family

ID=63963130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/051540 Ceased WO2020002810A1 (fr) 2018-06-25 2019-06-24 Détection de nerfs dans une série d'images échographiques par la détermination de régions d'intérêts définies par la détection d'artères

Country Status (2)

Country Link
FR (1) FR3082976B1 (fr)
WO (1) WO2020002810A1 (fr)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183518A (zh) * 2020-09-25 2021-01-05 伏羲九针智能科技(北京)有限公司 静脉靶点自动确定方法、装置和设备
US20220343494A1 (en) * 2021-04-23 2022-10-27 Fujifilm Sonosite, Inc. Identifying blood vessels in ultrasound images
US11896425B2 (en) 2021-04-23 2024-02-13 Fujifilm Sonosite, Inc. Guiding instrument insertion
US12357266B2 (en) 2021-04-23 2025-07-15 Fujifilm Sonosite, Inc. Displaying blood vessels in ultrasound images

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118587604B (zh) * 2024-08-07 2024-12-31 山东省煤田地质局物探测量队 一种基于InSAR的开采沉陷盆地信息提取方法及系统

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
ADEL HAFIANE ET AL: "Deep learning with spatiotemporal consistency for nerve segmentation in ultrasound images", 19 June 2017 (2017-06-19), XP055561927, Retrieved from the Internet <URL:https://arxiv.org/pdf/1706.05870.pdf> [retrieved on 20190225] *
CAFFEDE JIA, Y.SHELHAMER, E.DONAHUE, J.KARAYEV, S.LONG, J.GIRSHICK, R.GUADARRAMA, S.DARRELL, T.: "Convolutional architecture for fast feature embedding", ARXIV : 1408.5093, 2014
CHRISTOPHE, J. L.BERTHIER, F.BOILLOT, A.TATU, L.VIENNET, A.BOICHUT, N.SAMAIN, E.: "Assessment of topographie brachial plexus nerves variations at the axilla using ultrasonography", BRITISH JOURNAL OF ANAESTHESIA, vol. 103, no. 4, 2009, pages 606 - 612
ERIK SMISTAD ET AL: "Real-Time Automatic Artery Segmentation, Reconstruction and Registration for Ultrasound-Guided Regional Anaesthesia of the Femoral Nerve", IEEE TRANSACTIONS ON MEDICAL IMAGING., vol. 35, no. 3, 1 March 2016 (2016-03-01), US, pages 752 - 761, XP055561921, ISSN: 0278-0062, DOI: 10.1109/TMI.2015.2494160 *
ERIK SMISTAD ET AL: "Vessel Detection in Ultrasound Images Using Deep Convolutional Neural Networks", DEEP LEARNING AND DATA LABELING FOR MEDICAL APPLICATIONS, vol. 10008, 21 October 2016 (2016-10-21), Cham, pages 30 - 38, XP055562373, ISSN: 0302-9743, ISBN: 978-3-642-37803-4, DOI: 10.1007/978-3-319-46976-8-4 *
GUERRERO ET AL.: "Real-time vessel segmentation and trackingfor ultrasound imaging applications", IEEE TRANSACTIONS ON MÉDICAL IMAGING, vol. 26, no. 8, 2007, pages 1079 - 1090, XP011189208, DOI: doi:10.1109/TMI.2007.899180
GUERRERO J ET AL: "Real-Time Vessel Segmentation and Tracking for Ultrasound Imaging Applications", IEEE TRANSACTIONS ON MEDICAL IMAGING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 26, no. 8, 1 August 2007 (2007-08-01), pages 1079 - 1090, XP011189208, ISSN: 0278-0062, DOI: 10.1109/TMI.2007.899180 *
HAFIANE ADEL ET AL: "Phase-based probabilistic active contour for nerve detection in ultrasound images for regional anesthesia", COMPUTERS IN BIOLOGY AND MEDICINE, NEW YORK, NY, US, vol. 52, 16 June 2014 (2014-06-16), pages 88 - 95, XP029046574, ISSN: 0010-4825, DOI: 10.1016/J.COMPBIOMED.2014.06.001 *
HAFIANE, A.VIEYRE, P.DELBOS, A.: "Phase-based probabilistic active contour for nerve détection in ultrasound images for régional anessthesia", COMPUTERS IN BIOLOGY AND MEDECINE, vol. 52, 2014, pages 88 - 95
HAFIANE, A.VIEYRES, P.DELBOS, A.: "Phase-based Probabilistic active contour for nerve détection in ultrasound images for régional anesthesia", COMPUTERS IN BIOLOGY AND MEDECINE, vol. 52, 2014, pages 88 - 95, XP029046574, DOI: doi:10.1016/j.compbiomed.2014.06.001
JIEQI YU ET AL: "Robust Fitting of Ellipses and Spheroids", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 December 2009 (2009-12-09), XP080381399, DOI: 10.1109/ACSSC.2009.5470160 *
KASS, M.WITKIN, ATERZOPOULOS, D.: "Snakes : Active contour models", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 1, no. 4, 1988, pages 321 - 331, XP000675014, DOI: doi:10.1007/BF00133570
MICHAEL FELSBERGGERALD SOMMER: "The monogenic signal", IEEE TRANSACTIONS ON SIGNAL PROCESSING, vol. 12, no. 49, 2001, pages 3136 - 3144
PAPARI G.PETKOV, N.: "Edge and line oriented contour détection : State of the art", IMAGE AND VISION COMPUTING, vol. 29, no. 2-3, 2011, pages 79 - 103, XP027542613
SMISTAD ERIK ET AL: "Automatic Segmentation and Probe Guidance for Real-Time Assistance of Ultrasound-Guided Femoral Nerve Blocks", ULTRASOUND IN MEDICINE AND BIOLOGY, vol. 43, no. 1, 7 October 2016 (2016-10-07), pages 218 - 226, XP029838895, ISSN: 0301-5629, DOI: 10.1016/J.ULTRASMEDBIO.2016.08.036 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183518A (zh) * 2020-09-25 2021-01-05 伏羲九针智能科技(北京)有限公司 静脉靶点自动确定方法、装置和设备
CN112183518B (zh) * 2020-09-25 2024-05-28 伏羲九针智能科技(北京)有限公司 静脉靶点自动确定方法、装置和设备
US20220343494A1 (en) * 2021-04-23 2022-10-27 Fujifilm Sonosite, Inc. Identifying blood vessels in ultrasound images
US11900593B2 (en) * 2021-04-23 2024-02-13 Fujifilm Sonosite, Inc. Identifying blood vessels in ultrasound images
US11896425B2 (en) 2021-04-23 2024-02-13 Fujifilm Sonosite, Inc. Guiding instrument insertion
US12357266B2 (en) 2021-04-23 2025-07-15 Fujifilm Sonosite, Inc. Displaying blood vessels in ultrasound images
US12490953B2 (en) 2021-04-23 2025-12-09 Fujifilm Sonosite, Inc. Computing device and methods of implementing an ultrasound system for guiding instrument insertion

Also Published As

Publication number Publication date
FR3082976A1 (fr) 2019-12-27
FR3082976B1 (fr) 2020-06-26

Similar Documents

Publication Publication Date Title
WO2020002810A1 (fr) Détection de nerfs dans une série d&#39;images échographiques par la détermination de régions d&#39;intérêts définies par la détection d&#39;artères
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
Dharmawan et al. A new hybrid algorithm for retinal vessels segmentation on fundus images
Naeem et al. DVFNet: A deep feature fusion-based model for the multiclassification of skin cancer utilizing dermoscopy images
KR102250694B1 (ko) 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
Lin et al. A multi‐model approach to simultaneous segmentation and classification of heterogeneous populations of cell nuclei in 3D confocal microscope images
Motta et al. Vessel optimal transport for automated alignment of retinal fundus images
EP3552146B1 (fr) Détection de nerfs dans une série d&#39;images échographiques
FR2931006A1 (fr) Systeme et procede pour la reconnaissance visuelle
Emeršič et al. The unconstrained ear recognition challenge 2019
CN112949712B (zh) 一种基于多模态的甲状腺结节自动识别模型构建方法
Yalcinkaya et al. Convolutional neural network and fuzzy logic-based hybrid melanoma diagnosis system
Jalali et al. VGA‐Net: Vessel graph based attentional U‐Net for retinal vessel segmentation
Iyyanar et al. Hybrid Approach for Effective Segmentation and Classification of Glaucoma Disease Using UNet++ and CapsNet.
FR3113155A1 (fr) Procédé d’identification d’un implant dentaire visible sur une image d’entrée au moyen d’au moins un réseau de neurones à convolution.
Frucci et al. Using direction and score information for retina based person verification
EP4623424A1 (fr) Procédé de segmentation automatique d&#39;un organe sur une image médicale en trois dimensions
EP4042319B1 (fr) Procédé de reconnaissance d&#39;objets à représentativité augmentée
Pawar et al. Design and analysis performance of kidney cyst detection from ultrasound images
Bhagat et al. Iris recognition using radon transform and GLCM
Asif et al. Advancing medical imaging: High-performance brain tumor detection and classification using deep learning and grad cam visualization
Kamimura Forced and natural creative-prototype learning for interpreting multi-layered neural networks
Yang et al. An automatic method for sublingual image segmentation and color analysis
Emeršič et al. The unconstrained ear recognition challenge 2019-arxiv version with appendix
Shaikh et al. A detailed survey on iris recognition system and segmentation methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19742878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19742878

Country of ref document: EP

Kind code of ref document: A1