FR3019727A1

FR3019727A1 - METHOD FOR LOCATING MEDICAL OBJECTS, DEVICE, SYSTEM AND COMPUTER PROGRAM THEREOF

Info

Publication number: FR3019727A1
Application number: FR1453360A
Authority: FR
Inventors: Guillaume Dardenne; Thomas Wentz
Original assignee: B Com SAS
Current assignee: B Com SAS
Priority date: 2014-04-15
Filing date: 2014-04-15
Publication date: 2015-10-16

Abstract

L'invention concerne un procédé de localisation d'un deuxième objet médical par rapport un premier objet médical. Ledit procédé est remarquable en ce que, un objet médical (O1, O2) étant représenté au cours d'une étape préalable par une pluralité de vues d'un modèle descriptif (MD1, MD2) en trois dimensions comprenant au moins des informations de forme géométrique et des informations de couleur, il comprend les étapes suivantes : - obtention (a) d'au moins une image de couleur et d'une carte de profondeur acquises par au moins un module d'acquisition, le premier objet et le deuxième objets étant placés dans le champ dudit au moins un module d'acquisition ; - détermination (b) d'une position (RP(tk)) et d'une orientation (RO(tk)) dudit premier objet dans un référentiel (REF1) dudit au moins un module d'acquisition (MA1), à partir de l'image de couleur (IC1(tk)), de la carte de profondeur (CP1(tk)) et des informations de forme géométrique et de couleur de la pluralité de vues (Vj) de son modèle descriptif (MD1, MD2); - détermination (b') d'une position et d'une orientation dudit deuxième objet dans le référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination (c) d'une position (RP(tk)) et d'une orientation (RO(tk)) relatives du deuxième objet par rapport au premier objet à partir des positions et orientations obtenues; - construction et restitution (d) d'une représentation graphique ((RG(tk)) comprenant au moins la position et l'orientation relatives du premier deuxième objet médical par rapport au deuxième premier objet médical.The invention relates to a method for locating a second medical object with respect to a first medical object. The method is remarkable in that a medical object (O1, O2) is represented in a previous step by a plurality of views of a three-dimensional descriptive model (MD1, MD2) comprising at least shape information. geometric and color information, it comprises the following steps: - obtaining (a) at least one color image and a depth map acquired by at least one acquisition module, the first object and the second object being placed in the field of said at least one acquisition module; determining (b) a position (RP (tk)) and an orientation (RO (tk)) of said first object in a repository (REF1) of said at least one acquisition module (MA1), starting from the color image (IC1 (tk)), the depth map (CP1 (tk)) and the geometric shape and color information of the plurality of views (Vj) of its descriptive model (MD1, MD2); determining (b ') a position and an orientation of said second object in the repository of said at least one acquisition module, from the color image, the depth map and geometrically shaped information and color of the plurality of views of his descriptive model; determining (c) a relative position (RP (tk)) and orientation (RO (tk)) of the second object with respect to the first object from the positions and orientations obtained; - constructing and restoring (d) a graphical representation ((RG (tk)) comprising at least the relative position and orientation of the first second medical object with respect to the second first medical object.

Description

PROCEDE DE LOCALISATION D'OBJETS MEDICAUX, DISPOSITIF, SYSTEME et PROGRAMME D'ORDINATEUR ASSOCIES 1. Domaine de l'invention Le domaine de l'invention concerne le traitement d'images d'objets médicaux. Plus précisément, l'invention concerne un système et procédé de localisation et de suivi d'objets médicaux destiné à assister un clinicien dans la réalisation d'un acte médical. L'invention trouve notamment une application en chirurgie afin de guider le chirurgien dans le positionnement d'un outil chirurgical ou d'un imageur par rapport à une cible clinique. 2. Etat de la technique Les systèmes de chirurgie assistée par ordinateur offrent la possibilité au chirurgien d'être guidé au cours d'une intervention afin de réaliser son geste chirurgical. Ces systèmes permettent ainsi de sécuriser le geste mais également de gagner en précision. Ces systèmes sont bien souvent composés d'une unité de calcul, d'un écran pour la visualisation d'information et d'un localisateur tridimensionnel (3D). Ces localisateurs, essentiellement optique ou magnétique, permettent de localiser en temps-réel dans un espace tridimensionnel (3D) des objets connus appelés marqueurs. De tels marqueurs peuvent être fixés soit sur des instruments chirurgicaux, soit sur des organes d'intérêt. Une fois calibrée, c'est-à-dire lorsque la position et l'orientation de l'instrument et/ou de l'organe sont connues par rapport à leurs propres marqueurs, il est possible d'extraire la position et l'orientation 3D, par rapport au localisateur, de l'instrument et/ou de l'organe dans l'espace. Les positions et orientations relatives des organes et/ou instruments peuvent être alors déterminées en temps-réel au cours de l'intervention proprement dite.FIELD OF THE INVENTION 1. Field of the Invention The field of the invention relates to the processing of images of medical objects. More specifically, the invention relates to a system and method for locating and monitoring medical objects intended to assist a clinician in performing a medical procedure. The invention finds particular application in surgery to guide the surgeon in the positioning of a surgical tool or an imager relative to a clinical target. 2. State of the art The computer-assisted surgery systems offer the surgeon the possibility of being guided during an operation in order to perform his surgical procedure. These systems thus make it possible to secure the gesture but also to gain in precision. These systems are often composed of a computing unit, a screen for the visualization of information and a three-dimensional locator (3D). These locators, essentially optical or magnetic, make it possible to locate in real-time in a three-dimensional space (3D) known objects called markers. Such markers can be attached to either surgical instruments or organs of interest. Once calibrated, that is to say when the position and orientation of the instrument and / or the organ are known relative to their own markers, it is possible to extract the position and the orientation 3D, in relation to the locator, of the instrument and / or organ in space. The positions and relative orientations of the organs and / or instruments can then be determined in real time during the actual intervention.

Ces données de localisation peuvent ainsi être traitées par l'unité de calcul, afin d'extraire toute information nécessaire au clinicien pour la réalisation de son acte, par exemple : la position ou l'angle d'un instrument par rapport à un organe. Ces informations lui sont fournies par l'intermédiaire d'un écran adapté visualisable par le clinicien. Ces systèmes peuvent être utilisés dans le cadre de plusieurs applications 5 cliniques, nous pouvons notamment citer l'orthopédie, la neurochirurgie, la radiologie interventionnelle, ou bien encore, l'oncologie. Ces systèmes de chirurgie assistée par ordinateur ont certes montré leur efficacité dans nombre d'opérations chirurgicales. Cependant, un nombre important d'hôpitaux et de cliniciens et plus généralement la communauté clinique ne les ont 10 pas véritablement acceptés. Ce manque d'engouement résulte de plusieurs insatisfactions : ces systèmes nécessitent, bien souvent, un investissement financier conséquent, principalement dû aux technologies employées par les localisateurs ; 15 l'usage de ces technologies nécessite des étapes chirurgicales additionnelles (fixation des marqueurs sur les objets et/ou organes d'intérêt, calibrage des instruments, etc...) qui peuvent rallonger et complexifier considérablement la procédure chirurgicale. Bien que le bénéfice clinique ait été démontré, pratiquement seuls les 20 cliniques leaders possèdent ces systèmes. 3. Objectifs de l'invention L'invention a donc pour objectif de pallier les inconvénients de l'état de la technique citée ci-dessus. 25 Plus précisément l'invention a pour objectif de proposer une solution localisation d'objets médicaux par traitement d'images permettant d'assister un praticien pour la réalisation d'un acte médical par ordinateur, de façon moins onéreuse. Un autre objectif de l'invention est de proposer une solution d'aide au 30 positionnement d'un objet médical par rapport à un autre objet médical qui soit moins invasive pour le patient.These location data can thus be processed by the computing unit, in order to extract any information necessary for the clinician to perform his act, for example: the position or the angle of an instrument relative to an organ. This information is provided by means of a suitable screen viewable by the clinician. These systems can be used in a number of clinical applications, including orthopedics, neurosurgery, interventional radiology, or even oncology. These computer assisted surgery systems have certainly shown their effectiveness in many surgical operations. However, a significant number of hospitals and clinicians, and more generally the clinical community, have not really accepted them. This lack of enthusiasm results from several dissatisfactions: these systems often require a significant financial investment, mainly due to the technologies used by locators; The use of these technologies requires additional surgical steps (fixation of markers on objects and / or organs of interest, calibration of instruments, etc.) which can considerably lengthen and complicate the surgical procedure. Although the clinical benefit has been demonstrated, virtually only the 20 leading clinics have these systems. 3. Objectives of the invention The invention therefore aims to overcome the disadvantages of the state of the art cited above. More specifically, the invention aims to propose a localization solution for medical objects by image processing to assist a practitioner to perform a medical procedure by computer, less expensive way. Another object of the invention is to provide a solution for assisting the positioning of a medical object with respect to another medical object that is less invasive for the patient.

Encore un autre objectif de l'invention est également de réduire le nombre d'étapes préparatoires à la réalisation d'un l'acte médical, notamment les étapes de calibrage. 4. Exposé de l'invention Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de localisation d'un deuxième objet médical par rapport à un deuxième objet médical. Un tel procédé est particulier en ce que, un dit objet médical étant représenté au cours d'une étape préalable par une pluralité de vues d'un modèle descriptif en trois dimensions comprenant au moins des informations de forme géométrique et des informations de couleur, ledit procédé comprend les étapes suivantes : - obtention d'au moins une image de couleur et d'une carte de profondeur acquises par au moins un module d'acquisition, le premier et le deuxième objet étant placés dans le champ dudit au moins un module d'acquisition ; - détermination d'une position et d'une orientation dudit premier objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif ; - détermination d'une position et d'une orientation dudit deuxième objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination d'une position et d'une orientation relatives du deuxième objet localisé par rapport au premier objet localisé à partir de la position et de l'orientation obtenues; - construction et restitution d'une représentation graphique comprenant au moins la position et l'orientation relatives du deuxième objet médical par rapport au premier objet médical.30 Dans la suite de la description, le terme objet médical est utilisé pour désigner au sens large aussi bien une région cible du corps d'un patient, qu'un instrument médical ou imageur manipulé par un praticien. Plus précisément, on considère deux objets médicaux qu'un praticien doit positionner l'un par rapport à l'autre. Il peut donc s'agir de deux régions ou organes cibles du corps du patient, d'une région cible et d'un instrument médical, d'une région cible et d'un imageur, etc. Avec l'invention, les deux objets médicaux à localiser sont décrits respectivement d'un modèle descriptif en 3D qui comprend à la fois des informations de géométrie et de couleur. Une pluralité de vues a été dérivée de ce modèle et préalablement stockée en mémoire. Avec l'invention les deux objets médicaux sont imagés par au moins un module d'acquisition, lequel est agencé de manière à avoir ces objets médicaux dans son champ de vision et pour fournir des données de couleur et de profondeur de ces objets. Avec l'invention les deux objets médicaux sont localisés par traitement d'images dans le référentiel du module d'acquisition, à partir des données de couleur et de profondeur obtenues et de la pluralité de vues de leur modèle descriptif.Yet another object of the invention is also to reduce the number of preparatory steps for performing a medical procedure, especially the calibration steps. 4. Objective of the invention These objectives, as well as others which will appear later, are achieved by means of a method of locating a second medical object with respect to a second medical object. Such a method is particular in that, a said medical object being represented during a preliminary step by a plurality of views of a three-dimensional descriptive model comprising at least geometric information and color information, said method comprises the following steps: obtaining at least one color image and a depth map acquired by at least one acquisition module, the first and second objects being placed in the field of said at least one module; acquisition; determining a position and an orientation of said first object in a repository of said at least one acquisition module, based on the color image, the depth map and the information of geometric shape and color of the plurality of views of his descriptive model; determining a position and an orientation of said second object in a repository of said at least one acquisition module, based on the color image, the depth map and geometric and color information. the plurality of views of his descriptive model; determining a relative position and orientation of the second object located relative to the first object located from the position and the orientation obtained; and constructing and restoring a graphic representation comprising at least the relative position and orientation of the second medical object with respect to the first medical object. In the remainder of the description, the term medical object is used to designate in the broad sense also well a target region of the body of a patient, a medical instrument or imager handled by a practitioner. More precisely, two medical objects are considered that a practitioner must position relative to one another. Thus, it can be two target regions or organs of the patient's body, a target region and a medical instrument, a target region and an imager, etc. With the invention, the two medical objects to be located are described respectively of a descriptive model in 3D which includes both geometry and color information. A plurality of views has been derived from this model and previously stored in memory. With the invention the two medical objects are imaged by at least one acquisition module, which is arranged to have these medical objects in its field of view and to provide color and depth data of these objects. With the invention the two medical objects are located by image processing in the repository of the acquisition module, from the color and depth data obtained and the plurality of views of their descriptive model.

Leur position et orientation relatives sont déduites des localisations obtenues. Elles sont ensuite restituées à l'utilisateur praticien sous la forme d'une représentation graphique adaptée à l'application visée. L'invention s'appuie ainsi sur l'acquisition de données de couleur et de profondeur représentatives de deux objets médicaux d'intérêt et sur des modèles géométriques 3D pour calculer une position et une orientation relative de ces objets basée sur des traitements des données de couleur et de profondeur acquises, sans recourir à des localisateurs et marqueurs coûteux. Les préparatifs à la réalisation de l'acte médical sont donc simplifiés, écourtés et rendus moins invasifs pour le patient. L'acte médical lui-même est de ce fait rendu moins coûteux.Their relative position and orientation are deduced from the locations obtained. They are then returned to the practitioner user in the form of a graphic representation adapted to the intended application. The invention thus relies on the acquisition of color and depth data representative of two medical objects of interest and on 3D geometric models for calculating a position and a relative orientation of these objects based on data processing. color and depth acquired, without resorting to expensive locators and markers. Preparations for performing the medical procedure are thus simplified, shortened and made less invasive for the patient. The medical act itself is thereby made less expensive.

Selon un aspect de l'invention, les étapes de détermination d'une position et d'une orientation comprennent les sous-étapes suivantes, mises en oeuvre suite à une acquisition initiale d'une image de couleur et d'une image de profondeur, pour un dit objet médical : segmentation de l'objet dans l'image de couleur obtenue ; sélection d'une vue du modèle et recalage de la vue sélectionnée sur l'objet segmenté dans l'image de couleur à partir des données de la carte de profondeur, en fonction d'au moins un critère de minimisation d'erreur ; détermination de la position et de l'orientation de l'objet médical recalé dans le référentiel du module d'acquisition. Selon un autre aspect de l'invention, suite à l'obtention d'une image de couleur et d'une carte de profondeur à un instant suivant, le procédé comprend, pour le premier et le deuxième objet, une étape de suivi dans l'image de couleur et la carte de profondeur courantes de la vue sélectionnée et recalée du modèle de l'objet médical dans l'image de couleur et la carte de profondeur courantes acquis à l'instant précédent. Un avantage est que les sous-étapes de segmentation, sélection et recalage ne sont pas répétées systématiquement à chaque nouvelle acquisition. La vue sélectionnée précédemment est d'abord recherchée dans les nouvelles images acquises, ce qui permet de réduire le temps de traitement lorsque les images acquises à deux instants successifs sont suffisamment similaires. Selon un autre aspect de l'invention, l'étape d'obtention d'au moins une image de couleur et d'une carte de profondeur est mise en oeuvre par un premier et un deuxième module d'acquisition, le premier objet médical étant placé dans le champ du premier module d'acquisition et le deuxième objet médical étant placé dans le champ du deuxième module d'acquisition. Une première image de couleur et une première carte de profondeur est obtenue à partir du premier module et une deuxième image de couleur et une deuxième carte de profondeur est obtenue à partir du deuxième module. L'étape de détermination d'une position et d'une orientation du premier objet est mise en oeuvre à partir de la première image de couleur et de la première carte de profondeur dans un référentiel du premier module d'acquisition. L'étape de détermination d'une position et d'une orientation du deuxième objet est mise en oeuvre à partir de la deuxième image de couleur et de la première carte de profondeur dans un référentiel du deuxième module d'acquisition. Le procédé comprend en outre une étape de calibrage du premier et du deuxième module d'acquisition dans un référentiel commun et l'étape de détermination d'une position et d'une orientation relatives du deuxième objet par rapport au premier comprend un changement de référentiel des positions et orientations du premier et du deuxième objet vers le référentiel commun. Un avantage d'utiliser deux modules d'acquisition est de pouvoir les positionner au mieux de façon à optimiser le point de vue de chacun des objets médicaux.According to one aspect of the invention, the steps of determining a position and an orientation comprise the following substeps, implemented following an initial acquisition of a color image and a depth image, for a said medical object: segmentation of the object in the obtained color image; selecting a model view and resetting the selected view on the segmented object in the color image from the depth map data, based on at least one error minimization criterion; determining the position and the orientation of the medical object that has been recalibrated in the repository of the acquisition module. According to another aspect of the invention, after obtaining a color image and a depth map at a following instant, the method comprises, for the first and the second object, a tracking step in the Color image and current depth map of the selected and misaligned view of the medical object model in the current color image and depth map acquired at the previous time. One advantage is that the substeps of segmentation, selection and registration are not repeated systematically with each new acquisition. The previously selected view is first searched for in the newly acquired images, which reduces the processing time when the images acquired at two successive instants are sufficiently similar. According to another aspect of the invention, the step of obtaining at least one color image and a depth map is implemented by a first and a second acquisition module, the first medical object being placed in the field of the first acquisition module and the second medical object being placed in the field of the second acquisition module. A first color image and a first depth map is obtained from the first module and a second color image and a second depth map is obtained from the second module. The step of determining a position and an orientation of the first object is implemented from the first color image and the first depth map in a repository of the first acquisition module. The step of determining a position and an orientation of the second object is implemented from the second color image and the first depth map in a repository of the second acquisition module. The method further includes a step of calibrating the first and second acquisition module in a common repository and the step of determining a relative position and orientation of the second object with respect to the first includes a repository change. positions and orientations of the first and second objects towards the common repository. An advantage of using two acquisition modules is to be able to position them optimally so as to optimize the point of view of each of the medical objects.

Selon encore un autre aspect de l'invention, lorsque le deuxième module d'acquisition est placé dans un champ de vision du premier module d'acquisition, l'étape de calibrage comprend une sous-étape de détermination d'une position et d'une orientation du deuxième module dans le référentiel du premier module d'acquisition à partir d'une première image de couleur et d'une première carte de profondeur acquises à un instant préalable et d'une pluralité de vues d'un modèle descriptif en trois dimensions du deuxième module d'acquisition, ledit modèle comprenant au moins des informations de forme géométrique et des informations de couleur. Un avantage d'une telle configuration des deux modules d'acquisition est qu'elle permet d'éviter de simplifier l'étape préalable de calibrage. De façon avantageuse, le référentiel commun peut être choisi égal à celui de l'un des deux modules d'acquisition. Selon un autre aspect de l'invention, le premier et le deuxième objet médicaux appartiennent à un groupe comprenant au moins : - un instrument chirurgical ; - une région cible du corps du patient ; - un imageur de type C-arm; - un imageur de type sonde échographique -un imageur de type sonde endoscopique ; - un organe du patient. Avantageusement, les premier et deuxième objets médicaux peuvent être de types variés. Comme déjà évoqué, l'invention permet de localiser un instrument médical par rapport à une cible clinique, telle qu'un organe ou plus généralement une région d'intérêt du corps du patient. Elle permet aussi de localiser un organe du patient par rapport à un autre, par exemple un fémur par rapport à un tibia. Elle peut aussi permettre de positionner un imageur, par exemple un C-arm, une sonde endoscopique ou encore une sonde échographique, par rapport à un organe ou une région d'intérêt du corps du patient.According to yet another aspect of the invention, when the second acquisition module is placed in a field of view of the first acquisition module, the calibration step comprises a sub-step of determining a position and of an orientation of the second module in the repository of the first acquisition module from a first color image and a first depth map acquired at a previous time and a plurality of views of a descriptive model in three dimensions of the second acquisition module, said model comprising at least geometric information and color information. An advantage of such a configuration of the two acquisition modules is that it makes it possible to avoid simplifying the prior calibration step. Advantageously, the common repository can be chosen to be equal to that of one of the two acquisition modules. According to another aspect of the invention, the first and second medical objects belong to a group comprising at least: a surgical instrument; a target region of the patient's body; an imager of the C-arm type; an ultrasound probe type imager; an endoscopic probe type imager; - an organ of the patient. Advantageously, the first and second medical objects may be of various types. As already mentioned, the invention makes it possible to locate a medical instrument relative to a clinical target, such as an organ or more generally a region of interest of the body of the patient. It also makes it possible to locate one organ of the patient relative to another, for example a femur relative to a tibia. It can also make it possible to position an imager, for example a C-arm, an endoscopic probe or an ultrasound probe, with respect to an organ or region of interest of the patient's body.

Selon encore un autre aspect de l'invention, la représentation graphique est restituée en superposition d'au moins une représentation graphique de ladite au moins une image de couleur et de ladite au moins une carte de profondeur obtenues et des vues recalées des modèles descriptifs des premier et deuxième objets médicaux.According to yet another aspect of the invention, the graphical representation is superimposed on at least one graphical representation of said at least one color image and said at least one depth map obtained and recalculated views of the descriptive models of the first and second medical objects.

De façon avantageuse, la représentation graphique restituée à l'utilisateur praticien s'apparente à une forme de réalité augmentée, selon laquelle les données de positionnement et d'orientation relatives des objets médicaux d'intérêt calculées se superposent aux images réellement acquises. Dans certains cas, une telle représentation enrichie pourrait présenter un intérêt pour l'utilisateur praticien et pourrait faciliter l'accomplissement de son geste médical. Le procédé de localisation selon l'invention qui vient d'être présenté avec ses différents d'aspects peut être mis en oeuvre par un dispositif de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. Un tel dispositif comprend les unités suivantes : - obtention d'au moins une image de couleur et d'une carte de profondeur acquises par au moins un module d'acquisition, le premier et le deuxième objet étant placés dans le champ dudit au moins un module d'acquisition ; - détermination d'une position et d'une orientation dudit premier objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif ; - détermination d'une position et d'une orientation dudit deuxième objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination d'une position relative du deuxième objet localisé par rapport au premier objet localisé à partir des positions et orientations obtenues; - construction et restitution d'une représentation graphique comprenant au moins la position et l'orientation relatives du deuxième objet médical par rapport au premier objet médical. L'invention concerne aussi un système d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical. Un tel système est particulier en ce qu'il comprend au moins un module d'acquisition agencé pour acquérir au moins une image de couleur et une carte de profondeur du premier et du deuxième objets et un écran de visualisation, et en ce qu'il comprend en outre le dispositif de localisation d'un deuxième objet médical par rapport un premier objet médical selon l'invention, qui vient d'être présenté.Advantageously, the graphic representation rendered to the practitioner user is similar to an augmented reality form, according to which the positioning and relative orientation data of the calculated medical objects of interest are superimposed on the images actually acquired. In some cases, such an enriched representation could be of interest to the practitioner user and could facilitate the accomplishment of his medical action. The locating method according to the invention which has just been presented with its various aspects can be implemented by a device for locating a second medical object with respect to a first medical object according to the invention. Such a device comprises the following units: obtaining at least one color image and a depth map acquired by at least one acquisition module, the first and second objects being placed in the field of said at least one acquisition module; determining a position and an orientation of said first object in a repository of said at least one acquisition module, based on the color image, the depth map and the information of geometric shape and color of the plurality of views of his descriptive model; determining a position and an orientation of said second object in a repository of said at least one acquisition module, based on the color image, the depth map and geometric and color information. the plurality of views of his descriptive model; determining a relative position of the second localized object relative to the first located object from the positions and orientations obtained; - Constructing and restoring a graphical representation comprising at least the relative position and orientation of the second medical object with respect to the first medical object. The invention also relates to a system for assisting the positioning of a second medical object with respect to a first medical object. Such a system is particular in that it comprises at least one acquisition module arranged to acquire at least one color image and a depth map of the first and second objects and a display screen, and in that further comprises the device for locating a second medical object with respect to a first medical object according to the invention, which has just been presented.

L'invention concerne aussi un terminal d'utilisateur comprenant un écran de visualisation et des moyens de connexion au moins un module d'acquisition d'au moins une image de couleur et d'une carte de profondeur d'un premier objet médical et d'un deuxième objet médical, le premier et le deuxième objets étant placés dans le champ dudit au moins un module d'acquisition. Un tel terminal comprend en outre le dispositif de localisation du deuxième objet médical par rapport au premier objet médical selon l'invention, qui vient d'être présenté.The invention also relates to a user terminal comprising a display screen and means for connecting at least one acquisition module of at least one color image and a depth map of a first medical object and a a second medical object, the first and second objects being placed in the field of said at least one acquisition module. Such a terminal further comprises the device for locating the second medical object with respect to the first medical object according to the invention, which has just been presented.

Avantageusement, la représentation graphique produite par le dispositif de localisation selon l'invention est restituée sur l'écran du terminal d'utilisateur. Le terminal d'utilisateur peut aussi être portable. Pendant l'acte médical, il peut être fixé sur un support de telle sorte que l'utilisateur praticien visualise correctement l'écran. Une fois l'acte terminé, l'utilisateur peut l'emporter avec lui pour consulter plus tard des données stockées dans la mémoire du terminal, par exemple les représentations graphiques des objets médicaux localisés. L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en oeuvre des étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical tel que décrit précédemment, lorsque ce programme est exécuté par un processeur. L'invention se rapporte enfin à un support d'enregistrement, lisible par un processeur, intégrés ou non au dispositif de positionnement selon l'invention, éventuellement amovible, mémorisant respectivement un programme d'ordinateur mettant en oeuvre un procédé de localisation selon l'invention, tels que décrits précédemment. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme et lisible par un équipement terminal. Par exemple, les supports peuvent comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (« floppy disc », en anglais) ou un disque dur. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet. 5. Liste des figures D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés parmi lesquels : La figure 1 représente, à titre illustratif et de façon schématique un exemple de configuration d'un système d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical, dans son environnement clinique selon un premier mode de réalisation de l'invention ; La figure 2 illustre de façon schématique, les étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet selon un premier mode de réalisation de l'invention ; La figure 3 présente de façon schématique les premier et deuxième objets médicaux imagés dans un même volume de données de couleur et de profondeur acquis par un premier module d'acquisition selon un premier mode de réalisation de l'invention ; La figure 4 illustre de façon schématique un exemple de modèle de description d'un objet médical mis en oeuvre dans le procédé selon l'invention ; La figure 5 représente, à titre illustratif et de façon schématique un exemple de configuration d'un système d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical selon un deuxième mode de réalisation de l'invention; La figure 6 détaille des étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon le deuxième mode de réalisation de l'invention ; La figure 7 illustre de façon schématique un exemple de configuration des premier et deuxième modules d'acquisition de données de couleur et de profondeur selon un deuxième mode de réalisation de l'invention ; La figure 8 détaille une étape de changement de référentiel mise en oeuvre par le procédé de localisation selon le deuxième mode de réalisation de l'invention ; La figure 9 détaille une étape de localisation d'un premier objet médical et d'un deuxième objet médical du procédé de localisation selon l'invention ; et La figure 10 présente un exemple de structure simplifiée d'un dispositif de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. 6. Description détaillée de l'invention La figure 1 représente un patient 1 installé sur le lit hospitalier 2 et prêt à subir une intervention médicale par le clinicien 3. Dans cet exemple, un système S1 selon l'invention comprend un écran de visualisation 4 porté par un bras mécanique 5 ajustable en position et en orientation. Sur cet écran 4 est fixé un module d'acquisition MA1 d'une image de couleur et d'une carte de profondeur, par exemple une caméra RGB-D 6. Une telle caméra comprend un capteur RGB 61 apte à acquérir l'image de couleur représentative d'une zone située dans le champ de vision de la caméra 6 et un capteur de profondeur 62 apte à acquérir des données de profondeur représentatives de ladite zone. Selon une variante, la caméra 6 pourrait comprendre un unique capteur agencé pour acquérir à la fois les données de couleur et de profondeur. De façon générale, les moyens d'acquisition mis en oeuvre par le système S1 ne se limitent pas à l'exemple d'une caméra de type RGB-D, tout autre module d'acquisition apte à fournir des informations de couleur et de profondeur pouvant être utilisé à la place. Le système S1 comprend en outre une unité de calcul UC qui peut faire partie intégrante de l'écran 4 ou bien être placée dans un module séparé (non représenté). Cette unité de calcul est destinée à mettre en oeuvre des traitements sur les données acquises par le module d'acquisition MA1.30 En relation avec la figure 2, on présente maintenant les étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon un aspect de l'invention. Dans cet exemple, on considère un premier objet médical 01, par exemple une région cible du corps d'un patient, tel qu'un organe ou une partie d'un organe, et un deuxième objet médical 02, par exemple un instrument de chirurgie, tel qu'un scalpel. A titre d'exemple, sur la figure, on a représenté de façon très schématique, 01 comme un os et 02 comme un instrument médical, Dans cet exemple, on considère un système S1 d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical présenté en relation avec la Figure 1. Il ne comprend qu'un seul module d'acquisition MA1 de données de couleur et de profondeur. On suppose donc que les deux objets 01 et 02 sont placés dans le champ du module d'acquisition MA1. Un exemple d'une telle configuration des premier et deuxième objets médicaux 01, 02 vis-à-vis du module d'acquisition MA1 est présenté en relation avec la figure 3. On considère l'acquisition de données par le module MA1 à instant tk, avec k entier supérieur ou égal à zéro. Au cours d'une étape a, on obtient une image de couleur IC1(tk) et une carte de profondeur CP1(tk) des objets 01 et 02 à un instant tk.Advantageously, the graphic representation produced by the localization device according to the invention is restored on the screen of the user terminal. The user terminal can also be portable. During the medical procedure, it can be fixed on a support so that the practitioner user visualizes the screen correctly. Once the act is completed, the user can take it with him to later consult data stored in the memory of the terminal, for example graphical representations of localized medical objects. The invention also relates to a computer program comprising instructions for carrying out the steps of a method of locating a second medical object with respect to a first medical object as described above, when this program is executed by a processor. The invention finally relates to a recording medium, readable by a processor, integrated or not to the positioning device according to the invention, possibly removable, respectively storing a computer program implementing a locating method according to the invention. invention as previously described. The recording media mentioned above can be any entity or device capable of storing the program and readable by a terminal equipment. For example, the media may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording medium, for example a diskette ("floppy disc", in English) or a hard drive. On the other hand, the recording media may correspond to a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means. The programs according to the invention may in particular be downloaded on an Internet-type network. 5. List of Figures Other features and advantages of the invention will appear more clearly on reading the following description of an embodiment of the invention, given as a simple illustrative and non-limiting example, and drawings. annexed, among which: FIG. 1 represents, by way of illustration and schematically, an exemplary configuration of a positioning aid system for a second medical object with respect to a first medical object, in its clinical environment according to a first embodiment of the invention; FIG. 2 schematically illustrates the steps of a method of locating a second medical object with respect to a first object according to a first embodiment of the invention; FIG. 3 schematically shows the first and second medical objects imaged in the same volume of color and depth data acquired by a first acquisition module according to a first embodiment of the invention; FIG. 4 schematically illustrates an exemplary model for describing a medical object used in the method according to the invention; FIG. 5 represents, by way of illustration and schematically, an exemplary configuration of a positioning aid system for a second medical object with respect to a first medical object according to a second embodiment of the invention; Figure 6 details steps of a method of locating a second medical object with respect to a first medical object according to the second embodiment of the invention; Fig. 7 schematically illustrates an exemplary configuration of the first and second color and depth data acquisition modules according to a second embodiment of the invention; FIG. 8 details a repository change step implemented by the localization method according to the second embodiment of the invention; Figure 9 details a step of locating a first medical object and a second medical object of the locating method according to the invention; and FIG. 10 shows an example of a simplified structure of a device for locating a second medical object with respect to a first medical object according to the invention. 6. DETAILED DESCRIPTION OF THE INVENTION FIG. 1 represents a patient 1 installed on the hospital bed 2 and ready to undergo a medical intervention by the clinician 3. In this example, a system S1 according to the invention comprises a display screen 4 carried by a mechanical arm 5 adjustable in position and orientation. On this screen 4 is fixed an acquisition module MA1 of a color image and a depth map, for example a RGB-D camera 6. Such a camera includes a RGB sensor 61 capable of acquiring the image of color representative of an area in the field of view of the camera 6 and a depth sensor 62 adapted to acquire depth data representative of said area. According to one variant, the camera 6 could comprise a single sensor arranged to acquire both the color and depth data. Generally speaking, the acquisition means implemented by the system S1 are not limited to the example of a camera of the RGB-D type, any other acquisition module able to provide information of color and depth can be used instead. The system S1 further comprises a CPU calculation unit which can be an integral part of the screen 4 or be placed in a separate module (not shown). This calculation unit is intended to implement processing on the data acquired by the acquisition module MA1.30. With reference to FIG. 2, the steps of a method for locating a second medical object by to a first medical object according to one aspect of the invention. In this example, a first medical object 01 is considered, for example a target region of the body of a patient, such as an organ or a part of an organ, and a second medical object 02, for example a surgical instrument. , such as a scalpel. By way of example, in the figure, there is shown very schematically, 01 as a bone and 02 as a medical instrument. In this example, a system S1 for assisting the positioning of a second medical device by report to a first medical object presented in connection with Figure 1. It comprises only one acquisition module MA1 color data and depth. It is therefore assumed that the two objects 01 and 02 are placed in the field of the acquisition module MA1. An example of such a configuration of the first and second medical objects 01, 02 vis-à-vis the acquisition module MA1 is presented in connection with Figure 3. The data acquisition is considered by the module MA1 at instant tk , with k integer greater than or equal to zero. During a step a, a color image IC1 (tk) and a depth map CP1 (tk) of the objects 01 and 02 are obtained at a time tk.

Au cours d'étapes b, b', les positions et orientations des objets 01 et 02 sont respectivement déterminées par rapport à un référentiel REF1 du module d'acquisition MA1. Selon l'invention, la localisation d'un objet Oi, avec i entier inférieur ou égal à 1, à partir des données de couleur et de profondeur IC1(tk) et CP1(tk) s'appuie sur un modèle de description MDi de l'objet Oi préalablement défini. Ce modèle comprend des informations de géométrie et de couleur de cet objet et permet de construire une pluralité de vues de l'objet. Ce sont ces vues qui sont recherchées dans le volume de données VCDi(tk). Un exemple simplifié de modèle de description MDi d'un objet médical Oi est présenté en relation avec la Figure 4. Il comprend des données Fi de description de la forme de l'objet, par exemple des données de description géométrique, telles que des coordonnées des sommets d'une figure géométrique, des informations de liens entre ces sommets qui définissent des faces de cette figure. Il comprend aussi des données de couleur Ci (ou de texture) associées à chacune des faces de cet objet. Une description de ce type définit un maillage (« mesh », en anglais). De façon connue, elle peut être représentée sous la forme d'un fichier présentant une extension de type .obj. Dans l'exemple très simple de la figure 4, la forme de l'objet est un pavé dont les côtés sont caractérisés par des informations de couleur. Le modèle MDi comprend son propre référentiel REFm, dans lequel sont exprimées les coordonnées spatiales de points de la forme de l'objet Oi. Ce modèle est préalablement connu par le système S1 grâce, par exemple, à un fichier informatique comportant l'ensemble des données Fi, Ci, et pouvant être chargé dans l'unité de calcul UC du système S1 par le biais, par exemple, d'un port USB accessible. Tout autre protocole de chargement de ces données peut être utilisé dans le cadre de cette invention. Le système S1 peut alors lire le fichier informatique et connaître toutes les informations propres au modèle MDi. Toute autre méthode permettant de connaitre ces différentes informations peut être utilisée dans le cadre de cette invention. Tout autre modèle avec des textures ou bien des formes différentes peuvent également être utilisées.During steps b, b ', the positions and orientations of the objects 01 and 02 are respectively determined with respect to a reference REF1 of the acquisition module MA1. According to the invention, the location of an object Oi, with i integer less than or equal to 1, from the color and depth data IC1 (tk) and CP1 (tk) is based on a description model MDi of the object Oi previously defined. This model includes geometry and color information of this object and makes it possible to construct a plurality of views of the object. It is these views that are searched for in the data volume VCDi (tk). A simplified example of a description model MDi of a medical object Oi is presented in relation with FIG. 4. It comprises data Fi of description of the shape of the object, for example geometric description data, such as coordinates vertices of a geometrical figure, information of links between these vertices which define faces of this figure. It also includes color data Ci (or texture) associated with each of the faces of this object. A description of this type defines a mesh ("mesh"). In known manner, it can be represented in the form of a file having an extension of type .obj. In the very simple example of Figure 4, the shape of the object is a tile whose sides are characterized by color information. The MDi model includes its own referential REFm, in which are expressed the spatial coordinates of points of the shape of the object Oi. This model is previously known by the system S1 by, for example, a computer file comprising all the data Fi, Ci, and can be loaded into the calculation unit UC of the system S1 through, for example, d an accessible USB port. Any other protocol for loading these data may be used in the context of this invention. The system S1 can then read the computer file and know all the information specific to the model MDi. Any other method to know these different information can be used in the context of this invention. Any other model with different textures or shapes can also be used.

Par exemple un tel modèle de description MDi est construit à l'aide du module d'acquisition MA1 d'un volume de données de couleur et de profondeur. Par exemple, des données RGB-D de l'objet sont acquises dans différentes poses, puis exploitées pour construire un modèle 3D de forme et de couleur de l'objet médical. A partir de ce modèle, une pluralité de vues synthétiques de l'objet est créée et stockée en mémoire, par exemple dans une base de données. Lorsque l'objet médical considéré est une région cible du corps d'un patient, par exemple un organe, ce modèle peut avantageusement être construit à l'aide des données acquises par un imageur de type Imagerie par Résonance Magnétique (IRM) ou un scanner. Ces imageurs produisent un volume de données comprenant des tranches (« slices », en anglais). L'objet d'intérêt est ensuite segmenté à l'intérieur de ce volume de façon manuelle ou automatique, la segmentation obtenue servant de base à l'élaboration du modèle de description. Une fois que le premier et le deuxième objet 01 et 02 sont localisés dans le référentiel REF1 du module d'acquisition MA1, on calcule au cours d'une étape c une position RP(tk) et une orientation RO(tk) relatives du deuxième objet par rapport au premier. Au cours d'une étape d, on construit une représentation graphique RG(tk) comprenant au moins la position et l'orientation relatives calculées. Par exemple, si les coordonnées utilisées sont des coordonnées polaires, la représentation graphique peut simplement afficher une distance r du deuxième objet à un point du premier objet et une différence d'angle AO entre le premier et le deuxième objet. De façon avantageuse, la représentation graphique RG(tk) peut comprendre en outre une représentation RCP(tk) de l'image de couleur IC1(tk), et des contours des objets 01, 02 localisés. Par exemple, les informations de positionnement relatif du deuxième objet 02 par rapport au premier 01 sont affichées en superposition desdites images. On obtient ainsi une représentation enrichie d'informations visuelles, qui s'apparente à une représentation de type réalité augmentées.For example, such a description model MDi is constructed using the acquisition module MA1 of a volume of data of color and depth. For example, RGB-D data from the object is acquired in different poses and then exploited to construct a 3D model of shape and color of the medical object. From this model, a plurality of synthetic views of the object are created and stored in memory, for example in a database. When the medical object under consideration is a target region of the body of a patient, for example an organ, this model can advantageously be constructed using data acquired by a Magnetic Resonance Imaging (MRI) type imager or a scanner. . These imagers produce a volume of data including slices. The object of interest is then segmented within this volume manually or automatically, the segmentation obtained serving as a basis for the development of the description model. Once the first and second objects 01 and 02 are located in the reference REF1 of the acquisition module MA1, a relative position RP (tk) and a relative orientation RO (tk) of the second are calculated during a step c. object in relation to the first. During a step d, a graphical representation RG (tk) is constructed comprising at least the calculated relative position and orientation. For example, if the coordinates used are polar coordinates, the graphical representation can simply display a distance r of the second object at a point of the first object and a difference of angle AO between the first and the second object. Advantageously, the graphical representation RG (tk) may furthermore comprise a representation RCP (tk) of the color image IC1 (tk), and contours of the localized objects 01, 02. For example, the relative positioning information of the second object 02 relative to the first 01 is displayed superimposed on said images. This gives a representation enriched with visual information, which is similar to an augmented reality representation.

Les étapes qui viennent d'être présentées ont été mises en oeuvre suite à l'obtention d'informations de couleur et de profondeur IC1(tk), CP1(tk) à l'instant tk. Elles sont systématiquement mises en oeuvre lorsque k est égal à zéro, ce qui correspond à une première acquisition d'informations de couleur ou de profondeur.On considère maintenant les données d'une nouvelle acquisition obtenue à l'instant suivant tk+1. Le procédé selon l'invention met en oeuvre des étapes el) et e2) de suivi respectivement des objets 01 et 02 dans l'image de couleur IC1(tk) et la carte de profondeur CP1(tk+1) obtenues. Un tel suivi exploite avantageusement la vue Vj sélectionnée et recalée pour l'objet médical Oi par l'étape b) qui vient d'être décrite pour les données acquises à l'instant tk. Il met ensuite en oeuvre une sous-étape de recalage de la vue précédente à partir des données acquises à l'instant suivant tk +1.The steps which have just been presented have been implemented following the obtaining of color and depth information IC1 (tk), CP1 (tk) at time tk. They are systematically implemented when k is equal to zero, which corresponds to a first acquisition of color or depth information. We now consider the data of a new acquisition obtained at the following instant tk + 1. The method according to the invention implements steps e1) and e2) for respectively tracking the objects O1 and O2 in the color image IC1 (tk) and the depth map CP1 (tk + 1) obtained. Such monitoring advantageously exploits the view Vj selected and recaled for the medical object Oi by step b) which has just been described for the data acquired at time tk. It then implements a substep of resetting the previous view from the data acquired at the instant following tk +1.

Selon un aspect de l'invention, si le suivi de la vue précédente ne donne pas de résultat satisfaisant selon un critère de minimisation d'erreur, il pourra être décidé de déclencher une nouvelle localisation de l'objet médical considéré. Ceci concerne par exemple le cas d'un objet qui s'est déplacé rapidement entre deux instants d'acquisition successifs. Bien sûr, les étapes c) de détermination d'une position et d'une orientation relatives et d) de construction et de restitution d'une représentation graphique RG sont itérées à l'instant tk+1, suite à l'étape el, e2 de suivi.According to one aspect of the invention, if the monitoring of the previous view does not give a satisfactory result according to an error minimization criterion, it may be decided to trigger a new location of the medical object considered. This concerns, for example, the case of an object that has moved rapidly between two successive acquisition instants. Of course, the steps c) of determining a relative position and orientation and d) of constructing and restoring a graphical representation RG are iterated at the instant tk + 1, following the step el, e2 follow up.

En relation avec la figure 5, on présente maintenant un système S2 d'aide au positionnement d'un deuxième objet médical par rapport à un premier selon un deuxième mode de réalisation de l'invention. Ce système comprend un premier module d'acquisition de données de couleur et de profondeur MA1 et un deuxième module d'acquisition de données de couleur et de profondeur MA2. Il s'agit par exemple d'une autre caméra RGB-D, placée et orientée différemment de la première, de façon à acquérir d'autres données de couleur et de profondeur d'une région d'intérêt du patient. A titre d'alternative, l'unité de calcul et l'écran de visualisation en question peuvent être ceux d'un terminal d'utilisateur portable, tel qu'un ordinateur portable (pour « labtop », en anglais) ou une tablette. En relation avec la figure 6, on présente le procédé de localisation selon ce deuxième mode de réalisation de l'invention. Dans cet exemple, on considère un premier objet médical 01, par exemple un instrument de chirurgie, tel qu'un scalpel et un deuxième objet médical 02, par exemple une région cible du corps d'un patient, tel qu'un organe ou une partie d'un organe. A titre d'exemple, on a représenté un os de façon schématique. Dans cet exemple, on considère le système S2 d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical présenté en relation avec la Figure 5. A chaque module d'acquisition MA1, MA2 est associé respectivement un référentiel REF1, REF2.With reference to FIG. 5, a system S2 for assisting the positioning of a second medical object with respect to a first according to a second embodiment of the invention is now presented. This system comprises a first color and depth data acquisition module MA1 and a second color and depth data acquisition module MA2. This is for example another RGB-D camera, placed and oriented differently from the first, so as to acquire other color and depth data of a region of interest of the patient. Alternatively, the computing unit and the viewing screen in question may be those of a portable user terminal, such as a laptop (for "labtop" in English) or a tablet. In relation with FIG. 6, the locating method according to this second embodiment of the invention is presented. In this example, consider a first medical object 01, for example a surgical instrument, such as a scalpel and a second medical object 02, for example a target region of the body of a patient, such as an organ or a part of an organ. By way of example, a bone is schematically represented. In this example, we consider the S2 positioning aid system of a second medical object with respect to a first medical object presented in connection with Figure 5. To each acquisition module MA1, MA2 is associated respectively a reference REF1 , REF2.

Au cours d'une étape a), on obtient du module d'acquisition MA1 une image de couleur IC1(tk) et une carte de profondeur CP1(tk) de l'objet 01 à un instant tk. Au cours d'une étape a'), on obtient du module d'acquisition MA2 une image de couleur IC2(tk) et une carte de profondeur CP2(tk) de l'objet 02 à un instant tk.During a step a), the acquisition module MA1 produces a color image IC1 (tk) and a depth map CP1 (tk) of the object 01 at a time tk. During a step a '), the acquisition module MA2 produces a color image IC2 (tk) and a depth map CP2 (tk) of the object 02 at a time tk.

Au cours d'une étape b), l'objet médical 01 est localisé dans le référentiel REF1 du module MA1 à l'aide de l'image IC1(tk) et de la carte CP1(tk) et d'une pluralité de vues du modèle de description MD1 préalablement défini. Cette localisation est exprimée en termes de position sous forme de coordonnées spatiales (xMi, yM1, zM1) et d'orientation (OEM1, prvn, emi) du référentiel REFM1 du modèle MD1 dans le référentiel REF1 du module d'acquisition MA1, comme représenté schématiquement en relation avec la figure 4. Au cours d'une étape b'), l'objet médical 02 est localisé dans l'image de couleur IC2(tk) et la carte de profondeur CP2(tk) et à l'aide d'une pluralité de vue du modèle de description MD2 préalablement défini. Cette localisation est exprimée en termes de position sous forme de coordonnées spatiales (xM2, yM2, zM2) et d'orientation (OEM2, 13m2, 0M2) du référentiel REFM2 du modèle MD2 dans le référentiel REF2 du module d'acquisition MA2. Une fois que le premier et le deuxième objet 01, 02 sont localisés chacun respectivement dans le référentiel REF1, REF2 de leur module d'acquisition MA1, MA2, il est nécessaire, de calculer leur position et leur orientation dans un référentiel commun REFC. Un tel changement de référentiel est mis en oeuvre au cours d'une étape f), qui va maintenant être détaillée en relation avec la figure 8. On considère les deux cas suivants : Selon une première option, en relation avec la figure 7, le deuxième module d'acquisition MA2 est visible dans le champ du premier module d'acquisition MA1. De cette manière, le module MA2 peut être localisé dans le référentiel REF1, qui sert alors de référentiel commun REFC, en utilisant la méthode de localisation de l'invention telle que décrite précédemment en relation avec la figure 3. Une fois que le référentiel REF2 du module MA2 est localisé dans le référentiel REF1 au cours d'une sous-étape f1), la transformation affine Tf à appliquer pour passer du référentiel REF2 au référentiel REF1 est déterminée au cours d'une sous-étape f2) puis appliquée aux coordonnées spatiales et à l'orientation du deuxième objet médical 02 au cours d'une sous-étape f3) ; Selon une deuxième option, le deuxième module d'acquisition MA2 n'est pas visible dans le champ du premier module d'acquisition MA1. Dans ce cas plus complexe, on s'appuie sur une localisation des premier et deuxième modules MA1, MA2 qui est faite au cours d'une étape préalable de calibrage I). Par exemple, cette étape a recours à une mire calibrée de géométrie connue placée de façon à être visible simultanément dans les champs des premier et deuxième modules d'acquisition MA1 et MA2. Une image de la mire en question est segmentée et extraite des données de couleur et de profondeur acquises par chaque module d'acquisition MA1, MA2. Les dimensions des deux images de mire sont mesurées. A partir de ces mesures, il est possible de déduire la disposition spatiale des deux modules d'acquisition. En particulier leur position et leur orientation relatives sont déterminées. Avantageusement, le référentiel commun REFC considéré est un des référentiels des modules d'acquisition MA1, MA2, par exemple REF1. Dans ce cas particulier, la position et l'orientation du module MA2 dans ce référentiel commun REFC=REF1 se déduit directement du résultat précédént au cours d'une sous-étape f'1) et sert à calculer une transformation Tf' du référentiel REF2 vers le référentiel commun REF1 au cours d'une sous-étape f'2), qui est appliquée au deuxième objet médical 02 au cours d'une sous-étape f'3). L'étape c) de détermination d'une position et d'une orientation relatives RP(02,01), R0(02,01) du deuxième objet médical 02 par rapport au premier s'appuie sur les coordonnées spatiales transformées des objets 01 et 02 dans le référentiel commun REF1. Au cours d'une étape d), on construit une représentation graphique RG(tk) comprenant au moins la position relative calculée, de façon similaire à celle décrite en relation avec la figure 2.During a step b), the medical object 01 is located in the reference REF1 of the module MA1 using the image IC1 (tk) and the card CP1 (tk) and a plurality of views of the description model MD1 previously defined. This location is expressed in terms of position in the form of spatial coordinates (xMi, yM1, zM1) and orientation (OEM1, prvn, emi) of the reference REFM1 of the model MD1 in the reference frame REF1 of the acquisition module MA1, as represented schematically in relation to FIG. 4. During a step b '), the medical object 02 is located in the color image IC2 (tk) and the depth card CP2 (tk) and with the aid of FIG. a plurality of views of the previously defined description model MD2. This location is expressed in terms of position in the form of spatial coordinates (xM2, yM2, zM2) and orientation (OEM2, 13m2, 0M2) of the REFM2 repository of the MD2 model in the reference repository REF2 of the acquisition module MA2. Once the first and second objects 01, 02 are respectively located respectively in the reference REF1, REF2 of their acquisition module MA1, MA2, it is necessary to calculate their position and their orientation in a common repository REFC. Such a repository change is implemented during a step f), which will now be detailed with reference to FIG. 8. The following two cases are considered: According to a first option, in connection with FIG. second acquisition module MA2 is visible in the field of the first acquisition module MA1. In this way, the module MA2 can be located in the repository REF1, which then serves as a common repository REFC, using the location method of the invention as described above in relation to FIG. 3. Once the REF2 frame of reference of the module MA2 is located in the reference frame REF1 during a substep f1), the affine transformation Tf to be applied to move from the reference REF2 to the reference frame REF1 is determined during a substep f2) and then applied to the coordinates spatial and orientation of the second medical object 02 during a substep f3); According to a second option, the second acquisition module MA2 is not visible in the field of the first acquisition module MA1. In this more complex case, we rely on a location of the first and second modules MA1, MA2 which is made during a prior calibration step I). For example, this step uses a calibrated pattern of known geometry placed so as to be visible simultaneously in the fields of the first and second acquisition modules MA1 and MA2. An image of the test pattern in question is segmented and extracted from the color and depth data acquired by each acquisition module MA1, MA2. The dimensions of the two sight images are measured. From these measurements, it is possible to deduce the spatial arrangement of the two acquisition modules. In particular their relative position and orientation are determined. Advantageously, the common repository REFC considered is one of the repositories of the acquisition modules MA1, MA2, for example REF1. In this particular case, the position and the orientation of the module MA2 in this common repository REFC = REF1 is deduced directly from the preceding result during a substep f'1) and serves to calculate a transformation Tf 'of the reference frame REF2 to the common reference frame REF1 during a substep f'2), which is applied to the second medical object 02 during a substep f'3). Step c) of determining a relative position and orientation RP (02,01), R0 (02,01) of the second medical object 02 relative to the first is based on the transformed spatial coordinates of the objects 01 and 02 in the common reference REF1. During a step d), a graphical representation RG (tk) comprising at least the calculated relative position is constructed in a manner similar to that described with reference to FIG. 2.

Suite à l'obtention de nouvelles données de couleur et de profondeur acquises à un instant suivant tk+1, le procédé met en oeuvre des étapes el) et e2) de suivi des vues sélectionnées et recalées au cours des étapes de localisation des objets 01 et 02 à l'instant précédent tk, comme décrit précédemment pour le premier mode de réalisation de l'invention en relation avec la figure 2. En relation avec la Figure 9, on présente de façon plus détaillée l'étape b) de localisation d'un objet Oi à partir d'une pluralité de vues Vj, avec j entier supérieur à 2, issues du modèle descriptif MDi de cet objet et les données de couleur et de profondeur acquises par un module d'acquisition MAi, selon un premier mode de réalisation de l'invention. Cette étape de localisation comprend les sous-étapes suivantes : Segmentation bl) de l'objet à partir des données de couleur Ici(t0) et de profondeur CPi(t0) : Cette étape vise à extraire les pixels de l'image de couleur qui correspondent à une zone autour de l'objet Oi. Plusieurs méthodes, connues de l'homme de métier peuvent être utilisées. Par exemple, un filtre de détection de régions saillantes peut être appliqué sur l'image de couleur initiale. Une telle technique est par exemple décrite dans l'article de X. Shen et Y. Wu, intitulé «A unified Approach to Salient Object Detection via Low Rank Matric Recovery » et publié dans les proceedings de la conférence IEEE Conference on Computer Vision and Pattern Recognition, en juin 2012, page 853-860. En parallèle, un filtre permettant d'extraire des zones ayant les mêmes couleurs que le modèle Oi dans cette même image initiale peut également être appliqué. La convolution de ces deux images permet d'extraire les zones de présences dans le volume VCDi de l'objet ; Sélection d'une vue du modèle et recalage b2) de la vue sélectionnée sur la zone de l'objet segmenté en fonction d'au moins un critère de minimisation d'erreur. La sélection d'une vue peut être effectuée à l'aide d'un algorithme de type VCSH (pour « Viewpoint Oriented Color-Shape Histogram », en anglais), décrit par exemple dans l'article de W. Wang et al, intitulé « Textured/textureless object recognition and pose estimation using RGB-D images », dans la revue Journal of Real-Time Image Processing, en novembre 2013. Le principe de cet algorithme est d'utiliser un modèle de description d'objet 3D qui comprend des caractéristiques de couleur et de forme géométrique, tel que le modèle MDi précédemment évoqué. A partir de ce modèle de l'objet, un histogramme de couleur et de forme de l'objet est calculé pour une pluralité de vues synthétiques de cet objet. Les histogrammes obtenus sont stockés en mémoire, par exemple dans une base de données. La sélection d'une vue est ensuite réalisée par mise en correspondance des histogrammes stockés en mémoire avec le volume de données segmenté courant, la vue sélectionnée étant celle de l'histogramme le plus proche du volume segmenté selon un critère de minimisation d'erreur. De façon avantageuse, une seconde étape de recalage de la vue sélectionnée peut être réalisée par exemple en utilisant un algorithme ICP (pour « Iterative Closest Point », en anglais) contraint par la texture. Cette technique connue de l'homme de métier, est notamment décrite dans l'article de S. Druon, intitulé «Color Constrained ICP for Registration of Large Unstructured 3D/color Data Sets», publié dans les proceedings de la Conférence IEEE ICIA'06 International Conference on Information Acquisition en 2006. Elle s'appuie sur deux formes géométriques 3D, qui se recouvrent partiellement et consiste à déterminer la transformation rigide à appliquer à l'une des formes 3D pour qu'elle soit parfaitement en correspondance avec l'autre selon un critère de minimisation de distance. Cette étape supplémentaire permet d'augmenter la précision de la localisation de l'objet d'intérêt. Bien sûr, tout autre algorithme permettant de recaler un objet grâce à la texture et la forme peut être utilisé dans le cadre de cette invention ; - Détermination b3) d'une position et d'une orientation de l'objet médical dans un référentiel REF1 du module d'acquisition. Une fois la vue Vj du modèle MDi sélectionnée et recalée, la position (xM, yM, zM) et l'orientation (OEM, 3M, eM) du référentiel REFM du modèle MDi dans le référentiel REFi du module d'acquisition MAi peut être déduite. En ce qui concerne les coordonnées spatiales (xM, YM), elles sont obtenues à partir de la position de la vue recalée dans l'image de couleur ICi(t0). Quant à la coordonnée z, elle est déduite de la carte de profondeur CPi(t0). L'orientation est obtenue à partir de l'angle de vue associé à la vue recalée. En relation avec la Figure 10, on présente maintenant un exemple de structure simplifiée d'un dispositif 100 de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. Dans cet exemple, le dispositif 100 est intégré à un terminal d'utilisateur 200, par exemple une tablette tactile. De façon alternative, il peut être intégré à une unité de calcul UC du système S2 d'aide au positionnement selon l'invention, tel que décrit précédemment en relation avec les figures 1 et 5. Le dispositif 100 met en oeuvre le procédé de localisation selon l'invention qui vient d'être décrit. Par exemple, le dispositif 100 comprend une unité de traitement 110, équipée d'un processeur pt, et pilotée par un programme d'ordinateur Pg 120, stocké dans une mémoire 130 et mettant en oeuvre le procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. A l'initialisation, les instructions de code du programme d'ordinateur Pgi 120 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 110. Le processeur de l'unité de traitement 110 met en oeuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 120. Dans cet exemple de réalisation de l'invention, le dispositif 100 comprend au moins une unité GET1 d'obtention de données de couleur et de profondeur d'un premier objet médical 01 acquises par un premier module d'acquisition MA1, une unité GET2 d'obtention de donnéex de couleur et de profondeur d'un deuxième objet médical 02 acquises par un deuxième module d'acquisition MA2, une unité LOCI de localisation du premier objet 01 dans un référentiel REF1 du premier module d'acquisition MA1, une unité LOC2 de localisation du deuxième objet 02 dans un référentiel REF2 du deuxième module d'acquisition MA2, une unité LOC MA1, MA2 de localisation des modules d'acquisition dans un référentiel commun, par exemple REF1, une unité CHG REF2 de changement de référentiel des coordonnées obtenues dans le référentiel REF2 du module MA2 dans le référentiel REF1, une unité de calcul d'une position RPOS (02, 01) et d'une orientation ROR(02, 01) relatives du deuxième objet par rapport au premier objet, une unité DISPLAY de construction et d'affichage d'une représentation graphique RG comprenant au moins une position et une orientation relatives du deuxième objet par rapport au premier objet et des unités TRACK 01 et TRACK 02 de suivi des objets localisés à un instant précédent dans les données acquises à un instant suivant. Ces unités sont pilotées par le processeur pt de l'unité de traitement 110.After obtaining new color and depth data acquired at a time following tk + 1, the method implements steps e1) and e2) for monitoring the selected and mismatched views during the object location steps 01 and 02 at the previous instant tk, as previously described for the first embodiment of the invention in relation with FIG. 2. In relation to FIG. 9, step b) of locating d is described in more detail. an object Oi from a plurality of views Vj, with j integer greater than 2, derived from the descriptive model MDi of this object and the color and depth data acquired by an acquisition module MAi, according to a first embodiment embodiment of the invention. This localization step comprises the following substeps: Segmentation bl) of the object from the color data Here (t0) and depth CPi (t0): This step aims at extracting the pixels from the color image which correspond to an area around the object Oi. Several methods known to those skilled in the art can be used. For example, a protruding region detection filter can be applied to the initial color image. Such a technique is for example described in the article by X. Shen and Y. Wu, entitled "Unified Approach to Salient Object Detection via Low Rank Matric Recovery" and published in the Proceedings of the IEEE Conference on Computer Vision and Pattern. Recognition, June 2012, page 853-860. In parallel, a filter making it possible to extract zones having the same colors as the model Oi in this same initial image can also be applied. The convolution of these two images makes it possible to extract the presence zones in the volume VCDi of the object; Selecting a model view and resetting b2) of the selected view to the area of the segmented object according to at least one error minimization criterion. The selection of a view can be carried out using a VCSH type algorithm (for "Viewpoint Oriented Color-Shape Histogram"), described for example in the article by W. Wang et al, entitled "Textured / textureless object recognition and estimation pose using RGB-D images", in the journal Journal of Real-Time Image Processing, in November 2013. The principle of this algorithm is to use a 3D object description model that includes color and geometric shape characteristics, such as the MDi model previously mentioned. From this model of the object, a color and shape histogram of the object is computed for a plurality of synthetic views of that object. The histograms obtained are stored in memory, for example in a database. The selection of a view is then performed by matching the histograms stored in memory with the current segmented data volume, the selected view being that of the histogram closest to the segmented volume according to an error minimization criterion. Advantageously, a second step of resetting the selected view can be performed for example using an ICP algorithm (for "Iterative Closest Point" in English) constrained by the texture. This technique, known to those skilled in the art, is described in particular in the article by S. Druon, entitled "Color Constrained ICP for the Registration of Large Unstructured 3D / color Data Sets", published in the proceedings of the IEEE ICIA'06 Conference. International Conference on Information Acquisition in 2006. It relies on two partially overlapping 3D geometric shapes and consists in determining the rigid transformation to be applied to one of the 3D forms so that it is perfectly in correspondence with the other according to a distance minimization criterion. This additional step makes it possible to increase the precision of the location of the object of interest. Of course, any other algorithm that allows you to recalibrate an object through texture and shape can be used in the context of this invention; - Determination b3) of a position and an orientation of the medical object in a reference REF1 of the acquisition module. Once the view Vj of the model MDi selected and recaled, the position (xM, yM, zM) and the orientation (OEM, 3M, eM) of the REFM repository of the model MDi in the repository REFi of the acquisition module MAi can be deducted. As for the spatial coordinates (xM, YM), they are obtained from the position of the recaled view in the color image ICi (t0). As for the coordinate z, it is deduced from the depth map CPi (t0). The orientation is obtained from the angle of view associated with the recaled view. In relation to FIG. 10, there is now an example of a simplified structure of a device 100 for locating a second medical object with respect to a first medical object according to the invention. In this example, the device 100 is integrated with a user terminal 200, for example a touch pad. Alternatively, it can be integrated with a calculation unit UC of the positioning aid system S2 according to the invention, as described previously with reference to FIGS. 1 and 5. The device 100 implements the localization method according to the invention which has just been described. For example, the device 100 comprises a processing unit 110, equipped with a processor pt, and driven by a computer program Pg 120, stored in a memory 130 and implementing the method of locating a second medical object. compared to a first medical object according to the invention. At initialization, the code instructions of the computer program Pgi 120 are for example loaded into a RAM memory before being executed by the processor of the processing unit 110. The processor of the processing unit 110 sets implement the steps of the method described above, according to the instructions of the computer program 120. In this exemplary embodiment of the invention, the device 100 comprises at least one GET1 unit for obtaining color data and depth data. a first medical object 01 acquired by a first acquisition module MA1, a color and depth data acquisition unit GET2 of a second medical object 02 acquired by a second acquisition module MA2, a location unit LOCI of the first object 01 in a reference REF1 of the first acquisition module MA1, a location unit LOC2 of the second object 02 in a reference frame REF2 of the second acquisition module MA2, a unit LO C MA1, MA2 locating the acquisition modules in a common repository, for example REF1, a CHG REF2 unit for changing the repository of the coordinates obtained in the reference REF2 of the module MA2 in the reference frame REF1, a calculation unit of a position RPOS (02, 01) and a relative orientation ROR (02, 01) of the second object with respect to the first object, a DISPLAY unit for constructing and displaying a graphical representation RG comprising at least one position and a relative orientation of the second object with respect to the first object and TRACK units 01 and TRACK 02 tracking objects located at a previous time in the data acquired at a later time. These units are driven by the processor pt of the processing unit 110.

Le dispositif 100 est donc agencé pour coopérer avec les premier et deuxièmes modules d'acquisition MA1, MA2 du système S2 selon l'invention. Par exemple il est relié à ces modules par des moyens de connexion filaire. Dans le cas où il est intégré à un terminal d'utilisateur 200, le dispositif 100 est agencé pour coopérer avec les modules suivants de ce terminal : - un module de connexion CRL à un réseau local LAN, par exemple par des moyens de communication radio courte portée de type Wifi ou des moyens de communication filaires de type éthernet, par l'intermédiaire duquel le terminal 200 reçoit les données de couleur IC1, IC2 et de profondeur CP1, CP2 en provenance des moyens d'acquisition MA1, MA2 ; - un module de stockage STK des modèles de description MDi des objets médicaux 01, 02 à localiser. Dans cet exemple, on a considéré le système S2, décrit en relation avec la figure 5, comprenant deux modules d'acquisition distincts MA1, MA2. Bien sûr, dans le cas du système S1, décrit en relation avec la figure 1 et comprenant un seul module d'acquisition MA1, le dispositif 100 serait simplifié et se limiterait aux unités suivantes : GET1, LOCI, LOC2, TRACK 01, TRACK 02, CAL RPOS(02, 01) ROR(02,01) et DISPLAY.The device 100 is thus arranged to cooperate with the first and second acquisition modules MA1, MA2 of the system S2 according to the invention. For example, it is connected to these modules by wired connection means. In the case where it is integrated in a user terminal 200, the device 100 is arranged to cooperate with the following modules of this terminal: a connection module CRL to a local area network LAN, for example by radio communication means Wifi type short range or ethernet type wired communication means, through which the terminal 200 receives the color data IC1, IC2 and depth CP1, CP2 from the acquisition means MA1, MA2; an STK storage module of the description models MDi of the medical objects 01, 02 to be located. In this example, the system S2, described with reference to FIG. 5, has been considered comprising two distinct acquisition modules MA1, MA2. Of course, in the case of the system S1, described in connection with FIG. 1 and comprising a single acquisition module MA1, the device 100 would be simplified and would be limited to the following units: GET1, LOCI, LOC2, TRACK 01, TRACK 02 , CAL RPOS (02, 01) ROR (02.01) and DISPLAY.

L'invention qui vient d'être décrite trouve son application dans plusieurs cas d'usage, parmi lesquels on trouve à titre d'exemple : L'aide au positionnement d'un instrument médical par rapport à une région cible du corps d'un patient. Dans ce cas, le premier objet médical est la région cible et le deuxième objet médical est l'instrument médical. Le fait d'obtenir la position et l'orientation relatives de cet instrument médical par rapport à la région cible et de la restituer en temps réel au praticien l'assiste au cours de l'acte médical et l'aide à gagner en temps et en précision.; L'aide au positionnement d'un imageur par rapport à une région cible du corps d'un patient. Dans ce cas, le premier objet médical est toujours la région cible et le deuxième objet médical est l'imageur, par exemple un C-arm ou une sonde endoscopique ou échographique. Il s'agit pour le praticien de positionner au mieux l'imageur par rapport à la région cible à imager. L'assistance à la chirurgie. On considère par exemple une intervention sur une articulation du corps humain, par exemple du bras. Le premier objet médical est un os de type humérus et le deuxième objet médical est un os de type radius. On suppose que cette articulation a subi un traumatisme et que le praticien doit intervenir pour repositionner le deuxième objet par rapport au premier. Le système selon l'invention lui permet d'optimiser son intervention en termes de rapidité, efficacité et précision.The invention which has just been described finds its application in several cases of use, among which we find by way of example: the aid for the positioning of a medical instrument relative to a target region of the body of a patient. In this case, the first medical object is the target region and the second medical object is the medical instrument. Obtaining the relative position and orientation of this medical instrument relative to the target region and returning it to the practitioner in real time assists him during the medical procedure and helps him to save time and money. in precision .; The aid in positioning an imager with respect to a target region of a patient's body. In this case, the first medical object is always the target region and the second medical object is the imager, for example a C-arm or an endoscopic or ultrasound probe. It is for the practitioner to position the imager as best as possible in relation to the target region to be imaged. Assistance to surgery. For example, an intervention is considered on an articulation of the human body, for example the arm. The first medical object is a humerus type bone and the second medical object is a radius bone. It is assumed that this joint has been traumatized and that the practitioner must intervene to reposition the second object in relation to the first. The system according to the invention allows it to optimize its intervention in terms of speed, efficiency and accuracy.

De façon avantageuse, l'information de position et d'orientation relatives peut être associée à la restitution des images de couleur et cartes de profondeur acquises par les modules d'acquisition et à un marquage des contours de objets segmentés dans ces données, de manière à fournir au praticien une représentation enrichie, de type réalité augmentée. Un tel environnement pourrait avantageusement trouver son application dans les spécialités médicales pour lesquelles les informations visuelles peuvent apporter un bénéfice au praticien, comme par exemple, pour la chirurgie de l'épaule ou la neurochirurgie. Bien sûr d'autres exemples d'application de l'invention peuvent être envisagés.Advantageously, the relative position and orientation information can be associated with the reproduction of the color images and depth maps acquired by the acquisition modules and with a marking of the contours of segmented objects in these data, in a manner that to provide the practitioner with an enriched representation of augmented reality type. Such an environment could advantageously find its application in medical specialties for which the visual information can bring a benefit to the practitioner, for example, for shoulder surgery or neurosurgery. Of course, other examples of application of the invention can be envisaged.

Claims

REVENDICATIONS1. A method of locating a second medical object (02) with respect to a first medical object (01), said method being characterized in that, said medical object being represented in a previous step by a plurality of views (Vj ) of a descriptive model (MD1, MD2) in three dimensions comprising at least geometrical information and color information, said method comprises the following steps: - obtaining (a) at least one color image (IC1 (t0)) and a depth map (CP1 (t0)) acquired by at least one acquisition module (MA1), the first and second objects being placed in the field of said at least one acquisition module; determining (b) a position and an orientation of said first object in a repository (REF1) of said at least one acquisition module, based on the color image, the depth map and the information of geometric and color form of the plurality of views of his descriptive model; determining (b ') a position and an orientation of said second object in a repository of said at least one acquisition module, from the color image, the depth map and geometrically shaped information and color of the plurality of views of his descriptive model; - determining a position (RPOS (02,01)) and a relative orientation (ROR (02,01)) of the second object located relative to the first object located from the positions and orientations obtained; - constructing and restoring a graphical representation (RG (t0)) comprising at least the relative position and orientation of the second medical object with respect to the first medical object.

2. A method of locating a second medical object with respect to a first medical object according to the preceding claim, characterized in that the steps (b, b ') of determining a position and an orientation comprise the sub-components. following steps, implemented following an initial acquisition of a color image and a depth image, for a medical object (Oi): - Segmentation (131) of the object in the color image obtained; Selecting (b2) a model view and resetting the selected view on the segmented object in the color image from the depth map data, based on at least one, minimizing criterion of error ; Determination (b3) of the position and the orientation of the medical object recaled in the repository of the acquisition module.

3. A method of locating a second medical object with respect to a first medical object according to claim 2, characterized in that, after obtaining a color image (Ici (tk + 1)) and of a depth map (CPi (tk + 1)) at a next instant (tk), the method comprises, for the first and the second object, a tracking step (e), in the color image and the map of current depth, of the selected and recalibrated view (Vj) of the model (Oi) of the medical object in the color image (Here (tk)) and the depth map CPi (tk + 1) acquired at the moment previous (tk).

4. Method for locating a second medical object with respect to a first medical object according to one of the preceding claims, characterized in that the step of obtaining (a) at least one color image and a depth map is implemented by a first and a second acquisition module (MA1, MA2), the first medical object (01) being placed in the field of the first acquisition module (MA1) and the second medical object (02) being placed in the field of the second acquisition module (MA2), a first color image IC1 (tk) and a first depth map CP1 (tk) is obtained from the first module (MA1) and a second color image (IC2 (tk)) and a second depth map (CP (tk)) is obtained from the second module (MA2), the step (b) of determining a position and an orientation of the first object is implemented from the first color image and the first depth map in u n reference (REF1) of the first acquisition module, the step (b ') of determining a position and an orientation of the second object is implemented from the second color image and the first card depth in a repository (REF2) of the second acquisition module, the method further comprises a step (I) of calibrating the first and second acquisition module in a common repository (REFC) and step (c) determining a relative position and orientation of the second object with respect to the first comprises a change (f1, f2) of a repository of positions and orientations of the first and second objects to a common repository (REFC).

5. A method of locating a second medical object with respect to a first medical object according to claim 4, characterized in that, when the second acquisition module (MA2) is placed in a field of view of the first module of acquisition (MA1), the calibration step (I) comprises a step of determining a position and an orientation of the second module in the repository of the first acquisition module from a first color image and a first depth map acquired at a prior time and a plurality of views of a three dimensional descriptive model of the second acquisition module, said model comprising at least geometrically shaped information and color information.

6. A method of locating a second medical object with respect to a first medical object according to one of the preceding claims, characterized in that the first medical object and the second medical object belong to the group comprising at least: a surgical instrument ; a target region of the patient's body; a C-arm type imager; an ultrasound probe type imager an endoscopic probe type imager, an organ of the patient.

7. A method of locating a second medical object with respect to a first medical object according to claim 2, characterized in that the graphic representation (RG) is superimposed on at least one graphical representation (RGCP) of said minus one color image (IC1, IC2) and said at least one depth map (CP1, CP2) obtained and recaled views of the models of the first and second medical objects.

8. Device (100) for locating a second medical object (02) relative to a first medical object (01), characterized in that, a medical object being represented during a prior step by a plurality of views of a three-dimensional descriptive model comprising at least geometrical information and color information, said device comprises the following units: - obtaining (GET1) at least one acquired color image and a depth map by at least one acquisition module, the first and second objects being placed in the field of said at least one acquisition module; determining (LOCI) a position and an orientation of said first object in a repository of said at least one acquisition module, from the color image, the depth map and geometrically shaped information; of the plurality of views of his descriptive model; determination (LOC2) of a position and an orientation of said second object in a repository of said at least one acquisition module, based on the color image, the depth map and geometrically shaped information; of the plurality of views of his descriptive model; - determination (DET RPOS) of a relative position of the second localized object relative to the first object located from the positions and orientations obtained; - construction and rendering (DISPLAY) of a graphical representation (RG, RGCP) comprising at least the relative position and orientation of the second medical object with respect to the first medical object.

9. System (S1, S2) for assisting the positioning of a second medical object (02) with respect to a first medical object (02), said system comprising at least one acquisition module (MA1, MA2) arranged for acquiring at least one color image (IC1, 1C2) and a depth map (CP1, CP2) of the first and second objects and a screen (4, 4 ') for displaying images acquired by said at least one module, characterized in that it further comprises a device (100) for locating a second medical object with respect to a first medical object according to claim 8.

User terminal (200) comprising a display screen (SCR) and connection means (CRL) at least one acquisition module (MA1, MA2) of at least one color image (IC1, 1C2) and a depth map (CP1, CP2) of a first medical object (01) and a second medical object (02), the first and second objects being placed in the field of said at least one module of acquisition, characterized in that it further comprises a device (100) for locating the second medical object with respect to the first medical object according to claim 8.

11. Computer program (Pg1) comprising instructions for implementing the method of locating a second medical object with respect to a first medical object according to one of claims 1 to 7 when it is executed by a processor .