FR3019727A1 - Procede de localisation d'objets medicaux, dispositif, systeme et programme d'ordinateur associes - Google Patents
Procede de localisation d'objets medicaux, dispositif, systeme et programme d'ordinateur associes Download PDFInfo
- Publication number
- FR3019727A1 FR3019727A1 FR1453360A FR1453360A FR3019727A1 FR 3019727 A1 FR3019727 A1 FR 3019727A1 FR 1453360 A FR1453360 A FR 1453360A FR 1453360 A FR1453360 A FR 1453360A FR 3019727 A1 FR3019727 A1 FR 3019727A1
- Authority
- FR
- France
- Prior art keywords
- medical object
- medical
- acquisition module
- color image
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004590 computer program Methods 0.000 title claims description 7
- 210000000056 organ Anatomy 0.000 claims description 17
- 101100219315 Arabidopsis thaliana CYP83A1 gene Proteins 0.000 claims description 10
- 101100269674 Mus musculus Alyref2 gene Proteins 0.000 claims description 10
- 101100140580 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) REF2 gene Proteins 0.000 claims description 10
- 239000000523 sample Substances 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 102100040299 Guided entry of tail-anchored proteins factor 1 Human genes 0.000 claims description 3
- 101001038390 Homo sapiens Guided entry of tail-anchored proteins factor 1 Proteins 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 239000013256 coordination polymer Substances 0.000 claims 1
- 238000009877 rendering Methods 0.000 claims 1
- 101000806846 Homo sapiens DNA-(apurinic or apyrimidinic site) endonuclease Proteins 0.000 abstract description 18
- 101000835083 Homo sapiens Tissue factor pathway inhibitor 2 Proteins 0.000 abstract description 18
- 102100026134 Tissue factor pathway inhibitor 2 Human genes 0.000 abstract description 18
- 238000012545 processing Methods 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 102100025594 Guided entry of tail-anchored proteins factor CAMLG Human genes 0.000 description 1
- 101000932902 Homo sapiens Guided entry of tail-anchored proteins factor CAMLG Proteins 0.000 description 1
- 238000004164 analytical calibration Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- HPNSNYBUADCFDR-UHFFFAOYSA-N chromafenozide Chemical compound CC1=CC(C)=CC(C(=O)N(NC(=O)C=2C(=C3CCCOC3=CC=2)C)C(C)(C)C)=C1 HPNSNYBUADCFDR-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000002758 humerus Anatomy 0.000 description 1
- 238000002697 interventional radiology Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
L'invention concerne un procédé de localisation d'un deuxième objet médical par rapport un premier objet médical. Ledit procédé est remarquable en ce que, un objet médical (O1, O2) étant représenté au cours d'une étape préalable par une pluralité de vues d'un modèle descriptif (MD1, MD2) en trois dimensions comprenant au moins des informations de forme géométrique et des informations de couleur, il comprend les étapes suivantes : - obtention (a) d'au moins une image de couleur et d'une carte de profondeur acquises par au moins un module d'acquisition, le premier objet et le deuxième objets étant placés dans le champ dudit au moins un module d'acquisition ; - détermination (b) d'une position (RP(tk)) et d'une orientation (RO(tk)) dudit premier objet dans un référentiel (REF1) dudit au moins un module d'acquisition (MA1), à partir de l'image de couleur (IC1(tk)), de la carte de profondeur (CP1(tk)) et des informations de forme géométrique et de couleur de la pluralité de vues (Vj) de son modèle descriptif (MD1, MD2); - détermination (b') d'une position et d'une orientation dudit deuxième objet dans le référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination (c) d'une position (RP(tk)) et d'une orientation (RO(tk)) relatives du deuxième objet par rapport au premier objet à partir des positions et orientations obtenues; - construction et restitution (d) d'une représentation graphique ((RG(tk)) comprenant au moins la position et l'orientation relatives du premier deuxième objet médical par rapport au deuxième premier objet médical.
Description
PROCEDE DE LOCALISATION D'OBJETS MEDICAUX, DISPOSITIF, SYSTEME et PROGRAMME D'ORDINATEUR ASSOCIES 1. Domaine de l'invention Le domaine de l'invention concerne le traitement d'images d'objets médicaux. Plus précisément, l'invention concerne un système et procédé de localisation et de suivi d'objets médicaux destiné à assister un clinicien dans la réalisation d'un acte médical. L'invention trouve notamment une application en chirurgie afin de guider le chirurgien dans le positionnement d'un outil chirurgical ou d'un imageur par rapport à une cible clinique. 2. Etat de la technique Les systèmes de chirurgie assistée par ordinateur offrent la possibilité au chirurgien d'être guidé au cours d'une intervention afin de réaliser son geste chirurgical. Ces systèmes permettent ainsi de sécuriser le geste mais également de gagner en précision. Ces systèmes sont bien souvent composés d'une unité de calcul, d'un écran pour la visualisation d'information et d'un localisateur tridimensionnel (3D). Ces localisateurs, essentiellement optique ou magnétique, permettent de localiser en temps-réel dans un espace tridimensionnel (3D) des objets connus appelés marqueurs. De tels marqueurs peuvent être fixés soit sur des instruments chirurgicaux, soit sur des organes d'intérêt. Une fois calibrée, c'est-à-dire lorsque la position et l'orientation de l'instrument et/ou de l'organe sont connues par rapport à leurs propres marqueurs, il est possible d'extraire la position et l'orientation 3D, par rapport au localisateur, de l'instrument et/ou de l'organe dans l'espace. Les positions et orientations relatives des organes et/ou instruments peuvent être alors déterminées en temps-réel au cours de l'intervention proprement dite.
Ces données de localisation peuvent ainsi être traitées par l'unité de calcul, afin d'extraire toute information nécessaire au clinicien pour la réalisation de son acte, par exemple : la position ou l'angle d'un instrument par rapport à un organe. Ces informations lui sont fournies par l'intermédiaire d'un écran adapté visualisable par le clinicien. Ces systèmes peuvent être utilisés dans le cadre de plusieurs applications 5 cliniques, nous pouvons notamment citer l'orthopédie, la neurochirurgie, la radiologie interventionnelle, ou bien encore, l'oncologie. Ces systèmes de chirurgie assistée par ordinateur ont certes montré leur efficacité dans nombre d'opérations chirurgicales. Cependant, un nombre important d'hôpitaux et de cliniciens et plus généralement la communauté clinique ne les ont 10 pas véritablement acceptés. Ce manque d'engouement résulte de plusieurs insatisfactions : ces systèmes nécessitent, bien souvent, un investissement financier conséquent, principalement dû aux technologies employées par les localisateurs ; 15 l'usage de ces technologies nécessite des étapes chirurgicales additionnelles (fixation des marqueurs sur les objets et/ou organes d'intérêt, calibrage des instruments, etc...) qui peuvent rallonger et complexifier considérablement la procédure chirurgicale. Bien que le bénéfice clinique ait été démontré, pratiquement seuls les 20 cliniques leaders possèdent ces systèmes. 3. Objectifs de l'invention L'invention a donc pour objectif de pallier les inconvénients de l'état de la technique citée ci-dessus. 25 Plus précisément l'invention a pour objectif de proposer une solution localisation d'objets médicaux par traitement d'images permettant d'assister un praticien pour la réalisation d'un acte médical par ordinateur, de façon moins onéreuse. Un autre objectif de l'invention est de proposer une solution d'aide au 30 positionnement d'un objet médical par rapport à un autre objet médical qui soit moins invasive pour le patient.
Encore un autre objectif de l'invention est également de réduire le nombre d'étapes préparatoires à la réalisation d'un l'acte médical, notamment les étapes de calibrage. 4. Exposé de l'invention Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de localisation d'un deuxième objet médical par rapport à un deuxième objet médical. Un tel procédé est particulier en ce que, un dit objet médical étant représenté au cours d'une étape préalable par une pluralité de vues d'un modèle descriptif en trois dimensions comprenant au moins des informations de forme géométrique et des informations de couleur, ledit procédé comprend les étapes suivantes : - obtention d'au moins une image de couleur et d'une carte de profondeur acquises par au moins un module d'acquisition, le premier et le deuxième objet étant placés dans le champ dudit au moins un module d'acquisition ; - détermination d'une position et d'une orientation dudit premier objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif ; - détermination d'une position et d'une orientation dudit deuxième objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination d'une position et d'une orientation relatives du deuxième objet localisé par rapport au premier objet localisé à partir de la position et de l'orientation obtenues; - construction et restitution d'une représentation graphique comprenant au moins la position et l'orientation relatives du deuxième objet médical par rapport au premier objet médical.30 Dans la suite de la description, le terme objet médical est utilisé pour désigner au sens large aussi bien une région cible du corps d'un patient, qu'un instrument médical ou imageur manipulé par un praticien. Plus précisément, on considère deux objets médicaux qu'un praticien doit positionner l'un par rapport à l'autre. Il peut donc s'agir de deux régions ou organes cibles du corps du patient, d'une région cible et d'un instrument médical, d'une région cible et d'un imageur, etc. Avec l'invention, les deux objets médicaux à localiser sont décrits respectivement d'un modèle descriptif en 3D qui comprend à la fois des informations de géométrie et de couleur. Une pluralité de vues a été dérivée de ce modèle et préalablement stockée en mémoire. Avec l'invention les deux objets médicaux sont imagés par au moins un module d'acquisition, lequel est agencé de manière à avoir ces objets médicaux dans son champ de vision et pour fournir des données de couleur et de profondeur de ces objets. Avec l'invention les deux objets médicaux sont localisés par traitement d'images dans le référentiel du module d'acquisition, à partir des données de couleur et de profondeur obtenues et de la pluralité de vues de leur modèle descriptif.
Leur position et orientation relatives sont déduites des localisations obtenues. Elles sont ensuite restituées à l'utilisateur praticien sous la forme d'une représentation graphique adaptée à l'application visée. L'invention s'appuie ainsi sur l'acquisition de données de couleur et de profondeur représentatives de deux objets médicaux d'intérêt et sur des modèles géométriques 3D pour calculer une position et une orientation relative de ces objets basée sur des traitements des données de couleur et de profondeur acquises, sans recourir à des localisateurs et marqueurs coûteux. Les préparatifs à la réalisation de l'acte médical sont donc simplifiés, écourtés et rendus moins invasifs pour le patient. L'acte médical lui-même est de ce fait rendu moins coûteux.
Selon un aspect de l'invention, les étapes de détermination d'une position et d'une orientation comprennent les sous-étapes suivantes, mises en oeuvre suite à une acquisition initiale d'une image de couleur et d'une image de profondeur, pour un dit objet médical : segmentation de l'objet dans l'image de couleur obtenue ; sélection d'une vue du modèle et recalage de la vue sélectionnée sur l'objet segmenté dans l'image de couleur à partir des données de la carte de profondeur, en fonction d'au moins un critère de minimisation d'erreur ; détermination de la position et de l'orientation de l'objet médical recalé dans le référentiel du module d'acquisition. Selon un autre aspect de l'invention, suite à l'obtention d'une image de couleur et d'une carte de profondeur à un instant suivant, le procédé comprend, pour le premier et le deuxième objet, une étape de suivi dans l'image de couleur et la carte de profondeur courantes de la vue sélectionnée et recalée du modèle de l'objet médical dans l'image de couleur et la carte de profondeur courantes acquis à l'instant précédent. Un avantage est que les sous-étapes de segmentation, sélection et recalage ne sont pas répétées systématiquement à chaque nouvelle acquisition. La vue sélectionnée précédemment est d'abord recherchée dans les nouvelles images acquises, ce qui permet de réduire le temps de traitement lorsque les images acquises à deux instants successifs sont suffisamment similaires. Selon un autre aspect de l'invention, l'étape d'obtention d'au moins une image de couleur et d'une carte de profondeur est mise en oeuvre par un premier et un deuxième module d'acquisition, le premier objet médical étant placé dans le champ du premier module d'acquisition et le deuxième objet médical étant placé dans le champ du deuxième module d'acquisition. Une première image de couleur et une première carte de profondeur est obtenue à partir du premier module et une deuxième image de couleur et une deuxième carte de profondeur est obtenue à partir du deuxième module. L'étape de détermination d'une position et d'une orientation du premier objet est mise en oeuvre à partir de la première image de couleur et de la première carte de profondeur dans un référentiel du premier module d'acquisition. L'étape de détermination d'une position et d'une orientation du deuxième objet est mise en oeuvre à partir de la deuxième image de couleur et de la première carte de profondeur dans un référentiel du deuxième module d'acquisition. Le procédé comprend en outre une étape de calibrage du premier et du deuxième module d'acquisition dans un référentiel commun et l'étape de détermination d'une position et d'une orientation relatives du deuxième objet par rapport au premier comprend un changement de référentiel des positions et orientations du premier et du deuxième objet vers le référentiel commun. Un avantage d'utiliser deux modules d'acquisition est de pouvoir les positionner au mieux de façon à optimiser le point de vue de chacun des objets médicaux.
Selon encore un autre aspect de l'invention, lorsque le deuxième module d'acquisition est placé dans un champ de vision du premier module d'acquisition, l'étape de calibrage comprend une sous-étape de détermination d'une position et d'une orientation du deuxième module dans le référentiel du premier module d'acquisition à partir d'une première image de couleur et d'une première carte de profondeur acquises à un instant préalable et d'une pluralité de vues d'un modèle descriptif en trois dimensions du deuxième module d'acquisition, ledit modèle comprenant au moins des informations de forme géométrique et des informations de couleur. Un avantage d'une telle configuration des deux modules d'acquisition est qu'elle permet d'éviter de simplifier l'étape préalable de calibrage. De façon avantageuse, le référentiel commun peut être choisi égal à celui de l'un des deux modules d'acquisition. Selon un autre aspect de l'invention, le premier et le deuxième objet médicaux appartiennent à un groupe comprenant au moins : - un instrument chirurgical ; - une région cible du corps du patient ; - un imageur de type C-arm; - un imageur de type sonde échographique -un imageur de type sonde endoscopique ; - un organe du patient. Avantageusement, les premier et deuxième objets médicaux peuvent être de types variés. Comme déjà évoqué, l'invention permet de localiser un instrument médical par rapport à une cible clinique, telle qu'un organe ou plus généralement une région d'intérêt du corps du patient. Elle permet aussi de localiser un organe du patient par rapport à un autre, par exemple un fémur par rapport à un tibia. Elle peut aussi permettre de positionner un imageur, par exemple un C-arm, une sonde endoscopique ou encore une sonde échographique, par rapport à un organe ou une région d'intérêt du corps du patient.
Selon encore un autre aspect de l'invention, la représentation graphique est restituée en superposition d'au moins une représentation graphique de ladite au moins une image de couleur et de ladite au moins une carte de profondeur obtenues et des vues recalées des modèles descriptifs des premier et deuxième objets médicaux.
De façon avantageuse, la représentation graphique restituée à l'utilisateur praticien s'apparente à une forme de réalité augmentée, selon laquelle les données de positionnement et d'orientation relatives des objets médicaux d'intérêt calculées se superposent aux images réellement acquises. Dans certains cas, une telle représentation enrichie pourrait présenter un intérêt pour l'utilisateur praticien et pourrait faciliter l'accomplissement de son geste médical. Le procédé de localisation selon l'invention qui vient d'être présenté avec ses différents d'aspects peut être mis en oeuvre par un dispositif de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. Un tel dispositif comprend les unités suivantes : - obtention d'au moins une image de couleur et d'une carte de profondeur acquises par au moins un module d'acquisition, le premier et le deuxième objet étant placés dans le champ dudit au moins un module d'acquisition ; - détermination d'une position et d'une orientation dudit premier objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif ; - détermination d'une position et d'une orientation dudit deuxième objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination d'une position relative du deuxième objet localisé par rapport au premier objet localisé à partir des positions et orientations obtenues; - construction et restitution d'une représentation graphique comprenant au moins la position et l'orientation relatives du deuxième objet médical par rapport au premier objet médical. L'invention concerne aussi un système d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical. Un tel système est particulier en ce qu'il comprend au moins un module d'acquisition agencé pour acquérir au moins une image de couleur et une carte de profondeur du premier et du deuxième objets et un écran de visualisation, et en ce qu'il comprend en outre le dispositif de localisation d'un deuxième objet médical par rapport un premier objet médical selon l'invention, qui vient d'être présenté.
L'invention concerne aussi un terminal d'utilisateur comprenant un écran de visualisation et des moyens de connexion au moins un module d'acquisition d'au moins une image de couleur et d'une carte de profondeur d'un premier objet médical et d'un deuxième objet médical, le premier et le deuxième objets étant placés dans le champ dudit au moins un module d'acquisition. Un tel terminal comprend en outre le dispositif de localisation du deuxième objet médical par rapport au premier objet médical selon l'invention, qui vient d'être présenté.
Avantageusement, la représentation graphique produite par le dispositif de localisation selon l'invention est restituée sur l'écran du terminal d'utilisateur. Le terminal d'utilisateur peut aussi être portable. Pendant l'acte médical, il peut être fixé sur un support de telle sorte que l'utilisateur praticien visualise correctement l'écran. Une fois l'acte terminé, l'utilisateur peut l'emporter avec lui pour consulter plus tard des données stockées dans la mémoire du terminal, par exemple les représentations graphiques des objets médicaux localisés. L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en oeuvre des étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical tel que décrit précédemment, lorsque ce programme est exécuté par un processeur. L'invention se rapporte enfin à un support d'enregistrement, lisible par un processeur, intégrés ou non au dispositif de positionnement selon l'invention, éventuellement amovible, mémorisant respectivement un programme d'ordinateur mettant en oeuvre un procédé de localisation selon l'invention, tels que décrits précédemment. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme et lisible par un équipement terminal. Par exemple, les supports peuvent comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (« floppy disc », en anglais) ou un disque dur. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet. 5. Liste des figures D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés parmi lesquels : La figure 1 représente, à titre illustratif et de façon schématique un exemple de configuration d'un système d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical, dans son environnement clinique selon un premier mode de réalisation de l'invention ; La figure 2 illustre de façon schématique, les étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet selon un premier mode de réalisation de l'invention ; La figure 3 présente de façon schématique les premier et deuxième objets médicaux imagés dans un même volume de données de couleur et de profondeur acquis par un premier module d'acquisition selon un premier mode de réalisation de l'invention ; La figure 4 illustre de façon schématique un exemple de modèle de description d'un objet médical mis en oeuvre dans le procédé selon l'invention ; La figure 5 représente, à titre illustratif et de façon schématique un exemple de configuration d'un système d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical selon un deuxième mode de réalisation de l'invention; La figure 6 détaille des étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon le deuxième mode de réalisation de l'invention ; La figure 7 illustre de façon schématique un exemple de configuration des premier et deuxième modules d'acquisition de données de couleur et de profondeur selon un deuxième mode de réalisation de l'invention ; La figure 8 détaille une étape de changement de référentiel mise en oeuvre par le procédé de localisation selon le deuxième mode de réalisation de l'invention ; La figure 9 détaille une étape de localisation d'un premier objet médical et d'un deuxième objet médical du procédé de localisation selon l'invention ; et La figure 10 présente un exemple de structure simplifiée d'un dispositif de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. 6. Description détaillée de l'invention La figure 1 représente un patient 1 installé sur le lit hospitalier 2 et prêt à subir une intervention médicale par le clinicien 3. Dans cet exemple, un système S1 selon l'invention comprend un écran de visualisation 4 porté par un bras mécanique 5 ajustable en position et en orientation. Sur cet écran 4 est fixé un module d'acquisition MA1 d'une image de couleur et d'une carte de profondeur, par exemple une caméra RGB-D 6. Une telle caméra comprend un capteur RGB 61 apte à acquérir l'image de couleur représentative d'une zone située dans le champ de vision de la caméra 6 et un capteur de profondeur 62 apte à acquérir des données de profondeur représentatives de ladite zone. Selon une variante, la caméra 6 pourrait comprendre un unique capteur agencé pour acquérir à la fois les données de couleur et de profondeur. De façon générale, les moyens d'acquisition mis en oeuvre par le système S1 ne se limitent pas à l'exemple d'une caméra de type RGB-D, tout autre module d'acquisition apte à fournir des informations de couleur et de profondeur pouvant être utilisé à la place. Le système S1 comprend en outre une unité de calcul UC qui peut faire partie intégrante de l'écran 4 ou bien être placée dans un module séparé (non représenté). Cette unité de calcul est destinée à mettre en oeuvre des traitements sur les données acquises par le module d'acquisition MA1.30 En relation avec la figure 2, on présente maintenant les étapes d'un procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon un aspect de l'invention. Dans cet exemple, on considère un premier objet médical 01, par exemple une région cible du corps d'un patient, tel qu'un organe ou une partie d'un organe, et un deuxième objet médical 02, par exemple un instrument de chirurgie, tel qu'un scalpel. A titre d'exemple, sur la figure, on a représenté de façon très schématique, 01 comme un os et 02 comme un instrument médical, Dans cet exemple, on considère un système S1 d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical présenté en relation avec la Figure 1. Il ne comprend qu'un seul module d'acquisition MA1 de données de couleur et de profondeur. On suppose donc que les deux objets 01 et 02 sont placés dans le champ du module d'acquisition MA1. Un exemple d'une telle configuration des premier et deuxième objets médicaux 01, 02 vis-à-vis du module d'acquisition MA1 est présenté en relation avec la figure 3. On considère l'acquisition de données par le module MA1 à instant tk, avec k entier supérieur ou égal à zéro. Au cours d'une étape a, on obtient une image de couleur IC1(tk) et une carte de profondeur CP1(tk) des objets 01 et 02 à un instant tk.
Au cours d'étapes b, b', les positions et orientations des objets 01 et 02 sont respectivement déterminées par rapport à un référentiel REF1 du module d'acquisition MA1. Selon l'invention, la localisation d'un objet Oi, avec i entier inférieur ou égal à 1, à partir des données de couleur et de profondeur IC1(tk) et CP1(tk) s'appuie sur un modèle de description MDi de l'objet Oi préalablement défini. Ce modèle comprend des informations de géométrie et de couleur de cet objet et permet de construire une pluralité de vues de l'objet. Ce sont ces vues qui sont recherchées dans le volume de données VCDi(tk). Un exemple simplifié de modèle de description MDi d'un objet médical Oi est présenté en relation avec la Figure 4. Il comprend des données Fi de description de la forme de l'objet, par exemple des données de description géométrique, telles que des coordonnées des sommets d'une figure géométrique, des informations de liens entre ces sommets qui définissent des faces de cette figure. Il comprend aussi des données de couleur Ci (ou de texture) associées à chacune des faces de cet objet. Une description de ce type définit un maillage (« mesh », en anglais). De façon connue, elle peut être représentée sous la forme d'un fichier présentant une extension de type .obj. Dans l'exemple très simple de la figure 4, la forme de l'objet est un pavé dont les côtés sont caractérisés par des informations de couleur. Le modèle MDi comprend son propre référentiel REFm, dans lequel sont exprimées les coordonnées spatiales de points de la forme de l'objet Oi. Ce modèle est préalablement connu par le système S1 grâce, par exemple, à un fichier informatique comportant l'ensemble des données Fi, Ci, et pouvant être chargé dans l'unité de calcul UC du système S1 par le biais, par exemple, d'un port USB accessible. Tout autre protocole de chargement de ces données peut être utilisé dans le cadre de cette invention. Le système S1 peut alors lire le fichier informatique et connaître toutes les informations propres au modèle MDi. Toute autre méthode permettant de connaitre ces différentes informations peut être utilisée dans le cadre de cette invention. Tout autre modèle avec des textures ou bien des formes différentes peuvent également être utilisées.
Par exemple un tel modèle de description MDi est construit à l'aide du module d'acquisition MA1 d'un volume de données de couleur et de profondeur. Par exemple, des données RGB-D de l'objet sont acquises dans différentes poses, puis exploitées pour construire un modèle 3D de forme et de couleur de l'objet médical. A partir de ce modèle, une pluralité de vues synthétiques de l'objet est créée et stockée en mémoire, par exemple dans une base de données. Lorsque l'objet médical considéré est une région cible du corps d'un patient, par exemple un organe, ce modèle peut avantageusement être construit à l'aide des données acquises par un imageur de type Imagerie par Résonance Magnétique (IRM) ou un scanner. Ces imageurs produisent un volume de données comprenant des tranches (« slices », en anglais). L'objet d'intérêt est ensuite segmenté à l'intérieur de ce volume de façon manuelle ou automatique, la segmentation obtenue servant de base à l'élaboration du modèle de description. Une fois que le premier et le deuxième objet 01 et 02 sont localisés dans le référentiel REF1 du module d'acquisition MA1, on calcule au cours d'une étape c une position RP(tk) et une orientation RO(tk) relatives du deuxième objet par rapport au premier. Au cours d'une étape d, on construit une représentation graphique RG(tk) comprenant au moins la position et l'orientation relatives calculées. Par exemple, si les coordonnées utilisées sont des coordonnées polaires, la représentation graphique peut simplement afficher une distance r du deuxième objet à un point du premier objet et une différence d'angle AO entre le premier et le deuxième objet. De façon avantageuse, la représentation graphique RG(tk) peut comprendre en outre une représentation RCP(tk) de l'image de couleur IC1(tk), et des contours des objets 01, 02 localisés. Par exemple, les informations de positionnement relatif du deuxième objet 02 par rapport au premier 01 sont affichées en superposition desdites images. On obtient ainsi une représentation enrichie d'informations visuelles, qui s'apparente à une représentation de type réalité augmentées.
Les étapes qui viennent d'être présentées ont été mises en oeuvre suite à l'obtention d'informations de couleur et de profondeur IC1(tk), CP1(tk) à l'instant tk. Elles sont systématiquement mises en oeuvre lorsque k est égal à zéro, ce qui correspond à une première acquisition d'informations de couleur ou de profondeur.On considère maintenant les données d'une nouvelle acquisition obtenue à l'instant suivant tk+1. Le procédé selon l'invention met en oeuvre des étapes el) et e2) de suivi respectivement des objets 01 et 02 dans l'image de couleur IC1(tk) et la carte de profondeur CP1(tk+1) obtenues. Un tel suivi exploite avantageusement la vue Vj sélectionnée et recalée pour l'objet médical Oi par l'étape b) qui vient d'être décrite pour les données acquises à l'instant tk. Il met ensuite en oeuvre une sous-étape de recalage de la vue précédente à partir des données acquises à l'instant suivant tk +1.
Selon un aspect de l'invention, si le suivi de la vue précédente ne donne pas de résultat satisfaisant selon un critère de minimisation d'erreur, il pourra être décidé de déclencher une nouvelle localisation de l'objet médical considéré. Ceci concerne par exemple le cas d'un objet qui s'est déplacé rapidement entre deux instants d'acquisition successifs. Bien sûr, les étapes c) de détermination d'une position et d'une orientation relatives et d) de construction et de restitution d'une représentation graphique RG sont itérées à l'instant tk+1, suite à l'étape el, e2 de suivi.
En relation avec la figure 5, on présente maintenant un système S2 d'aide au positionnement d'un deuxième objet médical par rapport à un premier selon un deuxième mode de réalisation de l'invention. Ce système comprend un premier module d'acquisition de données de couleur et de profondeur MA1 et un deuxième module d'acquisition de données de couleur et de profondeur MA2. Il s'agit par exemple d'une autre caméra RGB-D, placée et orientée différemment de la première, de façon à acquérir d'autres données de couleur et de profondeur d'une région d'intérêt du patient. A titre d'alternative, l'unité de calcul et l'écran de visualisation en question peuvent être ceux d'un terminal d'utilisateur portable, tel qu'un ordinateur portable (pour « labtop », en anglais) ou une tablette. En relation avec la figure 6, on présente le procédé de localisation selon ce deuxième mode de réalisation de l'invention. Dans cet exemple, on considère un premier objet médical 01, par exemple un instrument de chirurgie, tel qu'un scalpel et un deuxième objet médical 02, par exemple une région cible du corps d'un patient, tel qu'un organe ou une partie d'un organe. A titre d'exemple, on a représenté un os de façon schématique. Dans cet exemple, on considère le système S2 d'aide au positionnement d'un deuxième objet médical par rapport à un premier objet médical présenté en relation avec la Figure 5. A chaque module d'acquisition MA1, MA2 est associé respectivement un référentiel REF1, REF2.
Au cours d'une étape a), on obtient du module d'acquisition MA1 une image de couleur IC1(tk) et une carte de profondeur CP1(tk) de l'objet 01 à un instant tk. Au cours d'une étape a'), on obtient du module d'acquisition MA2 une image de couleur IC2(tk) et une carte de profondeur CP2(tk) de l'objet 02 à un instant tk.
Au cours d'une étape b), l'objet médical 01 est localisé dans le référentiel REF1 du module MA1 à l'aide de l'image IC1(tk) et de la carte CP1(tk) et d'une pluralité de vues du modèle de description MD1 préalablement défini. Cette localisation est exprimée en termes de position sous forme de coordonnées spatiales (xMi, yM1, zM1) et d'orientation (OEM1, prvn, emi) du référentiel REFM1 du modèle MD1 dans le référentiel REF1 du module d'acquisition MA1, comme représenté schématiquement en relation avec la figure 4. Au cours d'une étape b'), l'objet médical 02 est localisé dans l'image de couleur IC2(tk) et la carte de profondeur CP2(tk) et à l'aide d'une pluralité de vue du modèle de description MD2 préalablement défini. Cette localisation est exprimée en termes de position sous forme de coordonnées spatiales (xM2, yM2, zM2) et d'orientation (OEM2, 13m2, 0M2) du référentiel REFM2 du modèle MD2 dans le référentiel REF2 du module d'acquisition MA2. Une fois que le premier et le deuxième objet 01, 02 sont localisés chacun respectivement dans le référentiel REF1, REF2 de leur module d'acquisition MA1, MA2, il est nécessaire, de calculer leur position et leur orientation dans un référentiel commun REFC. Un tel changement de référentiel est mis en oeuvre au cours d'une étape f), qui va maintenant être détaillée en relation avec la figure 8. On considère les deux cas suivants : Selon une première option, en relation avec la figure 7, le deuxième module d'acquisition MA2 est visible dans le champ du premier module d'acquisition MA1. De cette manière, le module MA2 peut être localisé dans le référentiel REF1, qui sert alors de référentiel commun REFC, en utilisant la méthode de localisation de l'invention telle que décrite précédemment en relation avec la figure 3. Une fois que le référentiel REF2 du module MA2 est localisé dans le référentiel REF1 au cours d'une sous-étape f1), la transformation affine Tf à appliquer pour passer du référentiel REF2 au référentiel REF1 est déterminée au cours d'une sous-étape f2) puis appliquée aux coordonnées spatiales et à l'orientation du deuxième objet médical 02 au cours d'une sous-étape f3) ; Selon une deuxième option, le deuxième module d'acquisition MA2 n'est pas visible dans le champ du premier module d'acquisition MA1. Dans ce cas plus complexe, on s'appuie sur une localisation des premier et deuxième modules MA1, MA2 qui est faite au cours d'une étape préalable de calibrage I). Par exemple, cette étape a recours à une mire calibrée de géométrie connue placée de façon à être visible simultanément dans les champs des premier et deuxième modules d'acquisition MA1 et MA2. Une image de la mire en question est segmentée et extraite des données de couleur et de profondeur acquises par chaque module d'acquisition MA1, MA2. Les dimensions des deux images de mire sont mesurées. A partir de ces mesures, il est possible de déduire la disposition spatiale des deux modules d'acquisition. En particulier leur position et leur orientation relatives sont déterminées. Avantageusement, le référentiel commun REFC considéré est un des référentiels des modules d'acquisition MA1, MA2, par exemple REF1. Dans ce cas particulier, la position et l'orientation du module MA2 dans ce référentiel commun REFC=REF1 se déduit directement du résultat précédént au cours d'une sous-étape f'1) et sert à calculer une transformation Tf' du référentiel REF2 vers le référentiel commun REF1 au cours d'une sous-étape f'2), qui est appliquée au deuxième objet médical 02 au cours d'une sous-étape f'3). L'étape c) de détermination d'une position et d'une orientation relatives RP(02,01), R0(02,01) du deuxième objet médical 02 par rapport au premier s'appuie sur les coordonnées spatiales transformées des objets 01 et 02 dans le référentiel commun REF1. Au cours d'une étape d), on construit une représentation graphique RG(tk) comprenant au moins la position relative calculée, de façon similaire à celle décrite en relation avec la figure 2.
Suite à l'obtention de nouvelles données de couleur et de profondeur acquises à un instant suivant tk+1, le procédé met en oeuvre des étapes el) et e2) de suivi des vues sélectionnées et recalées au cours des étapes de localisation des objets 01 et 02 à l'instant précédent tk, comme décrit précédemment pour le premier mode de réalisation de l'invention en relation avec la figure 2. En relation avec la Figure 9, on présente de façon plus détaillée l'étape b) de localisation d'un objet Oi à partir d'une pluralité de vues Vj, avec j entier supérieur à 2, issues du modèle descriptif MDi de cet objet et les données de couleur et de profondeur acquises par un module d'acquisition MAi, selon un premier mode de réalisation de l'invention. Cette étape de localisation comprend les sous-étapes suivantes : Segmentation bl) de l'objet à partir des données de couleur Ici(t0) et de profondeur CPi(t0) : Cette étape vise à extraire les pixels de l'image de couleur qui correspondent à une zone autour de l'objet Oi. Plusieurs méthodes, connues de l'homme de métier peuvent être utilisées. Par exemple, un filtre de détection de régions saillantes peut être appliqué sur l'image de couleur initiale. Une telle technique est par exemple décrite dans l'article de X. Shen et Y. Wu, intitulé «A unified Approach to Salient Object Detection via Low Rank Matric Recovery » et publié dans les proceedings de la conférence IEEE Conference on Computer Vision and Pattern Recognition, en juin 2012, page 853-860. En parallèle, un filtre permettant d'extraire des zones ayant les mêmes couleurs que le modèle Oi dans cette même image initiale peut également être appliqué. La convolution de ces deux images permet d'extraire les zones de présences dans le volume VCDi de l'objet ; Sélection d'une vue du modèle et recalage b2) de la vue sélectionnée sur la zone de l'objet segmenté en fonction d'au moins un critère de minimisation d'erreur. La sélection d'une vue peut être effectuée à l'aide d'un algorithme de type VCSH (pour « Viewpoint Oriented Color-Shape Histogram », en anglais), décrit par exemple dans l'article de W. Wang et al, intitulé « Textured/textureless object recognition and pose estimation using RGB-D images », dans la revue Journal of Real-Time Image Processing, en novembre 2013. Le principe de cet algorithme est d'utiliser un modèle de description d'objet 3D qui comprend des caractéristiques de couleur et de forme géométrique, tel que le modèle MDi précédemment évoqué. A partir de ce modèle de l'objet, un histogramme de couleur et de forme de l'objet est calculé pour une pluralité de vues synthétiques de cet objet. Les histogrammes obtenus sont stockés en mémoire, par exemple dans une base de données. La sélection d'une vue est ensuite réalisée par mise en correspondance des histogrammes stockés en mémoire avec le volume de données segmenté courant, la vue sélectionnée étant celle de l'histogramme le plus proche du volume segmenté selon un critère de minimisation d'erreur. De façon avantageuse, une seconde étape de recalage de la vue sélectionnée peut être réalisée par exemple en utilisant un algorithme ICP (pour « Iterative Closest Point », en anglais) contraint par la texture. Cette technique connue de l'homme de métier, est notamment décrite dans l'article de S. Druon, intitulé «Color Constrained ICP for Registration of Large Unstructured 3D/color Data Sets», publié dans les proceedings de la Conférence IEEE ICIA'06 International Conference on Information Acquisition en 2006. Elle s'appuie sur deux formes géométriques 3D, qui se recouvrent partiellement et consiste à déterminer la transformation rigide à appliquer à l'une des formes 3D pour qu'elle soit parfaitement en correspondance avec l'autre selon un critère de minimisation de distance. Cette étape supplémentaire permet d'augmenter la précision de la localisation de l'objet d'intérêt. Bien sûr, tout autre algorithme permettant de recaler un objet grâce à la texture et la forme peut être utilisé dans le cadre de cette invention ; - Détermination b3) d'une position et d'une orientation de l'objet médical dans un référentiel REF1 du module d'acquisition. Une fois la vue Vj du modèle MDi sélectionnée et recalée, la position (xM, yM, zM) et l'orientation (OEM, 3M, eM) du référentiel REFM du modèle MDi dans le référentiel REFi du module d'acquisition MAi peut être déduite. En ce qui concerne les coordonnées spatiales (xM, YM), elles sont obtenues à partir de la position de la vue recalée dans l'image de couleur ICi(t0). Quant à la coordonnée z, elle est déduite de la carte de profondeur CPi(t0). L'orientation est obtenue à partir de l'angle de vue associé à la vue recalée. En relation avec la Figure 10, on présente maintenant un exemple de structure simplifiée d'un dispositif 100 de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. Dans cet exemple, le dispositif 100 est intégré à un terminal d'utilisateur 200, par exemple une tablette tactile. De façon alternative, il peut être intégré à une unité de calcul UC du système S2 d'aide au positionnement selon l'invention, tel que décrit précédemment en relation avec les figures 1 et 5. Le dispositif 100 met en oeuvre le procédé de localisation selon l'invention qui vient d'être décrit. Par exemple, le dispositif 100 comprend une unité de traitement 110, équipée d'un processeur pt, et pilotée par un programme d'ordinateur Pg 120, stocké dans une mémoire 130 et mettant en oeuvre le procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'invention. A l'initialisation, les instructions de code du programme d'ordinateur Pgi 120 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 110. Le processeur de l'unité de traitement 110 met en oeuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 120. Dans cet exemple de réalisation de l'invention, le dispositif 100 comprend au moins une unité GET1 d'obtention de données de couleur et de profondeur d'un premier objet médical 01 acquises par un premier module d'acquisition MA1, une unité GET2 d'obtention de donnéex de couleur et de profondeur d'un deuxième objet médical 02 acquises par un deuxième module d'acquisition MA2, une unité LOCI de localisation du premier objet 01 dans un référentiel REF1 du premier module d'acquisition MA1, une unité LOC2 de localisation du deuxième objet 02 dans un référentiel REF2 du deuxième module d'acquisition MA2, une unité LOC MA1, MA2 de localisation des modules d'acquisition dans un référentiel commun, par exemple REF1, une unité CHG REF2 de changement de référentiel des coordonnées obtenues dans le référentiel REF2 du module MA2 dans le référentiel REF1, une unité de calcul d'une position RPOS (02, 01) et d'une orientation ROR(02, 01) relatives du deuxième objet par rapport au premier objet, une unité DISPLAY de construction et d'affichage d'une représentation graphique RG comprenant au moins une position et une orientation relatives du deuxième objet par rapport au premier objet et des unités TRACK 01 et TRACK 02 de suivi des objets localisés à un instant précédent dans les données acquises à un instant suivant. Ces unités sont pilotées par le processeur pt de l'unité de traitement 110.
Le dispositif 100 est donc agencé pour coopérer avec les premier et deuxièmes modules d'acquisition MA1, MA2 du système S2 selon l'invention. Par exemple il est relié à ces modules par des moyens de connexion filaire. Dans le cas où il est intégré à un terminal d'utilisateur 200, le dispositif 100 est agencé pour coopérer avec les modules suivants de ce terminal : - un module de connexion CRL à un réseau local LAN, par exemple par des moyens de communication radio courte portée de type Wifi ou des moyens de communication filaires de type éthernet, par l'intermédiaire duquel le terminal 200 reçoit les données de couleur IC1, IC2 et de profondeur CP1, CP2 en provenance des moyens d'acquisition MA1, MA2 ; - un module de stockage STK des modèles de description MDi des objets médicaux 01, 02 à localiser. Dans cet exemple, on a considéré le système S2, décrit en relation avec la figure 5, comprenant deux modules d'acquisition distincts MA1, MA2. Bien sûr, dans le cas du système S1, décrit en relation avec la figure 1 et comprenant un seul module d'acquisition MA1, le dispositif 100 serait simplifié et se limiterait aux unités suivantes : GET1, LOCI, LOC2, TRACK 01, TRACK 02, CAL RPOS(02, 01) ROR(02,01) et DISPLAY.
L'invention qui vient d'être décrite trouve son application dans plusieurs cas d'usage, parmi lesquels on trouve à titre d'exemple : L'aide au positionnement d'un instrument médical par rapport à une région cible du corps d'un patient. Dans ce cas, le premier objet médical est la région cible et le deuxième objet médical est l'instrument médical. Le fait d'obtenir la position et l'orientation relatives de cet instrument médical par rapport à la région cible et de la restituer en temps réel au praticien l'assiste au cours de l'acte médical et l'aide à gagner en temps et en précision.; L'aide au positionnement d'un imageur par rapport à une région cible du corps d'un patient. Dans ce cas, le premier objet médical est toujours la région cible et le deuxième objet médical est l'imageur, par exemple un C-arm ou une sonde endoscopique ou échographique. Il s'agit pour le praticien de positionner au mieux l'imageur par rapport à la région cible à imager. L'assistance à la chirurgie. On considère par exemple une intervention sur une articulation du corps humain, par exemple du bras. Le premier objet médical est un os de type humérus et le deuxième objet médical est un os de type radius. On suppose que cette articulation a subi un traumatisme et que le praticien doit intervenir pour repositionner le deuxième objet par rapport au premier. Le système selon l'invention lui permet d'optimiser son intervention en termes de rapidité, efficacité et précision.
De façon avantageuse, l'information de position et d'orientation relatives peut être associée à la restitution des images de couleur et cartes de profondeur acquises par les modules d'acquisition et à un marquage des contours de objets segmentés dans ces données, de manière à fournir au praticien une représentation enrichie, de type réalité augmentée. Un tel environnement pourrait avantageusement trouver son application dans les spécialités médicales pour lesquelles les informations visuelles peuvent apporter un bénéfice au praticien, comme par exemple, pour la chirurgie de l'épaule ou la neurochirurgie. Bien sûr d'autres exemples d'application de l'invention peuvent être envisagés.
Claims (11)
- REVENDICATIONS1. Procédé de localisation d'un deuxième objet médical (02) par rapport à un premier objet médical (01), ledit procédé étant caractérisé en ce que, undit objet médical étant représenté au cours d'une étape préalable par une pluralité de vues (Vj) d'un modèle descriptif (MD1, MD2) en trois dimensions comprenant au moins des informations de forme géométrique et des informations de couleur, ledit procédé comprend les étapes suivantes : - obtention (a) d'au moins une image de couleur (IC1(t0)) et d'une carte de profondeur (CP1(t0)) acquises par au moins un module d'acquisition (MA1), le premier et le deuxième objet étant placés dans le champ dudit au moins un module d'acquisition ; - détermination (b) d'une position et d'une orientation dudit premier objet dans un référentiel (REF1) dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif ; - détermination (b') d'une position et d'une orientation dudit deuxième objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination d'une position (RPOS(02,01)) et d'une orientation (ROR(02,01)) relatives du deuxième objet localisé par rapport au premier objet localisé à partir des positions et orientations obtenues; - construction et restitution d'une représentation graphique (RG(t0)) comprenant au moins la position et l'orientation relatives du deuxième objet médical par rapport au premier objet médical.
- 2. Procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon la revendication précédente, caractérisé en ce que les étapes (b, b') de détermination d'une position et d'une orientation comprennent les sous-étapes suivantes, mises en oeuvre suite à une acquisition initiale d'une image de couleur et d'une image de profondeur, pour undit objet médical (Oi) : - Segmentation (131) de l'objet dans l'image de couleur obtenue ; Sélection (b2) d'une vue du modèle et recalage de la vue sélectionnée sur l'objet segmenté dans l'image de couleur à partir des données de la carte de profondeur, en fonction d'au moins un, critère de minimisation d'erreur ; Détermination (b3) de la position et de l'orientation de l'objet médical recalé dans le référentiel du module d'acquisition.
- 3. Procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon la revendication 2, caractérisé en ce que, suite à l'obtention d'une image de couleur (Ici(tk+1)) et d'une carte de profondeur (CPi(tk+1)) à un instant suivant (tk), le procédé comprend, pour le premier et le deuxième objet, une étape de suivi (e), dans l'image de couleur et la carte de profondeur courantes, de la vue (Vj) sélectionnée et recalée du modèle (Oi) de l' objet médical dans l'image de couleur (Ici(tk)) et la carte de profondeur CPi(tk+1) acquises à l'instant précédent (tk).
- 4. Procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'une des revendications précédentes, caractérisé en ce que l'étape d'obtention (a) d'au moins une image de couleur et d'une carte de profondeur est mise en oeuvre par un premier et un deuxième module d'acquisition (MA1, MA2), le premier objet médical (01) étant placé dans le champ du premier module d'acquisition (MA1) et le deuxième objet médical (02) étant placé dans le champ du deuxième module d'acquisition (MA2), une première image de couleur IC1(tk) et une première carte de profondeur CP1(tk) est obtenue à partir du premier module (MA1) et une deuxième image de couleur (IC2(tk)) et une deuxième carte de profondeur (CP(tk)) est obtenue à partir du deuxième module (MA2), l'étape (b) de détermination d'une position et d'une orientation du premier objet est mise en oeuvre à partir de la première image de couleur et de la premièrecarte de profondeur dans un référentiel (REF1) du premier module d'acquisition, l'étape (b') de détermination d'une position et d'une orientation du deuxième objet est mise en oeuvre à partir de la deuxième image de couleur et de la première carte de profondeur dans un référentiel (REF2) du deuxième module d'acquisition, le procédé comprend en outre une étape (I) de calibrage du premier et du deuxième module d'acquisition dans un référentiel commun (REFC) et l'étape (c) de détermination d'une position et d'une orientation relatives du deuxième objet par rapport au premier comprend un changement (f1, f2) de référentiel des positions et orientations du premier et du deuxième objet vers un référentiel commun (REFC).
- 5. Procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon la revendication 4, caractérisé en ce que, lorsque le deuxième module d'acquisition (MA2) est placé dans un champ de vision du premier module d'acquisition (MA1), l'étape de calibrage (I) comprend une étape de détermination d'une position et d'une orientation du deuxième module dans le référentiel du premier module d'acquisition à partir d'une première image de couleur et d'une première carte de profondeur acquises à un instant préalable et d'une pluralité de vues d'un modèle descriptif en trois dimensions du deuxième module d'acquisition, ledit modèle comprenant au moins des informations de forme géométrique et des informations de couleur.
- 6. Procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon l'une des revendications précédentes, caractérisé en ce que le premier objet médical et le deuxième objet médical appartiennent au groupe comprenant au moins : - un instrument chirurgical ; - une région cible du corps du patient ; un imageur de type C-arm; - un imageur de type sonde échographique -un imageur de type sonde endoscopique ;- un organe du patient.
- 7. Procédé de localisation d'un deuxième objet médical par rapport à un premier objet médical selon la revendication 2, caractérisé en ce que la représentation graphique (RG) est restituée en superposition d'au moins une représentation graphique (RGCP) de ladite au moins une image de couleur (IC1, IC2) et de ladite au moins une carte de profondeur (CP1, CP2) obtenues et des vues recalées des modèles des premier et deuxième objets médicaux.
- 8. Dispositif (100) de localisation d'un deuxième objet médical (02) par rapport à un premier objet médical (01), caractérisé en ce que, un objet médical étant représenté au cours d'une étape préalable par une pluralité de vues d'un modèle descriptif en trois dimensions comprenant au moins des informations de forme géométrique et des informations de couleur, ledit dispositif comprend les unités suivantes : - obtention (GET1) d'au moins une image de couleur et d'une carte de profondeur acquises par au moins un module d'acquisition, le premier et le deuxième objet étant placés dans le champ dudit au moins un module d'acquisition ; - détermination (LOCI) d'une position et d'une orientation dudit premier objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif ; - détermination (LOC2) d'une position et d'une orientation dudit deuxième objet dans un référentiel dudit au moins un module d'acquisition, à partir de l'image de couleur, de la carte de profondeur et des informations de forme géométrique et de couleur de la pluralité de vues de son modèle descriptif; - détermination (DET RPOS) d'une position relative du deuxième objet localisé par rapport au premier objet localisé à partir des positions et orientations obtenues; - construction et restitution (DISPLAY) d'une représentation graphique (RG, RGCP) comprenant au moins la position et l'orientation relatives du deuxième objet médical par rapport au premier objet médical.
- 9. Système (S1, S2) d'aide au positionnement d'un deuxième objet médical (02) par rapport à un premier objet médical (02), ledit système comprenant au moins un module d'acquisition (MA1, MA2) agencé pour acquérir au moins une image de couleur (IC1, 1C2) et une carte de profondeur (CP1, CP2) du premier et du deuxième objets et un écran (4, 4') de visualisation d'images acquises par ledit au moins un module, caractérisé en ce qu'il comprend en outre un dispositif (100) de localisation d'un deuxième objet médical par rapport un premier objet médical selon la revendication 8.
- 10. Terminal d'utilisateur (200) comprenant un écran de visualisation (SCR) et des moyens de connexion (CRL) au moins un module d'acquisition (MA1, MA2) d'au moins une image de couleur (IC1, 1C2) et d'une carte de profondeur (CP1, CP2) d'un premier objet médical (01) et d'un deuxième objet médical (02), le premier et le deuxième objet étant placés dans le champ dudit au moins un module d'acquisition, caractérisé en ce qu'il comprend en outre un dispositif (100) de localisation du deuxième objet médical par rapport au premier objet médical selon la revendication 8.
- 11. Programme d'ordinateur (Pg1) comprenant des instructions pour la mise en oeuvre du procédé de localisation d'un deuxième objet médical par rapport un premier objet médical selon l'une des revendications 1 à 7 lorsqu'il est exécuté par un processeur.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1453360A FR3019727A1 (fr) | 2014-04-15 | 2014-04-15 | Procede de localisation d'objets medicaux, dispositif, systeme et programme d'ordinateur associes |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1453360A FR3019727A1 (fr) | 2014-04-15 | 2014-04-15 | Procede de localisation d'objets medicaux, dispositif, systeme et programme d'ordinateur associes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3019727A1 true FR3019727A1 (fr) | 2015-10-16 |
Family
ID=51261028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1453360A Withdrawn FR3019727A1 (fr) | 2014-04-15 | 2014-04-15 | Procede de localisation d'objets medicaux, dispositif, systeme et programme d'ordinateur associes |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3019727A1 (fr) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1327421A1 (fr) * | 2001-12-18 | 2003-07-16 | BrainLAB AG | Superposition de données d'imagerie de rayons X ou tomographique et d'images vidéo |
| US20090088897A1 (en) * | 2007-09-30 | 2009-04-02 | Intuitive Surgical, Inc. | Methods and systems for robotic instrument tool tracking |
| US20140031668A1 (en) * | 2010-09-08 | 2014-01-30 | Disruptive Navigational Technologies, Llc | Surgical and Medical Instrument Tracking Using a Depth-Sensing Device |
-
2014
- 2014-04-15 FR FR1453360A patent/FR3019727A1/fr not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1327421A1 (fr) * | 2001-12-18 | 2003-07-16 | BrainLAB AG | Superposition de données d'imagerie de rayons X ou tomographique et d'images vidéo |
| US20090088897A1 (en) * | 2007-09-30 | 2009-04-02 | Intuitive Surgical, Inc. | Methods and systems for robotic instrument tool tracking |
| US20140031668A1 (en) * | 2010-09-08 | 2014-01-30 | Disruptive Navigational Technologies, Llc | Surgical and Medical Instrument Tracking Using a Depth-Sensing Device |
Non-Patent Citations (1)
| Title |
|---|
| MIROTA D J ET AL: "A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery", IEEE TRANSACTIONS ON MEDICAL IMAGING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 31, no. 4, 1 April 2012 (2012-04-01), pages 963 - 976, XP011491075, ISSN: 0278-0062, DOI: 10.1109/TMI.2011.2176500 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12499505B2 (en) | Systems and methods for real-time multiple modality image alignment | |
| Yip et al. | Tissue tracking and registration for image-guided surgery | |
| CN109357633B (zh) | 三维扫描方法、装置、存储介质和处理器 | |
| US20090010507A1 (en) | System and method for generating a 3d model of anatomical structure using a plurality of 2d images | |
| Thompson et al. | Accuracy validation of an image guided laparoscopy system for liver resection | |
| FR2802002A1 (fr) | Procede de recalage automatique d'images tridimensionnelles | |
| FR2914765A1 (fr) | Systeme et procede de navigation d'un objet dans un sujet visualise. | |
| EP2818116B1 (fr) | Système de navigation à ultrasons assistée par ordinateur pour fournir une assistance lors d'opérations diagnostiques et thérapeutiques | |
| WO2000052643A1 (fr) | Dispositif d'observation endoscopique | |
| FR2797978A1 (fr) | Procede de recalage automatique d'images | |
| US20250363648A1 (en) | Real-time noninvasive surgical navigation | |
| EP2961316B1 (fr) | Procede automatique de determination predictive de la position de la peau | |
| CN119074222A (zh) | 一种ct与超声跨模态图像配准方法及装置 | |
| Reichard et al. | Intraoperative on-the-fly organ-mosaicking for laparoscopic surgery | |
| CN118710712A (zh) | 手术器械追踪方法、系统、设备、介质和产品 | |
| WO2018104609A1 (fr) | Procede de suivi de cible dans une sequence d'images medicales, dispositif, equipement terminal et programmes d'ordinateurs associes | |
| CN117152553A (zh) | 图像的标签生成方法、装置和系统、介质和计算设备 | |
| CA2976320C (fr) | Procede, systeme et appareil pour regler des donnees d'image afin de compenser une distorsion induite par modalite | |
| Zenteno et al. | Volumetric monitoring of cutaneous leishmaniasis ulcers: can camera be as accurate as laser scanner? | |
| FR3019727A1 (fr) | Procede de localisation d'objets medicaux, dispositif, systeme et programme d'ordinateur associes | |
| EP3761267A1 (fr) | Procédé et dispositif de détermination de l'amplitude d'un mouvement effectué par un membre d'un corps articulé | |
| WO2016042297A1 (fr) | Ordinateur et procédé mis en œuvre par ordinateur pour supporter la chirurgie laparoscopique | |
| WO2025026230A1 (fr) | Procédé et appareil de suivi, système d'assistance médicale, support et dispositif informatique | |
| Xu et al. | Auto-adjusted 3-D optic disk viewing from low-resolution stereo fundus image | |
| EP3559909A1 (fr) | Procédé et appareil de positionnement de marqueurs dans des images d'une structure anatomique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| CA | Change of address |
Effective date: 20170627 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| ST | Notification of lapse |
Effective date: 20191206 |