WO2026013228A1

WO2026013228A1 - Dispositif et procédé pour la navigation d'un instrument chirurgical dans un organe d'un patient

Info

Publication number: WO2026013228A1
Application number: PCT/EP2025/069840
Authority: WO
Inventors: Mohanad MAHFOUD; Heni CHERNI
Original assignee: Vrai Heart
Current assignee: Vrai Heart
Priority date: 2024-07-11
Filing date: 2025-07-10
Publication date: 2026-01-15
Anticipated expiration: 2027-01-11

Abstract

Dispositif (1) et procédé (40) associé pour la navigation d'un instrument chirurgical dans un organe d'un patient, via la visualisation dans un environnement de réalité virtuelle immersive d'une région d'un modèle géométrique 3D enrichi dudit organe, ladite région étant définie autour d'une position virtuelle courante d'une extrémité dudit instrument chirurgical dans ledit modèle géométrique 3D enrichi dudit organe, ladite position virtuelle courante correspondant à une position réelle courante de localisation de l'extrémité dudit instrument chirurgical dans ledit organe dans un référentiel réel.

Description

DISPOSITIF ET PROCÉDÉ POUR LA NAVIGATION D’UN INSTRUMENT CHIRURGICAL DANS UN ORGANE D’UN PATIENT

DOMAINE DE L’INVENTION

[0001] La présente invention concerne l’application de la réalité virtuelle dans le domaine médical. Plus particulièrement, la présente invention concerne un dispositif et un procédé pour la navigation d’un instrument chirurgical dans un organe d’un patient, via la visualisation en temps réel dans un environnement de réalité virtuelle immersive d’une région d’un modèle géométrique 3D enrichi de l’organe.

ÉTAT DE LA TECHNIQUE

[0002] La navigation d'un instrument chirurgical à l'intérieur d'un organe d’un patient est une opération complexe et délicate qui exige une précision minutieuse et une expertise approfondie du chirurgien/médecin interventionnel, comme par exemple dans le contexte des ablations par cathéter pour traiter des arythmies cardiaques. Pour naviguer l’instrument chirurgical à l'intérieur de l’organe du patient, le chirurgien peut procéder à l’aveugle, ou être guidé par les rayons X et un système de navigation (e.g., électromagnétique 3D), ou souvent naviguer en utilisant une caméra associée à l’instrument chirurgical.

[0003] Néanmoins, ces approches de navigation souffrent d’une faible visibilité de l’organe (e.g., qualité de visualisation très limitée), l’inaccessibilité de certaines zones de l’organe, et d’autres contraintes rendant difficile la localisation précise de l’instrument chirurgical par rapport à l’organe du patient et par suite augmentant les risques chirurgicaux menaçant la santé du patient, limitant l’efficacité de l’intervention. L’inaccessibilité de l’organe ne se limite pas à des contraintes géométriques : certains organes, comme le cœur, sont inaccessibles aux capteurs classiques (e.g., optique, magnétique). De plus, l’utilisation de techniques d’imagerie directe, telles que la fibroscopie, est pratiquement impossible en raison du flux sanguin constant, qui empêche toute visualisation directe de l’intérieur de l’organe. Au-delà de cette visibilité réduite due à la présence de sang, l’introduction d’un fibroscope au niveau du cœur reste une procédure extrêmement invasive, présentant un risque élevé de traumatisme cardiaque. [0004] Le développement de modèles de réalité virtuelle (ci-après abrégé « VR » pour « Virtual Reality » dans sa traduction anglo-saxonne) a permis la création d’environnements virtuels immersifs interactifs dans lesquels la visualisation, la navigation immersive et l’interaction avec les organes du patient sont devenues possibles surtout en comparaison aux hologrammes avec lesquels l’interaction reste limitée. En conséquence, l’immersion du chirurgien dans un environnement de VR dans lequel il peut interagir avec un modèle 3D de l’organe du patient est devenue possible de nos jours.

[0005] Néanmoins, les systèmes de navigation existants ne prennent pas en charge la synchronisation dynamique entre un organe potentiellement en mouvement et son modèle virtuel correspondant, et n’assurent ni une calibration dynamique en temps réel ni un suivi anatomique précis, ni une interaction centrée sur l’instrument chirurgical de navigation.

[0006] Se pose désormais la question de la navigation d’instrument chirurgicaux à l'intérieur d’un organe du patient via l’utilisation environnement de VR, en temps réel pendant l’intervention ou lors de sa simulation dans un environnement reproduisant les conditions réelles, par exemple un cœur pulsatile soumis à des mouvements simulant la respiration. Les systèmes actuels souffrent de certaines limitations liées à la localisation simultanée de l’instrument chirurgical à l'intérieur de l’organe et dans l’environnement de VR et de la résolution spatiale des structures internes de l’organe. Soulever ces défis reste essentiel dans le domaine de la chirurgie, notamment pour améliorer l’intervention chirurgicale en termes d’efficacité temporelle et de précision de manipulation et de ciblage, et rendre la navigation intuitive.

[0007] La présente invention vise à résoudre principalement les défis suivants: premièrement, de surmonter les difficultés liées à la navigation précise de l’instrument chirurgical (e.g., cathéter) dans l’organe du patient ; deuxièmement, de permettre une visualisation dans un environnement de réalité virtuelle immersive en temps réel de l’organe du patient et de la position exacte de l’instrument chirurgical vis-à-vis à l’organe pour une navigation optimale assurant une intervention chirurgicale de haute précision ; troisièmement, traiter des contraintes spécifiques de navigation dans un organe en mouvement (e.g., un cœur battant), notamment l’inaccessibilité directe de l’organe, l’impossibilité d’y fixer des capteurs, et les déformations dynamiques dues aux mouvements physiologiques de l’organe. RÉSUMÉ

[0008] La présente invention concerne un dispositif pour la navigation d’un instrument chirurgical dans un organe d’un patient, via la visualisation dans un environnement de réalité virtuelle immersive d’une région d’un modèle géométrique 3D enrichi dudit organe, ladite région étant définie autour d’une position virtuelle courante d’une extrémité dudit instrument chirurgical dans ledit modèle géométrique 3D enrichi dudit organe, ladite position virtuelle courante correspondant à une position réelle courante de localisation de l’extrémité dudit instrument chirurgical dans ledit organe (i.e., une position réelle courante de localisation de l’extrémité dudit instrument chirurgical dans ledit organe dans un référentiel réel), ledit dispositif comprenant : au moins une interface d’entrée configurée pour recevoir :

• un modèle géométrique 3D de l’organe dudit patient préalablement généré à partir d’au moins un ensemble d’images, ledit modèle géométrique 3D comprenant une pluralité de polygones formant un maillage représentatif d’une structure dudit organe,

• la position réelle courante de localisation de ladite extrémité de l’instrument chirurgical dans ledit organe (i.e., la position réelle courante de localisation de ladite extrémité de l’instrument chirurgical dans ledit organe dans le référentiel réel), ladite position réelle courante de localisation étant obtenue via au moins un capteur de position, au moins un processeur configuré pour :

• calculer une transformation TM/E entre un référentiel associé audit modèle géométrique 3D et un référentiel de l’environnement de réalité virtuelle immersive,

• projeter (e.g., recaler) le modèle géométrique 3D de l’organe dudit patient dans le référentiel de l’environnement de réalité virtuelle immersive en appliquant la transformation TM/E,

• pour chaque polygone du modèle géométrique 3D, associer au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction de sorte à obtenir un modèle géométrique 3D enrichi dudit organe, • calculer une transformation TI/E entre un référentiel de la position réelle courante de localisation (i.e., référentiel réel) et le référentiel de l’environnement de réalité virtuel immersive, et

• projeter (e.g., recaler) ladite position réelle courante de localisation dans le référentiel de l’environnement de réalité virtuel immersive en appliquant la transformation TI/E, de sorte à obtenir la position virtuelle courante de l’extrémité de l’instrument chirurgical dans le référentiel de l’environnement de réalité virtuelle immersive,

• générer (e.g., obtenir) au moins un scénario d’interaction entre ledit modèle géométrique 3D enrichi et la position virtuelle courante de l’extrémité de l’instrument chirurgical dans l’environnement de réalité virtuelle immersive, au moins une interface de sortie configurée pour fournir F au moins un scénario d’interaction entre ledit modèle géométrique 3D enrichi et la position virtuelle courante de l’extrémité de l’instrument chirurgical dans l’environnement de réalité virtuelle immersive, ledit scénario comprenant une vue courante de ladite région dudit modèle géométrique 3D enrichi dudit organe définie autour de ladite position virtuelle courante de l’extrémité dudit instrument chirurgical dans l’environnement de réalité virtuelle immersive.

[0009] De manière avantageuse, la présente invention permet de fournir une aide précieuse à la navigation d’un instrument chirurgical au sein d’un organe d’un patient, par la visualisation, dans un environnement de réalité virtuelle, d’une représentation virtuelle de l’organe et de l’instrument chirurgical. Cette assistance est particulièrement utile aussi bien dans le cadre d’une intervention chirurgicale réelle sur un patient que dans celui d’une simulation opératoire à des fins d’entraînement, laquelle peut être réalisée sur une reproduction physique de l’organe du patient, par exemple au moyen d’une impression 3D. De plus, l’invention concerne un dispositif permettant de générer des scénarios dans un environnement de réalité virtuelle immersive (e.g., une simulation numérique interactive qui recrée un espace tridimensionnel (3D) de manière à ce que les utilisateurs se sentent physiquement présents dans cet environnement virtuel et peuvent interagir avec cet espace comme s'ils étaient réellement dedans, grâce à l'utilisation de divers équipements et technologies). Ces scénarios mettent en scène une représentation particulièrement précise et fidèle de l’organe d’un patient (e.g., le modèle géométrique 3D enrichi) de sorte qu’il est possible à l’utilisateur d’interagir avec la représentation de l’organe (e.g., manipuler l’organe, zoomer sur des structures particulières de l’organe). En outre, ces scénarios intègrent également des données de localisation d’un instrument chirurgical destiné à interagir avec l’organe du patient. Les scénarios ont donc pour fonction de simuler de manière fidèle une interaction réelle (e.g., ayant lieu dans le monde réel, par exemple lors d’une opération chirurgicale) entre l’organe du patient et un instrument chirurgical, dans un environnement de réalité virtuelle immersive.

[0010] La simulation de ces interactions trouve de nombreuses applications, notamment avant la chirurgie, par exemple pour la planification ou l’entrainement, et pendant la chirurgie pour l’assistance à la navigation lors d’opérations chirurgicales.

[0011] Selon l’invention, l’organe du patient (e.g., dans le monde réel) peut être un organe d’un corps du patient (e.g., le cœur), un organe artificiel ou une impression 3D du modèle géométrique 3D enrichi (i.e., modèle géométrique 3D imprimé grâce à une imprimante 3D) dudit organe du patient.

[0012] Avantageusement, le dispositif de l’invention permet une navigation précise et efficace d’un instrument chirurgical dans l'organe du patient pendant une chirurgie ou un entrainement sur un organe artificiel, grâce à la visualisation du modèle géométrique 3D enrichi de l’organe du patient dans l’environnement de réalité virtuelle immersive. Grâce à ce dispositif, il est possible de suivre en temps réel le mouvement de l’instrument chirurgical dans l’organe du patient en visualisant la position virtuelle courante de l’extrémité de l’instrument chirurgical dans le référentiel de l’environnement de réalité virtuelle immersive correspondante à la position réelle courante de localisation de ladite extrémité de l’instrument chirurgical dans l’organe du patient. Il est important de noter que le dispositif permet avantageusement la navigation au sein d’un organe particulier d’un patient, tel que le cœur, durant une intervention chirurgicale (e.g., procédure de cardiologie interventionnelle ou d’ablation par cathéter d’une arythmie), même lorsque celui-ci est soumis à un mouvement pulsatile cyclique. Cela constitue un avantage notable, dans la mesure où, en raison du flux sanguin, aucun guidage visuel par endoscope ou par caméra située à l’extrémité du cathéter n’est possible dans de telles conditions. [0013] Davantage, le scénario d'interaction généré (e.g., obtenu) entre le modèle géométrique 3D enrichi et la position virtuelle courante de l'instrument chirurgical permet aux chirurgiens d'interagir intuitivement avec le modèle géométrique 3D enrichi de l'organe du patient, facilitant ainsi la planification et/ou l'exécution d’une intervention chirurgicale.

[0014] En outre, le modèle géométrique 3D enrichi de l'organe offre une représentation visuelle détaillée de la structure anatomique, ce qui permet aux chirurgiens d'avoir une meilleure compréhension de l'anatomie de l’organe et une visualisation reproductive de la structure réelle de l’organe.

[0015] Par ailleurs, le dispositif selon l’invention permet d’obtenir une vue détaillée de l’anatomie de l’organe via un modèle géométrique 3D enrichi, sans nécessiter de retour visuel direct (par exemple au moyen d’une caméra) depuis l’intérieur de l’organe. En effet, la position de la pointe de l’instrument chirurgical réel est associée en temps réel à une position virtuelle correspondante dans le modèle géométrique 3D enrichi de l’organe.

[0016] Dans un mode de réalisation, ladite position courante de l’instrument chirurgical est obtenue via au moins un capteur configuré pour détecter une variation locale d’un champ électromagnétique dans lequel l’organe est positionné.

[0017] Dans un mode de réalisation, l’au moins une interface d’entrée est en outre configurée pour recevoir une position d’au moins un marqueur fiduciaire localisé sur ledit organe, ladite position étant obtenue via un dispositif de suivi de mouvement, ledit organe présentant une orientation réelle dans un référentiel réel, l’au moins un processeur étant en outre configuré pour : calculer une transformation TF/E entre un référentiel de la position de l’au moins un marqueur fiduciaire et ledit référentiel de l’environnement de réalité virtuelle immersive et enregistrer (e.g., recaler) ladite position de l’au moins un marqueur fiduciaire dans l’environnement de réalité virtuelle immersive (i.e. dans le référentiel de l’environnement de réalité virtuelle immersive), recaler ledit modèle géométrique 3D enrichi par rapport à la position enregistrée (i.e. position recalée) de l’au moins un marqueur fiduciaire de sorte à obtenir un modèle géométrique 3D recalé (i.e. modèle géométrique 3D enrichi recalé), dans lequel le modèle géométrique 3D recalé est positionné dans une orientation virtuelle correspondant à ladite orientation réelle dudit organe dans ledit référentiel réel, mettre à jour F au moins un scénario d’interaction avec le modèle géométrique 3D recalé.

[0018] Dans un mode de réalisation, ledit modèle géométrique 3D est préalablement généré à partir d’au moins un ensemble d’images comportant une pluralité d’images, chaque image dudit ensemble d’images incluant au moins une portion dudit organe du patient. Par exemple, lesdites images ont été capturées pré-opérativement (i.e., avant la chirurgie) avec au moins une modalité d’imagerie.

[0019] Dans un mode de réalisation, ladite région du modèle géométrique 3D enrichi dudit organe correspond à la totalité de l’organe.

[0020] Dans un mode de réalisation, ladite vue courante présente un point d’ origine, ledit point d’origine étant positionné à la position virtuelle courante de l’extrémité de l’instrument chirurgical dans l’environnement de réalité virtuelle immersive (i.e., dans le référentiel de l’environnement de réalité virtuelle immersive). On entend par extrémité (ou “extrémité distale”) de l’instrument chirurgical, la portion terminale dudit instrument chirurgical, configurée pour interagir avec un environnement cible, telle qu’une zone d’un organe ou d’un tissu chez un patient. Dans le cas d’un cathéter, l’extrémité désigne notamment la partie du cathéter conçue pour être insérée dans le corps du patient et/ou pour réaliser une fonction spécifique (e.g., délivrance de médicament, mesure de signal, intervention locale, délivrance de thérapie, application d’énergie physique).

[0021] Autrement dit, le point d’origine peut être assimilé au « point de vue » d’un utilisateur qui observerait la scène virtuelle. Lorsque le point d’origine est positionné à la position virtuelle courante de l’extrémité de l’instrument chirurgical (dans le modèle géométrique 3D enrichi de l’organe), la vue courante correspond alors à une vue d’une portion interne de l’organe (organe réel).

[0022] Dans un mode de réalisation, ladite vue courante présente un point d’ origine, ledit point d’origine étant positionné dans le référentiel de l’environnement de réalité virtuelle immersive, à une position externe audit modèle géométrique 3D enrichi dudit organe. [0023] Dans ce cas de figure, la vue courante correspond à un « point de vue » d’un utilisateur qui observerait l’organe tel que représenté dans la scène virtuelle depuis une position reculée et qui verrait donc l’organe dans son entièreté.

[0024] Dans un mode de réalisation, F au moins une interface de sortie est en outre configurée pour afficher un marqueur représentatif de l’extrémité de l’instrument chirurgical au niveau de ladite position virtuelle courante dans le référentiel de l’environnement de réalité virtuelle immersive.

[0025] Dans un mode de réalisation, F au moins une interface de sortie est en outre configurée pour afficher un marqueur représentatif de l’extrémité de l’instrument chirurgical au niveau de ladite position virtuelle courante dans le référentiel de l’environnement de réalité virtuelle immersive, ledit marqueur représentatif étant une portion tridimensionnelle située à l’extrémité de l’instrument chirurgical.

[0026] Dans un mode de réalisation, ledit dispositif est configuré pour actualiser la vue courante de ladite région du modèle géométrique 3D enrichi dudit organe définie autour de ladite position virtuelle courante de l’extrémité dudit instrument chirurgical dans l’environnement de réalité virtuelle immersive lorsque le dispositif reçoit une nouvelle position réelle courante de localisation de ladite extrémité de l’instrument chirurgical dans ledit organe.

[0027] Avantageusement, ceci permet de suivre en temps réel la progression de l’instrument chirurgical dans l’organe au fil de la navigation.

[0028] Dans un mode de réalisation, F au moins un processeur est en outre configuré pour : recevoir une instruction de navigation comportant une position réelle future de localisation de ladite extrémité de l’instrument chirurgical dans l’organe, calculer une transformation TI/E entre un référentiel de la position réelle future de localisation et ledit référentiel de l’environnement de réalité virtuelle immersive, et enregistrer (e.g., recaler) ladite position réelle future de localisation de l’extrémité de l’instrument chirurgical dans le référentiel de l’environnement de réalité virtuelle immersive pour obtenir une position virtuelle actualisée de l’extrémité de l’instrument chirurgical dans le référentiel de l’environnement de réalité virtuelle immersive, et l'au moins une interface de sortie est en outre configurée pour afficher une vue actualisée d’une région du modèle géométrique 3D enrichi dudit organe définie autour de ladite position virtuelle actualisée de l’extrémité dudit instrument chirurgical dans l’environnement de réalité virtuelle immersive.

[0029] Dans un mode de réalisation, ledit au moins un processeur est en outre configuré pour naviguer l’instrument chirurgical de sorte que l’extrémité dudit instrument chirurgical soit positionnée à ladite position réelle future dans l’organe.

[0030] Dans un mode de réalisation l’au moins un processeur est en outre configuré pour : recevoir des coordonnées d’au moins deux points du modèle géométrique 3D enrichi dudit organe, calculer au moins une dimension caractéristique d’au moins un élément dudit organe à partir desdites coordonnées des au moins deux points, et l'au moins une interface de sortie est en outre configurée pour afficher ladite dimension caractéristique dudit organe dans l’environnement de réalité virtuelle immersive.

[0031] Dans un mode de réalisation, l’au moins une interface de sortie est en outre configurée pour afficher simultanément la vue courante et une vue actualisée dans l’environnement de réalité virtuelle immersive.

[0032] Avantageusement, le chirurgien peut ainsi avoir deux vues simultanément et les comparer entre elles pour planifier la suite de la navigation.

[0033] Dans un mode de réalisation, le dispositif comprend en outre : naviguer l’au moins un instrument chirurgical dans le modèle géométrique 3D imprimé de l’organe; l’au moins un processeur étant configuré en outre pour : enregistrer (e.g., recaler) au moins une position relative de l’au moins un instrument chirurgical par rapport au modèle géométrique 3D imprimé de l’organe; • transmettre la position relative de l’an moins un instrument chirurgical par rapport au modèle 3D imprimé de l’organe à F au moins une interface de sortie ;

F au moins une interface de sortie étant configurée en outre pour afficher en temps réel une vue du modèle géométrique 3D enrichi, la vue du modèle géométrique 3D enrichi correspondant à la position relative de F au moins un instrument chirurgical par rapport au modèle géométrique 3D enrichi imprimé.

[0034] Avantageusement, le modèle géométrique 3D imprimé (e.g., modèle 3D imprimé) de l’organe peut être utilisé pour former un utilisateur (e.g., étudiant, professionnel de santé) à naviguer un instrument chirurgical dans l’organe d’un corps du patient (i.e., organe vivant, par exemple un organe vivant ciblé pendant une intervention chirurgicale), ceci en naviguant un instrument chirurgical dans le modèle géométrique 3D imprimé.

[0035] Dans un mode de réalisation, ledit organe est le cœur.

[0036] Dans le mode de réalisation dans lequel l’organe est le cœur, ledit modèle géométrique 3D de l’organe dudit patient est généré (préalablement) à partir d’au moins un ensemble d’images acquis en synchronisation avec un instant prédéfini d’un signal physiologique du patient, ledit signal physiologique étant un électrocardiogramme, et ledit instant prédéfini correspondant à la fin de diastole. Dans ce mode de réalisation, le dispositif est en outre configuré pour recevoir en temps réel un électrocardiogramme du patient. Ledit au moins un processeur est en outre configuré pour recevoir, à un instant de fin de diastole, la position réelle courante de localisation de ladite extrémité de l’instrument chirurgical dans le référentiel réel, et pour recaler ladite position réelle courante dans le référentiel de l’environnement de réalité virtuelle immersive, en appliquant la transformation TI/E sur la base des informations acquise à cet instant prédéfini dudit signal physiologique (e.g., images de l’organe et position réelle courante de localisation de l’extrémité de l’instrument chirurgical en fin de diastole).

[0037] Dans un mode de réalisation, la réception de la position réelle courante de localisation de l’extrémité de l’instrument chirurgical a lieu en temps réel, par exemple avec une fréquence de réception inférieure à 1 Hz. Dans ce mode de réalisation, le processeur met en œuvre, pour chaque nouvelle position reçue, les étapes consistant à calculer une transformation TM E, recaler le modèle géométrique 3D, associer des caractéristiques de visualisation aux polygones, calculer une transformation TI/E, générer (e.g., obtenir) au moins un scénario d’interaction, et fournir ledit scénario d’interaction. En d'autres termes, ces étapes sont répétées de manière itérative par le processeur, de sorte à permettre un suivi en temps réel de l’instrument chirurgical dans la salle chirurgicale et notamment dans l’organe.

[0038] La présente invention concerne en outre un procédé pour la navigation d’un instrument chirurgical dans un organe d’un patient, via la visualisation dans un environnement de réalité virtuelle immersive d’une région d’un modèle géométrique 3D enrichi dudit organe, ladite région étant définie autour d’une position virtuelle courante d’une extrémité dudit instrument chirurgical dans le modèle géométrique 3D enrichi dudit organe, ladite position virtuelle courante correspondant à une position réelle courante de localisation de l’extrémité dudit instrument chirurgical dans ledit organe, ledit procédé comprenant : recevoir un modèle géométrique 3D de l’organe dudit patient préalablement généré à partir d’au moins un ensemble d’images, ledit modèle géométrique 3D comprenant une pluralité de polygones formant un maillage représentatif d’une structure dudit organe, recevoir la position réelle courante de localisation de ladite extrémité de l’instrument chirurgical dans ledit organe, ladite position réelle courante de localisation étant obtenue via au moins un capteur de position, calculer une transformation TM/E entre un référentiel associé audit modèle géométrique 3D et un référentiel de l’environnement de réalité virtuelle immersive, projeter (e.g., recaler) le modèle géométrique 3D de l’organe dudit patient dans le référentiel de l’environnement de réalité virtuelle immersive en appliquant la transformation TM/E, pour chaque polygone du modèle géométrique 3D, associer au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction de sorte à obtenir un modèle géométrique 3D enrichi dudit organe, calculer une transformation TI/E entre un référentiel de la position réelle courante de localisation (i.e., référentiel réel) et le référentiel de l’environnement de réalité virtuel immersive, projeter (e.g. , recaler) ladite position réelle courante de localisation dans le référentiel de l’environnement de réalité virtuelle immersive en appliquant la transformation TI/E, de sorte à obtenir la position virtuelle courante de l’extrémité de l’instrument chirurgical dans le référentiel de l’environnement de réalité virtuelle immersive, générer (e.g., obtenir) au moins un scénario d’interaction entre le modèle géométrique 3D enrichi et la position virtuelle courante de l’extrémité de l’instrument chirurgical dans l’environnement de réalité virtuelle immersive, fournir F au moins un scénario d’interaction entre le modèle géométrique 3D enrichi et la position virtuelle courante de l’extrémité de l’instrument chirurgical dans l’environnement de réalité virtuelle immersive, ledit scénario comprenant une vue courante de ladite région du modèle géométrique 3D enrichi dudit organe définie autour de ladite position virtuelle courante de l’extrémité dudit instrument chirurgical dans l’environnement de réalité virtuelle immersive.

[0039] La présente invention concerne en outre un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, amènent l'ordinateur à mettre en œuvre le procédé décrit ci-dessus selon l’un quelconque des modes de réalisations.

[0040] La présente invention concerne en outre un support d’enregistrement (non transitoire) lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, permettent de mettre en œuvre le procédé décrit ci-dessus selon l’un quelconque des modes de réalisations.

[0041] Un tel support d’enregistrement non transitoire lisible par ordinateur peut être, sans limitation, un dispositif électronique, magnétique, optique, électromagnétique, infrarouge ou semi-conducteur, ou toute combinaison appropriée de ce qui précède. Il convient de noter que les exemples qui suivent, bien qu'ils soient plus spécifiques, ne constituent qu'une liste illustrative et non exhaustive, facilement appréciée par l’homme du métier : une disquette d'ordinateur portable, un disque dur, une ROM, une EPROM (« Erasable Programmable ROM ») ou une mémoire Flash, un CD-ROM portable (« Compact-Disc ROM »).

DÉFINITIONS

[0042] Dans la présente invention, les termes ci-dessous sont définis de la manière suivante :

[0043] Le terme « processeur » ne doit pas être interprété comme étant limité au matériel informatique (« hardware ») capable d'exécuter un logiciel, et se réfère de manière générale à un dispositif de traitement, qui peut par exemple inclure un ordinateur, un microprocesseur, un circuit intégré ou un dispositif logique programmable (« programmable logic device », PLD). Le processeur peut également englober un ou plusieurs processeurs graphiques (GPU), qu'ils soient exploités pour l'infographie et le traitement d'images ou d'autres fonctions. En outre, les instructions et/ou les données permettant d'exécuter les fonctionnalités associées et/ou résultantes peuvent être stockées sur tout support lisible par le processeur tel que, par exemple, un circuit intégré, un disque dur, un CD (Compact Disc), un disque optique tel qu'un DVD (Digital Versatile Disc), une RAM (« Random- Access Memory ») ou une ROM (« Read-Only Memory »). Les instructions peuvent notamment être stockées dans du matériel informatique, des logiciels, des microprogrammes (« firmware ») ou dans toute combinaison de ceux-ci.

[0044] Les termes « adapté » et « configuré » sont utilisés dans la présente description de manière à englober largement la configuration initiale, l'adaptation ultérieure ou la complémentation du dispositif actuel, ou toute combinaison de ceux-ci, que ce soit par des moyens matériels ou logiciels (y compris le micrologiciel).

[0045] Le terme « environnement de réalité virtuelle immersive » désigne un environnement virtuel généré par ordinateur, dans lequel l'utilisateur est immergé à l’aide de dispositifs techniques permettant une interaction sensorielle et/ou motrice en temps réel avec ledit environnement, de sorte à induire une sensation de présence. L’immersion est généralement assurée par l’utilisation de casques de réalité virtuelle, de capteurs de mouvement, de systèmes audios spatialisés et/ou de dispositifs de retour haptique. [0046] Le terme « scénario d’interaction » désigne une séquence structurée d'événements et/ou d'interactions qui peuvent avoir lieu (c’est-à-dire être simulés) dans l’environnement de réalité virtuelle immersive, et que l’utilisateur pourrait ensuite répéter, ou utiliser comme information, lui permettant de poursuivre l’intervention ou interaction avec l’environnement réel. Un scénario d’interaction peut inclure des séquences interactives guidées, générées en fonction de la position de l'instrument chirurgical et d’une zone anatomique traversée de l’organe du patient, ce qui permet une interaction dynamique et adaptative. Autrement dit, un scénario d’interaction peut comprendre une séquence prédéfinie et structurée des actions et événements qui peuvent se produire, et que l’utilisateur peut vivre ou répéter, au sein de l’environnement de réalité virtuelle immersive. Le scénario d’interaction peut comprendre ce que l’utilisateur doit faire et dans quel ordre : interagir avec des objets, déclencher des réactions, répondre à des évènements spécifiques. Le scénario d’interaction peut comprendre un moment correspondant à chaque action qui doit se produire et les conditions associées. Certaines interactions peuvent dépendre du profil de l’utilisateur ou de son comportement en temps réel. Par exemple, une action prédéfinie et structurée peut constituer un fragment de scénario d'interaction ; une action peut être déclenchée par l’utilisateur (e.g., via un geste de la main de l’utilisateur par exemple en appuyant sur un bouton) ou par le dispositif pour la navigation de la présente invention et peut conduire à une étape suivante de la navigation.

DESCRIPTION DES FIGURES

[0047] La présente invention sera mieux comprise, et d'autres caractéristiques et avantages spécifiques apparaîtront à la lecture de la description suivante de modes de réalisation particuliers et non restrictifs, la description faisant référence aux dessins annexés dans lesquels :

[0048] Figure 1 est un schéma fonctionnel représentant schématiquement un mode particulier d'un dispositif pour la navigation d’un instrument chirurgical dans un organe d’un patient conforme à la présente divulgation ; [0049] Figure 2 est un organigramme montrant les étapes d’un procédé exécuté avec le dispositif de la Figure 1 ;

[0050] Figure 3 représente schématiquement un appareil intégrant les fonctions du dispositif de la Figure 1 ;

[0051] Figure 4 représente schématiquement un exemple d’application du dispositif de la Figure 1, incluant les transformations calculées entre les référentiels de l’instrument chirurgical, du modèle géométrique 3D et du modèle géométrique 3D enrichi dans l’environnement de réalité virtuelle ; et

[0052] Figure 5 représente un mode de réalisation particulier du dispositif de la Figure 1.

[0053] Sur les figures, les dessins ne sont pas à l'échelle et les éléments identiques ou similaires sont désignés par les mêmes références.

DESCRIPTION DÉTAILLÉE

[0054] La présente description illustre les principes de la présente divulgation. Il sera donc apprécié que l’homme du métier soit en mesure de concevoir divers arrangements qui, bien que non explicitement décrits ou montrés ici, incarnent les principes de la divulgation et sont inclus dans sa portée.

[0055] Tous les exemples et le langage conditionnel cités ici sont destinés à des fins éducatives pour aider le lecteur à comprendre les principes de la divulgation et les concepts apportés par l'inventeur pour faire avancer l'état de l’art, et doivent être interprétés comme n'étant pas limités à ces exemples et conditions spécifiquement citées.

[0056] De plus, toutes les déclarations de principes, d'aspects et de modes de réalisation de la divulgation, ainsi que leurs exemples spécifiques, sont destinés à englober leurs équivalents structurels et fonctionnels. En outre, il est prévu que ces équivalents comprennent à la fois les équivalents actuellement connus et les équivalents développés à l'avenir, c'est-à-dire tous les éléments développés qui remplissent la même fonction, indépendamment de leur structure. [0057] Ainsi, par exemple, l'homme du métier comprendra que les schémas de principe présentés ici peuvent représenter des vues conceptuelles de circuits illustratifs mettant en œuvre les principes de la divulgation. De même, il sera apprécié que tous les organigrammes, diagrammes de flux et autres représentent divers processus qui peuvent être essentiellement représentés sur un support lisible par ordinateur et ainsi exécutés par un ordinateur ou un processeur, que cet ordinateur ou ce processeur soit ou non explicitement représenté.

[0058] Les fonctions des divers éléments illustrés sur les figures peuvent être assurées par l'utilisation de matériel informatique dédié ainsi que de matériel informatique capable d'exécuter un logiciel en association avec un logiciel approprié. Lorsqu'elles sont assurées par un processeur, les fonctions peuvent être assurées par un seul processeur dédié, un seul processeur partagé ou une pluralité de processeurs individuels, dont certains peuvent être partagés.

[0059] Il est entendu que les éléments illustrés dans les figures peuvent être mis en œuvre sous diverses formes de matériel informatique, de logiciel ou de combinaisons de ceux- ci. De préférence, ces éléments sont mis en œuvre dans une combinaison de matériel informatique et de logiciel sur un ou plusieurs dispositifs polyvalents programmés de manière appropriée, qui peuvent comprendre un processeur, une mémoire et des interfaces d'entrée/sortie.

[0060] La présente divulgation sera décrite en référence à un mode de réalisation fonctionnel particulier d'un dispositif 1 pour la navigation d’un instrument chirurgical 34 dans un organe 31 d’un patient 32 tel qu'illustré sur la Figure 1 et la Figure 4.

[0061] La navigation d’un instrument chirurgical à l’intérieur d’un organe du patient peut être réalisée en temps réel, soit pendant l’intervention chirurgicale proprement dite sur l’organe 31 réel d’un corps du patient, soit lors d’une simulation/manipulation d’un organe artificiel ou d’une impression 3D du modèle géométrique 3D enrichi 23 de l’organe 31 du patient reproduisant les conditions réelles de l’organe 31 réel du patient.

[0062] Selon l’invention, l’organe 31 peut correspondre au cœur, à un poumon, à un rein, à un vaisseau sanguin, au cerveau, au foie, aux voies biliaires, au colon, à un os (e.g., fémur, clavicule, radius, etc.), à une articulation (e.g., genou, épaule, coude, cheville etc.) etc. L’organe 31 peut être un organe en mouvement (e.g., un cœur battant, poumon, foie). Dans un mode de réalisation, l’organe 31 peut être un organe en mouvement avec des changements cycliques modélisables de forme et de volume ; l’organe 31 peut notamment subir des mouvements cycliques respiratoires.

[0063] Le dispositif 1 est en effet adapté pour la navigation d’un instrument chirurgical 34 dans un organe 31 d’un patient 32, via la visualisation dans un environnement de réalité virtuelle immersive 33 d’une région 39 d’un modèle géométrique 3D enrichi 23 de l’organe 31. Il est à noter que la présente invention peut également être mise en œuvre dans un environnement de réalité virtuelle non immersif, c’est-à-dire dans toute simulation 3D interactive, y compris lorsqu’elle est visualisée sur un simple écran d’ordinateur, sans casque ni dispositif d’immersion. En d’autres termes, un environnement de réalité virtuelle 33 peut être utilisé, ce terme englobant à la fois un environnement de réalité virtuelle non immersif et un environnement de réalité virtuelle immersif.

[0064] Selon l’invention, la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 correspond à un volume défini autour d’une position virtuelle courante 36 d’une extrémité de l’instrument chirurgical 34 dans le modèle géométrique 3D enrichi 23 de l’organe 31. Le modèle géométrique 3D enrichi 23 de l’organe 31 peut comprendre des zones enrichies correspondantes à différents éléments associés à l’organe 31 (e.g., veines pulmonaires ou oreillettes/ventricules pour le cœur). La position virtuelle courante 36 correspond, quant à elle, à la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31 réel (e.g., l’organe du patient ou la réplique d’organe du patient). Autrement dit, la position virtuelle courante 36 se trouve dans le référentiel de l’environnement de réalité virtuelle immersive, tandis que la position réelle courante 22 se trouve dans le référentiel réel Ri; ces deux positions correspondent dans le sens où elles traduisent par une même position relative entre une position de l’instrument chirurgicale et son référentiel associé (e.g., la position virtuelle courante 36 et la position réelle courante 22 peuvent être associées à des coordonnées relatives de valeurs identiques, chacune des deux positions ayant ses cordonnées relatives dans le référentiel qui lui est associé). [0065] Le dispositif 1 comprend au moins une interface d’entrée configurée pour recevoir 11 (via le module 11) : un modèle géométrique 3D 21 de l’organe 31 du patient 32 préalablement généré à partir d’au moins un ensemble d’images, et la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31.

[0066] En outre, le dispositif 1 comprend au moins une interface de sortie configurée pour fournir 18 au moins un scénario d’interaction 50 entre le modèle géométrique 3D enrichi 23 et la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33. Le scénario comprenant une vue courante de la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 définie autour de la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33. Dans un exemple, fournir 18 au moins un scénario d’interaction 50 comprend la génération de la vue courante par projection en perspective (e.g., en utilisant un algorithme de projection en perspective). Avantageusement, ceci permet à l’utilisateur d’avoir une représentation visuelle réaliste et immersive de la région 39 du modèle géométrique 3D enrichi 23, en tenant compte de la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 qui correspond à la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31 réel du patient 32.

[0067] Le dispositif 1 peut être un appareil, ou une partie physique d'un appareil, conçu, configuré et/ou adapté pour exécuter les fonctions mentionnées et produire les effets ou résultats mentionnés. Dans des mises en œuvre alternatives, le dispositif 1 est réalisé sous la forme d'un ensemble d'appareils ou de parties physiques d'appareils, qu'ils soient regroupés dans une même machine ou dans des machines différentes, éventuellement distantes. Le dispositif 1 peut par exemple avoir des fonctions distribuées sur une infrastructure en nuage (« cloud infrastructure ») et être disponibles pour les utilisateurs en tant que service en nuage (« cloud-based service »), ou avoir des fonctions distantes accessibles par le biais d'une API.

[0068] Le dispositif 1 peut être intégré dans un même appareil ou ensemble d'appareils, et destinés aux mêmes utilisateurs. [0069] Dans les divulgations qui suivent, les modules doivent être compris comme des entités fonctionnelles plutôt que comme des composants matériels, physiquement distincts. Ils peuvent donc être matérialisés soit comme regroupés dans un même composant tangible et concret, soit répartis dans plusieurs de ces composants. De même, chacun de ces modules est éventuellement lui-même partagé entre au moins deux composants physiques. En outre, les modules sont mis en œuvre sous forme de matériel, de logiciel, de microprogramme ou sous toute forme mixte de ceux-ci. Ils sont de préférence incorporés dans au moins un processeur du dispositif 1.

[0070] Comme dit précédemment, le dispositif 1 comprend au moins une interface d’entrée configurée pour recevoir 11 (i.e. via un module de réception 11) : un modèle géométrique 3D 21 de l’organe 31 du patient 32 et la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31. Le modèle géométrique 3D 21 et la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 peuvent être stockés dans une ou plusieurs base(s) de données 10 locales ou distantes. Cette dernière peut prendre la forme de ressources de stockage disponibles à partir de tout type de moyens de stockage appropriés, qui peuvent être notamment une RAM ou une EEPROM (« Electrically-Erasable Programmable Read- Only Memory ») comme une mémoire Flash, éventuellement au sein d'un SSD (« Solid- State Disk »). Dans certains modes de réalisation, le modèle géométrique 3D 21 et la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 sont reçus par un réseau de communication.

[0071] En particulier, le modèle géométrique 3D 21 correspond à une représentation mathématique tridimensionnelle de l’organe 31 du patient 32. Dans un mode de réalisation, il est généralement composé d'un ensemble de polygones 38 qui forment un maillage tridimensionnel. Chaque polygone 38 est défini par un ensemble de points appelés sommets, reliés entre eux pour former par exemple des triangles, des quadrilatères, des pentagones etc.

[0072] Le modèle géométrique 3D 21 peut être directement reçu en entrée du dispositif 1 et être préalablement généré par exemple via un autre dispositif, ou alternativement, le dispositif 1 peut comprendre un module supplémentaire de génération du modèle géométrique 3D 21. Dans ce cas, le module supplémentaire de génération du modèle géométrique 3D 21 peut être configuré pour recevoir au moins un ensemble d’images de l’organe 31 du patient 32, capturé via au moins une modalité d’imagerie médicale, sur la base duquel le modèle géométrique 3D 21 peut être généré. L’ensemble d’images de l’organe 31 du patient 32 peut être spécifique au patient 32. L’ensemble d’images de l’organe 31 du patient 32 peut être enrichi par des outils d’intelligence artificielle pour que le modèle géométrique 3D 21 soit une reproduction morphologique précise (e.g., reproduction rapide et annotée) de l’organe 31 du patient 32.

[0073] Par exemple, l’ensemble d’images pour générer le modèle géométrique 3D 21 du patient 32 peut provenir de la tomodensitométrie (CT), de l'échographie 3D (i.e. ultrasons) ou de l'imagerie par résonance magnétique (IRM).

[0074] Dans un mode de réalisation, ledit modèle géométrique 3D 21 de l’organe 31 du patient 32 est préalablement généré à partir d’au moins un ensemble d’images obtenu en synchronisation avec un instant prédéfini d’un signal physiologique du patient 32. Le signal physiologique peut être un électrocardiogramme ou un signal respiratoire (e.g., capnogramme, spirogramme, pléthysmogramme). L’instant prédéfini peut être un instant de fin de diastole ou un instant de fin d’un cycle respiratoire.

[0075] Dans un mode de réalisation, le modèle géométrique 3D 21 du patient 32 peut être généré à partir d’au moins deux modalités d’imagerie différentes, par exemple d’un ensemble d’images provenant d’une première modalité d’imagerie (e.g., CT) et d’un ensemble d’images provenant d’une deuxième modalité d’imagerie (e.g., échographie). Avantageusement, ce mode de réalisation permet d’obtenir un modèle géométrique 3D 21 bénéficiant de différentes résolutions spatiales et ainsi obtenir un modèle géométrique 3D 21 qui combine différentes propriétés structurales et anatomiques rendues accessibles par les différentes modalités d’imagerie. De plus, le modèle géométrique 3D 21 du patient 32 généré, y compris les zones enrichies correspondantes à différents éléments associés à l’organe 31, permettra l’adaptation dynamique des scénarios d’interaction (et d'éventuelles aides de navigation) selon les régions cliniquement pertinentes pour l’intervention chirurgicale.

[0076] Des méthodes de segmentation des portions de l’organe 31 visibles sur les images médicales capturées sur le patient 32 peuvent être appliquées, comme par exemple des méthodes de segmentation par seuillage, ou par agglomération (« clustering » dans sa traduction anglo-saxonne, dont un exemple est le « K-mean clustering ») ou d’autres approches d’apprentissage automatique adaptées (e.g., algorithme d’analyse semi- automatique, système expert). Des méthodes de reconstruction 3D peuvent être ensuite implémentées pour obtenir le modèle géométrique 3D 21, comme par exemple des méthodes d’interpolation des contours, de lissage de surface ou de segmentation volumique. La segmentation et/ou la reconstruction peut se baser sur des données cliniques patient-spécifique.

[0077] Optionnellement, le dispositif 1 peut comprendre un module de prétraitement de(s) l’ensemble(s) d’images utilisé(s) pour générer le modèle géométrique 3D 21. Ce module de pré-traitement peut notamment être adapté pour normaliser les intensités des pixels/voxels de(s) l’image(s) de(s) l’ensemble(s) d’images en vue d'un traitement efficace et fiable. Optionnellement, il peut rééchantillonner l(es)’image(s) dans une résolution spatiale prédéfinie. Ceci peut améliorer l'efficacité du traitement en aval par le module supplémentaire de génération du modèle géométrique 3D 21. Une telle normalisation peut être particulièrement utile lorsque F (es) ensemble(s) d’image(s) pro vient/pro viennent de sources différentes, notamment des modalités d’imageries différentes. Par exemple, l’ensemble(s) d’images peut/peuvent être normalisé(es) en utilisant une normalisation Z-score (« z-score normalisation »), une normalisation par histogramme, une normalisation Min-Max ou une normalisation atlas. Dans un autre exemple, le module de prétraitement peut être adapté pour effectuer un traitement d’images pour rendre visible sur les images des structures anatomiques d’intérêt (e.g., valves cardiaques).

[0078] Dans un mode de réalisation, l’instrument chirurgical 34 peut comprendre un endoscope ou un fibroscope comprenant une gaine dans laquelle est inséré un cathéter permettant de guider au moins un outil, tel que, par exemple, une caméra de visualisation, une lumière, un stent, une aiguille de biopsie, ou tout autre dispositif similaire. Autrement dit, l’instrument chirurgical 34 peut comprendre une gaine dans laquelle est inséré un cathéter permettant de guider au moins un outil tel que par exemple une caméra de visualisation, une lumière, un stent, une aiguille de biopsie etc. [0079] L’instrument chirurgical 34 est détectable et conçu pour être inséré par voie vasculaire, cette dernière pouvant elle-même être modélisée dans un environnement de réalité virtuelle afin d’améliorer la visualisation et la planification de l’intervention. L’instrument chirurgical 34 peut être configuré pour effectuer des mouvements complexes, incluant des avancées, des retraits ainsi que des rotations précises lors de la navigation. En outre, il peut être conçu pour être soumis à des mouvements périodiques liés à la déformation de l’organe 31 du patient 32, par exemple dans le cas du cœur, lui- même affecté par les mouvements respiratoires. L’instrument chirurgical 34 peut comprendre, à son extrémité, une ou plusieurs électrodes permettant de capter un signal électrique caractérisable à chaque contact entre l’électrode et l’organe 31 du patient 32. Avantageusement, cela permet une navigation précise et adaptative, tenant compte des dynamiques physiologiques du patient.

[0080] Dans un mode de réalisation dans lequel l’organe est le cœur, l’instrument chirurgical 34 est un cathéter utilisé en chirurgie cardiaque (ou en cardiologie interventionnelle), constitué d’un tube fin, souple et stérile, introduit dans les vaisseaux sanguins du patient afin d’atteindre et de traiter des structures internes du cœur sans nécessiter l’ouverture du thorax. Ce type de cathéter peut comprendre, à son extrémité insérée dans le cœur, un ou plusieurs capteurs de mesure, tels qu’un capteur de pression dans les cavités cardiaques, un capteur de débit, un capteur ECG intracardiaque, ou un capteur d’impédance. Il peut également comprendre un capteur de position permettant le suivi en temps réel de la pointe de l’instrument au moyen de systèmes de navigation, par exemple électromagnétiques. En outre, l’instrument chirurgical 34 peut comprendre un ou plusieurs outils d’intervention, tels qu’une électrode d’ablation, une aiguille de biopsie ou de ponction, ou tout autre dispositif similaire.

[0081] La position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 peut être obtenue via au moins un capteur de position 37. Le capteur de position 37 peut être par exemple un capteur magnétique, électromagnétique, optique, ou à ultrasons.

[0082] Le capteur de position 37 peut être positionné sur l’instrument chirurgical 34 notamment sur la gaine décrite ci-dessus ; dans un exemple à une extrémité distale de la gaine (e.g., selon l’invention l’extrémité distale se définit par rapport au chirurgien comme l’extrémité la plus éloignée de ce dernier). Dans un autre exemple, le capteur de position 37 est placé sur une extrémité du cathéter (voir Figure 4). Dans un exemple, la position réelle de localisation de l'instrument chirurgicale 22 est mesurée par un capteur électromagnétique intégré dans l'instrument chirurgicale. Avantageusement, le capteur de position 37 fonctionne sans nécessiter de contact direct avec l'organe 31 du patient 32, qui reste non- visualisable avec une caméra et inaccessible au suivi direct.

[0083] La position (réelle ou virtuelle) courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 peut par exemple être définie par un ensemble de coordonnées cartésiennes (x, y, z) et/ou un ensemble de coordonnées angulaires (0_X, 0_y, 0_Z) dans l’espace.

[0084] Dans un mode de réalisation, la position réelle courante 22 de localisation peut être obtenue via au moins un capteur de localisation 37 (i.e. capteur de position 37) configuré pour détecter une variation locale d’un champ électromagnétique dans lequel l’organe 31 est positionné. Le capteur de localisation 37 configuré pour détecter une variation locale d’un champ électromagnétique (i.e. capteur de localisation électromagnétique ou capteur de localisation EM) peut être placé dans un champ électromagnétique généré par un émetteur ou une source externe. Lorsque l’instrument chirurgical 34 se déplace, ceci perturbe le champ électromagnétique autour du capteur de localisation 37 EM. Le capteur de localisation 37 EM peut capturer, sous forme de données de variation du champ électromagnétique, cette perturbation ou variation locale du champ électromagnétique. Ensuite, les données de variation du champ électromagnétique peuvent être traitées par un système de traitement de données pour obtenir la position réelle courante 22 de localisation.

[0085] L’environnement de réalité virtuelle immersive 33 et ses paramètres peuvent être définis préalablement et reçu en entrée par le module 11. Alternativement, le dispositif 1 peut comprendre un module supplémentaire de définition de l’environnement de réalité virtuelle immersive 33 et ses paramètres. Typiquement, les paramètres de l’environnement de réalité virtuelle immersive 33 et ses paramètres comprennent la définition d’un référentiel RE de l’environnement de réalité virtuelle immersive 33 (e.g., positionnement de l’origine et des axes de référence), des limites de l’environnement (frontières pour éviter que l’utilisateur ne dépasse les zones prévues), une échelle, des propriétés visuelles (lumière ambiante, sources de lumière, fond) et sonores (ambiance sonore, sources sonores), des propriétés physiques (gravité) etc.

[0086] Le dispositif 1 comprend au moins un processeur adapté pour effectuer différentes opérations comme des calculs, des transformations et des projections (e.g., recalages). Dans ce qui suit, l’au moins un processeur sera présenté en modules de sorte que chaque opération soit attribuée à un module en particulier. Les fonctions attribuées pour chaque module ne limitent pas la fonctionnalité de l’au moins un processeur qui peut être adapté à effectuer d’autres fonctions que celles spécifiées dans les modules présentés.

[0087] Le dispositif 1 comprend en outre un module 12 pour calculer une transformation TM/E entre un référentiel RM associé au modèle géométrique 3D 21 et le référentiel RE de l’environnement de réalité virtuelle immersive 33 (voir Figure 4). Par référentiel, il est entendu un système de coordonnées définissant la position et l’orientation dans l’espace d’un objet. Autrement dit, le modèle géométrique 3D 21 présente un premier jeu de coordonnées définissant sa position et son orientation dans le référentiel RM associé audit modèle géométrique 3D 21 ; et le modèle géométrique 3D 21 présente un second jeu de coordonnées définissant sa position et son orientation dans le référentiel RE de l’environnement de réalité virtuelle immersive 33. Le premier jeu de coordonnées est en principe différent du second de coordonnées. La transformation TM/E permet de convertir les coordonnées d’un référentiel à un autre, par exemple de convertir le premier jeu de coordonnées du modèle géométrique 3D 21 dans le référentiel RM vers le second jeu de coordonnées du modèle géométrique 3D 21 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33. Typiquement, la transformation TM/E se présente sous la forme d’une matrice de transformation homogène 4x4. Cette matrice inclut des informations sur la rotation et la translation nécessaires pour passer du référentiel RM du modèle géométrique 3D 21 au référentiel RE de l’environnement de réalité virtuelle immersive 33.

[0088] Le dispositif 1 comprend en outre un module 13 configuré pour projeter (e.g., recaler) le modèle géométrique 3D 21 dudit patient 32 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 RE en appliquant la transformation TM/E. Ainsi, le modèle géométrique 3D 21 peut être positionné dans l’environnement de réalité virtuelle immersive 33 en vue de visualiser le modèle géométrique 3D 21 dans l’environnement de réalité virtuelle immersive 33.

[0089] Le dispositif 1 comprend en outre un module 14 pour associer au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction au modèle géométrique 3D 21 de sorte à obtenir un modèle géométrique 3D enrichi 23 de l’organe 31, ceci pour chaque polygone 38 du modèle géométrique 3D 21.

[0090] Par exemple, une caractéristique de visualisation (e.g., propriétés de surface influencent comment les polygones 38 interagissent avec la lumière et l'environnement qui l’entoure) peut être au moins l’une des caractéristiques suivantes : une couleur, une transparence, une spécularité, une émissivité, une texture (e.g., rugosité, vascularisation, granularité), un matériau.

[0091] Une caractéristique d’interaction (e.g., définissant comment les utilisateurs peuvent interagir avec les polygones 38 dans l’environnement de réalité virtuelle immersive 33) peut être au moins l’une des caractéristiques suivantes : une masse (ou un poids), une caractéristique de sélection (pour sélectionner certains polygones), une caractéristique pour simuler une coupe (e.g., visualiser une coupe chirurgicale selon une direction/orientation spécifique). En outre, une caractéristique d’interaction peut permettre de faire tourner, pivoter, translater, redimensionner et/ou modifier le modèle géométrique 3D enrichi 23 de l’organe 31.

[0092] Une caractéristique d’interaction peut être associée à une zone anatomique spécifique. Par exemple, si des polygones 38 sont associés à une veine pulmonaire ou à un isthme, des scénarios d’interaction spécifiques peuvent être générés/activés.

[0093] Additionnellement, les polygones 38 peuvent être annotés en utilisant des métadonnées générées ou reçues en entrée par le dispositif 1. Par exemple, du texte ou des symboles fournissant des informations contextuelles peuvent être attachés aux polygones 38.

[0094] L’association d’au moins une caractéristique d’interaction au modèle géométrique 3D 21 peut être déclenché de façon automatique dans un scénario clinique guidé en fonction de la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 ou d’une étape chirurgicale atteinte. [0095] Les caractéristiques d’interaction associées au modèle géométrique 3D 21 peuvent être utilisées pendant l’exécution d’un scénario d’interaction 50 entre ledit modèle géométrique 3D enrichi 23 et la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical, comme décrit ci-dessous.

[0096] Le dispositif 1 comprend en outre un module 15 pour calculer une transformation TI/E entre un référentiel Ri de l’instrument chirurgical 34 et le référentiel RE de l’environnement de réalité virtuelle immersive 33. Autrement dit, la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 présente un premier jeu de coordonnées définissant sa position et son orientation dans le référentiel Ri associé à l’instrument chirurgical 34; et la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 présente un second jeu de coordonnées définissant sa position et son orientation dans le référentiel RE de l’environnement de réalité virtuelle immersive 33. La transformation TI/E permet de convertir les coordonnées (e.g., premier jeu de coordonnées) de la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31 dans le référentiel Ri de l’instrument chirurgical 34 en des coordonnées (e.g., second jeu de coordonnées) de localisation de l’extrémité de l’instrument chirurgical 34 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33. Pour faciliter la compréhension de la présente description, les coordonnées de localisation de l’extrémité de l’instrument chirurgical 34 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 sont appelées « position virtuelle courante 36 ».

[0097] Le dispositif 1 comprend en outre un module 16 pour projeter (e.g., recaler) la position réelle courante 22 de localisation dans l’environnement de réalité virtuelle immersive 33 en appliquant la transformation TI/E, de sorte à obtenir la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33. Ainsi, une correspondance est établie entre la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33 et la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans la réalité. Ceci peut être avantageux pour visualiser par exemple la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33 en même temps que le modèle géométrique 3D enrichi 23 de l’organe 31. Dans certains cas, il peut être avantageux au chirurgien de visualiser en temps réel la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 par rapport au modèle géométrique 3D enrichi 23 pour placer l’instrument chirurgical 34 à un endroit précis et effectuer un acte chirurgical. Le recalage de la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 peut comprendre une portion tridimensionnelle (e.g., entre 0,5 et 3 cm) située à l’extrémité de l’instrument chirurgical 34 permettant une meilleure visualisation dans l’environnement de réalité virtuelle immersive 33 de la position et de l’orientation de la portion distale de l’instrument chirurgical 34 vis-à-vis de l’organe 31 du patient 32. Par exemple, dans le cas d'un cathéter utilisé pour des interventions cardiaques, ce recalage de la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 permettrait aux cardiologues de voir en temps réel la position et l’orientation de la portion distale exacte de l'extrémité du cathéter à l'intérieur du cœur du patient. Cela est particulièrement utile pour naviguer dans les cavités cardiaques et les vaisseaux sanguins, où la précision et la flexibilité du cathéter sont cruciales pour atteindre des zones spécifiques, comme les valves cardiaques ou les artères coronaires. Grâce à cette visualisation améliorée, les cardiologues peuvent ajuster avec précision la position et l'angle du cathéter, réduisant ainsi les risques de dommages aux tissus cardiaques et améliorant la précision de l'intervention, comme lors d'une angioplastie ou d'une ablation par cathéter.

[0098] Dans un mode de réalisation, le module 16 permet de recaler la position réelle courante 22 dans le référentiel RE de l’environnement de réalité virtuelle immersive en appliquant la transformation TI/E sur la base d’un instant prédéfini (e.g., instant T0 de fin de diastole, instant de fin d’un cycle respiratoire) d’un signal physiologique (e.g., électrocardiogramme, capnogramme, pléthysmogramme, spirogramme).

[0099] Dans un exemple, l’organe 31 du patient 32 est le cœur du patient, et l’instant prédéfini est le moment T0, qui indique la fin d’une diastole. Ce moment T0 peut être défini en synchronisation avec le moment d’acquisition de l’ensemble d’images utilisées pour générer le modèle géométrique 3D 21 de l’organe 31. Par exemple, chaque image de l’ensemble d’images peut avoir été acquise à un même moment (notamment à T0) ou en synchronisation avec un électrocardiogramme (ECG) du patient, par exemple au point de 70% du cycle cardiaque. L’instant prédéfini est peut-être défini selon le cycle respiratoire du patient 32, par exemple en fin d'inspiration. L’instant prédéfini peut être défini par exemple par un médecin, notamment un radiologue, un cardiologue ou un rythmologue.

[0100] Dans un mode de réalisation, le module 16 permet de recaler la position réelle courante 22 sur la base d’un ou plusieurs instants prédéfinis de signaux physiologiques différents (e.g., un ECG et un pléthysmogramme).

[0101] Le dispositif 1 comprend en outre un module 17 pour générer (e.g., obtenir) au moins un scénario d’interaction 50 entre le modèle géométrique 3D enrichi 23 et la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33. L’obtention d’un scénario d’interaction 50 peut être générer ou déclenché une fois qu’une zone anatomique est atteinte (e.g., arrivée en proximité de l’orifice de l’auricule gauche, arrivée en proximité d’ostia du sinus coronaires) ce qui permet d’assister dynamiquement le geste de l’utilisateur (e.g., rythmologue) durant l’intervention. Selon l’invention, un scénario d’interaction 50 comprend une séquence structurée d'événements (e.g., d’étapes) et/ou d'interactions qui peuvent avoir lieu (c’est-à-dire être simulés) dans l’environnement de réalité virtuelle immersive 33, et que l’utilisateur pourrait ensuite répéter, ou utiliser comme information, lui permettant de poursuivre l’intervention. Un scénario d’interaction 50 peut inclure des séquences interactives guidées, générées en fonction de la position de l'instrument chirurgical et d’une zone anatomique traversée de l’organe 31 du patient 32, ce qui permet une interaction dynamique et adaptative.

[0102] Dans un mode de réalisation, un scénario d’interaction 50 peut être obtenu sur la base de règles prédéfinies. Dans un exemple, lorsqu’un utilisateur explore le modèle géométrique 3D enrichi 23 et fixe une zone cible (e.g., la valve mitrale du cœur), une règle prédéfinie peut déclencher automatiquement un scénario d’interaction comprenant un zoom sur la zone cible (e.g., première action du scénario d’interaction) suivi de l’affichage d’une fenêtre d'information comprenant des données anatomiques et cliniques relatives à la zone cible (e.g., deuxième action du scénario d’interaction). Dans un autre exemple, un scénario d’interaction 50 (par exemple pour l’entrainement à la navigation) peut comprendre l’affichage dans l’environnement de réalité virtuelle immersive d’une consigne invitant l’utilisateur à repérer une anomalie (e.g., première action du scénario d’interaction) ; si l’utilisateur identifie correctement l’anomalie, une règle prédéfinie valide l’action de l’utilisateur (e.g., deuxième action du scénario d’interaction) et affiche une explication médicale contextuelle (e.g., troisième action du scénario d’interaction).

[0103] Dans un exemple où l’organe c’est le cœur et une zone anatomique comprend une veine pulmonaire, un scénario d’interaction 50 peut concerner l’exploration d’une région du cœur en proximité de la veine pulmonaire, comprenant une suite d’actions configurées pour permettre un affichage d’une surbrillance colorée autour d’une région du modèle géométrique 3D enrichi 23, l’émission d’un alerte en cas de proximité à une zone critique prédéfini, et une visualisation d’une zone de sécurité pour éviter des lésions involontaires. Pour mettre en œuvre ce scénario d’interaction 50 des caractéristiques d’interaction sont définies en relation avec le modèle géométrique 3D enrichi 23, comme par exemple un affichage d’une surbrillance colorée autour de l’ostium (e.g., pour les polygones correspondant à l’ostium dans le modèle géométrique 3D enrichi), une alerte visuelle ou sonore déclenchée en cas de proximité à la zone critique (e.g., pour les polygones correspondant à la zone critique dans le modèle géométrique 3D enrichi), une visualisation d’une zone de sécurité pour éviter des lésions involontaires (e.g., pour les polygones correspondant à la zone de sécurité dans le modèle géométrique 3D enrichi). Dans un exemple où la zone anatomique correspond à l’oreillette gauche, une caractéristique d’interaction peut être : un élément de guidage visuel vers les veines pulmonaires (e.g., une flèche ou un halo lumineux) lors de l’approche d’une veine ciblée pour l’ablation, un repère spatial temporaire ancré à une position donnée pour y revenir facilement si besoin.

[0104] Par exemple, un scénario d’interaction peut comprendre une interaction d’analyse conjointe des propriétés d’un signal électrique local provenant d’une zone anatomique spécifique de l’organe réel du patient (telles que la durée, l’amplitude, la morphologie, la fragmentation et le temps d’activation), en les référant à une référence électrophysiologique (par exemple un ECG de surface ou un signal intracardiaque). [0105] Par exemple, un scénario d’interaction 50 peut comprendre une suite d’étapes permettant la navigation précise de l’instrument chirurgical vers une zone prédéfinie de l’organe 31 du patient 32, visualisée dans l’environnement de réalité virtuelle immersive via le modèle géométrique 3D enrichi. Une étape du scénario d’interaction 50 peut comprendre un retour visuel/sonore/haptique à l’utilisateur en temps réel pour valider l’efficacité de l’intervention ; une fois l’utilisateur a reçu ce retour, il peut par exemple stimuler la zone cible dans l’environnement réel.

[0106] Par exemple, un scénario d’interaction 50 peut comprendre une étape de basculement, suite à la réception d’une instruction de navigation, entre une vue de l’intérieur et une vue de l’extérieur du modèle géométrique 3D enrichi 23 de l’organe 31 du patient 32. L’instruction de navigation peut être une commande vocale. Ce scénario d’interaction 50 peut par exemple être obtenu à la suite de la réception d’une commande vocale ce qui permet avantageusement à l’utilisateur de naviguer avec aisance dans l’organe 31 sans avoir à utiliser ses mains pour déclencher une instruction de navigation (e.g., changement de vue, validation d’une zone cible).

[0107] Un scénario d’interaction peut comprendre une étape d'annotation de zone(s) de lésion sur le modèle géométrique 3D enrichi en temps réel ; sur la base de ces annotations l’utilisateur peut déclenchant des ablations précises dans l’organe 31 réel du patient. Avantageusement, l’annotation de zones de lésion facilite ainsi une planification et une exécution plus précises de l’intervention chirurgicale (e.g., mémorisation de sites d’application de traitement).

[0108] Avantageusement, ces scénarios permettent aux utilisateurs de s'immerger dans des simulations interactives où ils peuvent explorer, interagir et apprendre de manière sécurisée et contrôlée. Plusieurs scénarios peuvent êtres générés durant une même intervention chirurgicale.

[0109] Par exemple, un scenario d’interaction peut être avantageux pour simuler une procédure chirurgicale dans un but de formation d’un professionnel, pour une planification chirurgicale, ou pour optimiser l’emploi de l’instrument chirurgical 34. Un scénario d’interaction peut être utilisé de manière avantageuse pendant l’opération sur un patient afin de guider le geste de l’utilisateur en temps réel.

[0110] Un scénario d'interaction peut-être un scénario d’exploration, de ciblage et/ou de validation. Par exemple, un scénario d'exploration peut permettre au médecin de naviguer et d'examiner l’organe 31 du patient 32 en détail. Un scénario de ciblage peut se concentrer sur une zone spécifique de l’organe 31 du patient 32, comme l'isthme cavotricuspide ou la zone antrale des veines pulmonaires. Tandis qu'un scénario de validation peut être utilisé pour évaluer la force de contact de l'instrument chirurgical ; dans un exemple la force de contact est représenté sur le modèle géométrique 3D enrichi. Un scénario d'interaction peut être contextualisé en fonction de l’organe 31 du patient 32 et de la position réelle/virtuelle courante de l’extrémité de l’instrument chirurgical.

[OU I] Dans un mode de réalisation, l’utilisateur sélectionne le type de scénario d’interaction à générer.

[0112] Le dispositif 1 comprend en outre un module 18 (i.e., interface de sortie) pour fournir F au moins un scénario d’interaction 50 entre le modèle géométrique 3D enrichi 23 et la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33. Le scénario d’interaction 50 peut comprendre une vue courante de la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 définie autour de la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33.

[0113] Selon les besoins de l’utilisateur, la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 qui est affichée dans le scénario peut varier. L’utilisateur peut également alterner entre différentes vues ou afficher simultanément plusieurs vues (e.g., une première vue dans la scène virtuelle et une seconde vue dans une fenêtre flottante affichée dans la scène virtuelle). Par exemple, la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 peut correspondre à la totalité de l’organe 31. Ceci peut être par exemple utile pour un chirurgien intéressé par une vue globale de tout l’organe 31 avec laquelle il peut interagir (e.g., tourner). [0114] Alternativement, la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 peut correspondre à une partie externe ou interne de l’organe 31. Par exemple, le chirurgien peut être intéressé par la visualisation du détail d’une région 39 spécifique de l’organe 31, comme par exemple une zone potentielle où la chirurgie peut avoir lieu ou une zone contenant un élément d’intérêt de l’organe 31 (tumeur, vaisseau sanguin etc.).

[0115] Dans certains cas, notamment dans le cas où il est intéressant d’observer/anticiper la progression de l’outil chirurgical 34 dans/jusqu’ à l’organe 31, F au moins une interface de sortie du dispositif 1 peut être en outre configurée, dans le cadre d’un scénario d’interaction d’exploration par exemple, pour afficher un marqueur représentatif de l’extrémité de l’instrument chirurgical 34 au niveau de la position virtuelle courante 36 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33. Autrement dit, le marqueur représentatif de l’extrémité de l’instrument chirurgical 34 peut être une représentation 3D (e.g., un modèle 3D ou un jumeau numérique) de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33 ; ce marqueur représentatif peut être : une portion tridimensionnelle (e.g., d’environ 1 cm) située à l’extrémité de l’instrument chirurgical 34 permettant une meilleure visualisation dans l’environnement de réalité virtuelle immersive 33 de la position et de l’orientation de la portion distale de l’instrument chirurgical 34 vis-à-vis de l’organe 31 du patient 32 ; ou une représentation complète de l’instrument chirurgical 34. Avantageusement, l’affichage de ce marqueur permet de visualiser en temps réel l’orientation dans l’espace de l’instrument chirurgical 34 et notamment de son extrémité, ce qui aide l’utilisateur à guider avec plus de précision le geste chirurgical dans l’espace réel (i.e. environnement réel).

[0116] L’ invention s ’ applique tout particulièrement à la navigation d’ un outil chirurgical 34 dans un organe 31, qu’il soit réel (e.g., lors d’une opération chirurgicale ou d’une opération d’observation telle qu’une coloscopie) ou une simple reproduction (pour l’entrainement ou la planification d’une opération). Dans ce cas de figure, il est particulièrement intéressant pour l’utilisateur de pouvoir observer dans l’environnement de réalité virtuelle immersive 33, l’instrument chirurgical virtuel se déplacer simultanément ou quasi- simultanément avec l’instrument chirurgical réel dans l’organe réel. Ainsi, le dispositif 1 peut être configuré pour actualiser la vue courante de la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 dans l’environnement de réalité virtuelle immersive 33 dès que le dispositif reçoit une nouvelle position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31. Par conséquent, le dispositif 1 peut permettre une mise à jour de la vue courante de la région 39 du modèle géométrique 3D enrichi 23 en fonction du déplacement de l’extrémité de l’instrument chirurgical 34 dans l’organe 31.

[0117] L’invention peut également permettre d’envisager en amont plusieurs stratégies de navigation (i.e., planification) de l’instrument chirurgical 34. Etant-donné que le modèle géométrique 3D enrichi 23 est une représentation particulièrement fidèle de l’organe du patient 32, l’utilisateur peut ainsi prévoir le déplacement de l’instrument chirurgical 34 dans le modèle géométrique 3D enrichi 23, tout en étant garanti que le mouvement correspondant dans l’organe réel du patient 32 sera identique. Dans le cas d’un organe non-visualisable avec une caméra et difficilement inaccessible comme le cœur, cette planification peut reposer sur un modèle géométrique 3D enrichi recalé dynamiquement avec l’anatomie réelle (i.e. l’organe réel du patient 32), sans besoin de marqueur placé sur le cœur ; cela garantit que stratégies de navigation dans le modèle géométrique 3D enrichi 23 (e.g., jumeau numérique) restent pertinentes dans l’environnement réel.

[0118] En particulier, l’au moins un processeur peut être configuré pour :

- recevoir une instruction de navigation comportant une position réelle future de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31 (e.g., différentes stratégies de navigation),

- calculer une transformation TI/E entre un référentiel Ri de la position réelle future de localisation et le référentiel RE de l’environnement de réalité virtuelle immersive, et

- enregistrer (e.g., recaler) la position réelle future de localisation de l’extrémité de l’instrument chirurgical 34 dans le référentiel RE de l’environnement de réalité virtuelle immersive pour obtenir une position virtuelle actualisée de l’extrémité de l’instrument chirurgical 34 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33, et l'au moins une interface de sortie peut être en outre configurée pour afficher une vue actualisée d’une région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 définie autour de la position virtuelle actualisée de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33.

[0119] Par exemple, F instruction de navigation peut être une commande pour translater, tourner, incliner, orienter et/ou pivoter l’instrument chirurgical 34 dans l’organe 31. L’instruction de navigation reçue, comportant une position réelle future de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31, peut ainsi permettre d’actualiser la position virtuelle de l’extrémité de l’instrument chirurgical 34 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 et d’actualiser la vue de la région 39 du modèle géométrique 3D enrichi 23 sur la base de l’instruction de navigation. Ainsi, la vue actualisée correspond à une vue à partir de la position réelle future de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31. Cette vue actualisée peut guider le chirurgien dans la navigation dans l’organe 31 pour choisir dans quelle direction naviguer ensuite et atteindre une zone cible spécifique. Par exemple, sur la base de cette vue actualisée, le chirurgien peut décider de naviguer ou pas vers la position réelle future de localisation. Autrement dit, un scenario d’interaction peut comprendre l’affichage d’une vue actualisée d’une région 39 du modèle géométrique 3D enrichi 23, la vue actualisée comprenant une vue qui correspond à une position réelle future de l’extrémité de l’instrument chirurgical 34 dans l’organe 31 (organe réel du patient) ; ce scenario d’interaction peut être généré ou déclenché par exemple sous une commande vocale comme instruction de navigation. Par exemple, le scénario d’interaction pendant l’intervention en temps réel peut consister à simuler l’avancée d’un cathéter de manière virtuelle, en détachant « une caméra virtuelle » de son extrémité ; c’est comme si une caméra est allée récupérer une vue future de la position réelle future de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31. Cela permet de naviguer virtuellement dans une zone cible du modèle géométrique 3D enrichi 23 afin de l’explorer avant d’y accéder physiquement (dans l’environnement réel de l’organe 31). Après prévision de la stratégie de navigation la plus optimisée, le processeur peut ensuite naviguer l’instrument chirurgical 34 de sorte que l’extrémité de l’instrument chirurgical 34 soit positionnée à la position réelle future dans l’organe 31. Par exemple, dans le cas d’un organe 31 en mouvement (e.g., cœur), le recalage dynamique en temps réel (cf. module 20) durant l’intervention chirurgicale est nécessaire pour que le modèle géométrique 3D enrichi 23 reste constamment synchronisé et aligné avec la position et l’orientation de l’organe réel 31 du patient. Le recalage dynamique en temps réel peut être obtenu par l’utilisation d’algorithmes de recalage spatio-temporel ou de recalage non rigide temps-réel (en anglais « real-time non-rigid registration »), comme par exemple recalage basé sur modèles déformables (e.g., « Demons algorithm », « B-spline Freeform Deformation », « Adaptive mesh warping », etc.), recalage avec modèles statistiques / apprentissage (e.g., réseaux de neurones entraînés sur des bases de données d’images dynamiques) ou recalage avec contraintes temporelles (spatio-temporel).

[0120] Différentes mesures de dimensions caractéristiques peuvent également être réalisées sur le modèle géométrique 3D enrichi 23. Pour ce faire, F au moins un processeur peut être configuré pour : recevoir des coordonnées d’au moins deux points du modèle géométrique 3D enrichi 23 de l’organe 31, calculer au moins une dimension caractéristique d’au moins un élément de l’organe 31 à partir des coordonnées des au moins deux points, et l'au moins une interface de sortie peut être en outre configurée pour afficher la dimension caractéristique de l’organe 31 dans l’environnement de réalité virtuelle immersive 33.

[0121] Les points (deux ou plus) du modèle géométrique 3D enrichi 23 peuvent être choisis par le chirurgien (ou le manipulateur) au moyen d’un contrôleur VR, d’un outil de suivi de mains VR, d’un pointeur laser, d’une commande vocale ou d’un outil d’interface graphique. Ainsi, le chirurgien peut choisir les points qui l’intéressent du modèle géométrique 3D enrichi 23. Les coordonnées d’au moins deux points du modèle géométrique 3D enrichi 23 peuvent être des coordonnées cartésiennes (x, y, z) exprimées dans le système de coordonnées du référentiel RE de l’environnement de réalité virtuelle immersive 33. Sur la base des points choisis du modèle géométrique 3D enrichi 23, le processeur peut calculer une dimension caractéristique d’un élément de l’organe 31 (e.g., veines pulmonaires, isthme cavotricuspide, anneau aortique, oreillettes du cœur). Il sera clair pour l’homme du métier, qu’aux éléments de l’organe 31 correspondent des régions enrichies dans le modèle géométrique 3D enrichi 23.

[0122] Un élément de l’organe 31 peut être n’importe quelle structure faisant partie de l’organe 31, située sur l’organe 31, et/ou se trouvant dans l’organe 31. Par exemple, un élément de l’organe 31 peut être une valve cardiaque, un vaisseau sanguin, une cavité cardiaque.

[0123] Une dimension caractéristique peut être par exemple : une longueur : e.g., la longueur d'un vaisseau sanguin ou la longueur d'un segment de l’organe 31 ; une largeur e.g., la distance entre les bords les plus éloignés des deux ventricules cardiaques ; une épaisseur : e.g., l’épaisseur d’un vaisseau sanguin ou du muscle cardiaque ; un volume : e.g., le volume d’une cavité cardiaque ; un angle : e.g., l'angle formé entre l'axe longitudinal du cœur et l'axe du tronc artériel pour évaluer la position et l'orientation du cœur dans la cavité thoracique ; une circonférence : e.g., la circonférence de la valve aortique.

[0124] Avantageusement, une dimension caractéristique peut par exemple aider le chirurgien à définir une zone cible pour une chirurgie ou à définir un protocole d’intervention chirurgicale.

[0125] Dans un mode de réalisation, l’organe 31 du patient 32 est un organe 31 d’un corps du patient 32, un organe 31 artificiel ou une impression 3D du modèle géométrique 3D enrichi 23 de l’organe 31 du patient 32.

[0126] Par exemple, si l’organe 31 du patient 32 est un organe 31 d’un corps du patient 32, ceci peut permettre au chirurgien de naviguer l’instrument chirurgical 34 dans l’organe 31 d’un corps du patient 32 et de voir simultanément une vue de l’intérieur du modèle géométrique 3D enrichi 23 de l’organe 31 du patient 32 qui correspond à la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31. Ainsi, le modèle géométrique 3D enrichi 23 peut permettre d’avoir une vue détaillée de la structure interne de l’organe 31 d’un corps du patient 32 en temps réel.

[0127] Dans un autre exemple, où l’organe 31 du patient 32 est une impression 3D du modèle géométrique 3D enrichi 23 de l’organe 31 du patient 32 (i.e. modèle 3D imprimé), l’organe 31 du patient 32 peut être utilisé pour des enjeux de formation. Avantageusement, le modèle 3D imprimé est spécifique au patient. Un étudiant peut s’entrainer à naviguer dans l’organe 31 du patient 32 en naviguant un instrument chirurgical 34 dans le modèle 3D imprimé. Dans un exemple, le modèle 3D imprimé peut être pulsatile et subir des mouvements simulant la respiration.

[0128] D’autre part, si l’organe 31 du patient 32 est un organe 31 artificiel ou un modèle 3D imprimé de l’organe 31 du patient 32, le chirurgien peut s’en servir de l’organe 31 du patient 32 pour planifier une intervention chirurgicale. Par exemple, le chirurgien peut naviguer un instrument chirurgical 34 à l’intérieur de l’organe 31 du patient 32. Au cours de la navigation, le chirurgien peut enregistrer avec l’au moins un processeur des positions d’intérêts de localisation de l’extrémité de l’instrument chirurgical 34. Et ensuite, durant l’intervention chirurgicale, le chirurgien peut naviguer l’instrument chirurgical 34 vers les positions d’intérêts enregistrées. Ceci peut permettre d’améliorer la navigation en effectuant une intervention chirurgicale plus rapide et efficace, diminuant potentiellement le risque sur la santé du patient 32.

[0129] Le dispositif 1 peut en outre recevoir, via le module 11, une position d’au moins un marqueur fiduciaire 35 (optionnellement localisé sur l’organe 31), la position étant obtenue via un dispositif de suivi de mouvement, et l’organe 31 présentant une orientation réelle dans le référentiel réel Ri.

[0130] Un marqueur fiduciaire 35 peut être un repère visuel ou physique utilisé comme point de référence fixe pour la navigation. Par exemple, le marqueur fiduciaire 35 peut être un marqueur optique (e.g., code QR détectable par une caméra), un marqueur infrarouge suivable par un capteur infrarouge, ou un marqueur physique comme une sphère réfléchissante. Un marqueur fiduciaire 35 peut être un point de référence externe non placé sur l’organe 31 du patient 32. [0131] Le dispositif 1 peut en outre comprendre un module 19 pour calculer une transformation TF/E entre un référentiel RF de la position d’un marqueur fiduciaire 35 et le référentiel RE de l’environnement de réalité virtuelle immersive 33 et recaler la position du marqueur fiduciaire 35 dans l’environnement de réalité virtuelle immersive 33.

[0132] Le module 19 peut être fonctionner en parallèle avec les modules 12, 13, 14 et/ou 15, ou exécuter sa fonction indépendamment, à tout moment par rapport aux fonctions réalisées par les autres modules.

[0133] Le dispositif 1 peut en outre comprendre un module 20 pour recaler le modèle géométrique 3D enrichi 23 par rapport à la position recalée du marqueur fiduciaire 35 de sorte à obtenir un modèle géométrique 3D enrichi recalé positionné dans une orientation virtuelle correspondant à l’orientation réelle de l’organe 31 dans le référentiel réel Ri. Le recalage peut être réalisé en se utilisant un ou plusieurs points de référence, tels que des patches sur la cage thoracique ou des contours fluoroscopiques, ainsi que des méthodes hybrides de recalage rigide et ICP (« Iterative Closest Point » en anglais). Le recalage peut en outre utiliser la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34. Ce recalage peut être effectué en continu tout au long d’une intervention chirurgicale sur l’organe 31 du patient 32 ; il est important de noter que ceci est avantageux dans le cas d’un organe inaccessible physiquement pour y poser dessus des marqueurs (e.g., cœur) ce qui permet d’accéder indirectement à cet organe.

[0134] Le modèle géométrique 3D enrichi 23 peut ainsi être recalé dynamiquement en temps réel, en fonction de l’évolution de la position de l’organe dans le référentiel réel Ri, ce qui est essentiel lorsque l’organe est non- visualisable avec une caméra, mobile (e.g., dû aux mouvements respiratoires et/ou cardiaques) et non observable en continu, comme c’est le cas pour le cœur. Cela permet de maintenir une correspondance précise avec la réalité anatomique du patient, sans nécessiter de capteur direct placé directement sur l’organe, assurant la fiabilité du dispositif 1.

[0135] Le module 20 peut fonctionner en parallèle avec le(s) module(s) 15 et/ou 16, ou exécuter ses fonctions indépendamment, à tout moment par rapport aux fonctions réalisées par les autres modules. [0136] Le dispositif 1 peut en outre comprendre un module 21 pour mettre à jour le scénario d’interaction 50 avec le modèle géométrique 3D enrichi recalé. Par exemple, le module 21 peut intervenir après le module 17. Par exemple, pour un organe mobile (e.g., cœur), cette mise à jour permet avantageusement de maintenir une synchronisation continue en temps réel entre le modèle géométrique 3D enrichi et l’organe réel correspondant du patient en mouvement dans le référentiel réel, l’organe réel étant lui- même inaccessible durant l’opération pour en examiner l’anatomie.

[0137] Le marqueur fiduciaire 35 peut être optionnellement placé sur l’organe 31 (dans l’environnement réel de l’organe 31 associé au référentiel réel) et sa position peut être obtenue par un dispositif de suivi de mouvement (ou « motion tracking » en anglais). Par exemple, le marqueur fiduciaire 35 peut être un patche positionné sur la cage thoracique du patient, ou un contour fluoroscopique.

[0138] Dans un exemple, l’environnement réel de l’organe 31 est la salle du bloc opératoire. L’environnement réel de l’organe 31 peut être associé au référentiel réel Ri. L’utilisation d’un marqueur fiduciaire 35 (auquel peut être associé un référentiel RF de la position de F au moins un marqueur fiduciaire) est importante pour déterminer avec précision la position et l'orientation de l’organe 31 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 par rapport à la position et l'orientation du modèle géométrique 3D enrichi 23 dans le référentiel RM du modèle géométrique 3D 21. Le modèle géométrique 3D enrichi 23 peut ainsi être recalé par rapport à la position enregistrée du marqueur fiduciaire 35 de sorte à obtenir un modèle géométrique 3D recalé, dans lequel le modèle géométrique 3D enrichi recalé est positionné dans une orientation virtuelle correspondant à l’orientation réelle de l’organe 31 dans le référentiel réel Ri. Ensuite, le scénario d’interaction 50 peut être mis à jour avec le modèle géométrique 3D enrichi recalé. Avantageusement, mettre à jour le scénario d’interaction 50 avec le modèle géométrique 3D enrichi tel que recalé ci-dessus permet d’avoir une vue courante de la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 qui correspond à l’orientation réelle de l’organe 31 dans un référentiel réel.

[0139] Autrement dit, un ou plusieurs marqueurs fiduciaires 35 peuvent être localisés sur l’organe du patient ou sur une partie du corps du patient (e.g., poitrine, cage thoracique, dos, ventre) permettant une synchronisation en temps réel entre l’organe réel du patient et le modèle géométrique 3D enrichi 23 de l’organe. Par exemple, pour synchroniser en temps réel l'organe réel du patient (e.g., le cœur pendant une opération) avec le modèle géométrique 3D enrichi 23 de cet organe, un ou plusieurs marqueurs fiduciaires 35 peuvent être utilisés. Ces marqueurs fiduciaires 35 permettent de suivre les mouvements de l'organe, même lorsqu'il est non-visualisable avec une caméra, inaccessible ou mobile en raison des mouvements respiratoires et cardiaques. Avantageusement, le modèle géométrique 3D enrichi 23 est ainsi constamment mis à jour pour refléter l'anatomie réelle du patient. Le cœur, par exemple, subit des mouvements externes dus aux mouvements périodiques et traçables des diaphragmes lors du cycle respiratoire, et sa position peut varier par rapport aux structures voisines en fonction de la position du patient. De plus, le cœur subit des changements périodiques de forme et de volume modélisables lors du cycle cardiaque (e.g., systole, diastole). Cela est particulièrement utile dans des situations chirurgicales/interventionnelles complexes où la précision est cruciale. En outre, cette approche permet de suivre les mouvements et les changements de forme de l'organe 31 du patient 32 de manière continue, offrant ainsi une meilleure compréhension et un contrôle plus précis de l’intervention médicale assurant ainsi la sécurité et l'efficacité de l’intervention.

[0140] Le dispositif 1 peut en outre comprendre un module de reconnaissance vocale 110 pour interpréter des commandes vocales (exemple d’instructions de navigation) pendant l’intervention chirurgicale, afin de permettre à l’utilisateur de contrôler un scénario d’interaction, de modifier une vue courante, d’interagir avec le modèle géométrique 3D enrichi ou valider une étape de navigation, réduisant l’interaction manuelle de l’utilisateur avec le dispositif 1 et rendant ainsi le dispositif 1 plus facile à utiliser.

[0141] Le dispositif 1 peut en outre comprendre un module d’interfaçage 120 (« middleware ») pour récupérer (e.g., recevoir) des données de position (e.g., la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31 dans le référentiel réel) émises par un système de capture de mouvement tiers (e.g., capteur de position 37 et modules associés : modules d'acquisition et de traitement de données, modules de communication ), et convertir ces données de position dans un référentiel (e.g., référentiel de l’environnement de réalité virtuelle immersive, référentiel associé au modèle géométrique 3D) exploitable par le dispositif 1 sans nécessiter de modification du système de capture de mouvement (cf. Figure 5). Le système de capture de mouvement (i.e. système de suivi de mouvement) tiers peut être présent dans un environnement opératoire (e.g., bloc opératoire, salle d’entrainement sur la navigation). Le système de capture de mouvement comprend une unité de contrôle de système, une unité de contrôle des capteurs, et un générateur de champ magnétique.

[0142] Autrement dit, le module d’interfaçage 120 peut exécuter les étapes suivantes :

- récupérer les données brutes de position/orientation (i.e. données de position) émises par le système de capture de mouvement tiers ;

- convertir dynamiquement les données brutes de position/orientation dans le référentiel de l’environnement de réalité virtuelle immersive (VR) (e.g., calculer une transformation TI/E entre un référentiel Ri de la position réelle courante 22 et le référentiel RE de l’environnement de réalité virtuelle immersive 33, et recaler la position réelle courante 22 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 en appliquant la transformation TI/E, de sorte à obtenir la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33);

- synchroniser la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 avec le modèle géométrique 3D enrichi 23 recalé (ou le modèle géométrique 3D enrichi recalé) et le(s) scénario(s) interactifs) en cours.

[0143] Avantageusement, le module d’interfaçage 120 confère au dispositif 1 un atout d’interopérabilité, en permettant l’utilisation du dispositif 1 dans l’environnement opératoire sans modification du matériel existant (e.g., instrument chirurgical 34, capteur de position 37). De plus, ce module d’interfaçage 120 facilite une intégration rapide et aisée du dispositif 1, assure un fonctionnement transparent du dispositif 1, et permet le pilotage automatique du modèle géométrique 3D enrichi 23 à partir de systèmes hétérogènes. [0144] Le dispositif 1 peut en outre comprendre un module d’enregistrement 130 des étapes de la navigation effectuées par les autres modules du dispositif 1 et des données peropératoires issues de l’environnement de réalité virtuelle immersive (i.e. module d’enregistrement d’un historique de navigation). Le module d’enregistrement 130 permet d’enregistrer en peropératoire un historique de la navigation comprenant le trajet effectué par l’instrument chirurgical, les variations du modèle géométrique 3D enrichi 23, les différentes vues affichées, les annotations du modèle, les scénarios d’interaction avec le modèle. Avantageusement, cette historique de navigation peut servir à une relecture post opératoire pour une analyse médicale, à une planification d’une autre navigation, à une simulation personnalisée pour un patient, à une autoadaptation par apprentissage automatique du dispositif 1 , à former un utilisateur sur la navigation (usage pédagogique), à entrainer un modèle d’apprentissage automatique (e.g., pour la détection de motifs, pour l’optimisation des scénarios d’interaction). Les données de l’historique de la navigation peuvent être stockées localement ou dans une base de données sécurisée distante.

[0145] Le module de reconnaissance vocale 110, le module d’interfaçage 120 et le module d’enregistrement 130 peuvent fonctionner en parallèle avec les autres modules du dispositif 1, ou exécuter leur(s) fonction(s) indépendamment, à tout moment par rapport aux fonctions réalisées par les autres modules.

[0146] Le dispositif 1 peut par exemple exécuter le procédé 40 suivant (Figure 2) pour la navigation d’un instrument chirurgical 34 dans un organe 31 d’un patient 32, via la visualisation dans un environnement de réalité virtuelle immersive 33 d’une région 39 d’un modèle géométrique 3D enrichi 23 de l’organe 31, la région 39 étant définie autour d’une position virtuelle courante 36 d’une extrémité de l’instrument chirurgical 34 dans le modèle géométrique 3D enrichi 23 de l’organe 31, la position virtuelle courante 36 correspondant à une position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31, le procédé 40 comprenant: o recevoir le modèle géométrique 3D 21 de l’organe 31 du patient 32 préalablement généré à partir d’au moins un ensemble d’images (étape 41), o recevoir la position réelle courante 22 de localisation de l’extrémité de l’instrument chirurgical 34 dans l’organe 31 (étape 41), o calculer une transformation TM/E entre un référentiel RM associé au modèle géométrique 3D et un référentiel RE de l’environnement de réalité virtuelle immersive 33 (étape 42), o projeter (e.g., recaler) le modèle géométrique 3D 21 de l’organe 31 du patient 32 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 en appliquant la transformation TM/E (étape 43), o pour chaque polygone 38 du modèle géométrique 3D 21, associer au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction de sorte à obtenir un modèle géométrique 3D enrichi 23 de l’organe 31 (étape 44), o calculer une transformation TI/E entre un référentiel Ri de la position réelle courante 22 de localisation et le référentiel RE de l’environnement de réalité virtuelle immersive 33 (étape 45), o projeter (e.g., recaler) ladite position réelle courante 22 de localisation dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 en appliquant la transformation TI E, de sorte à obtenir la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans le référentiel RE de l’environnement de réalité virtuelle immersive 33 (étape 46), o générer au moins un scénario d’interaction 50 entre le modèle géométrique 3D enrichi 23 et la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33 (étape 47), o fournir F au moins un scénario d’interaction 50, le scénario comprenant une vue courante de la région 39 du modèle géométrique 3D enrichi 23 de l’organe 31 définie autour de la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33 (étape 48).

[0147] Un appareil particulier 9, visible sur la Figure 3, met en œuvre le dispositif 1 décrit ci-dessus. Il correspond par exemple à une station de travail, à un ordinateur portable, à une tablette, à un smartphone, ou encore à un « head-mounted display » (HMD) comme par exemple un casque de réalité virtuelle (VR), un casque de réalité augmentée (RA), ou un casque de réalité mixte. [0148] Cet appareil 9 est adapté à fournir l’au moins un scénario d’interaction 50 entre le modèle géométrique 3D enrichi 23 et la position virtuelle courante 36 de l’extrémité de l’instrument chirurgical 34 dans l’environnement de réalité virtuelle immersive 33. Il comprend les éléments suivants, reliés les uns aux autres par un bus 95 d'adresses et de données qui transporte également un signal d'horloge (« clock signal ») :

- un microprocesseur 91 (ou CPU) ;

- une carte graphique 92 comprenant plusieurs unités de traitement graphique (ou GPU) 920 et une mémoire vive graphique (GRAM) 921 ;

- une mémoire non volatile de type ROM 96 ;

- une mémoire vive 97 ;

- un ou plusieurs dispositifs d'entrée/sortie (E/S) 94 comme, par exemple, un clavier, une souris, une boule de commande, une webcam ; d'autres modes d'introduction de commandes comme par exemple la reconnaissance vocale sont également possibles ;

- une source d'alimentation 98 ; et

- une unité de radiofréquence 99.

[0149] Dans un mode de réalisation, l'alimentation électrique 98 est externe à l'appareil 9.

[0150] L'appareil 9 peut en outre comprendre le module de reconnaissance vocale 110, le module d’interfaçage 120 et le module d’enregistrement 130.

[0151] L'appareil 9 comprend également un dispositif d'affichage 93 de type écran d'affichage directement connecté à la carte graphique 92 pour afficher des images synthétisées calculées et composées dans la carte graphique. L'utilisation d'un bus dédié pour connecter le dispositif d'affichage 93 à la carte graphique 92 offre l'avantage de disposer de débits de transmission de données beaucoup plus importants et donc de réduire le temps de latence pour l'affichage des images composées par la carte graphique. Le dispositif d’affichage 93 peut être un écran, un casque de réalité augmenté, un casque de réalité virtuelle ou un casque de réalité mixte.

[0152] Dans un mode de réalisation, un dispositif d'affichage est externe à l'appareil 9 et est relié à celui-ci par un câble ou sans fil pour transmettre les signaux d'affichage. L'appareil 9, par exemple au travers de la carte graphique 92, comprend une interface de transmission ou de connexion adaptée pour transmettre un signal d'affichage à un moyen d'affichage externe tel que par exemple un écran LCD ou plasma ou un vidéoprojecteur. A cet égard, l'unité radiofréquence 99 peut être utilisée pour des transmissions sans fil.

[0153] Il est à noter que le mot « registre » utilisé ci-après dans la description des mémoires 97 et 921 peut désigner dans chacune des mémoires mentionnées, une zone mémoire de faible capacité (quelques données binaires) ainsi qu'une zone mémoire de grande capacité (permettant de stocker tout un programme ou de calculer ou d'afficher tout ou partie des données représentatives des données). De même, les registres représentés pour la RAM 97 et la GRAM 921 peuvent être disposés et constitués de n'importe quelle manière, et chacun d'entre eux ne correspond pas nécessairement à des emplacements mémoire adjacents et peut être réparti autrement (ce qui couvre notamment le cas où un registre comprend plusieurs registres plus petits).

[0154] A la mise sous tension, le microprocesseur 91 charge et exécute les instructions du programme contenu dans la RAM 97.

[0155] Comme le comprendra l'homme du métier, la présence de la carte graphique 92 n'est pas obligatoire, et peut être remplacée par un traitement complet par l'unité centrale et/ou des implémentations de visualisation plus simples.

[0156] Dans un mode de réalisation, le dispositif 1 peut être mis en œuvre différemment d'un logiciel autonome, et un appareil ou un ensemble d'appareils comprenant uniquement des parties de l'appareil 9 peut être exploité par le biais d'un appel API ou d'une interface cloud.

Claims

REVENDICATIONS

1. Dispositif (1) pour la navigation d’un instrument chirurgical (34) dans un organe (31) d’un patient (32), via la visualisation dans un environnement de réalité virtuelle immersive (33) d’une région (39) d’un modèle géométrique 3D enrichi (23) dudit organe (31), ladite région (39) étant définie autour d’une position virtuelle courante (36) d’une extrémité dudit instrument chirurgical (34) dans ledit modèle géométrique 3D enrichi (23) dudit organe (31), ladite position virtuelle courante (36) correspondant à une position réelle courante (22) de localisation de l’extrémité dudit instrument chirurgical (34) dans ledit organe (31) dans un référentiel réel (Ri), ledit dispositif (1) comprenant : au moins une interface d’entrée configurée pour recevoir :

• un modèle géométrique 3D (21) de l’organe (31) dudit patient (32) préalablement généré à partir d’au moins un ensemble d’images, ledit modèle géométrique 3D (21) comprenant une pluralité de polygones (38) formant un maillage représentatif d’une structure dudit organe (31),

• la position réelle courante (22) de localisation de ladite extrémité de l’instrument chirurgical (34) dans ledit organe (31) dans le référentiel réel (Ri), ladite position réelle courante (22) étant obtenue via au moins un capteur de position (37), au moins un processeur configuré pour :

• calculer une transformation TM/E entre un référentiel associé audit modèle géométrique 3D (21) et un référentiel (RE) de l’environnement de réalité virtuelle immersive (33),

• recaler le modèle géométrique 3D (21) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TM/E,

• pour chaque polygone (38) du modèle géométrique 3D (21), associer au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction de sorte à obtenir un modèle géométrique 3D enrichi (23) dudit organe (31), • calculer une transformation TI/E entre un référentiel (Ri) de la position réelle courante (22) et le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), et

• recaler ladite position réelle courante (22) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TI/E, de sorte à obtenir la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33),

• obtenir au moins un scénario d’interaction (50) entre ledit modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), au moins une interface de sortie configurée pour fournir F au moins un scénario d’interaction (50) entre ledit modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), ledit scénario comprenant une vue courante de ladite région (39) dudit modèle géométrique 3D enrichi (23) dudit organe (31) définie autour de ladite position virtuelle courante (36) de l’extrémité dudit instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33).

2. Dispositif selon la revendication 1, dans lequel la position courante de l’instrument chirurgical (34) est obtenue via au moins un capteur configuré pour détecter une variation locale d’un champ électromagnétique dans lequel l’organe (31) est positionné.

3. Dispositif selon la revendication 1, dans lequel :

F au moins une interface d’entrée est en outre configurée pour recevoir une position d’au moins un marqueur fiduciaire (35) localisé sur ledit organe (31), ladite position étant obtenue via un dispositif de suivi de mouvement, ledit organe (31) présentant une orientation réelle dans le référentiel réel (Ri); et

F au moins un processeur étant en outre configuré pour : o calculer une transformation TF/E entre un référentiel (RF) de la position de F au moins un marqueur fiduciaire (35) et ledit référentiel (RE) de l’environnement de réalité virtuelle immersive (33) et recaler ladite position de F au moins un marqueur fiduciaire (35) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), o recaler ledit modèle géométrique 3D enrichi (23) par rapport à la position recalée de F au moins un marqueur fiduciaire (35) de sorte à obtenir un modèle géométrique 3D enrichi recalé, dans lequel le modèle géométrique 3D enrichi recalé est positionné dans une orientation virtuelle correspondant à ladite orientation réelle dudit organe (31) dans ledit référentiel réel (Ri), o mettre à jour F au moins un scénario d’interaction (50) avec le modèle géométrique 3D enrichi recalé.

4. Dispositif selon l’une quelconque des revendications 1 à 3, dans lequel ledit modèle géométrique 3D (21) est préalablement généré à partir d’au moins un ensemble d’images comportant une pluralité d’images, chaque image dudit ensemble d’images incluant au moins une portion dudit organe (31) du patient (32), lesdites images étant capturées pré-opérativement avec au moins une modalité d’imagerie.

5. Dispositif selon l’une quelconque des revendications 1 à 4, dans lequel ladite région (39) du modèle géométrique 3D enrichi (23) dudit organe (31) correspond à la totalité de l’organe (31).

6. Dispositif selon l’une quelconque des revendications 1 à 5, dans lequel ladite vue courante présente un point d’origine, ledit point d’origine étant positionné à la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33).

7. Dispositif selon l’une quelconque des revendications 1 à 6, dans lequel ladite vue courante présente un point d’origine, ledit point d’origine étant positionné dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), à une position externe audit modèle géométrique 3D enrichi (23) dudit organe (31).

8. Dispositif selon l’une quelconque des revendications 1 à 7, dans lequel F au moins une interface de sortie est en outre configurée pour afficher un marqueur représentatif de l’extrémité de l’instrument chirurgical (34) au niveau de ladite position virtuelle courante (36) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), ledit marqueur représentatif étant une portion tridimensionnelle située à l’extrémité de l’instrument chirurgical (34).

9. Dispositif selon l’une quelconque des revendications 1 à 8, dans lequel ledit dispositif est configuré pour actualiser la vue courante de ladite région (39) du modèle géométrique 3D enrichi (23) dudit organe (31) définie autour de ladite position virtuelle courante (36) de l’extrémité dudit instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33) lorsque le dispositif reçoit une nouvelle position réelle courante (22) de localisation de ladite extrémité de l’instrument chirurgical (34) dans ledit organe (31).

10. Dispositif selon l’une quelconque des revendications 1 à 9, dans lequel : l’au moins un processeur est en outre configuré pour : recevoir une instruction de navigation comportant une position réelle future de localisation de ladite extrémité de l’instrument chirurgical (34) dans l’organe (31), calculer une transformation TIF/E entre un référentiel (Ri) de la position réelle future de localisation et ledit référentiel (RE) de l’environnement de réalité virtuelle immersive (33), et recaler ladite position réelle future de localisation de l’extrémité de l’instrument chirurgical (34) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) pour obtenir une position virtuelle actualisée de l’extrémité de l’instrument chirurgical (34) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), et l'au moins une interface de sortie est en outre configurée pour afficher une vue actualisée d’une région (39) du modèle géométrique 3D enrichi (23) dudit organe (31) définie autour de ladite position virtuelle actualisée de l’extrémité dudit instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33).

11. Dispositif selon la revendication 10, dans lequel ledit au moins un processeur est en outre configuré pour naviguer l’instrument chirurgical (34) de sorte que l’extrémité dudit instrument chirurgical (34) soit positionnée à ladite position réelle future dans l’organe (31).

12. Dispositif selon l’une quelconque des revendications 1 à 11, dans lequel : l’au moins un processeur est en outre configuré pour : recevoir des coordonnées d’au moins deux points du modèle géométrique 3D enrichi (23) dudit organe (31), calculer au moins une dimension caractéristique d’au moins un élément dudit organe (31) à partir desdites coordonnées des au moins deux points, et l'au moins une interface de sortie est en outre configurée pour afficher ladite dimension caractéristique dudit organe (31) dans l’environnement de réalité virtuel immersive (33).

13. Dispositif selon l’une quelconque des revendications 1 à 12, dans lequel l’au moins une interface de sortie est en outre configurée pour afficher simultanément la vue courante et une vue actualisée dans l’environnement de réalité virtuelle immersive (33).

14. Dispositif selon l’une quelconque des revendications 1 à 13, dans lequel ledit organe (31) du patient (32) est un organe (31) d’un corps du patient, un organe (31) artificiel ou une impression 3D du modèle géométrique 3D enrichi (23) dudit organe (31) du patient (32).

15. Dispositif selon l’une quelconque des revendications 1 à 14, dans lequel ledit organe (31) est le cœur.

16. Dispositif selon la revendication 15, dans lequel :

- ledit modèle géométrique 3D (21) de l’organe (31) dudit patient (32) est préalablement généré à partir d’au moins un ensemble d’images obtenu en synchronisation avec un instant prédéfini d’un signal physiologique dudit patient, ledit signal physiologique étant un électrocardiogramme et ledit instant prédéfini étant un instant de fin de diastole ; et

- ledit au moins un processeur est en outre configuré pour recaler ladite position réelle courante (22) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TI/E sur la base dudit instant prédéfini dudit signal physiologique.

17. Procédé (40) pour la navigation d’un instrument chirurgical (34) dans un organe (31) d’un patient (32), ledit organe (31) étant un organe artificiel ou une impression 3D d’un modèle géométrique 3D enrichi (23), via la visualisation dans un environnement de réalité virtuelle immersive (33) d’une région (39) dudit modèle géométrique 3D enrichi (23) dudit organe (31), ladite région (39) étant définie autour d’une position virtuelle courante (36) d’une extrémité dudit instrument chirurgical (34) dans le modèle géométrique 3D enrichi (23) dudit organe (31), ladite position virtuelle courante (36) correspondant à une position réelle courante (22) de localisation de l’extrémité dudit instrument chirurgical (34) dans ledit organe (31), ledit procédé (40) comprenant : o recevoir (41) un modèle géométrique 3D (21) de l’organe (31) dudit patient (32) préalablement généré à partir d’au moins un ensemble d’images, ledit modèle géométrique 3D (21) comprenant une pluralité de polygones (38) formant un maillage représentatif d’une structure dudit organe (31), o recevoir (41) la position réelle courante (22) de localisation de ladite extrémité de l’instrument chirurgical (34) dans ledit organe (31) dans un référentiel réel (Ri), ladite position réelle courante (22) de localisation étant obtenue via au moins un capteur de position (37), o calculer (42) une transformation TM/E entre un référentiel associé audit modèle géométrique 3D (21) et un référentiel (RE) de l’environnement de réalité virtuelle immersive (33), o recaler (43) le modèle géométrique 3D (21) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TM/E, o pour chaque polygone (38) du modèle géométrique 3D (21), associer 44 au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction de sorte à obtenir un modèle géométrique 3D enrichi (23) dudit organe (31), o calculer (45) une transformation TP/E entre un référentiel de la position réelle courante (22) et le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), o recaler (46) ladite position réelle courante (22) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TP/E, de sorte à obtenir la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), o obtenir (47) au moins un scénario d’interaction (50) entre le modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), o fournir (48) F au moins un scénario d’interaction (50) entre le modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), ledit scénario comprenant une vue courante de ladite région (39) du modèle géométrique 3D enrichi (23) dudit organe (31) définie autour de ladite position virtuelle courante (36) de l’extrémité dudit instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33).

18. Produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, amènent l'ordinateur à mettre en œuvre un procédé (40) pour la navigation d’un instrument chirurgical (34) dans un organe (31) d’un patient (32), via la visualisation dans un environnement de réalité virtuelle immersive (33) d’une région (39) d’un modèle géométrique 3D enrichi (23) dudit organe (31), ladite région (39) étant définie autour d’une position virtuelle courante (36) d’une extrémité dudit instrument chirurgical (34) dans le modèle géométrique 3D enrichi (23) dudit organe (31), ladite position virtuelle courante (36) correspondant à une position réelle courante (22) de localisation de l’extrémité dudit instrument chirurgical (34) dans ledit organe (31), ledit procédé (40) comprenant: o recevoir (41) un modèle géométrique 3D (21) de l’organe (31) dudit patient (32) préalablement généré à partir d’au moins un ensemble d’images, ledit modèle géométrique 3D (21) comprenant une pluralité de polygones (38) formant un maillage représentatif d’une structure dudit organe (31), o recevoir (41) la position réelle courante (22) de localisation de ladite extrémité de l’instrument chirurgical (34) dans ledit organe (31) dans un référentiel réel (Ri), ladite position réelle courante (22) de localisation étant obtenue via au moins un capteur de position (37), o calculer (42) une transformation TM/E entre un référentiel associé audit modèle géométrique 3D (21) et un référentiel (RE) de l’environnement de réalité virtuelle immersive (33), o recaler (43) le modèle géométrique 3D (21) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TM/E, o pour chaque polygone (38) du modèle géométrique 3D (21), associer 44 au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction de sorte à obtenir un modèle géométrique 3D enrichi (23) dudit organe (31), o calculer (45) une transformation TP/E entre un référentiel de la position réelle courante (22) et le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), o recaler (46) ladite position réelle courante (22) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TP/E, de sorte à obtenir la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), o obtenir (47) au moins un scénario d’interaction (50) entre le modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), o fournir (48) F au moins un scénario d’interaction (50) entre le modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), ledit scénario comprenant une vue courante de ladite région (39) du modèle géométrique 3D enrichi (23) dudit organe (31) définie autour de ladite position virtuelle courante (36) de l’extrémité dudit instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33).

19. Support d’enregistrement lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, permettent de mettre en œuvre un procédé (40) pour la navigation d’un instrument chirurgical (34) dans un organe (31) d’un patient (32), via la visualisation dans un environnement de réalité virtuelle immersive (33) d’une région (39) d’un modèle géométrique 3D enrichi (23) dudit organe (31), ladite région (39) étant définie autour d’une position virtuelle courante (36) d’une extrémité dudit instrument chirurgical (34) dans le modèle géométrique 3D enrichi (23) dudit organe (31), ladite position virtuelle courante (36) correspondant à une position réelle courante (22) de localisation de l’extrémité dudit instrument chirurgical (34) dans ledit organe (31) dans un référentiel réel (Ri), ledit procédé (40) comprenant: o recevoir (41) un modèle géométrique 3D (21) de l’organe (31) dudit patient (32) préalablement généré à partir d’au moins un ensemble d’images, ledit modèle géométrique 3D (21) comprenant une pluralité de polygones (38) formant un maillage représentatif d’une structure dudit organe (31), recevoir (41) la position réelle courante (22) de localisation de ladite extrémité de l’instrument chirurgical (34) dans ledit organe (31) dans un référentiel réel (Ri), ladite position réelle courante (22) de localisation étant obtenue via au moins un capteur de position (37), calculer (42) une transformation TM/E entre un référentiel associé audit modèle géométrique 3D (21) et un référentiel (RE) de l’environnement de réalité virtuelle immersive (33), recaler (43) le modèle géométrique 3D (21) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TM/E, pour chaque polygone (38) du modèle géométrique 3D (21), associer 44 au moins une caractéristique de visualisation et associer au moins une caractéristique d’interaction de sorte à obtenir un modèle géométrique 3D enrichi (23) dudit organe (31), calculer (45) une transformation TP/E entre un référentiel de la position réelle courante (22) et le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), recaler (46) ladite position réelle courante (22) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33) en appliquant la transformation TP/E, de sorte à obtenir la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans le référentiel (RE) de l’environnement de réalité virtuelle immersive (33), obtenir (47) au moins un scénario d’interaction (50) entre le modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), fournir (48) F au moins un scénario d’interaction (50) entre le modèle géométrique 3D enrichi (23) et la position virtuelle courante (36) de l’extrémité de l’instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33), ledit scénario comprenant une vue courante de ladite région (39) du modèle géométrique 3D enrichi (23) dudit organe (31) définie autour de ladite position virtuelle courante (36) de l’extrémité dudit instrument chirurgical (34) dans l’environnement de réalité virtuelle immersive (33).