CH709409A2 - Procédé et système pour la capture d'une série d'images à 360° depuis des emplacements successifs. - Google Patents

Abstract

L’invention concerne un procédé pour la capture d’une série d’images à 360° depuis des emplacements successifs le long d’une trajectoire, comprenant les étapes suivantes: un utilisateur déplace un robot (1) équipé de roues (3) ou de chenilles le long d’une première trajectoire; durant ce déplacement, le robot (1) repère sa position grâce à une série de prises de vue du sol; une deuxième trajectoire est déterminée par optimisation manuelle et/ou automatique à partir de la première trajectoire; lesdits emplacements successifs sont déterminés le long de la deuxième trajectoire; le robot (1) se déplace de lui-même en parcourant la deuxième trajectoire et en se repérant à l’aide de ladite série de prise de vues du sol, et prend lesdites images à 360° auxdits emplacements successifs à l’aide d’au moins un appareil photographique (4) monté sur un support (5). L’invention concerne également un système de prise de vues pour la mise en œuvre du procédé de l’invention.

Description

Domaine technique

[0001] La présente invention concerne un robot terrestre pour la prise de vue à 360°.

Etat de la technique

[0002] On connaît dans l’état de la technique des prises de vue photographiques à 360° correspondant à l’image vue dans toutes les directions possibles, ou au moins toutes les directions horizontales possibles, depuis un emplacement de prise de vue. Les images à 360° peuvent être par exemple des images 360*180 dans le cas où elles sont reconstituées à partir d’images prises selon différentes directions, y compris des directions non-horizontales.

[0003] Ces images à 360° doivent être distinguées des images tridimensionnelles qui contiennent en outre une information sur la profondeur et la distance jusqu’aux objets photographiés, ou des images stéréoscopiques prises depuis deux points de vue rapprochés de quelques centimètres pour reproduire la vue stéréoscopique des yeux humains.

[0004] Les images à 360° peuvent être prises avec une pluralité de capteurs d’images montés en anneau de manière à capturer des images dans des directions horizontales (ou dans le plan de l’anneau) différentes. On connaît des systèmes comportant des capteurs montés dans des demi-sphères, ou dans des sphères, afin de capturer simultanément des images dans plusieurs directions horizontales ou non horizontales.

[0005] Les images à 360° peuvent aussi être capturées avec un seul appareil photographique dont l’orientation est modifiée entre les prises de vue successives. Cette solution est plus économique, mais ne convient pas à des scènes dynamiques dans lesquelles l’image change entre chaque prise de vue successive. Par ailleurs, il est nécessaire de contrôler précisément la position et l’orientation de l’appareil à chaque prise de vue, faute de quoi l’alignement des images successif est difficile ou impossible.

[0006] Les images à 360° peuvent être visualisées en les projetant sur une surface plane, résultant le plus souvent en une image courbe ou rectangulaire avec un rapport hauteur/largeur réduit. Afin de les visualiser sur un écran rectangulaire avec des proportions conventionnelles (4/3 ou 16/9 par exemple), il est aussi fréquent de n’afficher qu’une portion de l’image, l’utilisateur pouvant choisir la portion affichée au moyen de curseurs ou de la souris comme s’il tournait la tête.

[0007] US 2012 277 914 décrit un robot de prise de vue destiné se déplacer dans une pièce pour prendre des prises de vue depuis différents points de vue. Le robot est aussi capable d’assembler par un procédé connu sous le nom de «stitching» plusieurs images pour en faire un panorama, par exemple une prise de vue à 360° d’une pièce. Le robot peut se déplacer librement selon les interactions avec les utilisateurs, ou en mode patrouille selon un plan prévu à l’avance. Toutefois ce robot est avant tout destiné à des applications telles que la prise de vue pendant un mariage par exemple, et ne permet pas de contrôler avec précision la position et l’orientation du robot lors de chaque prise de vue. Il en résulte une qualité des panoramas réalisés qui est peu satisfaisante, et une difficulté à contrôler les points de vue depuis lesquels ces panoramas sont pris.

[0008] Différents services existent qui permettent de prendre plusieurs prises de vue à 360° depuis des points de vue rapprochés, puis d’afficher sur un écran une représentation qui permette à l’utilisateur de choisir à la fois la position et l’orientation de la prise de vue reproduites en chaque instant. Ce type de prise de vue sera appelé ici prise de vue immersive. A noter que les prises de vue immersives peuvent être réalisées avec des appareils photographiques conventionnels, stéréographiques ou tridimensionnels, avec ou sans robot.

[0009] Les prises de vue immersives ont été popularisées par des services tels que Google Street View (marque déposée). Ces prises de vue sont le plus souvent prises depuis une automobile munie d’une caméra à 360° sur le toit et d’un récepteur de type GPS qui détermine en temps réel la position et l’orientation du véhicule. Des prises de vues sont ensuite prises tous les quelques mètres pendant que la voiture roule, l’emplacement de chaque prise de vue étant mémorisé. La prise de vue depuis une automobile ne convient cependant pas à la capture de scènes à l’intérieur de bâtiments.

[0010] D’autres prises de vue immersive sont prises avec des systèmes portatifs portant plusieurs caméras, le plus souvent non autonomes.

[0011] La qualité de l’alignement des images 360° prises depuis différents points de vue détermine la qualité de l’expérience immersive. Il est donc important de connaître précisément la position et l’orientation des prises de vue à 360° successives. La localisation des emplacements de prise de vue à l’aide d’un GPS permet tout au plus une expérience immersive saccadée, mais ne convient pas à une immersion fluide ou à des prises de vue rapprochées. De plus, les signaux GPS sont difficiles à recevoir à l’intérieur des bâtiments.

[0012] Un but de la présente invention est donc de proposer une solution qui permette de saisir plus facilement des séries d’images à 360° avec une résolution suffisante pour des expériences immersives fluide lors de prises de vue rapprochées, notamment en intérieur. Dans ce but, il est souhaitable de pouvoir déterminer la position des caméras avec une précision meilleure que 1cm, de préférence de l’ordre du millimètre, et de contrôler l’angle de prise de vue avec une précision meilleure que 1°.

[0013] Un exemple d’application typique, non limitatif, de la capture immersive en intérieur concerne les musées. De nombreux musées souhaitent permettre à des internautes de se déplacer virtuellement dans leur établissement. Il est cependant souhaitable d’offrir une expérience de navigation sans à-coups, avec des images non déformées et de la meilleure qualité possible, sans changement brusque d’illumination ou de balances de blanc entre images, et depuis un grand nombre de points de vue différents.

[0014] La réalisation d’une telle scène nécessite un nombre de prises de vue important, depuis de nombreux points de vue rapprochés les uns des autres. Il est difficile de réaliser ces nombreuses photographies à 360° sans interrompre le flux des visiteurs.

[0015] Il existe donc un besoin pour une solution qui permette de saisir des prises de vue à 360° rapprochées sans perturber le flux de visiteurs dans un lieu public par exemple.

Bref résumé de l’invention

[0016] Un but de la présente invention est de proposer un procédé et un système de prise de vue exempt des limitations des procédés et des systèmes connus.

[0017] Un autre but de l’invention est de proposer un procédé et un système de prise de vue qui permette de réaliser des séries de prises de vue à 360° avec un contrôle précis de l’emplacement et de la direction de prise de vue pour chaque image, de manière à permettre d’améliorer la fluidité de l’immersion pour les spectateurs.

[0018] Un autre but de l’invention est de proposer un procédé et un système de prise de vue qui permette de réaliser de telles séries de prise de vue plus rapidement et en réduisant le temps d’intervention pour les opérateurs humains.

[0019] Selon l’invention, ces buts sont atteints notamment au moyen d’un procédé pour la capture d’une série d’images à 360° depuis des emplacements successifs le long d’une trajectoire, comprenant les étapes suivantes: un utilisateur déplace un robot équipé de roues ou de chenilles le long d’une première trajectoire; durant ce déplacement, le robot repère sa position grâce à une série de prises de vue du sol; une deuxième trajectoire est déterminée par optimisation manuelle et/ou automatique à partir de la première trajectoire; lesdits emplacements successifs sont déterminés automatiquement et/ou manuellement le long de la deuxième trajectoire; le robot se déplace de lui-même en parcourant la deuxième trajectoire et en se repérant à l’aide de ladite série de prise de vues du sol, et prend lesdites images à 360° auxdits emplacements successifs à l’aide d’au moins un appareil photographique monté sur un support.

[0020] Ce procédé comporte donc un premier passage du robot poussé, tiré ou télécommandé par un opérateur le long d’une première trajectoire approximative. Le robot prend des prises de vue du sol sous le robot pendant ce premier passage.

[0021] Dans une deuxième étape, la trajectoire est optimisée de manière à générer une deuxième trajectoire optimisée. L’optimisation peut avoir pour but par exemple de lisser des à-coups ou tremblements provoqués par le mouvement de l’opérateur, ou d’arrondir des angles aigus de la trajectoire, ou de supprimer des allers-retours dont l’amplitude est inférieure à un seuil. L’optimisation peut aussi avoir pour but de limiter le risque de collision avec des obstacles, par exemple en augmentant la distance entre le robot et des objets fragiles ou des cadres de portes par exemple.

[0022] L’optimisation de trajectoire peut être automatique, par exemple à l’aide d’un programme de lissage de courbe qui remplace les angles ou les arrondis à faible rayon de courbure par des portions avec des rayons de courbure augmentés.

[0023] L’optimisation de trajectoire peut être manuelle, par exemple en faisant intervenir un opérateur qui retouche la première trajectoire à l’aide d’un programme de dessin.

[0024] L’optimisation de trajectoire peut être semi-automatique, et permettre à un utilisateur de corriger certains points de la trajectoire, tandis que d’autres portions de la trajectoire sont adaptées automatiquement.

[0025] L’optimisation de trajectoire peut tenir compte d’un plan d’un bâtiment traversé par la trajectoire. La trajectoire peut être affichée en superposition sur ce plan. L’optimisation peut viser à contrôler la distance entre les emplacements de prise de vue et des objets ou éléments représentés sur le plan.

[0026] La première trajectoire peut être vectorisée et par exemple convertie en courbes de Bézier pour faciliter l’optimisation manuelle ou automatique.

[0027] Les emplacements de prise de vue successifs peuvent être déterminés automatiquement par un logiciel.

[0028] Les emplacements de prise de vue successifs peuvent être choisis par un utilisateur, par exemple en sélectionnant par logiciel des points sur la trajectoire optimisée.

[0029] Les emplacements de prise de vue successifs peuvent être déterminés automatiquement par un logiciel, puis adaptés manuellement par un utilisateur.

[0030] Les emplacements successifs peuvent être espacés régulièrement les uns des autres.

[0031] Les emplacements successifs peuvent être espacés à des distances irrégulières les uns des autres.

[0032] La distance entre emplacements successifs peut dépendre du rayon de courbure de la trajectoire. Par exemple, les emplacements de prise de vue peuvent être plus rapprochés en cas de changement de direction de la trajectoire que dans des tronçons rectilignes.

[0033] La distance entre emplacements successifs peut dépendre des éléments sur un plan du bâtiment traversé par la trajectoire. Par exemple, les emplacements peuvent être plus rapprochés à proximité de points d’intérêt qu’à grande distance de ces points d’intérêt.

[0034] Le choix des emplacements successifs peut dépendre des points d’intérêt. Par exemple, un programme peut proposer un emplacement de prise de vue exactement aligné avec une œuvre dans un musée ou avec un point d’intérêt préalablement répertorié.

[0035] Le robot peut comporter un seul appareil photographique déplacé entre les différentes prises de vue prise depuis un emplacement du robot, de manière à réaliser par assemblage («stitching») une image à 360° depuis de cet emplacement.

[0036] Le robot peut comporter deux appareils photographiques dos à dos comportant chacun une lentille grand angle pour prendre une prise de vue à 360° depuis cet emplacement, par assemblage des deux images capturées simultanément.

[0037] Le robot peut comporter une couronne d’appareils photographiques montés sur un support commun dans au moins un plan, de manière à prendre des images à 360° selon différentes directions dans ce plan. Le nombre d’appareils photographiques peut varier de deux à 20 ou davantages, de préférence régulièrement espacés spatialement. Les appareils photographiques sont avantageusement tous de même type et comportent une lentille identique.

[0038] Dans le cas où le robot comporte plusieurs appareils photographiques, ces appareils photographiques sont de préférence tous déclenchés en même temps.

[0039] Les différentes prises de vue prises depuis un emplacement du robot peuvent être prises avec des paramètres d’ouverture de diaphragme et de vitesse d’obturation différentes, de manière à augmenter le dynamique d’exposition. Dans ce cas, l’assemblage d’une vue 360° à partir de ces différentes vues met en œuvre un logiciel de stitching qui compense les différences d’exposition de manière à ne pas faire apparaître de sauts de luminosité en passant d’une prise de vue à l’autre.

[0040] L’ouverture des appareils est de préférence supérieure ou égale à 5.6 avec un capteur 24X36, ou avec une ouverture équivalente pour un capteur plus petit, afin de garantir une profondeur de champ améliorée.

[0041] Le support d’appareil photo est de préférence mobile par rapport aux roues et/ou à la plateforme du robot, il est ainsi possible de corriger la position du support par rapport à la plateforme portée par les roues. La position et/ou l’orientation des appareils photographiques est de préférence corrigée par déplacement du support à chaque fois que le robot s’arrête à proximité d’un emplacement déterminé. De cette manière, le robot peut se déplacer rapidement et s’arrêter rapidement sans devoir ralentir très en avance pour garantir un arrêt à l’emplacement précis déterminé; d’éventuelles erreurs de positionnement ou d’orientation à l’arrêt peuvent être corrigées en déplaçant le support des appareils photographiques.

[0042] Il est aussi possible de corriger l’horizontalité du support et des appareils photographiques à l’arrêt, par exemple lorsque le robot s’arrête dans un lieu en pente. Cette correction est particulièrement intéressante dans le cas d’images à 360° en bande, par exemple de panoramas 360° assemblés à partir de différentes prises de vue dans un seul plan.

[0043] Dans le cas d’images 360° X 180 (c’est-à-dire de panoramas sphériques assemblés à partir de prises de vue selon différentes directions pas toutes horizontales), cette compensation d’horizontalité du robot n’est pas nécessaire, l’horizontalité pouvant être corrigée par le programme de stitching, par exemple à l’aide de mesures d’inclinaison stockée comme une métadonnée avec chaque image.

[0044] Le robot mobile comporte de préférence une plateforme munie de quatre roues et un robot, par exemple un robot Delta, monté sur cette j plateforme pour tenir et déplacer le support commun des appareils. Un robot Delta est un robot parallèle dont le bras est formé de trois parallélogrammes. Un exemple de robot Delta est décrit dans le brevet US 4 976 582. Un robot Delta présente l’avantage de ne masquer qu’un angle visuel réduit tout en permettant une vitesse et une précision de positionnement du support remarquables.

[0045] La position et l’orientation du robot après chaque arrêt, et la correction à effectuer par le robot Delta, peut être déterminée par comparaison entre les prises de vue du sol lors du premier passage et de nouvelles prises de vue du sol lors du deuxième passage et lorsque les images 360° sont capturées. De la même façon, si le robot est incliné, le robot Delta replace le point de vue à la bonne position, sans nécessairement corriger l’inclinaison si celle-ci peut être corrigée en postproduction par un logiciel de stitching.

[0046] La position et l’orientation du robot après chaque arrêt, et la correction à effectuer par le robot Delta, peut être déterminée à l’aide d’un ou plusieurs des moyens suivants: capteur odométrique; capteur inertiel lié audit robot; boussole magnétique; module d’analyse d’images prises par lesdits appareils photographiques; inclinomètre.

[0047] Le procédé peut comporter une étape d’assemblage («stitching») entre images prises depuis des emplacements successifs.

[0048] Dans un mode de réalisation, le robot détecte la présence de personnes ou d’autres objets mobiles sur une image, et reconstitue l’arrière-plan fixe à partir de différentes prises de vue depuis un même emplacement.

[0049] Dans un mode de réalisation, le robot prend deux images dans la même direction depuis au moins un desdits emplacements successifs, compare ces deux images, et détermine sur la base de la comparaison si un objet s’est déplacé sur la scène entre les deux images. Si aucun déplacement n’est détecté, il est probable que l’image ne comporte aucune personne ni aucun objet mobile, et la première image, ou la deuxième, ou une combinaison des deux, est utilisée. Si en revanche les prises de vue présentent une différence, il est probable qu’une personne ou un objet en déplacement soit présent en avant-plan sur la scène, et l’image à 360° est reconstituée en ne gardant que les pixels fixes entre plusieurs images successives, de manière à éliminer les éléments mobiles à l’avant-plan. Dans un autre mode de réalisation, le robot attend avant de tenter la capture d’une nouvelle prise de vue, ou repasse ultérieurement à cet emplacement, ou appelle un opérateur pour régler la situation.

[0050] Le positionnement du robot le long de la trajectoire optimisée est donc assuré essentiellement par repérage des prises de vue du sol et alignement avec des prises de vue au sol similaires lors du premier passage.

[0051] En cas de sol dépourvu de motifs ou d’aspérités permettant le repérage, par exemple de sol lisse, il est possible de marquer le sol le long de la première trajectoire avec une encre invisible à l’œil nu mais visible au moyen d’une caméra ultraviolet. Le repérage se fait alors par comparaison entre les prises de vue dans le domaine de l’ultraviolet lors du premier passage et du deuxième passage.

[0052] Le marquage peut être effectué manuellement par un opérateur devant le robot.

[0053] Le marquage peut aussi être effectué par le robot lui-même, par exemple à l’aide d’un tampon marqueur devant la caméra de prise de vue du sol.

[0054] L’invention concerne aussi un système de prise de vues comprenant un robot équipé de roues, le robot comprenant: une caméra adaptée à la prise de vue du sol sous le robot; un module logiciel permettant de déterminer la position et l’orientation du robot par alignement de prises de vue du sol avec des prises de vue antérieures du sol; au moins un appareil photographique monté sur un support pour la capture de prises de vues à 360°; une motorisation pour entraîner lesdites roues; un module de guidage pour entrainer lesdites roues le long d’une trajectoire déterminée à l’aide desdites prises de vue du sol et pour déclencher des prises de vue à des emplacements successifs déterminés le long de ladite trajectoire.

[0055] Le système peut en outre comporter un ordinateur à distance du robot et connecté au robot par une interface sans fil, par exemple une interface wifi ou autre. L’ordinateur peut effectuer par exemple l’optimisation de trajectoire, L’ordinateur peut aussi visualiser les séries d’images à 360° capturées.

[0056] [0056] Le système peut en outre comprendre un ou plusieurs des éléments suivants pour déterminer la position et l’orientation du robot à chaque emplacement: module d’analyse d’images prises par lesdits appareils photographiques; capteur odométrique; capteur inertiel lié audit robot; boussole magnétique; inclinomètre.

Brève description des figures

[0057] Des exemples de mise en œuvre de l’invention sont indiqués dans la description illustrée par les figures annexées dans lesquelles: <tb>La fig. 1<SEP>illustre une vue en perspective d’un robot selon un mode de réalisation de l’invention. <tb>La fig. 2<SEP>illustre une vue de dessous d’un robot selon un mode de réalisation de l’invention. <tb>La fig. 3<SEP>illustre schématiquement le première trajectoire et la trajectoire optimisée. <tb>La fig. 4<SEP>illustre schématiquement un système selon l’invention.

Exemple(s) de mode de réalisation de l’invention

[0058] Un exemple de robot 1 selon l’invention est représenté sur les fig. 1 et 2 . Il comporte une plateforme 6 avec quatre roues 3 motorisées. La présence de quatre roues est hyperstatique mais permet de garantir une plateforme 6 approximativement parallèle au sol, même lorsqu’une seule des roues se trouve au-dessus d’un creux par exemple.

[0059] Un trépied 60 est monté solidairement sur la plateforme 60 afin de rehausser les caméras 4 et de les mettre à une hauteur comprise entre 1,5 et 1,90 mètres depuis le sol, correspondant à la perspective d’un adulte moyen. Le trépied illustré comporte six pieds mais un nombre de pieds différent, ou une autre structure d’élévation, peuvent être prévus.

[0060] Un robot, par exemple un robot Delta 7, est posé sur le trépied 60 ou sur la structure d’élévation comparable. Le robot Delta 7 permet de modifier la position et l’orientation du support de caméra 5 par rapport à la plateforme 6 et aux roues 3, afin de notamment de corriger des erreurs de positionnement ou d’orientation de la plateforme 6 par rapport aux emplacements de prise de vue prévus. Avantageusement, le robot 7 permet de déplacer le support 5 selon trois degrés de liberté. D’autres types de robot, y compris par exemple une plateforme stewart, des robots à coulisses X–Y–Z, des robots à bras mobiles, etc. peuvent être prévus. Le robot Delta a cependant l’avantage d’une grande précision, d’une grande vitesse, et de ne masquer qu’une faible portion du champ de vision des caméras 4.

[0061] Le support 5 porte un appareil photographique, ou plusieurs appareils photographiques de préférence tous identiques afin de prendre des prises de vue depuis le support selon différentes directions horizontales. Dans le cas d’un support muni d’un seul appareil photographique, des prises de vue à 360° peuvent être prises en déplaçant cet appareil entre chaque prise de vue depuis le même emplacement du robot. Dans le cas d’un robot muni de plusieurs appareils photographiques, une image à 360° peut être obtenue en déclenchant tous les appareils simultanément.

[0062] Les appareils photographiques peuvent être disposés par exemple en anneau afin de prendre des prises de vue identiques à 360° dans un plan. Le plan peut par exemple être maintenu horizontal par le logiciel de contrôle du robot 7, par exemple à l’aide de deux moteurs additionnels sur la plateforme du robot Delta. Les appareils 4 sont de préférence plus de 20, par exemple plus de 40, par exemple 48, afin de capturer des images à 360° de haute résolution.

[0063] L’ouverture du diaphragme pendant les prises de vue est de préférence réduite afin d’augmenter la profondeur de champ. Les paramètres d’exposition de tous les appareils sont de préférence identiques afin de faciliter l’assemblage. La lentille et la taille de chaque capteur. permet de prendre des prises de vue nette à faible distance, par exemple à moins de trente centimètres.

[0064] Il est possible d’utiliser plusieurs anneaux d’appareils superposés, ou des appareils disposés sur une sphère, une demi-sphère etc., pour des prises de vue non limitées à un plan. Il est possible de prendre des prises de vue à 360° stéréoscopiques, par exemple avec une couronne de caméras multiples dont les espacements angulaires sont adaptés à la prise de vue stéréoscopique. Il est possible de prendre des prises de vue à 360° en 3D à l’aide de caméras tridimensionnelles.

[0065] Le dessous du robot est illustré sur la fig. 2 . Il comporte essentiellement un capteur de prise de vue 9 orienté vers le sol pour prendre des vues du sol sous le robot. Un anneau de leds 13 permet d’illuminer la zone de prise de vue. L’élément 14 est une jupe qui permet de protéger la zone de prise de vue du capteur 9 des perturbations lumineuses de l’extérieur. Le capteur 9 et l’illumination 13 permet de prendre des prises de vue dans le domaine du visible et/ou de l’ultraviolet, afin de détecter par exemple des marquages de motifs à l’encre visible à l’ultraviolet.

[0066] Le robot 1 peut être muni d’un capteur anti-collision non représenté pour éviter les collisions contre des personnes ou des objets. Le capteur anti-collision peut utiliser les images des appareils 4 ou être constitué par un détecteur de proximité dédié.

[0067] Le robot 1 peut être muni d’un capteur anti-dévaloir non représenté pour éviter le risque de dévalement dans un escalier ou une pente raide. Le capteur anti-dévaloir peut utiliser un ou plusieurs détecteurs d’ultrasons orienté vers le bas.

[0068] Le robot 1 peut être muni de différents éléments illustrés sur la fig. 4 pour déterminer sa position en tout temps. Outre le capteur d’images du sol 9 et les appareils 4, le robot peut ainsi comporter un odomètre 80 peur détecter les rotations des roues 3, par exemple à l’aide d’un capteur angulaire ou sur la base des signaux de commande transmis par l’électronique de commande de motorisation des roues.

[0069] Un capteur inertiel 81, par exemple un accéléromètre triaxial et/ou un gyroscope triaxial, peut aussi être utilisé pour mesurer les accélérations du robot et déterminer ainsi par une double intégration sa position et son orientation en tout instant.

[0070] Un capteur satellitaire 82, par exemple un récepteur GPS, peut être utilisé notamment à l’extérieur pour déterminer la position du robot 1.

[0071] Une boussole électronique peut être utilisée pour déterminer l’orientation du robot.

[0072] L’élément 84 est un module d’analyse d’images prises par les appareils 4 afin de déterminer, à l’aide d’algorithmes de computer vision, la position des appareils 4 dans l’espace.

[0073] Un inclinomètre 85 lié à la plateforme 6 ou au support 5 peut être utilisé pour mesurer puis corriger l’orientation du support 5 par rapport à l’horizontale. Cette correction d’horizontalité avant la prise de vue n’est pas nécessaire dans le cas d’images 360*180, dans lesquelles l’horizontalité peut être corrigée après la prise de vue.

[0074] L’élément 86 est un module d’analyse d’images du sol prises par l’appareil de prise de vue 9 afin de les comparer avec les images du sol prises lors du premier passage de repérage, puis de déterminer la position et l’orientation du robot 1.

[0075] Le module 11 est un module de guidage qui commande les moteurs 10 afin de guider le robot le long de la trajectoire optimisée voulue.

[0076] L’élément 7 est un processeur qui contrôle les autres éléments du robot 1. Il peut comporter une mémoire vive et morte interne ou externe.

[0077] L’élément 14 est un module sans-fil, par exemple une carte wifi qui permet au robot 1 de communiquer avec un ordinateur externe 2. L’ordinateur externe 2 peut par exemple déterminer la trajectoire optimale, contrôler le déplacement du robot le long de cette trajectoire, et/ou visualiser les images à 360° capturées.

[0078] Un stabilisateur peut être prévu pour stabiliser les mouvements des appareils 4 lors du déplacement du robot 1 ou du robot Delta 7.

[0079] La fig. 3 illustre schématiquement la première trajectoire T1 parcourue par le robot lors d’une première phase de repérage. Au cours de cette phase, le robot est poussé, tiré ou éventuellement télécommandé le long d’une trajectoire approximative souhaitée par un opérateur. En option, l’opérateur peut aussi indiquer, par exemple à l’aide d’un bouton, un certain nombre d’emplacements depuis lesquels il souhaite que des prises de vue soient capturées, ou de forcer le robot à parcourir exactement le même parcours en mode de déplacement automatique que pendant la mise en mémoire du trajet. Cette particularité est utile notamment dans les passages confinés où il n’y a pas d’autre variante possible de trajectoire entre le premier et deuxième passage. Le robot est en mode d’apprentissage lors de ce passage de repérage et prend une série de prises de vue P1, P2,.., Pi du sol au moyen de la caméra 9. Ces prises de vue déterminent un chemin le long duquel le robot pourra se déplacer lors de la capture des images 360°.

[0080] Ce premier passage peut être effectué relativement rapidement, par exemple à la vitesse d’un homme au pas. Il arrive cependant fréquemment que cette trajectoire ne soit pas idéale et qu’elle comporte par exemples à-coups dus à la traction humaine, des allers-retours intempestifs, des courbures de rayon insuffisant, ou qu’elle s’approche trop d’éléments fragiles ou de cadres de porte par exemple. Il est donc souhaitable d’optimiser cette trajectoire.

[0081] Cette optimisation de la trajectoire peut soit être effectuée en mode automatique par le processeur 7 du robot 1, ou par un ordinateur 2 à distance. Dans un autre mode de réalisation, l’optimisation de trajectoire est effectuée au moins en partie manuellement, par exemple en affichant la trajectoire suivie au cours de la phase de repérage par-dessus un plan du bâtiment. Un opérateur peut ensuite modifier cette trajectoire par exemple en déplaçant des points de contrôle le long de cette courbe.

[0082] La courbe T2 sur la fig. 3 illustre la trajectoire ainsi optimisée.

[0083] Les emplacements Ci de prise de vue sont de préférence déterminés automatiquement et/ou avec une intervention d’un opérateur au cours de cette étape d’optimisation. La distance maximale entre deux emplacements consécutifs est de préférence inférieure à 30cm. Cette distance peut être constante tout au long de la trajectoire Dans un mode de réalisation préférentiel, cette distance est variable. Elle peut par exemple être réduite automatiquement dans les portions de la courbe avec un faible rayon de courbure et/ou à proximité de points d’intérêts repérés sur le plan du bâtiment ou indiqués par l’utilisateur. Par ailleurs, des emplacements Ci de prise de vue impératifs peuvent être indiqués par l’opérateur lors du premier passage de balayage et/ou lors de la phase d’optimisation.

[0084] La courbe T2 optimisée est de préférence comprise à l’intérieur du chemin déterminé par le rayon des prises de vue Pi autour de la première trajectoire T1. En tous les cas, le chemin de prises de vue Pi autour de la trajectoire T1 et le chemin de prises de vue Qi autour de la trajectoire optimisée T2 se recoupent suffisamment pour permettre au robot de parcourir la trajectoire T2 en se repérant de manière fiable par rapport aux prises de vue Pi prises lors du passage de repérage.

[0085] Après cette phase de repérage puis d’optimisation, le robot 1 est lancé en mode de prise de vue afin de prendre une série de prises de vue aux emplacements Ci déterminés le long de la trajectoire optimisée T2. Comme mentionné, le robot s’arrête approximativement aux endroits déterminés; en cas d’erreur de positionnement ou d’orientation par rapport aux emplacements prévus, le robot Delta 7 compense l’erreur. La position et l’orientation exactes de prise de vue de chaque image 360° est de préférence enregistrée afin de favoriser l’assemblage ultérieur du flux d’image.

[0086] Dans un mode de réalisation, le robot prend plusieurs images à 360° successives depuis au moins un desdits emplacements successifs, compare ces deux images, et détermine sur la base de la comparaison si un objet s’est déplacé sur la scène entre les deux images. Si aucun déplacement n’est détecté, il est probable que l’image ne comporte aucune personne ni aucun objet mobile, et la première image, ou la deuxième, ou une combinaison des deux, est utilisée. Si en revanche les prises de vue présentent une différence, il est probable qu’une personne ou un objet en déplacement soit présent sur la scène, et l’image à 360° est reconstituée avec un arrière-plan qui ne conserve que les pixels fixes entre chaque image.

[0087] Le positionnement du robot le long de la trajectoire optimisée T2 est donc assuré essentiellement par repérage des prises de vue du sol et alignement avec des prises de vue similaires prises lors du premier passage. Les autres capteurs 80 à 85 peuvent cependant aussi être employés dans ce but, par exemple afin de positionner approximativement le robot mobile et de réduire le nombre d’images de référence Pi à comparer avec les nouvelles images Qi, et/ou pour lever des ambiguïtés éventuelles du repérage par les images au sol.

[0088] Les images à 360° successives capturées au cours du second passage peuvent être assemblées par un programme de stitching en un flux d’image immersif permettant à un spectateur de naviguer le long de la trajectoire T2 en choisissant à chaque instant la direction du regard et les déplacements de points de vue.

[0089] Dans un mode de réalisation avantageux, des annotations virtuelles peuvent être ajoutées à des emplacements x, y, z définis par les spectateurs dans le flux d’image capturé. Ces annotations peuvent par exemple comporter des messages ou des publicités qui pourront être visualisés par d’autres spectateurs du flux d’image en regardant vers le même point x, y, z.

Numéros de référence employés sur les figures

[0090] <tb>1<SEP>Robot <tb>2<SEP>Ordinateur de commande <tb>3<SEP>Roues <tb>4<SEP>Appareils photographiques <tb>5<SEP>Support <tb>6<SEP>Plateforme <tb>7<SEP>Robot Delta <tb>9<SEP>Capteur de prise de vue du sol <tb>10<SEP>Motorisation des roues <tb>11<SEP>Module de guidage <tb>12<SEP>Processeur <tb>13<SEP>Illumination du sol (visible et/ou UV) <tb>14<SEP>Module sans fil <tb>60<SEP>Trépied <tb>80<SEP>Capteur odométrique <tb>81<SEP>Capteur inertiel <tb>82<SEP>Capteur satellitaire (GPS, etc.) <tb>83<SEP>Boussole <tb>84<SEP>Module d’analyse d’images prises par les caméras 4 <tb>85<SEP>Inclinomètre <tb>86<SEP>Module d’analyse d’images du sol <tb>T1<SEP>Trajectoire initiale <tb>T2<SEP>Trajectoire corrigée <tb>Pi<SEP>Prises de vue du sol initiales <tb>Ci<SEP>Emplacements de prise de vue <tb>Qi<SEP>Nouvelles prises de vue

Claims (12)

1. Procédé pour la capture d’une série d’images à 360° depuis des emplacements successifs (C1, C2,.., Ci) le long d’une trajectoire, comprenant les étapes suivantes: un utilisateur déplace un robot (1) équipé de roues (3) ou de chenilles le long d’une première trajectoire (T1); durant ce déplacement, le robot (1) repère sa position grâce à une série de prises de vue du sol (P1, P2,.., Pi); une deuxième trajectoire (T2) est déterminée par optimisation manuelle et/ou automatique à partir de la première trajectoire; lesdits emplacements successifs (C1, C2,.. Ci) sont déterminés automatiquement et/ou manuellement le long de la deuxième trajectoire (T2); le robot (1) se déplace de lui-même en parcourant la deuxième trajectoire (T2) et en se repérant à l’aide de ladite série de prise de vues (P1, P2,.., Pi) du sol, et prend lesdites images à 360° auxdits emplacements successifs (C1, C2,.., Ci) à l’aide d’au moins un appareil photographique (4) monté sur un support (5).

2. Procédé selon la revendication 1, dans lequel ledit robot (1) s’arrête à proximité de chaque dit emplacement, et corrige la position du ou des appareils photographiques (4) par déplacement dudit support (5) par rapport auxdites roues (3) ou chenilles.

3. Procédé selon l’une des revendications 1 ou 2, dans lequel ledit robot (1) comporte une plateforme (6) munie de quatre roues et un robot (7) monté sur ladite plateforme pour tenir et déplacer ledit support commun (5).

4. Procédé selon l’une des revendications 2 à 3, dans lequel la position et l’orientation dudit robot (1) après les arrêts auxdits emplacements successifs (C1, C2,.., Ci) est déterminée par comparaison entre les prises de vue du sol (P1, P2,.., Pi) et de nouvelles prises de vue du sol (Q1, Q2,.., Qi).

5. Procédé selon l’une des revendications 2 à 4, dans lequel la position et l’orientation dudit support (5) après les arrêts auxdits emplacements successifs (C1, C2,.., Ci) est déterminée à l’aide d’un ou plusieurs des moyens suivants: capteur odométrique (80); capteur inertiel (81) lié audit robot; boussole magnétique (83); module (84) d’analyse d’images prises par lesdits appareils photographiques (4); inclinomètre (85).

6. Procédé selon l’une des revendications 1 à 5, comportant une étape de stitching entre images prises depuis des emplacements différents.

7. Procédé selon l’une des revendications 1 à 6, dans lequel ledit robot prend au moins deux images à 360° successives depuis au moins un desdits emplacements (C1, C2,.., Ci), compare ces deux images, et reconstitue une image supprimant les éléments mobiles à l’avant-plan.

8. Procédé selon l’une des revendications 1 à 7, comprenant une étape de marquage du sol le long de la première trajectoire (T1) au moyen d’une encre invisible, et de détection dudit marquage au moyen de prises de vue dans le domaine de l’ultraviolet.

9. Système de prise de vues comprenant un robot (1) équipé de roues (3) ou de chenilles adapté à la mise en œuvre du procédé selon l’une des revendications 1 à 8, ledit robot comprenant: une caméra (9) adaptée à la prise de vue du sol sous le robot; un module logiciel (85) permettant de déterminer la position et l’orientation du robot par alignement de prises de vue du sol avec des prises de vue antérieures du sol (P1, P2,.., Pi); au moins un appareil photographique (4) monté sur un support (5) pour la capture de prises de vues à 360°; une motorisation (10) pour entraîner lesdites roues (3) ou chenilles; un module de guidage (11) pour entraîner lesdites roues ou chenilles le long d’une trajectoire (T1) déterminée à l’aide desdites prises de vue du sol et pour déclencher des prises de vue à des emplacements successifs (C1, C2,.., Ci) déterminés le long de ladite trajectoire (T1).

10. Système selon la revendication 9, comprenant au moins un des éléments suivants pour déterminer la position et l’orientation du robot à chaque emplacement: module d’analyse d’images prises par le ou lesdits appareils photographiques (4); capteur odométrique (80); capteur inertie! (81) lié audit robot; boussole magnétique (83); inclinomètre (85).

11. Système selon l’une des revendications 9 à 10, comportant un module de d’élimination d’objets mobiles par comparaison entre deux images prises depuis le même emplacement.

12. Système selon l’une des revendications 9 à 11, comprenant un marqueur de sol pour marquer le sol le long de la première trajectoire (T1) au moyen d’une encre invisible, et dans lequel les prises de vue du sol sont prises au moins partiellement dans le domaine de l’ultraviolet afin de détecter ledit marquage.