WO2013121052A1 - Procédé de mise en évidence d'au moins un élément en mouvement dans une scène ainsi qu'un dispositif portatif de réalité augmentée mettant en oeuvre ledit procédé - Google Patents

Procédé de mise en évidence d'au moins un élément en mouvement dans une scène ainsi qu'un dispositif portatif de réalité augmentée mettant en oeuvre ledit procédé Download PDF

Info

Publication number
WO2013121052A1
WO2013121052A1 PCT/EP2013/053216 EP2013053216W WO2013121052A1 WO 2013121052 A1 WO2013121052 A1 WO 2013121052A1 EP 2013053216 W EP2013053216 W EP 2013053216W WO 2013121052 A1 WO2013121052 A1 WO 2013121052A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
scene
generated
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2013/053216
Other languages
English (en)
Inventor
Nizar Ouarti
Avinoam SAFRAN
Johan LE BRUN
Samuel PINEAU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite Pierre et Marie Curie
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite Pierre et Marie Curie
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite Pierre et Marie Curie filed Critical Centre National de la Recherche Scientifique CNRS
Publication of WO2013121052A1 publication Critical patent/WO2013121052A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours

Definitions

  • the invention relates to a method for highlighting at least one moving element in a scene.
  • the invention also relates to a portable augmented reality device implementing said method.
  • “Augmented reality” is today the techniques used to change the perception of the environment, whether it is related to sight, touch or even smell, through more or less immersive devices.
  • the devices relating to the vision may especially be called retinal, when they are directly applied to the retina of the user, "head-mounted display” or HMD, when they are worn on the head or face as helmets or goggles, “hand-held display” or HHD, when they are adapted to be worn as hand-held mobile phones or consoles.
  • Eyeglasses are of little use for people with low vision due to a rare condition such as retinopathy pigmentosa or juvenile retinoschisis but also to a more common pathology such as Aging Age-related Degeneration or AMD. .
  • the macula is the central part of the retina whose main role is to transmit to the brain information on the contours and colors of the various elements contained in a scene. But with age, the macula tends to deteriorate. Patients with AMD are thus victims of a progressive deterioration of their vision with for example a decrease in the sensitivity to contrasts, a tendency to the deformation of the straight lines and sometimes the appearance of a dark central task still called scotoma. To date, there is no known therapeutic treatment to completely cure a patient with AMD.
  • augmented reality techniques In order to assist a patient with a retinal pathology it has been proposed to employ augmented reality techniques.
  • the scene is observed using a sensor and processed images are generated.
  • a scene consists of a set of real elements, which can be for example people or objects, likely to move within an environment: Movements can also appear in non-rigid objects (eg facial expressions): the moving element is then the moving portion of the non-rigid object.
  • a sensor is a device that transforms the state of a physical quantity into an observable quantity.
  • sensors can be associated to measure one or more physical quantities on a spatial window and may vary over time.
  • an isolated photodiode may constitute a sensor
  • the combination of several photodiodes may constitute a camera that will also be described as a sensor
  • Another method is to display a miniaturized version of the scene with outlines enhanced on the original image.
  • the images processed thus comprise a representation of the elements of the scene according to the information generated by the sensor associated with them, the representation of each of the elements is qualified as figuration.
  • each of the figurations are generally determined according to the same principles for all the elements of the same scene.
  • a digital camera having common optical sensors is used to photograph a scene, it makes it possible to obtain digital images in which the figurations of the elements of the scene are, from the point of view of the user and because of their. visual characteristics, very representative of, or similar to, the scene he can observe with the naked eye.
  • An object of the invention is to propose a method for generating processed images of a real scene taking place in front of a person by processing the information acquired by means of a sensor from the real scene which makes it possible to overcome disadvantages mentioned above.
  • An object of the invention is also to provide a portable augmented reality device implementing such a method.
  • the number of highlighted elements is reduced vis-à-vis worked images that are generated by a method of the prior art.
  • the person can thus visualize the scene by the display member without being as tired as if it viewed said scene through processed images generated by a method of the prior art.
  • it is important to put the moving elements in evidence so that a person can move towards these elements for example to avoid or catch one of the elements.
  • a person with a pathology of the retina can thus more easily interact with his environment. By parallax, the elements closest to the person are much more visible.
  • the person apprehends in priority the moving elements that are generally the important elements of the scene.
  • the inventors have found that a person has difficulty in understanding the important elements of the scene because too much contours or not enough contours were enhanced. When too many contours were enhanced, the images were difficult to understand for the person watching them. When little outlines were enhanced, important elements of the scene could escape the attention of the person.
  • the term sensor may of course designate an isolated sensor or a combination of sensors.
  • the term figuration designates the representation in the processed image of an element, in particular an element in motion.
  • the invention thus makes it possible to highlight the figurations of the moving elements directly by working on the information generated by the sensor.
  • the worked images thus highlight said figurations by a work on their visual characteristics and not by the addition of fictitious elements in the images worked to highlight said figurations.
  • the method comprises an analysis of the matrix data generated by the sensor by calculating the dense optical flows associated with these data.
  • the computation of dense optical fluxes uses a dense differential optical flux method with a pyramidal scheme.
  • the invention also relates to a portable augmented reality device implementing the method according to the invention.
  • Figure 1 is a diagram showing the different steps of the method of the invention.
  • FIG. 2 is a perspective view of a portable augmented reality device embodying the method of the invention illustrated in FIG.
  • the method of the invention is intended to highlight at least one moving element in a scene.
  • the method comprises for this purpose a first step 1 during which the scene is observed using at least one sensor.
  • the sensor comprises at least one camera taking pictures of the scene.
  • a second step 2 the images taken by the camera are analyzed to identify the moving element in the scene.
  • a third step 3 real-time images of the scene comprising a figuration of the moving element as identified, in which at least one visual characteristic of at least the figuration of the moving element, are generated in real time. determined according to the analyzed images to highlight said element with respect to other immobile elements of the scene.
  • a fourth step 4 the processed images generated in the third step 3 are projected onto a display member.
  • the visual characteristic is determined as a function of at least one inertial characteristic related to the movement of the element in the scene.
  • the inertial characteristic is for example a speed of displacement of the element, a direction of displacement of the element, an acceleration of displacement of the element ...
  • the images processed are generated from a representation of the velocity vectors respectively associated with the pixels of the images taken by the camera.
  • the hue of the figuration of the moving element is determined according to a direction of movement of the element in the scene.
  • a color code is defined, a color being associated with a direction of movement in the images relative to a position of the camera in the images.
  • processed images are generated by assigning to each pixel of the processed image a color which is function, according to the color code, of the direction of the velocity vector associated with the corresponding pixel of the image taken by the camera.
  • the pixels representing an inert part of the scene being all of the same color and the pixels representing part of the moving element being all of a color different from the color of the pixels representing an inert part of the scene, the moving element is well highlighted.
  • a user can easily identify the directions of movement of the elements of the scene.
  • the luminance of the figuration of the moving element is determined as a function of a speed of movement of the element in the scene.
  • the processed images are then generated by assigning each pixel of the processed image: a first luminance if the velocity vector associated with the corresponding pixel of the image taken by the camera has a norm greater than a given threshold;
  • generated images are generated by attributing to the different pixels of the processed image a luminance proportional to the norm of the velocity vector associated with the corresponding pixel of the image taken by the camera.
  • the pixels representing part of a moving element appear much brighter than the pixels representing an inert part of the scene, the moving element is well highlighted.
  • the higher a moving element has a high speed the more the representation of said element differs from the figurations of other elements and the user can easily apprehend such a moving element.
  • the luminance of the figuration of the moving element is determined according to a direction of movement of the element in the scene.
  • processed images are generated by assigning to the different pixels of the processed image a luminance which is a function of the direction of movement of the velocity vector associated with the corresponding pixel of the image taken by the camera so that the direction of the a velocity vector is oriented towards a center of the image taken by the camera, plus the luminance of the corresponding pixel on the image worked will be important.
  • the element in motion is well highlighted on the images worked.
  • the closer a moving element is to the user the more the representation of said element differs from the figurations of the other elements and the user can easily apprehend such a moving element.
  • the saturation of the figuration of the moving element is determined according to a speed of movement of the element in the scene.
  • processed images are generated by allocating to the different pixels of the processed image a saturation proportional to the norm of the velocity vector associated with the corresponding pixel of the image taken by the camera.
  • the saturation of the figuration of the moving element is determined according to a direction of movement of the element in the scene.
  • processed images are generated by attributing to the various pixels of the processed image a saturation which is a function of the direction of movement of the velocity vector associated with the corresponding pixel of the image taken by the camera so that the direction of the image a velocity vector is oriented towards a center of the image taken by the camera, plus the saturation of the corresponding pixel on the image worked will be important.
  • the processed images are generated by modifying the images taken by the camera.
  • the processed images generated by the second implementation contain a greater number of information on the scene observed especially in terms of textures and colors of the elements of the scene.
  • the luminance of the figuration of the moving element is determined as a function of a speed of movement of the element in the scene.
  • the images processed are generated by modifying the luminance of the pixels of the images taken by the camera in proportion to the norm of the velocity vector of each of said pixels.
  • the following formula is used here for each pixel of an image taken by the sensor:
  • the pixels representing part of a moving element appear much brighter than the pixels representing an inert part of the scene, the moving element is well highlighted.
  • the higher a moving element has a high speed the more the representation of said element differs from the figurations of other elements and the user can easily apprehend such a moving element.
  • the processed images are generated by keeping the luminance of the pixels of the images taken by the camera that have a velocity vector standard higher than a predetermined threshold and by lowering the luminance of the pixels of the images taken by the camera that have a standard of velocity vector below said threshold.
  • the pixels representing part of a moving element appear much brighter than the pixels representing an inert part of the scene, the moving element is well highlighted.
  • the processed images are generated by increasing the luminance of the pixels of the images taken by the camera which have a velocity vector standard higher than a predetermined threshold and by maintaining the luminance of the pixels of the images taken by the camera which have a velocity vector standard below said threshold.
  • the predetermined gain for increasing the luminance of the pixels - dyn the luminance dynamics of the image taken by the camera (usually 255).
  • the pixels representing part of a moving element appear much brighter than the pixels representing an inert part of the scene, the moving element is well highlighted.
  • the luminance of the figuration of the moving element is determined according to a direction of movement of the element in the scene.
  • the images processed are generated by modifying the luminance of the pixels of the images taken by the camera as a function of the direction of the velocity vector of each of said pixels so that the direction of the velocity vector of a pixel is oriented toward a center images taken by the camera plus the luminance of said pixel in the processed images is important.
  • the moving element is well. highlighted.
  • the more a moving element goes in the direction of the user the more the representation of said element differs from the figurations of the other elements and the user can easily apprehend such a moving element.
  • the saturation of the figuration of the moving element is determined according to a speed of movement of the element in the scene.
  • the images worked are generated by modifying the saturation of the pixels of the images taken by the camera in proportion to the norm of the velocity vector of each of said pixels.
  • the following formula is used here for each pixel of an image taken by the sensor:
  • the processed images are generated by increasing the saturation of the pixels of the images taken by the camera which have a velocity vector standard higher than a predetermined threshold and by maintaining the saturation of the pixels of the images taken by the camera which have a standard velocity vector below said threshold.
  • S '' the saturation of the pixel of the processed image; - saturation of the pixel of the image taken by the camera; the norm of the pixel velocity vector of the image taken by the camera;
  • the saturation of the figuration of the moving element is determined according to a direction of movement of the element in the scene.
  • the images worked are generated by modifying the saturation of the pixels of the images taken by the camera as a function of the direction of the velocity vector of each of said pixels so that the direction of the velocity vector of a pixel is oriented toward a center images taken by the camera plus the saturation of said pixel in the images worked is important.
  • the determination method is here implemented using a portable augmented reality device 10 which is for example worn by a user suffering from a pathology of the retina.
  • the augmented reality portable device 10 comprises a display member.
  • the display member comprises a pair of spectacles 11 comprising on a first lens a first display 15 and on a second lens a second display 16.
  • the augmented reality portable device 10 further includes at least one sensor for viewing the scene.
  • the augmented reality portable device 10 thus comprises means for taking stereoscopic images which comprise a first camera 12 associated with the right eye of the user and the first lens and a second associated camera 13 to the left eye of the user and to the second glass.
  • the augmented reality portable device 10 further comprises a computing device 14 which is connected here wired to the stereoscopic image taking means as well as to the first display 15 and to the second display 16.
  • the computing device 14 includes means for analyzing the images taken by the cameras 12, 13 to identify at least one moving element in the scene.
  • the computing device 14 further comprises means for generating the processed images of the scene in real time.
  • the computing unit 14 To work in real time, the computing unit 14 must deliver a large computing power in a very short time.
  • the computing unit 14 comprises a parallel calculation module in particular for generating the processed images in real time.
  • the parallel computing module is for example a graphics processor (GPU or Graphical Processing Unit in English) or a programmable logic circuit (SPGA or System-Programmable Gaste Array).
  • GPU Graphical Processing Unit
  • SPGA System-Programmable Gaste Array
  • the augmented reality portable device 10 here comprises a battery 17 for powering said portable augmented reality device 10.
  • the computing device 14 implements, for example, the following algorithm.
  • the computing device 14 estimates the optical flux of the pixels of the images taken by each camera so as to determine velocity vectors which are respectively associated with each of said pixels.
  • the computation unit 14 estimates:
  • the computation member 14 estimates the velocity vector of each pixel of the image f n + 1 (x, y, t + dt), which makes it possible to locate one or more moving elements in the scene.
  • the computing device 14 In a second step, the computing device 14 generates an image f n + i '(x, y, t + dt) by modifying the image fn + i (, Y, t + dt). For this purpose, for each pixel of the image fn + i (x r y, t + dt), the computation unit 14 estimates for example the norm of the vector (u n + i; v n + i). The image f n + i '(x, y, t + dt) is then created for example by modifying the luminance of the pixels of the images taken by the camera in proportion to the norm of the thus calculated velocity vector of each of said pixels, as described previously. The processed images of each camera are here processed by the computing device 14 in order to generate worked stereoscopic images of the scene that are projected onto said glasses displays 11.
  • the portable device 10 augmented reality is a small footprint so that the user can wear it on him everyday.
  • the augmented reality portable device 10 allows the projection of the images processed in real time so that the user can interact in a natural way with his environment.
  • the computation unit 14 implements the following algorithm based on the analysis of dense optical flows.
  • the analysis step thus comprises the real-time calculation of optical flows for estimating the inertial characteristic, the optical flux being a vector field representing the displacement of each pixel between two images generated by the sensor.
  • successive images here means images generated by the sensor at successive times (as in the previous example images taken at times t and t + dt).
  • the images considered for the computation of the optical fluxes correspond preferably to consecutive instants although this is not obligatory.
  • the visual characteristics of the representation of each element of the scene can thus be modified accordingly by taking into account the inertial data of each pixel. This will result in images where the moving areas of the video formed by the succession of images will have a different representation of the static areas.
  • the goal is to determine which objects are moving thanks to the optical flow.
  • the analysis step comprises the real-time calculation of the dense optical fluxes taking into account all the pixels of the successive images generated by the sensor.
  • a real-time dense optical flux calculation is thus performed here.
  • the invention thus aims to take advantage of the computation of a dense optical flux in real time and its graphical representation to obtain the images processed from the real scene.
  • the computation of the dense optical fluxes in real time comprises the implementation of a dense differential optical flow method with a pyramidal scheme (see for example Jean-Yves Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker: Description of tea algorithm ", Intel Corporation - Microprocessor Research Labs, 2002.)
  • L m is 2, 3 or 4
  • L m is 2, 3 or 4
  • each successive image is sub-sampled from the level 0 corresponding to the initial image to the level L m corresponding to the coarsest sampling.
  • the optical flux is computed and then propagated at the lower level by translating one of the two images according to this optical flux. The calculation is performed again at the lower level and so on until level 0 which corresponds to the initial image. The final optical flux is then recovered.
  • the computation of the dense optical flux in real time at each level of the pyramid comprises a minimization of the aforementioned functional.
  • non-stationary wavelet packets will preferably be used. It is thus used a Besov space and non-stationary wavelet packets called "PONS" (see “Best basis denoising with non-stationary avelet packets” Ouarti & Peyre, Proceedings of IEEE-ICIP (pp. 3825-3828), 2009) which generalize the notion of wavelet.
  • PONS Besov space and non-stationary wavelet packets
  • the images worked are generated according to a model Luminance Saturation Hue (TSL) or HSL in English.
  • TSL Luminance Saturation Hue
  • the hue is the pure form of a color that is to say without adding white, black or gray
  • the saturation quantifies the amount of gray present in a color
  • the luminance quantifies the amount of white or black in a color.
  • the visual characteristic determined according to at least the inertial characteristic is then one of the three parameters of the HSL model, namely hue, saturation or luminance.
  • the determination of the visual characteristic and the generation accordingly of the processed images will therefore have the effect of representing movement information by a modification of the position in the colored space of the pixels of the images worked with respect to their positions in the non-processed images. generated by the sensor. It should be noted, however, that in the case of monochrome images or videos showing only one physical quantity at a time, the change will only be effective on a single parameter such as luminance.
  • the center of the image worked to generate is initialized to zero.
  • the norm of (u, v), the angle of (u, v) and the position of the pixel associated with (u, v) are calculated.
  • the scalar product is then calculated between the normed vector of the position of the pixel and the opposite of the normalized vector (w, v).
  • the norm of (u, v) is defined as luminance, the angle of (, v) as hue and S as saturation.
  • the inertial characteristic comprises velocity vectors which are each associated with one of the pixels of the images taken by the camera, the time calculation real optical fluxes for estimating said velocity vectors.
  • the method of the invention may be implemented for applications other than medical aid to persons suffering from a pathology of the retina and / or may be implemented by other devices than that described.
  • the method according to the invention can be implemented to help a vehicle driver to better understand his environment by highlighting moving elements at the rear of the vehicle as another vehicle.
  • the display member will be arranged above one of the mirrors as the left mirror. Thus, the driver can both look at the rearview mirror and the display member to apprehend what is happening at the rear of his vehicle.
  • the step of real-time generation of the images worked may be different from those described.
  • the inertial characteristic may also be related to the acceleration of the element, at a distance from the element with respect to the center of the images taken by the camera ...
  • the inertial characteristic may thus comprise, instead of velocity vectors, accelerating vectors, which are the derivatives of the velocity vectors.
  • the determined visual characteristic may be other than one of the three parameters hue, saturation, luminance as for example a contrast of the contours of the element. It will be possible to determine several visual characteristics of at least the moving figuration as it is located.
  • the visual characteristic (s) as a function of several inertial characteristics related to the movement of the element in the scene. For example, it will be possible to generate processed images of the scene by determining a first visual characteristic of the figuration of the moving element according to the speed of movement of the element and by determining a second visual characteristic of the figuration of the element. moving element according to a direction of movement of the element relative to the sensor and / or the user. As a variant, it will be possible to generate processed images of the scene by determining a unique visual characteristic of the figuration of the moving element according to different inertial characteristics.
  • the images processed are generated by modifying the luminance of the pixels of the images taken by the camera according to the norm and the direction of the velocity vector of each of said pixels so that the direction of the vector the speed of a pixel is oriented towards a center of the images taken by the camera and the higher the standard of the velocity vector of said pixel, the higher the luminance of said pixel in the processed images is important.
  • the images worked are generated by modifying the saturation of the pixels of the images taken by the camera according to the norm and the direction of the velocity vector of each of said pixels so that the direction of the velocity vector of one pixel is center-oriented images taken by the camera and the higher the speed vector standard of said pixel, the higher the saturation of said pixel in the images worked is important.
  • images taken by the camera in gray level or through images taken by the camera in color.
  • the representation of a shadow is mobile from one image to another, it constitutes in itself the figuration of an element in motion.
  • the shadow figuration is highlighted on the images worked, which is of little interest to the user.
  • it is easier to detect the representation of a shadow so that one can then remove at least part of said shadow.
  • at least part of the shadow of the user will be removed if it is present on the images.
  • the sensor, the display member and, in general, the portable augmented reality device implemented can be different from that described here by way of example.
  • the method may be implemented by a different number of sensors than indicated and by other sensors than those described as a laser, a camera, a touch interface, an electron scanner, etc.
  • the senor is a camera directly generating images
  • Most sensors acquire information in analog form, for example a wavelength, and convert it into digital form.
  • the observation of a scene using a sensor makes it possible to obtain data relating to physical quantities, for example optical, sound, tactile (touch screen) data, the detection of secondary electrons, etc.
  • These analog physical data are translated into digital data that can be organized in a matrix form.
  • Such a digital image will thus include a representation of the elements of the scene according to the physical data associated with them, the representation of each of the elements is qualified as figuration.
  • the matrices associated with the digital images used for the video contain spatial and temporal data that make it possible to follow the evolution of the physical magnitudes of the elements of the scene.
  • the invention thus relates to real-time analysis of the differences existing between two successive matrix data, in particular in order to determine the movement of the elements present within the scene, and then to generate in real time processed images of the scene comprising a representation of the image.
  • moving element as marked, in which at least one visual characteristic of at least the figuration of the moving element is determined according to the analyzed information to highlight said element relative to other immobile elements of the scene.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé de mise en évidence d'au moins un élément en mouvement dans une scène, le procédé comportant les étapes de : - observer (1) la scène à l'aide d'au moins un capteur; - analyser (2) des informations générées par le capteur pour repérer l'élément en mouvement dans la scène; - générer (3) en temps réel des images travaillées de la scène comprenant une figuration de l'élément en mouvement tel que repéré, dans lesquelles au moins une caractéristique visuelle d'au moins la figuration de l'élément en mouvement est déterminée en fonction des informations analysées pour mettre en évidence ledit élément par rapport à d'autres éléments immobiles de la scène; - projeter (4) les images ainsi générées sur un organe de visualisation.

Description

Procédé de mise en évidence d' au moins un élément en mouvement dans une scène ainsi qu' un dispositif portatif de réalité augmentée mettant en œuvre ledit procédé
L' invention concerne un procédé de mise en évidence d'au moins un élément en mouvement dans une scène. L'invention concerne également un dispositif portatif de réalité augmentée mettant en œuvre ledit procédé. ARRIERE PLAN TECHNOLOGIQUE DE L' INVENTION
Par « réalité augmentée » on désigne aujourd'hui les techniques employées pour modifier la perception de l'environnement, que celle-ci soit liée à la vue, au toucher ou encore à l'odorat, au travers de dispositifs plus ou moins immersifs .
Les dispositifs relatifs à la vision peuvent notamment être qualifiés de rétiniens, lorsqu'ils sont directement appliqués sur la rétine de l'utilisateur, de « head-mounted display » ou HMD, lorsqu'ils sont portés sur la tête ou le visage comme des casques ou des lunettes, de « hand-held display » ou HHD, lorsqu' ils sont adaptés pour être portés à la main comme des téléphones portables ou des consoles de j eu .
Les applications de ces nouvelles techniques sont nombreuses, elles sont aujourd'hui employées dans le secteur de l'assistance personnelle et de la publicité, de la navigation, du tourisme, de l'industrie militaire, du sport, du design ou encore de la médecine. Dans ce dernier secteur plusieurs domaines sont concernés, on peut notamment citer la chirurgie ou l'ophtalmologie.
Les lunettes de vue s' avèrent de peu d' utilité pour les personnes atteintes de malvoyance due à une pathologie rare comme une rétinopathie pigmentaire ou bien une rétinoschisis juvénile mais également à une pathologie plus courante comme une Dégénérescence aculaire Liée à l'Age ou DMLA. La macula est la partie centrale de la rétine dont le rôle principal est de transmettre au cerveau des informations sur les contours et les couleurs des différents éléments contenus dans une scène. Or, avec l'âge, la macula a tendance à se détériorer. Les patients atteints de DMLA sont ainsi victimes d'une dégradation progressive de leur vue avec par exemple une diminution de la sensibilité aux contrastes, une tendance à la déformation des lignes droites et parfois l'apparition d'une tâche sombre centrale encore appelée scotome. A ce jour, il n'existe aucun traitement thérapeutique connu permettant de guérir totalement un patient atteint de DMLA.
Afin d'aider un patient atteint d'une pathologie de la rétine il a été proposé d'employer des techniques de réalité augmentée. La scène est observée à l'aide d'un capteur et des images travaillées sont générées. Typiquement une scène est constituée d'un ensemble d'éléments réels, qui peuvent être par exemple des personnes ou des objets, susceptibles de se déplacer au sein d'un environnement: Des mouvements peuvent également apparaître aussi au sein d'objets non rigides (ex : expressions faciales) : l'élément en mouvement est alors la portion mobile de l'objet non rigide. On rappelle qu'un capteur est un dispositif transformant l'état d'une grandeur physique en grandeur observable. On peut associer plusieurs capteurs permettant de mesurer une ou plusieurs grandeurs physiques sur une fenêtre spatiale et pouvant varier dans le temps. Ainsi par exemple une photodiode isolée peut constituer un capteur, l'association de plusieurs photodiodes peut constituer une caméra que l'on qualifiera également de capteur
Afin d'aider un patient atteint d'une pathologie de la rétine, il a notamment été proposé dans le brevet US 6 611 618 d'employer des techniques de réalité augmentée et plus précisément un procédé comportant les étapes de : observer une scène se déroulant devant le patient à l'aide d'un capteur, en l'occurrence une caméra ;
générer des images travaillées de la scène à partir des informations générées par la caméra de sorte que tous les contours contenus dans l'image soient rehaussés;
projeter les images ainsi générées
organe de visualisation.
Une autre méthode consiste à afficher une ver s ion miniaturisée de la scène avec des contours rehaussés sur l'image originale.
Les images travaillées comprennent ainsi une représentation des éléments de la scène fonction des informations générées par le capteur qui leur sont associées, la représentation de chacun des éléments est qualifiée de figuration.
Les caractéristiques visuelles de chacune des figurations sont généralement déterminées selon les mêmes principes pour tous les éléments d'une même scène. A titre d'exemple, lorsqu'un appareil photographique numérique disposant de capteurs optiques communs est utilisé pour photographier une scène, il permet d'obtenir des images numériques dans lesquelles les figurations des éléments de la scène sont, du point de vue de l'utilisateur et en raison de leurs . caractéristiques visuelles, très représentatives de, voire similaire à, la scène qu'il peut observer à l'œil nu.
Dans le cas du brevet US 6 611 618, les contours sont accentués dans les images travaillées ce qui permet d'aider le patient à mieux percevoir et mieux comprendre la scène qui se déroule devant lui lorsqu'il regarde la scène à travers l'organe de visualisation. En outre, si le patient est atteint d'un scotome, sa vision périphérique est ainsi améliorée ce qui compense sensiblement son absence centrale de vision.
Cependant, aucune hiérarchisation n'existe entre les contours rehaussés, et donc tous les contours sont rehaussés et très visibles. Il s'avère que pour une scène contenant de nombreux détails, le patient se fatigue très rapidement à visualiser son environnement à partir de telles images travaillées. D'autre part, il est difficile pour le patient d'extraire les informations pertinentes.
OBJET DE L' INVENTION
Un but de l'invention est de proposer un procédé pour générer des images travaillées d'une scène réelle se déroulant devant une personne par le traitement des informations acquises au moyen d'un capteur à partir de la scène réelle qui permette de surmonter des inconvénients précités .
Un but de l'invention est également de proposer un dispositif portatif de réalité augmentée mettant en œuvre un tel procédé.
BREVE DESCRIPTION DE L'INVENTION
En vue de la réalisation de ce but, on propose un procédé de mise en évidence d'au moins un élément en mouvement dans une scène, le procédé comportant les étapes de :
- observer la scène à l'aide d'au moins un capteur ;
- analyser des informations générées par le capteur pour repérer l'élément en mouvement dans la scène ;
- générer en temps réel des images travaillées de la scène comprenant une figuration de l'élément en mouvement tel que repéré, dans lesquelles au moins une caractéristique visuelle d'au moins la figuration de l'élément en mouvement est déterminée en fonction des informations analysées pour mettre en évidence ledit élément par rapport à d'autres éléments immobiles de la scène ; - projeter les images ainsi générées sur un organe de visualisation.
Ainsi, seuls les éléments en mouvement sont mis en évidence de sorte que le nombre d' informations supplémentaires reçues par le cerveau, lorsqu'une personne utilise l'organe de visualisation, n'est pas excessif. L'attention de la personne est donc principalement tournée vers les figurations des éléments en mouvement.
Le nombre d'éléments mis en évidence est réduit vis-à- vis d' images travaillées qui sont générées par un procédé de l'art antérieur. La personne peut donc visualiser la scène par l'organe de visualisation sans autant se fatiguer que si elle visualisait ladite scène par l'intermédiaire d'images travaillées générées par un procédé de l'art antérieur. Par ailleurs, il est primordial de mettre les éléments en mouvement en évidence afin qu'une personne puisse se déplacer vis-à-vis de ces éléments par exemple pour éviter ou attraper l'un des éléments. Dans un cadre médical, une personne atteinte d'une pathologie de la rétine peut ainsi plus facilement interagir avec son environnement. De par la parallaxe, les éléments les plus proches de la personne sont bien plus visibles.
En outre, la personne appréhende en priorité les éléments en mouvement qui sont généralement les éléments importants de la scène. Avec le procédé de l'art antérieur, les inventeurs se sont aperçus qu'une personne éprouvait des difficultés à appréhender les éléments importants de la scène car trop de contours ou pas assez de contours étaient rehaussés. Lorsque trop de contours étaient rehaussés, les images s'avéraient difficilement intelligibles pour la personne qui les regardait. Lorsque peu de contours étaient rehaussés, des éléments importants de la scène pouvaient échapper à l'attention de la personne.
De façon avantageuse, en mettant en évidence uniquement les éléments en mouvement et non tous les éléments de la scène, il est possible de réaliser les différentes étapes du procédé en temps réel. Par temps réel, on entend ici que les images travaillées sont projetées le plus rapidement possible vis-à-vis du moment où des informations ont été générées par le capteur afin qu'une personne puisse interagir avec son environnement tout aussi naturellement que si elle visualisait directement son environnement. Les inventeurs ont ainsi pu réaliser des prototypes mettant en œuvre le procédé de l'invention dans lesquels entre quinze et vingt images travaillées sont projetées par seconde.
Dans le cadre de la présente demande, le terme capteur pourra bien entendu désigner un capteur isolé ou une association de capteurs. Par ailleurs, le terme de figuration désigne la représentation dans l'image travaillée d'un élément en particulier un élément en mouvement .
L'invention permet ainsi la mise en évidence des figurations des éléments en mouvement directement par un travail sur les informations générées par le capteur. Les images travaillées mettent ainsi en évidence lesdites figurations par un travail sur leurs caractéristiques visuelles et non par l'ajout d'éléments fictifs dans les images travaillées pour mettre en évidence lesdites figurations .
Selon un mode particulier de mise en œuvre de l'invention, le procédé comprend une analyse des données matricielles générées par le capteur par calcul des flux optiques denses associés à ces données. De préférence, le calcul des flux optiques denses fait appel à une méthode de flux optique différentiel dense à schéma pyramidal.
L'invention concerne également un dispositif portatif de réalité augmentée mettant en œuvre le procédé selon 1' invention .
BREVE DESCRIPTION DES DESSINS L'invention sera mieux comprise à la lumière de la description qui suit d'une mise en œuvre particulière non limitative de l'invention en référence aux figures ci- jointes parmi lesquelles :
la figure 1 est un schéma représentant les différentes étapes du procédé de l'invention ;
la figure 2 est une vue en perspective d'un dispositif portatif de réalité augmentée mettant en œuvre le procédé de l'invention illustré à la figure 1.
DESCRIPTION DETAILLEE DE L'INVENTION
En référence à la figure 1, le procédé de l'invention est destiné à mettre en évidence au moins un élément en mouvement dans une scène.
Le procédé comporte à cet effet une première étape 1 au cours de laquelle on observe la scène à l'aide d'au moins un capteur. Ici, le capteur comporte au moins une caméra prenant des images de la scène.
Dans une deuxième étape 2, on analyse les images prises par la caméra pour repérer l'élément en mouvement dans la scène.
Dans une troisième étape 3, on génère en temps réel des images travaillées de la scène comprenant une figuration de l'élément en mouvement tel que repéré, dans lesquelles au moins une caractéristique visuelle d'au moins la figuration de l'élément en mouvement est déterminée en fonction des images analysées pour mettre en évidence ledit élément par rapport à d'autres éléments immobiles de la scène .
Dans une quatrième étape 4, on projette sur un organe de visualisation les images travaillées générées à la troisième étape 3.
De préférence, la caractéristique visuelle est déterminée en fonction d'au moins une caractéristique inertielle liée au mouvement de l'élément dans la scène. La caractéristique inertielle est par exemple une vitesse de déplacement de l'élément, une direction de déplacement de l'élément, une accélération de déplacement de l'élément...
Selon une première mise en œuvre du procédé de l'invention, lors de la troisième étape 3, on génère les images travaillées à partir d'une représentation des vecteurs vitesses associés respectivement aux pixels des images prises par la caméra.
Dans un premier exemple, on détermine la teinte de la figuration de l'élément en mouvement en fonction d'une direction de déplacement de l'élément dans la scène.
De préférence, on définit alors un code couleur, une couleur étant associée à une direction de déplacement dans les images relativement à une position de la caméra dans les images. Puis, on génère des images travaillées en attribuant à chaque pixel de l'image travaillée une couleur qui est fonction, selon le code couleur, de la direction du vecteur vitesse associé au pixel correspondant de l'image prise par la caméra.
Les pixels représentant une partie inerte de la scène étant tous d'une même couleur et les pixels représentant une partie de l'élément en mouvement étant tous d'une couleur différente de la couleur des pixels représentant une partie inerte de la scène, l'élément en mouvement est bien mis en évidence. De façon avantageuse, un utilisateur peut aisément repérer les directions de déplacement des éléments de la scène.
Dans un deuxième exemple, on détermine la luminance de la figuration de l'élément en mouvement en fonction d'une vitesse de déplacement de l'élément dans la scène.
De préférence, on génère alors les images travaillées en attribuant à chaque pixel de l'image travaillée : - une première luminance si le vecteur vitesse associé au pixel correspondant de l'image prise par la caméra a une norme supérieure à un seuil donné ;
- une deuxième luminance, inférieure à la première, si le vecteur vitesse associé au pixel correspondant de l'image prise par la caméra a une norme inférieure au seuil donné.
Un pixel représentant une partie inerte de la scène ayant une luminance inférieure à celle d'un pixel représentant une partie d'un élément en mouvement, l'élément en mouvement est bien mis en évidence sur les images travaillées.
En variante, on génère des images travaillées en attribuant aux différents pixels de l'image travaillée une luminance proportionnelle à la norme du vecteur vitesse associé au pixel correspondant de l'image prise par la caméra .
De façon avantageuse, les pixels représentant une partie d'un élément en mouvement paraissant bien plus lumineux que les pixels représentant une partie inerte de la scène, l'élément en mouvement est bien mis en évidence. En outre, plus un élément en mouvement a une vitesse élevée, plus la figuration dudit élément se démarque des figurations des autres éléments et l'utilisateur peut aisément appréhender un tel élément en mouvement.
Dans un troisième exemple, on détermine la luminance de la figuration de l'élément en mouvement en fonction d'une direction de déplacement de l'élément dans la scène.
De préférence, on génère des images travaillées en attribuant aux différents pixels de l'image travaillée une luminance qui est fonction de la direction de déplacement du vecteur vitesse associé au pixel correspondant de l'image prise par la caméra de sorte que plus la direction d'un vecteur vitesse est orientée vers un centre de l'image prise par la caméra, plus la luminance du pixel correspondant sur l'image travaillée sera importante.
Les pixels représentant une partie inerte de la scène étant tous d'une même luminance et les pixels représentant une partie d'un élément en mouvement étant tous d'une luminance différente de celle des pixels représentant une partie inerte de la scène, l'élément en mouvement est bien mis en évidence sur les images travaillées. De façon avantageuse, plus un élément en mouvement se rapproche de l'utilisateur, plus la figuration dudit élément se démarque des figurations des autres éléments et l'utilisateur peut aisément appréhender un tel élément en mouvement.
Dans un quatrième exemple, on détermine la saturation de la figuration de l'élément en mouvement en fonction d'une vitesse de déplacement de l'élément dans la scène.
De préférence, on génère des images travaillées en attribuant aux différents pixels de l'image travaillée une saturation proportionnelle à la norme du vecteur vitesse associé au pixel correspondant de l'image prise par la caméra .
Dans un cinquième exemple, on détermine la saturation de la figuration de l'élément en mouvement en fonction d'une direction de déplacement de l'élément dans la scène.
De préférence, on génère des images travaillées en attribuant aux différents pixels de l'image travaillée une saturation qui est fonction de la direction de déplacement du vecteur vitesse associé au pixel correspondant de l'image prise par la caméra de sorte que plus la direction d'un vecteur vitesse est orientée vers un centre de l'image prise par la caméra, plus la saturation du pixel correspondant sur l'image travaillée sera importante.
Selon une deuxième mise en œuvre du procédé de l'invention, lors de la troisième étape 3, on génère les images travaillées par modification des images prises par la caméra. Par rapport aux images travaillées générées par la première mise en œuvre du procédé de l'invention, les images travaillées générées par la deuxième mise en œuvre contiennent un plus grand nombre d' informations sur la scène observée notamment au niveau des textures et des couleurs des éléments de la scène.
Dans un sixième exemple, on détermine la luminance de la figuration de l'élément en mouvement en fonction d'une vitesse de déplacement de l'élément dans la scène.
De préférence, on génère les images travaillées en modifiant la luminance des pixels des images prises par la caméra proportionnellement à la norme du vecteur vitesse de chacun desdits pixels. On utilise ici la formule suivante pour chaque pixel d'une image prise par le capteur :
Figure imgf000013_0001
avec
L' la luminance du pixel de l'image travaillée ;
- L la luminance du pixel de l'image prise par la caméra ;
- n la norme du vecteur vitesse du pixel de l' image prise par la caméra ;
- nmax la norme maximale parmi l'ensemble des normes des vecteurs vitesses de l'image prise par la caméra ;
- dyn la dynamique en luminance de l' image prise par la caméra (usuellement 255) .
De façon avantageuse, les pixels représentant une partie d'un élément en mouvement paraissant bien plus lumineux que les pixels représentant une partie inerte de la scène, l'élément en mouvement est bien mis en évidence. En outre, plus un élément en mouvement a une vitesse élevée, plus la figuration dudit élément se démarque des figurations des autres éléments et l'utilisateur peut aisément appréhender un tel élément en mouvement. En variante, on génère les images travaillées en conservant la luminance des pixels des images prises par la caméra qui ont une norme de vecteur vitesse supérieure à un seuil prédéterminé et en abaissant la luminance des pixels des images prises par la caméra qui ont une norme de vecteur vitesse inférieure audit seuil.
De façon avantageuse, les pixels représentant une partie d'un élément en mouvement paraissant bien plus lumineux que les pixels représentant une partie inerte de la scène, l'élément en mouvement est bien mis en évidence.
Selon une autre variante, on génère les images travaillées en augmentant la luminance des pixels des images prises par la caméra qui ont une norme de vecteur vitesse supérieure à un seuil prédéterminé et en conservant la luminance des pixels des images prises par la caméra qui ont une norme de vecteur vitesse inférieure audit seuil.
On utilise ici la formule suivante pour chaque pixel d'une image prise par le capteur:
Si n > X ,
L'= L + g * n
si L'≤0 alors L"= 0
avec -j si L'≥dyn alors L"= dyn
si 0 < L'≤ dyn alors L" = L'
Si n < X
L"= L
avec
L' ' la luminance du pixel de l'image travaillée ;
- L la luminance du pixel de l'image prise par la caméra ;
- n la norme du vecteur vitesse du pixel de l'image prise par la caméra ;
- X le seuil prédéterminé ;
- g le gain prédéterminé pour augmenter la luminance des pixels ; - dyn la dynamique en luminance de l'image prise par la caméra (usuellement 255) .
De façon avantageuse, les pixels représentant une partie d'un élément en mouvement paraissant bien plus lumineux que les pixels représentant une partie inerte de la scène, l'élément en mouvement est bien mis en évidence.
Dans un septième exemple, on détermine la luminance de la figuration de l'élément en mouvement en fonction d'une direction de déplacement de l'élément dans la scène.
De préférence, on génère les images travaillées en modifiant la luminance des pixels des images prises par la caméra en fonction de la direction du vecteur vitesse de chacun desdits pixels de sorte que plus la direction du vecteur vitesse d'un pixel est orientée vers un centre des images prises par la caméra plus la luminance dudit pixel dans les images travaillées est importante.
Les pixels représentant une partie inerte de la scène gardant leur luminance et les pixels représentant une partie d'un élément en mouvement étant tous d'une luminance différente de celle des pixels représentant une partie inerte de la scène, l'élément en mouvement est bien mis en évidence. De façon avantageuse, plus un élément en mouvement va dans la direction de l'utilisateur, plus la figuration dudit élément se démarque des figurations des autres éléments et l'utilisateur peut aisément appréhender un tel élément en mouvement.
Dans un huitième exemple, on détermine la saturation de la figuration de l'élément en mouvement en fonction d'une vitesse de déplacement de l'élément dans la scène.
De préférence, on génère les images travaillées en modifiant la saturation des pixels des images prises par la caméra proportionnellement à la norme du vecteur vitesse de chacun desdits pixels. On utilise ici la formule suivante pour chaque pixel d'une image prise par le capteur :
Figure imgf000016_0001
avec
S' la saturation du pixel de l'image travaillée ;
- S la saturation du pixel de l'image prise par la caméra ;
- n la norme du vecteur vitesse du pixel de l'image prise par la caméra ;
- nmax la norme maximale parmi l'ensemble des normes des vecteurs vitesses de l'image prise par la caméra ;
- dyn la dynamique en saturation de l'image prise par la caméra (usuellement 255) .
Selon une variante, on génère les images travaillées en augmentant la saturation des pixels des images prises par la caméra qui ont une norme de vecteur vitesse supérieure à un seuil prédéterminé et en conservant la saturation des pixels des images prises par la caméra qui ont une norme de vecteur vitesse inférieure audit seuil.
On utilise ici la formule suivante pour chaque pixel d'une image prise par le capteur:
Si n > X ,
S'= S + g * n
'si S'≤ 0 alors S"= 0
avec < si S'≥ dyn alors S"= dyn
si Q≤S'≤dyn alors S"= S'
Si n < X
S"= S
avec
S' ' la saturation du pixel de l'image travaillée ; - S la saturation du pixel de l'image prise par la caméra ; - n la norme du vecteur vitesse du pixel de l'image prise par la caméra ;
- X le seuil prédéterminé ;
- g le gain prédéterminé pour augmenter la saturation des pixels ;
- dyn la dynamique en luminance de l'image prise par la caméra (usuellement 255) .
Dans un neuvième exemple, on détermine la saturation de la figuration de l'élément en mouvement en fonction d'une direction de déplacement de l'élément dans la scène.
De préférence, on génère les images travaillées en modifiant la saturation des pixels des images prises par la caméra en fonction de la direction du vecteur vitesse de chacun desdits pixels de sorte que plus la direction du vecteur vitesse d'un pixel est orientée vers un centre des images prises par la caméra plus la saturation dudit pixel dans les images travaillées est importante.
En référence à la figure 2, le procédé de détermination est ici mis en œuvre à l'aide d'un dispositif portatif 10 de réalité augmentée qui est par exemple porté par un utilisateur atteint d'une pathologie de la rétine.
Le dispositif portatif 10 de réalité augmentée comporte un organe de visualisation. De préférence, l'organe de visualisation comporte une paire de lunettes 11 comprenant sur un premier verre un premier afficheur 15 et sur un deuxième verre un deuxième afficheur 16.
Le dispositif portatif 10 de réalité augmentée comporte en outre au moins un capteur pour observer la scène. Selon un mode de réalisation préféré, le dispositif portatif 10 de réalité augmentée comporte ainsi des moyens de prise d' images stéréoscopiques qui comprennent une première caméra 12 associée à l'œil droit de l'utilisateur et au premier verre et une deuxième caméra 13 associée à l'œil gauche de l'utilisateur et au deuxième verre. Le dispositif portatif 10 de réalité augmentée comporte en outre un organe de calcul 14 qui est relié, ici da façon filaire aux moyens de prise d' images stéréoscopiques ainsi qu'au premier afficheur 15 et au deuxième afficheur 16.
Selon l'invention, l'organe de calcul 14 comporte des moyens d'analyse des images prises par les caméras 12, 13 pour repérer au moins un élément en mouvement dans la scène. L'organe de calcul 14 comporte en outre des moyens de génération en temps réel des images travaillées de la scène .
Pour travailler en temps réel, l'organe de calcul 14 doit délivrer une puissance de calcul importante en un temps très réduit. De préférence, l'organe de calcul 14 comprend un module de calcul en parallèle notamment pour générer en temps réel les images travaillées. Le module de calcul en parallèle est par exemple un processeur graphique (GPU ou Graphical Processing Unit en anglais) ou encore un circuit logique programmable (SPGA ou System-Programmable Gâte Array) . De façon avantageuse, en parallélisant les calculs, il est possible de les accélérer.
Le dispositif portatif 10 de réalité augmentée comporte ici une batterie 17 pour alimenter ledit dispositif portatif 10 de réalité augmentée.
L'organe de calcul 14 met par exemple en œuvre l'algorithme suivant.
L'organe de calcul 14 estime le flux optique des pixels des images prises par chaque caméra de sorte à déterminer des vecteurs vitesses qui sont associés respectivement à chacun desdits pixels. Dans la suite, on note :
(x,y) les coordonnées d'un pixel i d'une image prise; (ui, vi) les coordonnées d'un vecteur vitesse d'un pixel i de l'image prise; Ii l'intensité lumineuse d'un pixel i de l'image prise;
fn (x, y, t ) et fn+i (x, y, t+dt ) deux images successives prises par les capteurs.
Pour chaque pixel de la deuxième image fn+i (x, y, t+dt ) , l'organe de calcul 14 estime :
- It qui résulte de la différence entre In et In+1 ;
- Ix qui résulte de la convolution par un filtre ondelette ayant un seul moment nul de la dérivée de la moyenne de In et In+i par rapport à xn ;
- Iy qui résulte de la convolution par un filtre ondelette ayant un seul moment nul de la dérivée de la moyenne de In et In+i par rapport à yn.
Puis, pour chaque pixel de la deuxième image fn+i (X/ Yr t+dt ) , l'organe de calcul 14 estime successivement:
- ung qui résulte de la convolution de un par une gaussienne et vng qui résulte de la convolution de vn par une gaussienne ;
- k qui est défini par k = ((Ix * ung) + (Iy * vng ) + It)l(a2 + Ix2 + Iy2) avec a qui est un coefficient de régularisation de l' image ;
- un+i par la formule un+l = u - Ix * k et vn+i par la formule v„+i = v,v - fy * .
Ainsi, l'organe de calcul 14 estime le vecteur vitesse de chaque pixel de l'image fn+i (x, y, t+dt ) ce qui permet de repérer un ou des éléments en mouvement dans la scène.
Dans une deuxième étape, l'organe de calcul 14 génère une image fn+i' (x, y, t+dt ) en modifiant l'image fn+i ( , Y, t+dt ) . A cet effet, pour chaque pixel de l'image fn+i (xry, t+dt) , l'organe de calcul 14 estime par exemple la norme du vecteur (un+i ; vn+i) . L'image fn+i' (x, y, t+dt) est alors créée par exemple en modifiant la luminance des pixels des images prises par la caméra proportionnellement à la norme du vecteur vitesse ainsi calculé de chacun desdits pixels, comme décrit précédemment. Les images travaillées de chaque caméra sont ici traitées par l'organe de calcul 14 afin de générer des images stéréoscopiques travaillées de la scène qui sont projetées sur lesdits afficheurs des lunettes 11.
L'utilisateur bénéficie ainsi d'une meilleure vision grâce à l'observation de son environnement à travers les lunettes 11. En outre, le dispositif portatif 10 de réalité augmentée est d'un faible encombrement de sorte que l'utilisateur puisse le porter sur lui au quotidien. De plus, le dispositif portatif 10 de réalité augmentée permet la projection des images travaillées en temps réel de sorte que l'utilisateur puisse interagir de façon naturelle avec son environnement.
Selon un autre mode de mise en œuvre de l'invention, l'organe de calcul 14 met en œuvre l'algorithme suivant basé sur l'analyse de flux optiques denses.
L'étape d'analyse comporte ainsi le calcul en temps réel de flux optiques pour estimer la caractéristique inertielle, le flux optique étant un champ vectoriel qui représente le déplacement de chaque pixel entre deux images générées par le capteur.
Par images successives, on entend ici des images générées par le capteur à des instants qui se suivent (comme dans l'exemple précédent des images prises aux instants t et t+dt) . Les images considérées pour le calcul des flux optiques correspondent de préférence à des instants consécutifs bien que cela ne soit pas obligatoire.
Les caractéristiques visuelles de la figuration de chacun des éléments de la scène peuvent ainsi être modifiées en conséquence en prenant en compte les données inertielles de chaque pixel. Ceci aura pour résultante des images où les zones en mouvements de la vidéo formée par la succession d' images auront une représentation différente des zones statiques. L'objectif est donc de déterminer quels sont les objets en mouvement grâce au flux optique.
De préférence, l'étape d'analyse comporte le calcul en temps réel des flux optiques denses prenant en compte tous les pixels des images successives générées par le capteur.
Il est connu de calculer le flux optique clairsemé en temps-réel par la méthode de Lucas-Kanade (voir notamment « An itérative image registration technique with an application to stereo vision » Bruce D. Lucas and Takeo Kanade, Proceedings of the 7th International Joint Conférence on Artificial Intelligence (IJCAI '81), April, 1981, pp. 674-679. ) .
Une image contient un grand nombre de pixels et trouver la correspondance de chaque pixel entre deux images peut se révéler coûteux en temps de calcul. Une solution est de ne suivre que certains pixels. C'est la méthode du flux optique clairsemé. La méthode de Lucas-Kanade suppose ainsi que le déplacement d'un point de l'image entre deux instants consécutifs est petit et approximativement constant dans un voisinage du point. La définition du flux optique clairsemé s'oppose ainsi au flux optique dense envisagé dans le cadre de l'invention où cette fois l'objectif est de faire correspondre un vecteur de translation pour chaque pixel de l'image.
Un calcul de flux optique dense en temps réel est ainsi opéré ici. L'invention vise ainsi à mettre à profit le calcul d'un flux optique dense en temps réel et sa représentation graphique pour obtenir les images travaillées issues de la scène réelle.
De préférence, le calcul des flux optiques denses en temps réel comprend la mise en œuvre d'une méthode de flux optique différentiel dense à schéma pyramidal (voir par exemple Jean-Yves Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker : Description of the algorithm", Intel Corporation - Microprocessor Research Labs, 2002.)
On définit une hauteur Lm de pyramide (en pratique, Lm vaut 2, 3 ou 4) caractérisant un certain nombre de niveaux. A chaque niveau de la pyramide, on sous- échantillonne chaque image successive depuis le niveau 0 correspondant à l'image initiale jusqu'au niveau Lm correspondant à l'échantillonnage le plus grossier. Au niveau Lm , on calcule le flux optique puis on le propage au niveau inférieur en translatant l'une des deux images selon ce flux optique. On exécute le calcul à nouveau au niveau inférieur et ainsi de suite jusqu'au niveau 0 qui correspond à l'image initiale. On récupère alors le flux optique final.
De préférence, la méthode inclut l'utilisation d'une fonctionnelle F =Fré +fiFatta où le terme d'attachement Fam est basé sur une méthode de seuillage et le terme de régularisation Frég est basé sur la méthode U+V selon les travaux de Meyer, β étant un poids contrôlant le ratio entre le terme d'attachement et le terme de régulation.
Le calcul du flux optique dense en temps réel à chaque niveau de la pyramide comprend une minimisation de la fonctionnelle précitée.
Le terme de régulation est ici basé sur le modèle U+V de Meyer (voir notamment Y. Meyer, Oscillating patterns in image processing and in some nonlinear évolution équations, The Fifteenth Dean Jacquelines B. Lewis Mémorial Lectures, American Mathematical Society, 2001) qui permet de décomposer une image en deux parties : l'une notée p contenant les structures, l'autre notée q contenant les textures où p appartient à l'espace BV des fonctions à variations bornées et où q appartient à l'espace G des fonctions oscillantes qui est proche du dual de l'espace BV qui a comme propriété que plus une fonction est oscillante, plus sa norme II II sera faible. Il est ainsi proposé d'utiliser une régularisation sur l'espace BV, donc avec les variations totales (ROF) .
Pour la partie q, des paquets d'ondelettes non stationnaires seront de préférences utilisés. Il est ainsi utilisé un espace de Besov et des paquets d'ondelettes non stationnaires dites « PONS » (voir « Best basis denoising with non-stationary avelet packets » Ouarti & Peyré, Proceedings of IEEE-ICIP (pp. 3825-3828), 2009) qui généralisent la notion d'ondelette. Ainsi, tous les filtres d'ondelettes classiques peuvent être utilisés dans le cadre de l'invention.
Pour chaque niveau de la pyramide on considère une première image In et une deuxième image In+} . Pour chaque pixel n de la deuxième image In+l on met en œuvre une boucle itérative jusqu'à minimiser la fonctionnelle pour déterminer les composantes (un,vn) du flux optique dense dudit pixel. Par exemple, on met en œuvre la boucle itérative suivante, les composantes (un,vn) étant prises à zéro en début de boucle :
on calcule le terme ung qui résulte de la convolution de un par une gaussienne;
on calcule le terme v qui résulte de la convolution de vn par une gaussienne;
- on calcule le ratio k qui est un ratio défini par k = ((Ix*ung) + (fy*vng) + It)/(a2 +Ix2 +fy2) où a est un coefficient de régularisation de l'image, It la différence entre les images /„ et In+l, (Ix ; Iy) les composantes de la dérivée de la moyenne des images /„ et In+l qui ont été convoluées par un filtre d'ondelette ayant un seul moment nul ;
on calcule le terme un+1 = ung - Ix* k et le terme v„+, =v,¾, -fy*k ;
- on définit un=un+l et vn = vn+l avant de recommencer la boucle .
De façon préférée, les images travaillées sont générées selon un modèle Teinte Saturation Luminance (TSL) ou HSL en anglais. On rappelle que la teinte est la forme pure d'une couleur c'est-à-dire sans adjonction de blanc, de noir ou de gris, la saturation quantifie la quantité de gris présent dans une couleur et la luminance quantifie la quantité de blanc ou de noir dans une couleur. La caractéristique visuelle déterminée en fonction d' au moins la caractéristique inertielle est alors l'un des trois paramètres du modèle TSL soit la teinte, la saturation ou la luminance.
La détermination de la caractéristique visuelle et la génération en conséquence des images travaillées aura donc pour effet de représenter des informations de mouvements par une modification de la position dans l'espace coloré des pixels des images travaillées par rapport à leurs positions dans les images non travaillées générées par le capteur. Il convient toutefois de noter que dans le cas d'images ou de vidéos monochromes, ne montrant qu'une seule grandeur physique à la fois, la modification ne sera effective que sur un seul paramètre comme la luminance.
Par exemple, le centre de l'image travaillée à générer est initialisé à zéro. Pour chaque pixel de l'image à générer on calcule alors la norme de (u, v) , l'angle de (u,v) et la position du pixel associé à (u,v) . On calcule ensuite S le produit scalaire entre le vecteur normé de la position du pixel et l'opposé du vecteur normé (w, v) . On définit alors la norme de (u,v) comme luminance, l'angle de ( ,v) comme teinte et S comme saturation.
Ainsi, plus un élément en mouvement se rapproche de l'utilisateur, plus la figuration dudit élément se démarque des figurations des autres éléments et l'utilisateur peut aisément appréhender un tel élément en mouvement.
De préférence, la caractéristique inertielle comprend des vecteurs vitesses qui sont chacun associés à l'un des pixels des images prises par la caméra, le calcul en temps réel des flux optiques permettant d'estimer lesdits vecteurs vitesses.
Bien entendu l'invention n'est pas limitée au mode de réalisation décrit et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications.
En particulier, le procédé de l'invention pourra être mis en œuvre pour d'autres applications que l'aide médicale aux personnes atteintes d'une patholoqie de la rétine et/ou pourra être mis en œuvre par d'autres dispositifs que celui décrit. Par exemple, le procédé selon l'invention pourra être mis en œuvre afin d'aider un conducteur de véhicule à mieux appréhender son environnement en mettant en évidence des éléments en mouvement à l'arrière du véhicule comme un autre véhicule. Selon un mode réalisation particulier, l'organe de visualisation sera agencé au-dessus de l'un des rétroviseurs comme le rétroviseur gauche. Ainsi, le conducteur pourra à la fois regarder le rétroviseur et l'organe de visualisation pour appréhender ce qui se déroule à l'arrière de son véhicule.
L'étape de génération en temps réel des images travaillée pourra être différente de celles décrites. Par exemple, si la détermination de la caractéristique visuelle de la figuration de l'élément en mouvement est effectuée en fonction d'au moins une caractéristique inertielle liée au mouvement de l'élément, la caractéristique inertielle pourra également être liée à l'accélération de l'élément, à une distance de l'élément par rapport au centre des images prises par la caméra ... La caractéristique inertielle pourra ainsi comprendre, au lieu de vecteurs vitesses, des vecteurs accélérations, qui sont les dérivés des vecteurs vitesse . La caractéristique visuelle déterminée pourra être autre que l'un des trois paramètres teinte, saturation, luminance comme par exemple un contraste des contours de 1' élément . On pourra déterminer plusieurs caractéristiques visuelles d' au moins la figuration en mouvement tel que repéré. On pourra également déterminer la ou les caractéristiques visuelles en fonction de plusieurs caractéristiques inertielles liées au mouvement de l'élément dans la scène. Par exemple, on pourra générer des images travaillées de la scène en déterminant une première caractéristique visuelle de la figuration de l'élément en mouvement en fonction de la vitesse de déplacement de l'élément et en déterminant une deuxième caractéristique visuelle de la figuration de l'élément en mouvement en fonction d'une direction de déplacement de l'élément relativement au capteur et/ou à l'utilisateur. En variante, on pourra générer des images travaillées de la scène en déterminant une unique caractéristique visuelle de la figuration de l'élément en mouvement en fonction de différentes caractéristiques inertielles.
Selon un mode de mise en œuvre préféré, on génère les images travaillées en modifiant la luminance des pixels des images prises par la caméra en fonction de la norme et de la direction du vecteur vitesse de chacun desdits pixels de sorte que plus la direction du vecteur vitesse d'un pixel est orientée vers un centre des images prises par la caméra et plus la norme du vecteur vitesse dudit pixel est élevée, plus la luminance dudit pixel dans les images travaillées est importante.
En variante, on génère les images travaillées en modifiant la saturation des pixels des images prises par la caméra en fonction de la norme et de la direction du vecteur vitesse de chacun desdits pixels de sorte que plus la direction du vecteur vitesse d'un pixel est orientée vers un centre des images prises par la caméra et plus la norme du vecteur vitesse dudit pixel est élevée, plus la saturation dudit pixel dans les images travaillées est importante. Il sera possible de mettre en œuvre le procédé de l'invention par l'intermédiaire d'images prises par la caméra en niveau de gris ou par l'intermédiaire d'images prises par la caméra en couleur. De préférence, on aura recours à des images prises en couleurs. En effet, si la figuration d'une ombre est mobile d'une image à l'autre, elle constitue en elle-même la figuration d'un élément en mouvement. Pour des images en noir et blanc, la figuration de l'ombre est mise en évidence sur les images travaillées ce qui ne présente que peu d'intérêt pour l'utilisateur. En revanche, avec des images en couleurs, il est plus simple de détecter la figuration d'un ombre de sorte que l'on puisse alors supprimer au moins en partie ladite ombre. De préférence, on supprimera au moins en partie une ombre de l'utilisateur si celle-ci est présente sur les images.
Le capteur, l'organe de visualisation et de façon générale le dispositif portatif de réalité augmentée mis en œuvre peut être différent de celui décrit ici à titre d' exemple .
Le procédé pourra être mis en œuvre par un nombre différent de capteurs que celui indiqué et par d'autres capteurs que ceux décrits comme un laser, une caméra, une interface tactile, un scanner à électrons, etc..
En particulier, bien que dans la description détaillée le capteur soit une caméra générant directement des images, on pourra plus généralement utiliser un capteur adapté à générer des données numériques organisées sous forme matricielle formant les informations à analyser.
La plupart des capteurs acquièrent des informations sous forme analogique, par exemple une longueur d'onde, et la convertisse sous forme numérique. L'observation d'une scène à l'aide d'un capteur permet d'obtenir des données relatives aux grandeurs physiques, par exemple des données optiques, sonores, tactile (écran tactile) , la détection d'électrons secondaires, etc.. Ces données physiques analogiques sont traduites en données numériques qui peuvent être organisée sous forme matricielle. On peut ainsi considérer une matrice à n dimensions impliquant des coordonnées spatiales, des coordonnées temporelles et des coordonnées fonction des données physiques.
Puis, à partir de ces données organisées il est possible de générer une image numérique de la scène dans laquelle les pixels seront déterminés/codés en fonction des données numériques d'intérêt.
Puis, une telle image numérique comprendra ainsi une représentation des éléments de la scène fonction des données physiques qui leurs sont associées, la représentation de chacun des éléments est qualifiée de figuration .
Lorsque l'on génère une succession d'images numériques à partir d'un capteur il est possible de produire de la vidéo numérique. Typiquement les matrices associées aux images numériques utilisées pour la vidéo contiennent des données spatiales et temporelles qui permettent de suivre l'évolution des grandeurs physiques des éléments de la scène .
L'invention concerne ainsi l'analyse en temps réel des différences existantes entre deux données matricielles successives afin notamment de déterminer le mouvement des éléments présents au sein de la scène pour ensuite générer en temps réel des images travaillées de la scène comprenant une figuration de l'élément en mouvement tel que repéré, dans lesquelles au moins une caractéristique visuelle d'au moins la figuration de l'élément en mouvement est déterminée en fonction des informations analysées pour mettre en évidence ledit élément par rapport à d'autres éléments immobiles de la scène.
Afin de montrer plus précisément l'intérêt de l'invention une étude a été réalisée sur des patients afin de montrer son impact sur leur capacité à détecter une personne qui entre dans leur champ visuel. Pour cela, une première expérience a été réalisée montrant uniquement le flux optique dépassant un certain seuil de vitesse. Il a été observé chez les patients un bénéfice lors de l'utilisation de l'invention comparé à la vidéo originale, en testant les latences de reconnaissance (p=0.002, test de Wilcoxon appareillé) .
Une seconde étude a été réalisée pour observer l'impact de l'invention sur la reconnaissance de mouvements spécifiques. L'expérience a été réalisée en mettant à profit l'invention ou un traitement proposé par Peli (voir par exemple le brevet US 6 611 618). La méthode d'affichage utilisée pour cette seconde expérience consistait, cette fois, à changer la luminance de l'image originale proportionnellement à la vitesse du flux optique en un pixel ; un pixel immobile étant conservé de même luminance, comparé à l'image originale. Ce traitement a permis de conserver le contexte de l' image tout en accentuant les régions en mouvement .
L'utilisation de l'invention a permis d'améliorer la reconnaissance des mouvements pour chaque patient comparé aux vidéos originales ou aux vidéos traitées avec la méthode de Peli. Après un test de Mann- hytney il a été montré que ces différences étaient significatives au niveau du temps de reconnaissance par comparaison entre une vidéo traitée à l'aide de l'invention et la vidéo non traité (p=2.9811e-013) , la différence est aussi significative si on compare l'utilisation de l'invention avec le protocole de Peli (p=0.028686) .

Claims

REVENDICATIONS
1. Procédé de mise en évidence d'au moins un élément en mouvement dans une scène, le procédé comportant les étapes de :
- observer (1) la scène à l'aide d'au moins un capteur ;
- analyser (2) des informations générées par le capteur pour repérer l'élément en mouvement dans la scène ;
- générer (3) en temps réel des images travaillées de la scène comprenant une figuration de l'élément en mouvement tel que repéré, dans lesquelles au moins une caractéristique visuelle d'au moins la figuration de l'élément en mouvement est déterminée en fonction des informations analysées pour mettre en évidence ledit élément par rapport à d'autres éléments immobiles de la scène ;
- projeter (4) les images ainsi générées sur un organe de visualisation.
2. Procédé selon la revendication 1, dans lequel le capteur est adapté à générer des données numériques organisées sous forme matricielle formant les informations à analyser.
3. Procédé selon la revendication 2, dans lequel la caractéristique visuelle est déterminée en fonction d' au moins une caractéristique inertielle liée au mouvement de l'élément dans la scène.
4. Procédé selon la revendication 3, dans lequel l'étape d'analyse comporte le calcul en temps réel de flux optiques pour estimer la caractéristique inertielle, le flux étant un champ vectoriel qui représente le déplacement de chaque pixel entre deux images générées à partir de données matricielles successives.
5. Procédé selon la revendication 4, dans lequel l'étape d'analyse comporte le calcul en temps réel des flux optiques denses prenant en compte tous les pixels des images générées à partir de données matricielles successives .
6. Procédé selon la revendication 5, dans lequel le calcul des flux optiques denses en temps réel comprend la mise en œuvre d'une méthode de flux optique différentiel dense à schéma pyramidal à plusieurs niveaux .
7. Procédé selon la revendication 6, dans lequel la méthode de flux optique différentiel dense à schéma pyramidal inclut la minimisation d'une fonctionnelle ( F = Frég + Fatia ) où le terme d'attachement ( FaHa ) est basé sur une méthode de seuillage et le terme de régularisation ( F .0 ) est basé sur une méthode U+V.
8. Procédé selon la revendication 7, dans lequel pour chaque niveau de la pyramide on considère une première image In et une deuxième image In+l de sorte que pour chaque pixel n de la deuxième image In+[ on mette en œuvre la boucle itérative suivante jusqu'à minimiser la fonctionnelle F pour déterminer les composantes (un , vn ) du flux optique dense dudit pixel, les composantes (un , vn ) étant prises à zéro en début de boucle.
9. Procédé selon la revendication 8, dans lequel le filtre d'ondelettes porte sur des paquets d'ondelettes non stationnaires .
10. Procédé selon la revendication 4, dans lequel la caractéristique inertielle comporte des vecteurs vitesses qui sont associés respectivement à chacun des pixels des images, le calcul en temps réel des flux optiques permettant d'estimer lesdits vecteurs vitesses.
11. Procédé selon la revendication 3, dans lequel les images travaillées sont générées selon un modèle Teinte Saturation Luminance, la caractéristique visuelle déterminée en fonction d'au moins une caractéristique inertielle étant l'un des trois paramètres dudit modèle de sorte que la figuration de l'élément en mouvement ait respectivement une teinte, une saturation ou une luminance qui différencie la figuration des autres éléments immobiles de la scène.
12. Procédé selon les revendications 10 et 11, dans lequel les images travaillées sont générées en attribuant à chaque pixel de l'image travaillée :
- une première luminance si le vecteur vitesse associé au pixel correspondant de l' image générée à partir des données matricielles successives a une norme supérieure à un seuil donné ;
- une deuxième luminance, inférieure à la première, si le vecteur vitesse associé au pixel correspondant de l'image générée à partir des données matricielles successives a une norme inférieure au seuil donné.
13. Procédé selon les revendications 10 et 11, dans lequel on génère les images travaillées par modification des images générées à partir des données matricielles successives .
14. Procédé selon les revendication 13, dans lequel on génère les images travaillées en modifiant la luminance des pixels des images générées à partir des données matricielles successives proportionnellement à la norme du vecteur vitesse de chacun desdits pixels.
15. Procédé selon la revendication 13, dans lequel on génère les images travaillées en modifiant la luminance des pixels des images générées à partir des données matricielles successives en fonction de la norme et de la direction du vecteur vitesse de chacun desdits pixels de sorte que plus la direction du vecteur vitesse d'un pixel est orientée vers un centre des images générées à partir des données matricielles successives et plus la norme du vecteur vitesse dudit pixel est élevée, plus la luminance dudit pixel dans les images travaillées est importante.
16. Dispositif portatif (10) de réalité augmentée comportant au moins un capteur (12, 13) pour observer la scène, un organe de calcul (14) pour analyser les informations générées par le capteur, pour générer en temps réel des images travaillées de la scène et projeter les images travaillées et un organe de visualisation, dans lequel l'organe de calcul comporte un module de calcul en parallèle pour mettre en œuvre le procédé selon l'une des revendications précédentes.
PCT/EP2013/053216 2012-02-16 2013-02-18 Procédé de mise en évidence d'au moins un élément en mouvement dans une scène ainsi qu'un dispositif portatif de réalité augmentée mettant en oeuvre ledit procédé Ceased WO2013121052A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1251453 2012-02-16
FR1251453A FR2987155A1 (fr) 2012-02-16 2012-02-16 Procede de mise en evidence d'au moins un element en mouvement dans une scene ainsi qu'un dispositif portatif de realite augmentee mettant en oeuvre ledit procede

Publications (1)

Publication Number Publication Date
WO2013121052A1 true WO2013121052A1 (fr) 2013-08-22

Family

ID=47722292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/053216 Ceased WO2013121052A1 (fr) 2012-02-16 2013-02-18 Procédé de mise en évidence d'au moins un élément en mouvement dans une scène ainsi qu'un dispositif portatif de réalité augmentée mettant en oeuvre ledit procédé

Country Status (2)

Country Link
FR (1) FR2987155A1 (fr)
WO (1) WO2013121052A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012982A1 (en) * 2000-01-31 2001-08-09 Yazaki Corporation Side-monitoring apparatus for motor vehicle
US20060178830A1 (en) * 2005-02-10 2006-08-10 Rini Sherony Vehicle collision warning system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009036782A1 (fr) * 2007-09-18 2009-03-26 Vrmedia S.R.L. Dispositif et procédé de traitement d'informations pour une assistance technique à distance
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8203605B1 (en) * 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012982A1 (en) * 2000-01-31 2001-08-09 Yazaki Corporation Side-monitoring apparatus for motor vehicle
US20060178830A1 (en) * 2005-02-10 2006-08-10 Rini Sherony Vehicle collision warning system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J-Y BOUGUET: "Pyramidal Implementation of the Lucas Kanade Feature Tracker: Description of the algorithm", INTEL CORPORATION, MICROPROCESSOR RESEARCH LABS, TECHNICAL REPORT,, 1 January 1999 (1999-01-01), pages 1 - 9, XP002536058 *
MARIO CHIESA AND ANTONIO SOLINAS: "AutoNUI dilemma: to drive or not to drive", AUTOMOTIVE UI'11, 29 November 2011 (2011-11-29) - 2 December 2011 (2011-12-02), Salzburg, Austria, XP002685269 *
SCHMALSTIEG D: "Augmented Reality Techniques in Games", MIXED AND AUGMENTED REALITY, 2005. PROCEEDINGS. FOURTH IEEE AND ACM IN TERNATIONAL SYMPOSIUM ON VIENNA, AUSTRIA 05-08 OCT. 2005, PISCATAWAY, NJ, USA,IEEE, 5 October 2005 (2005-10-05), pages 176 - 177, XP010856777, ISBN: 978-0-7695-2459-7 *

Also Published As

Publication number Publication date
FR2987155A1 (fr) 2013-08-23

Similar Documents

Publication Publication Date Title
Weier et al. Perception‐driven accelerated rendering
KR102762580B1 (ko) 디지털 가능하게 보정된 수차가 있는 혼합 현실 광학 시스템
EP4169243B1 (fr) Fonctionnement basé sur le mouvement de dispositifs d&#39;imagerie
US11170578B1 (en) Occlusion detection
WO2020102110A8 (fr) Caméra ir basée sur les événements
WO2015167905A2 (fr) Rendu stéréoscopique sur les positions des yeux
KR102048411B1 (ko) 웨어러블 장치 및 이의 영상 처리 방법
Vaziri et al. Egocentric distance judgments in full-cue video-see-through VR conditions are no better than distance judgments to targets in a void
CN114258279A (zh) 使用经调制的同轴照明的瞳孔评估
JP7825624B2 (ja) 拡張現実デバイス及び仮想現実デバイスのための逆パスススルー眼鏡
US11756177B2 (en) Temporal filtering weight computation
US12511819B2 (en) Neural view synthesis using tiled multiplane images
US20240219734A1 (en) External illumination with reduced detectability
US11877088B2 (en) Contrast enhanced images composited with artificial colorization
EP2469868B1 (fr) Procédé de correction de l&#39;hyperstéréoscopie et système de visualisation de casque associé
FR2989790A1 (fr) Dispositif de visualisation adapte a fournir un champ visuel etendu.
WO2013121052A1 (fr) Procédé de mise en évidence d&#39;au moins un élément en mouvement dans une scène ainsi qu&#39;un dispositif portatif de réalité augmentée mettant en oeuvre ledit procédé
Hansen et al. Light field rendering for head mounted displays using pixel reprojection
WO2023147996A1 (fr) Système d&#39;aide à l&#39;orientation comprenant des moyens d&#39;acquisition d&#39;un environnement visuel réel ou virtuel, des moyens d&#39;interface homme-machine non visuelle et des moyens de traitement de la représentation numérique dudit environnement visuel.
CN111612915B (zh) 渲染对象以匹配相机噪声
EP2469869A1 (fr) Procédé de suppression d&#39;un masque de cockpit et système de visualisation de casque associé
EP3072110B1 (fr) Procédé d&#39;estimation du mouvement d&#39;un objet
WO2025141252A1 (fr) Procede de rendu 3d pour visiocasques et dispositifs d&#39;affichages 3d a partir d&#39;une image d&#39;une scene
WO2025141251A1 (fr) Procede de traitement d&#39;images d&#39;une scene pour restituer un changement de point de vue de la scene
FR3058549A1 (fr) Procede d&#39;affichage d&#39;une image de realite mixte

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13704795

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13704795

Country of ref document: EP

Kind code of ref document: A1