WO2019008200A1 - Sistema de posicionamiento - Google Patents

Sistema de posicionamiento Download PDF

Info

Publication number
WO2019008200A1
WO2019008200A1 PCT/ES2018/070435 ES2018070435W WO2019008200A1 WO 2019008200 A1 WO2019008200 A1 WO 2019008200A1 ES 2018070435 W ES2018070435 W ES 2018070435W WO 2019008200 A1 WO2019008200 A1 WO 2019008200A1
Authority
WO
WIPO (PCT)
Prior art keywords
leds
identification
diodes
tracking
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/ES2018/070435
Other languages
English (en)
French (fr)
Inventor
Javier IBAÑEZ CRUZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtualware 2007 SA
Original Assignee
Virtualware 2007 SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtualware 2007 SA filed Critical Virtualware 2007 SA
Priority to EP18827559.8A priority Critical patent/EP3650996A1/en
Priority to MX2019014856A priority patent/MX2019014856A/es
Priority to CN201880043962.1A priority patent/CN110809748A/zh
Priority to US16/624,529 priority patent/US11169596B2/en
Priority to CA3064672A priority patent/CA3064672A1/en
Publication of WO2019008200A1 publication Critical patent/WO2019008200A1/es
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the present invention relates to a positioning system, more specifically for the positioning of objects in different types of spaces for multiple applications.
  • the object of the invention is to provide a positioning system that can be applied effectively in closed spaces, without generation of "dead zones" due to the existence of obstacles such as columns, corridors, etc., and without limit of users.
  • the system provides two types of markers: secondary markers, consisting of 9 infrared LEDs, activated during the entire registration process, and primary markers, namely 4 infrared LEDs, controlled to flash with a given coding pattern.
  • the information captured by the cameras is decoded in a signalized way in time, which requires a minimum number of frames to obtain recognition of the identification, this produces a minimum waiting time to obtain the positioning.
  • the space of interaction or absolute reference system can be divided into a series of sectors in order to cover the tracking area, in each of which a spatial module is established, located in the ceiling or suspended from it, as long as it is above the maximum height of the objects or users to be positioned, each module being a static element and materialized in a square-shaped panel of pre-established dimensions, which integrates a set of LED diodes adopting a certain configuration.
  • the LEDs that participate in these modules differ in two types, on the one hand, reference LEDs are defined, which emit light in visible wavelength, and on the other hand, LED identification diodes are established, whose wavelength is infrared. , to hide the identification at a glance, so that the software allows its distinction, quickly and easily.
  • the reference LEDs are lit in the same way in all the panels, while the identification LEDs light up representing an identifier associated with the corresponding panel.
  • the identification LEDs also allow knowing the orientation of the panel and consequently the position of the user.
  • Each panel can be configured for any identifier element by means of an external element that communicates through a plug-in connector.
  • the panel can be a printed circuit board (PCB) in which both the LEDs and the electronic components necessary for the start-up of the same are welded.
  • PCB printed circuit board
  • Each panel is completely passive, so that once they are powered by a power connector, the LEDs light up and remain in this state continuously.
  • the second of the elements that participate in the system of the invention are the tracking units, units that will be associated to each user or player and that consist of a independent element capable of recognizing the LEDs of the panels in conditions of subdued ambient lighting.
  • these tracking units incorporate a series of properly oriented cameras, associated with an embedded image processing unit, with a communications port and the indispensable means of power supply, whether batteries or cable.
  • the tracking unit uses a single camera at each moment, and the system itself, according to its pose, selects the most appropriate camera so that it observes the largest number of spatial modules so that the plane of the nearest spatial module is as perpendicular as possible to the optical axis of the camera.
  • the cameras are arranged so that each of their axes points in a different direction, so that the joint field of vision covers a broad field, maintaining margins of overlap between them.
  • This device can be wireless or not, when communicating with an element that makes use of the absolute position of the tracking unit in the reference system associated with the spatial modules, this element being conventional and therefore being outside the object of the present invention.
  • the tracking unit through its own processing unit, calculates its relative position according to the closest spatial modules identified by its cameras.
  • the sensor of the active camera obtains the image under a fixed configuration of parameters, where a reduced exposure time is used to eliminate the noise of ambient light , producing an image of clean LEDs on an empty background.
  • the image is subdivided to be processed by parts in different threads of execution.
  • Each of them locates the centers of the LEDs, which in the image are centered on pixel blobs and their coordinates are stored in the image plane.
  • all the blobs come together and are classified into reference blobs and identification blobs.
  • an embedded image processing system is used, without the need to send all the information to the PC, achieving a low latency access to the image, an indispensable requirement for the viability of the system, sending only codified data structures with the information necessary to obtain the pose of the tracking element.
  • This embedded system allows through a multiplexer the connection from 1 to N cameras, covering the area of vision required by each application, without affecting this the processing capacity.
  • each of the tracking units sends the list of the blobs located to the computer where the final calculation is made through a communication interface either by local network or by Wi-Fi, if less latency is required .
  • the processing of the information obtained by the tracking units can be carried out through the process unit associated with them or in an external unit of greater power, through a communication network, so that in any of the cases in said processing process the following operative phases will be carried out: ⁇ Correction of the distortion
  • the coordinates obtained by the image recognition algorithm are corrected by applying the distortion of the lens by means of a system that makes use of the intrinsic matrix of the camera and the distortion coefficients according to the model used.
  • the identification algorithm is executed for each of the tracking units.
  • the algorithm locates first the reference blobs, which allow you to project an internal grid to each panel, on this grid and checking whether or not blobs fall in each of its cells, the matrix associated with the panel is obtained. This matrix contains the orientation and ID of the panel. So that you have the ability to identify each of the real LEDs with the localized blobs. ⁇ Obtaining the 3D position
  • the data of an IMU Inertial unit can be obtained or not, to combine with those obtained from the optical system, since these sensors have a much higher refresh rate than the frames per second that the camera allows.
  • a filter is applied that combines the fusion of sensors between the data of the optical and inertial systems as well as their past states.
  • the final result is the obtaining of the position in vector mode X, Y, Z and the orientation in representation of quaternion X, Y, Z, W of each of the tracking units. This process is performed at a minimum of 40Hz and independently.
  • the spatial modules are passive, so that the complexity of the system does not increase with the area, they only require connection to power supply in any standard socket by means of a power supply, being the illumination of the static LEDs, which simplifies the recognition, being more robust and scalable.
  • the system combines both infrared LED diodes for identification and LED diodes in the visible range for positioning, so that it is not necessary to apply specialized filters to let only the infrared pass through the cameras, thus the predominant noise in infrared component does not affect the positioning. Being the references obtained by the visible LEDs more stable.
  • optical positioning system is combined with inertial units to improve response time and reduce noise in the final position.
  • Figure 1 shows an elevation view of the fundamental elements that participate in a positioning system made according to the object of the invention.
  • Figure 2 shows a schematic detail of the configuration of one of the spatial modules participating in the system of the invention.
  • Figure 3 shows a plan view of the possible distribution of the spatial modules on an operating surface in which irregular areas are defined.
  • the positioning system for virtual reality object of the invention is constituted from two fundamental elements, a series of static (1) static modules and conveniently distributed superiorly over the operative surface and a series of tracking units (2), associated to each player or user.
  • the interaction space (3) or absolute reference system is divided into a series of sectors or equidistant and contiguous cells, in each of which it is established a spatial module (1), so that said modules are all arranged equidistantly, at a distance (d), adapting to the irregularities (4) in plan that said interaction space (3) may have.
  • the spatial modules (1) are embodied in a square-shaped panel, in which two groups of LED diodes of different types are integrated.
  • the LED reference diodes (5) emit light in visible wavelength, while the LED identification diodes (6) emit in infrared wavelength, so that the software allows its distinction. In this way, the reference LEDs (5) are lit in the same way on all panels, while the identification LEDs are lit by representing an identifier associated with the corresponding panel, also allowing to know the orientation of the panel and consequently the position of the user .
  • each panel or spatial module (1) can be configured for any identifier element by means of an external element that communicates through a plug-in connector.
  • the use of 8 LED diodes in the visible range for positioning is foreseen, and 16 infrared LED diodes with a binary coding for identification, in addition to 6 infrared LED diodes for error correction and accelerated search algorithm.
  • this solution is due to simple design criteria, so that the number of LEDs in the visible reference range could be reduced to 4 (never less), this distribution being optimal from the exclusive point of view of the panel itself, although it entails a greater complexity in the recognition process, which is why it has been chosen in the example of realization by the participation of 8 LED diodes. As for the rest of LED diodes, their number could also vary depending on different design criteria.
  • the panel can be a printed circuit board (PCB) in which both the LEDs and the electronic components necessary for the start-up of the same are welded.
  • PCB printed circuit board
  • the tracking units (2) associated with each user or player consist of an independent element capable of recognizing the LEDs (5-6) of the panels of each spatial module (1 ) under subdued lighting conditions.
  • Said tracking units (2) incorporate a series of cameras (7) properly oriented, associated with an image processing unit (8), having a communications port (9) and the indispensable means of power supply (10).
  • the tracking unit (2) uses a single camera at each instant, and the system itself, according to its pose, selects the most suitable camera so that it observes the largest number of spatial modules so that the plane of the nearest spatial module is perpendicular to the optical axis of the camera.
  • the cameras (7) are arranged so that each of their axes points in a different direction, so that the field of view of the set covers a wide field, maintaining margins of overlap between them. .
  • the tracking units (2) can be wireless or not, when communicating with a virtual reality glasses or element responsible for carrying out the generation of images based on the relative position in the sine of the reference system of each user, although the invention is intended to be independent of the means by which said specific positional representations are finally carried out, focusing exclusively on the system by means of which it is possible to carry out the positioning of the users of the system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Optical Communication System (AREA)

Abstract

Especialmente concebido para espacios cubiertos de grandes dimensiones, está constituido a partir de una serie de módulos espaciales (1) estáticos convenientemente distribuidos y una serie de unidades de rastreo (2), asociadas a cada jugador o usuario, de manera que los módulos espaciales (1) están constituidos a partir de un panel de forma cuadrada, en la que se integran dos agrupaciones de diodos LED de diferente tipo, LEDs de referencia (5) de espectro visible, y LEDs de identificación (6) infrarrojos, incluyendo cada módulo espacial (1) con medios de configuración para sus diodos de identificación (6) así como medios de alimentación o conexión a una fuente de alimentación. Paralelamente, las unidades de rastreo (2) incorporan una serie de cámaras (7) con distintas orientaciones, asociadas a una unidad de procesamiento de imágenes (8), contando con un puerto de comunicaciones (9) y medios de alimentación eléctrica (10). El sistema se complementa con un software de procesado de la información enviada y previamente gestionada por las unidades de rastreo el cual puede implementarse indistintamente a través de la unidad de proceso asociada a cada unidad de rastreo o bien en una unidad de proceso externa de mayor potencia, a través de una red de comunicaciones.

Description

SISTEMA DE POSICIONAMIENTO
DESCRIPCIÓN OBJETO DE LA INVENCIÓN
La presente invención se refiere a un sistema de posicionamiento, más concretamente para el posicionado de objetos en diferentes tipos de espacios para múltiples aplicaciones. El objeto de la invención es proporcionar un sistema de posicionamiento que pueda aplicarse de forma efectiva en espacios cerrados, sin generación de "zonas muertas" debido a la existencia de obstáculos tales como columnas, pasillos, etc, y sin límite de usuarios.
ANTECEDENTES DE LA INVENCIÓN
En algunos sistemas de posicionamiento existentes hasta la fecha participan una pluralidad de cámaras que se ubican en el espacio operativo, de manera que cada usuario del sistema dispone de un casco, gafas o elemento similar en el que se se disponen uno o varios diodos LED identificadores que son identificados a través de las citadas cámaras por medio del correspondiente software de identificación, de manera que dicha identificación no resulta posible cuando el espacio operativo incluye obstáculos a la visión de las cámaras, tales como columnas, mamparos, pasillos, etc. De igual manera, este tipo de sistemas tienen limitado el número de usuarios o jugadores, debido a la limitación en los medios de identificación de cada usuario, es decir la limitación de colores que ofrecen los diodos utilizados, o en caso de usar varios, la disposición espacial de los mismos para llevar a cabo dicha identificación, por lo que en determinado tipo de juegos o espacios (museos por ejemplo), resultan a todas luces insuficientes.
Tratando de obviar esta problemática, de forma meramente teórica, en la publicación "Study on an Indoor Tracking System Based on Primary and Assistant Infrared Markers", se describe un hipotético sistema para la localización y seguimiento de usuarios independientes en aplicaciones de realidad aumentada basado en marcadores infrarrojos situados en el techo de una instalación interior de grandes dimensiones. El sistema propuesto emplea técnicas de visión artificial para el seguimiento de la cabeza del usuario que lleva un casco (HMD) con una cámara incorporada para captar las imágenes de los marcadores que son transmitidas a un ordenador portátil a través de un conector USB 2.0, no siendo necesaria la sincronización entre marcadores y cámara.
El sistema prevé dos tipos de marcadores: marcadores secundarios, consistentes en 9 LEDs infrarrojos, activados durante todo el proceso de registro, y marcadores primarios, concretamente 4 LEDs infrarrojos, controlados para destellar con un patrón de codificación dado.
Si bien este sistema resolvería la problemática anteriormente expuesta, en el propio artículo se reconoce la inviabilidad del proyecto con la tecnología actual, debiéndose destacar los siguientes problemas técnicos: · Las unidades espaciales constituyen elementos activos con iluminación variable, lo que complica el proceso de reconocimiento.
• La información captada por las cámaras se decodifica de forma señalizada en el tiempo, lo que requiere un número mínimo de fotogramas para obtener el reconocimiento de la identificación, esto produce un tiempo de espera mínimo para obtener el posicionamiento.
• Al utilizar diodos infrarrojos tanto para posicionar como identificar, es necesaria la aplicación de filtros especializados para dejar pasar solo el infrarrojo a las cámaras, afectando el ruido predominante en componente infrarroja al posicionamiento.
• Precisa un control histórico sincronizado con el encendido de los diodos LED, lo que incremente las posibilidades de errorT
DESCRIPCIÓN DE LA INVENCIÓN
El sistema de posicionamiento que se preconiza resuelve de forma plenamente satisfactoria la problemática anteriormente expuesta, en los diferentes aspectos comentados.
Para ello, en el sistema de la invención participan dos tipos de elementos fundamentales que interaccionan entre sí para proporcionar al sistema la posición absoluta de cada usuario en un sistema de referencia global referido a la posición concreta de cada usuario.
De forma más concreta, se ha previsto que el espacio de interacción o sistema de referencia absoluto pueda dividirse en planta en una serie de sectores para dar cobertura al área de tracking, en cada una de las cuales se establece un módulo espacial, ubicado en el techo o suspendido del mismo, siempre y cuando se encuentre por encima de la altura máxima de los objetos o usuarios a posicionar, siendo cada módulo un elemento estático y materializado en un panel de forma cuadrada de dimensiones preestablecidas, que integra un conjunto de diodos LED adoptando una determinada configuración.
Los diodos LEDs que participan en estos módulos se diferencian en dos tipos, por un lado se definen diodos LEDs de referencia, que emiten luz en longitud de onda visible, y por otra parte se establecen diodos LED de identificación, cuya longitud de onda es infrarroja, para ocultar la identificación a simple vista, de forma que el software permita su distinción, de forma rápida y sencilla.
Los LEDs de referencia están encendidos de igual forma en todos los paneles, mientras que los LEDs de identificación se encienden representando un identificador asociado al panel correspondiente.
Los LEDs de identificación también permiten saber la orientación del panel y consecuentemente la posición del usuario. Cada panel se puede configurar para cualquier elemento identificador mediante un elemento externo que se comunica mediante un conector desenchufable.
El panel puede ser una placa de circuito impreso (PCB) en la cual se sueldan tanto los LED, como los componentes electrónicos necesarios para la puesta en marcha del mismo.
Cada panel es completamente pasivo, de manera que una vez reciben alimentación por medio de un conector de corriente, los LEDs se encienden y permanecen en este estado de forma continua. El segundo de los elementos que participan en el sistema de la invención son las unidades de rastreo, unidades que se asociarán a cada usuario o jugador y que consisten en un elemento independiente capaz de reconocer los LEDs de los paneles en unas condiciones de iluminación ambiental tenues.
Para ello, estas unidades de rastreo incorporan una serie de cámaras debidamente orientadas, asociadas a una unidad de procesamiento de imágenes embebido, contando con un puerto de comunicaciones y los indispensables medios de alimentación eléctrica, ya sean baterías o cable.
La unidad de rastreo utiliza una única cámara en cada instante, y el propio sistema según su pose, selecciona la cámara más adecuada de forma que observe el mayor número de módulos espaciales de forma que el plano del módulo espacial más próximo sea lo más perpendicular posible al eje óptico de la cámara.
Las cámaras están dispuestas de forma que cada uno de sus ejes apunta en una dirección diferente, con objeto de que el campo de visión conjunto cubra un campo amplio, manteniendo márgenes de solape entre ellos.
Este dispositivo puede ser inalámbrico o no, a la hora de comunicarse con un elemento que haga uso de la posición absoluta de la unidad de rastreo en el sistema de referencia asociado a los módulos espaciales, siendo este elemento convencional y por lo tanto quedando fuera del objeto de la presente invención.
A partir de esta estructuración, y como acaba de decirse, la unidad de rastreo, a través de su propia unidad de procesamiento, calcula su posición relativa en función de los módulos espaciales más próximos identificados por sus cámaras.
En cuanto a la adquisición y procesamiento de las imágenes, en un modo continuo de vídeo, el sensor de la cámara activa obtiene la imagen bajo una configuración fija de parámetros, donde se utiliza un tiempo de exposición reducido para eliminar el ruido de la luz ambiental, produciendo una imagen de los LEDs limpia sobre fondo vacío.
A continuación se subdivide la imagen para ser procesada por partes en diferentes hilos de ejecución. Cada uno de ellos localiza los centros de los LEDs, que en la imagen se centran en blobs de píxeles y se almacenan sus coordenadas en el plano imagen. Una vez procesadas las partes se juntan todos los blobs y se clasifican en blobs de referencia y blobs de identificación. De esta forma, se utiliza un sistema embebido de procesamiento de la imagen, sin necesidad de enviar toda la información al PC, consiguiéndose un acceso de baja latencia a la imagen, requisito indispensable para la viabilidad del sistema, enviando solo estructuras de datos codificadas con la información necesaria para obtener la pose del elemento de rastreo. Este sistema embebido permite mediante un multiplexor la conexión desde 1 a N cámaras, cubriendo el área de visión requerida por cada aplicación, sin afectar esto a la capacidad de procesamiento. En cuanto a las comunicaciones, cada una de las unidades de rastreo envía la lista de los blobs localizados al equipo donde se realiza el cálculo final mediante una interfaz de comunicaciones ya sea por red local o por Wi-Fi, en caso de requerirse menor latencia.
Tal y como se ha dicho anteriormente, el procesado de la información obtenida por las unidades de rastreo puede llevarse a cabo a través de la unidad de proceso asociada a los mismos o bien en una unidad de proceso externa de mayor potencia, a través de una red de comunicaciones, de manera que en cualquiera de los casos en dicho proceso de procesado se llevarán a cabo las siguientes fases operativas: · Corrección de la distorsión
Las coordenadas obtenidas por el algoritmo de reconocimiento de imagen son corregidas aplicando la distorsión de la lente mediante un sistema que hace uso de la matriz intrínseca de la cámara y los coeficientes de distorsión según el modelo empleado.
• Algoritmo de identificación
Una vez en disposición de la lista de blobs sin distorsión, se ejecuta el algoritmo de identificación para cada una de las unidades de rastreo. El algoritmo, localiza en primer lugar los blobs de referencia, los cuales le permiten proyectar una rejilla interior a cada panel, sobre esta rejilla y comprobando si caen o no blobs en cada una de sus casillas se obtiene la matriz asociada al panel. Esta matriz contiene la orientación y el ID del panel. De forma que se tiene la capacidad de identificar cada uno de los LEDs reales con los blobs localizados. · Obtención de la posición 3D
Una vez asociados todos los blobs con su correspondiente LED real, se aplica un algoritmo para solución del problema "Perspective - n - Point", el cual se puede resolver por varios métodos de optimización, en este caso se utiliza un método que permite minimizar el error de reproyección de forma iterativa. De lo cual se obtiene la posición y orientación del sistema de referencia de la cámara en el sistema de referencia absoluto.
• Adquisición de la unidad inercial
Como mejora de la estabilidad y filtrado se puede o no obtener los datos de una unidad Inercial IMU, para combinar con los obtenidos del sistema óptico, ya que estos sensores disponen de un refresco mucho más elevado que los fotogramas por segundo que permite la cámara.
• Filtro y fusión de sensores
Finalmente se aplica un filtro que combina la fusión de sensores entre los datos tanto del sistema óptico como del inercial así como sus estados pasados.
El resultado final es la obtención de la posición en modo de vector X, Y, Z y la orientación en representación de cuaternion X,Y,Z,W de cada uno de las unidades de rastreo. Este proceso se realiza a un mínimo de 40Hz y de forma independiente.
A partir de esta estructuración, se derivan las siguientes ventajas:
• El uso del sistema a modo rejilla donde todos los elementos en ella son pasivos e idénticos, hace de él un sistema escalable en área, solo limitado por el número de bits de los LEDs de identificación, de manera que con un número de 16 bits se obtiene una zona de tracking equivalente a una superficie mayor de 20.000m2.
• Al ser un sistema "inside-out", es decir un sistema en el que cada elemento tiene su propia posición de forma interna, también es escalable al nivel de objetos posicionados de forma simultánea, ya que al ser independientes entre ellos no afecta a las especificaciones técnicas el hecho de incrementar el número de elementos posicionados.
• Dado que el sistema de referencia obtenido a partir de los módulos espaciales se sitúa en el techo por encima de los usuarios, en todo momento se dispone de alguna cámara apuntando en esa dirección por lo que la oclusión entre objetos es mínima, pudiendo aproximarse unos a otros siempre y cuando no se coloque uno encima de otro.
• Los módulos espaciales son pasivos, de manera que la complejidad del sistema no se incrementa con el área, solamente requieren de conexión a alimentación eléctrica en cualquier toma estándar mediante una fuente de alimentación, siendo la iluminación de los diodos LED estática, lo que simplifica el reconocimiento, siendo más robusto y escalable.
• El reconocimiento de la identificación y el posicionamiento se obtiene de forma inequívoca con un solo fotograma, sin necesidad de decodificar información de forma señalizada en el tiempo, lo cual en permite el recuperar la posición después de una posible pérdida sin necesidad de una espera mínima
• El uso de varias cámaras multiplexadas redunda en un campo mayor con buena resolución, sin pérdida de capacidad de procesamiento ni precisión en el procesamiento.
• El sistema combina diodos LED tanto infrarrojos para la identificación, como diodos LED en el rango visible para el posicionamiento, de forma que no es necesaria la aplicación de filtros especializados para dejar pasar solo el infrarrojo a las cámaras, de esta forma el ruido predominante en componente infrarroja no afecta al posicionamiento. Siendo las referencias obtenidas por los diodos LED visibles más estables.
• El sistema de posicionamiento óptico, se combina con unidades inerciales para mejorar el tiempo de respuesta y reducir el ruido en la posición final.
• El uso de dos longitudes de onda de forma simultanea simplifica en gran medida el algoritmo de identificación de la identificación, de forma que se reduce la latencia general del sistema, y la capacidad de procesamiento necesaria.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que seguidamente se va a realizar y con objeto de ayudar a una mejor comprensión de las características del invento, de acuerdo con un ejemplo preferente de realización práctica del mismo, se acompaña como parte integrante de dicha descripción, un juego de planos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
La figura 1.- Muestra una vista en alzado de los elementos fundamentales que participan en un sistema de posicionamiento realizado de acuerdo con el objeto de la invención.
La figura 2.- Muestra un detalle esquemático de la configuración de uno de los módulos espaciales que participan en el sistema de la invención. La figura 3.- Muestra una vista en planta de la posible distribución de los módulos espaciales sobre una superficie de operaciones en la que se definen zonas irregulares.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN A la vista de las figuras reseñadas puede observarse como el sistema de posicionamiento para realidad virtual objeto de la invención, está constituido a partir de dos elementos fundamentales, una serie de módulos espaciales (1) estáticos y convenientemente distribuidos superiormente sobre la superficie operativa y una serie de unidades de rastreo (2), asociadas a cada jugador o usuario.
Tal y como se puede observar en la figura 3, se ha previsto que el espacio de interacción (3) o sistema de referencia absoluto se divida en planta en una serie de sectores o celdas equidistantes y contiguas, en cada una de las cuales se establece un módulo espacial (1), de manera que dichos módulos se disponen todos ellos de forma equidistante, a una distancia (d), adaptándose a las irregularidades (4) en planta que pueda tener dicho espacio de interacción (3).
De acuerdo con la figura 2, los módulos espaciales (1) están materializados en un panel de forma cuadrada, en la que se integran dos agrupaciones de diodos LED de diferente tipo.
De forma más concreta, en dichos módulos se establecen una serie de diodos LEDs de referencia (5), y una serie de diodos LED de identificación (6).
Los diodos LED de referencia (5) emiten luz en longitud de onda visible, mientras que los diodos LED de identificación (6) emitirán en longitud de onda infrarroja, de forma que el software permita su distinción. De esta forma, los LEDs de referencia (5) están encendidos de igual forma en todos los paneles, mientras que los LEDs de identificación se encienden representando un identificador asociado al panel correspondiente, permitiendo igualmente saber la orientación del panel y consecuentemente la posición del usuario.
De esta forma, cada panel o módulo espacial (1) se puede configurar para cualquier elemento identificador mediante un elemento externo que se comunica a través de un conector desenchufable.
Preferentemente, se ha previsto el empleo de 8 diodos LED en el rango visible para el posicionamiento, y 16 diodos LED infrarrojos con una codificación binaria para la identificación, además de 6 diodos LED infrarrojos para corrección de errores y acelerado del algoritmo de búsqueda. No obstante esta solución se debe a simples criterios de diseño, de manera que el número de diodos LED en rango visible de referencia podría reducirse hasta 4 (nunca menos), siendo esta distribución la óptima desde el punto de vista exclusivo del panel propiamente dicho, si bien ella conlleva una mayor complejidad en el proceso de reconocimiento, motivo por el que se ha optado en el ejemplo de realización por la participación de 8 diodos LED. En cuanto al resto de diodos led, su número podría igualmente variar en función de distintos criterios de diseño.
El panel puede ser una placa de circuito impreso (PCB) en la cual se sueldan tanto los LED, como los componentes electrónicos necesarios para la puesta en marcha del mismo. Por su parte, y de acuerdo con la figura 1 , las unidades de rastreo (2), asociadas a cada usuario o jugador consisten en un elemento independiente capaz de reconocer los LEDs (5- 6) de los paneles de cada módulo espacial (1) en unas condiciones de iluminación ambiental tenues. Dichas unidades de rastreo (2) incorporan una serie de cámaras (7) debidamente orientadas, asociadas a una unidad de procesamiento de imágenes (8), contando con un puerto de comunicaciones (9) y los indispensables medios de alimentación eléctrica (10).
La unidad de rastreo (2) utiliza una única cámara en cada instante, y el propio sistema según su pose, selecciona la cámara más adecuada de forma que observe el mayor número de módulos espaciales de forma que el plano del módulo espacial más próximo sea perpendicular al eje óptico de la cámara.
Tal y como se ha comentado anteriormente, las cámaras (7) están dispuestas de forma que cada uno de sus ejes apunta en una dirección diferente, con objeto de que el campo de visión del conjunto cubra un campo amplio, manteniendo márgenes de solape entre ellos.
Solo resta señalar por último que las unidades de rastreo (2) puede ser inalámbricas o no, a la hora de comunicarse con unas gafas de realidad virtual o elemento encargado de llevar a cabo la generación de las imágenes en función de la posición relativa en el seno del sistema de referencia de cada usuario, si bien la invención pretende ser independiente de los medios con los que finalmente se lleve a cabo dichas representaciones concretas posicionales, centrándose exclusivamente en el sistema mediante el cual es posible llevar a cabo el posicionamiento de los usuarios del sistema.

Claims

REIVINDICACIONES
1a.- Sistema de posicionamiento, que estando especialmente concebido para espacios cubiertos de grandes dimensiones, se caracteriza porque en el mismo participan dos elementos principales, una serie de módulos espaciales (1) estáticos y convenientemente distribuidos superiormente sobre la superficie operativa de acuerdo con una distribución a base de celdas equidistantes y contiguas, y una serie de unidades de rastreo (2), asociadas a cada jugador o usuario, con la particularidad de que los módulos espaciales (1) están constituidos a partir de un panel de forma preferentemente cuadrada, en el que se integran dos agrupaciones de diodos LED de diferente tipo; diodos LED de referencia (5) con una longitud de onda en rango visible, y diodos LED de identificación (6) infarrojos, incluyendo cada módulo espacial (1) medios de configuración para sus diodos de identificación (6) así como medios de alimentación o conexión a una fuente de alimentación; con la particularidad de que las unidades de rastreo (2) incorporan una serie de cámaras (7) con distintas orientaciones, asociadas a una unidad de procesamiento de imágenes (8) con un sistema embebido de procesamiento previo de la imagen, contando con un puerto de comunicaciones (9) y los correspondientes medios de alimentación eléctrica (10); habiéndose previsto la inclusión de un software de procesado de la información obtenida por las unidades de rastreo el cual puede implementarse indistintamente a través de la unidad de proceso asociada a cada unidad de rastreo o bien en una unidad de proceso externa de mayor potencia, a través de una red de comunicaciones.
2a.- Sistema de posicionamiento, según reivindicación 1a, caracterizado porque cada panel o módulo espacial (1) incluye un conector externo como medio de configuración de los diodos LED de identificación (6).
3a.- Sistema de posicionamiento, según reivindicación 1a, caracterizado porque en cada módulo espacial (1) participa un conjunto de 4 diodos LED en el rango visible para el posicionamiento.
4a.- Sistema de posicionamiento, según reivindicación 1a, caracterizado porque en cada módulo espacial (1) participa un conjunto de 8 diodos LED en el rango visible para el posicionamiento.
PCT/ES2018/070435 2017-07-04 2018-06-20 Sistema de posicionamiento Ceased WO2019008200A1 (es)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP18827559.8A EP3650996A1 (en) 2017-07-04 2018-06-20 Positioning system
MX2019014856A MX2019014856A (es) 2017-07-04 2018-06-20 Sistema de posicionamiento.
CN201880043962.1A CN110809748A (zh) 2017-07-04 2018-06-20 定位系统
US16/624,529 US11169596B2 (en) 2017-07-04 2018-06-20 Positioning system
CA3064672A CA3064672A1 (en) 2017-07-04 2018-06-20 Positioning system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES201730883A ES2648643B2 (es) 2017-07-04 2017-07-04 Sistema de posicionamiento
ESP201730883 2017-07-04

Publications (1)

Publication Number Publication Date
WO2019008200A1 true WO2019008200A1 (es) 2019-01-10

Family

ID=60788742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2018/070435 Ceased WO2019008200A1 (es) 2017-07-04 2018-06-20 Sistema de posicionamiento

Country Status (7)

Country Link
US (1) US11169596B2 (es)
EP (1) EP3650996A1 (es)
CN (1) CN110809748A (es)
CA (1) CA3064672A1 (es)
ES (1) ES2648643B2 (es)
MX (1) MX2019014856A (es)
WO (1) WO2019008200A1 (es)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093105B (zh) * 2021-04-09 2023-09-12 中国人民解放军战略支援部队信息工程大学 可见光室内定位方法、装置、系统及相关产品
CN115560735B (zh) * 2022-08-26 2024-10-29 中国长江三峡集团有限公司 一种用于隧洞设备移动定位的复合标靶系统及定位方法
CN117891063A (zh) * 2022-10-08 2024-04-16 北京字跳网络技术有限公司 光学跟踪器的定位方法、装置及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7129929B1 (en) * 2003-03-07 2006-10-31 Microsoft Corporation Computer input device with multi-purpose light guide
JP4418935B2 (ja) * 2004-07-15 2010-02-24 株式会社国際電気通信基礎技術研究所 光学マーカシステム
DE102005013225A1 (de) * 2005-03-18 2006-09-28 Fluyds Gmbh Objektverfolgungs- und Situationsanalysesystem
US8537376B2 (en) * 2011-04-15 2013-09-17 Faro Technologies, Inc. Enhanced position detector in laser tracker
CN106152937B (zh) * 2015-03-31 2019-10-25 深圳超多维科技有限公司 空间定位装置、系统及其方法
US20160379074A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
CN105353347B (zh) * 2015-10-30 2017-10-10 中国地质大学（武汉） 一种基于led照明的室内定位导航方法及装置
CN205229572U (zh) * 2015-12-27 2016-05-11 深圳游视虚拟现实技术有限公司 基于标记点的多目标实时定位追踪装置及虚拟现实系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DONGDONG WENG ET AL.: "Study on an Indoor Tracking System Based on Primary and Assistant Infrared Markers.", 2007 10TH IEEE INTERNATIONAL CONFERENCE ON , COMPUTER-AIDED DESIGN AND COMPUTER GRAPHICS, 10 January 2007 (2007-01-10), pages 377 - 382, XP031193809, ISBN: 978-1-4244-1578-6 *
MAESEN S ET AL.: "Scalable optical tracking for navigating large virtual environments using spatially encoded markers.", VRST - PROCEEDINGS OF THE 19TH ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, VRST 2013 2013 ASSOCIATION FOR COMPUTING MACHINERY USA, 30 November 2012 (2012-11-30), pages 101 - 110, XP055565049, ISBN: 978-1-4503-2379-6 *
See also references of EP3650996A4 *
WELCH G ET AL.: "High-Performance Wide-Area Optical Tracking The HiBall Tracking System", PRESENCE, vol. 10, no. 1, 2 January 2001 (2001-01-02), CAMBRIDGE, MA, US, pages 1 - 21, XP002382939, ISSN: 1054-7460 *

Also Published As

Publication number Publication date
CN110809748A (zh) 2020-02-18
US11169596B2 (en) 2021-11-09
EP3650996A4 (en) 2020-05-13
CA3064672A1 (en) 2019-01-10
ES2648643B2 (es) 2018-07-25
MX2019014856A (es) 2020-02-12
ES2648643A1 (es) 2018-01-04
EP3650996A1 (en) 2020-05-13
US20210149477A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US11703323B2 (en) Multi-channel depth estimation using census transforms
US10007339B2 (en) Controllers with asymmetric tracking patterns
US10666929B2 (en) Hardware system for inverse graphics capture
JP3779308B2 (ja) カメラ校正システム及び三次元計測システム
US10404899B2 (en) Modular camera blocks for virtual reality capture
US20180376061A1 (en) Imaging systems and methods
CN103047971B (zh) 一种机载倾斜数码航空摄影系统
WO2019008200A1 (es) Sistema de posicionamiento
ES2828998T3 (es) Método y sistema para alineación de dispositivo de iluminación
US20160025993A1 (en) Overlapping pattern projector
KR20210141510A (ko) 모바일 디바이스의 상대적인 공간적 위치 파악
US11525883B2 (en) Acquisition equipment, sound acquisition method, and sound source tracking system and method
US10044922B1 (en) Hardware system for inverse graphics capture
CN110060614A (zh) 头部佩戴型显示装置及其控制方法、显示系统
US11538265B2 (en) Orientation tag for providing orientation information
TWI812865B (zh) 用於實現相對定位的裝置、方法、存儲介質及電子設備
KR102828452B1 (ko) 전자 기기
Ren et al. A high precision indoor positioning system based on VLC and smart handheld
US9633279B2 (en) Free space positioning method and system
KR101598925B1 (ko) 쪼가리 고도지능객체 장치
ES2365086B1 (es) Sistema de visualización escénica.
JP2008026731A (ja) マーカー装置
CN112051546B (zh) 一种用于实现相对定位的装置以及相应的相对定位方法
CN104657568B (zh) 基于智能眼镜的多人移动游戏系统及方法
WO2025038350A2 (en) Six-degree of freedom pose estimation of a stylus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18827559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3064672

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018827559

Country of ref document: EP

Effective date: 20200204