ES2770076T3 - Dispositivo y procedimiento para representar una información estructural sobre un objeto técnico - Google Patents
Dispositivo y procedimiento para representar una información estructural sobre un objeto técnico Download PDFInfo
- Publication number
- ES2770076T3 ES2770076T3 ES15791532T ES15791532T ES2770076T3 ES 2770076 T3 ES2770076 T3 ES 2770076T3 ES 15791532 T ES15791532 T ES 15791532T ES 15791532 T ES15791532 T ES 15791532T ES 2770076 T3 ES2770076 T3 ES 2770076T3
- Authority
- ES
- Spain
- Prior art keywords
- technical object
- image
- structural
- module
- simg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Dispositivo (SP) para representar una información estructural (SI) sobre un objeto técnico (TO), con a) un módulo de identificación (IDM) para identificar el objeto técnico (TO), b) un módulo de modelado (MM) - para proporcionar un modelo estructural (SM) del objeto técnico (TO) identificado y - para determinar específicamente una estructura de objeto (OS) reconocible externamente del objeto técnico (TO) y una información estructural interna (SI) asignada espacialmente a la estructura de objeto (OS) sobre el objeto técnico (TO) mediante el modelo estructural (SM), así como c) un módulo de generación de imágenes (IGEN) - para generar una imagen estructural (SIMG) del objeto técnico (TO), - para insertar la estructura de objeto (OS) en la imagen estructural (SIMG) de manera fiel a la proyección, así como - para insertar la información estructural (SI) en la imagen estructural (SIMG) en la asignación gráfica con la estructura de objeto (OS) en un modo de representación diferente al modo de representación de la estructura de objeto (OS), d) un módulo de proyección (PM) para proyectar la imagen estructural (SIMG) sobre el objeto técnico (TO), y e) un módulo receptor (RX) para recibir datos de sensor (SD) detectados por un sensor (S) del objeto técnico (TO) y enviados por el objeto técnico (TO), en donde el módulo de generación de imágenes (IGEN) está configurado para insertar los datos de sensor (SD) en la imagen estructural (SIMG) en la asignación gráfica con la estructura de objeto (OS).
Description
DESCRIPCIÓN
Dispositivo y procedimiento para representar una información estructural sobre un objeto técnico
La estructura y construcción de objetos técnicos, como p. ej. vehículos, edificios, máquinas, dispositivos, circuitos e instalaciones, se está volviendo cada vez más compleja. El conocimiento detallado de las estructuras relevantes de un objeto técnico respectivo es a menudo esencial, en particular para trabajos de mantenimiento, reparación y/o rescate; p. ej. el conocimiento de dónde discurren los cables con corriente en un edificio o en qué punto se puede forzar una puerta deformada de un vehículo accidentado. Por lo tanto, en los automóviles a menudo se recomienda llevar una llamada tarjeta de rescate, en la que se anotan los componentes críticos como depósitos, airbags o cilindros de presión. En caso de emergencia, el cuerpo de intervención puede acceder a estos datos estructurales para garantizar un rescate rápido y seguro. Sin embargo, dicha tarjeta de rescate solo puede reproducir datos estructurales complejos de forma limitada. Además, naturalmente no es posible una reproducción de variables dinámicas, como p.ej. los valores de sensor con respecto a la temperatura del motor o el nivel del depósito.
La publicación para información de solicitud de patente DE 102010 013420 A1 da a conocer un dispositivo para representar una información estructural sobre un objeto técnico, en donde una imagen estructural del objeto se proyecta sobre el objeto técnico por medio de un dispositivo de proyección.
El objeto de la presente invención es especificar un dispositivo y un procedimiento para representar una información estructural sobre un objeto técnico, que permitan una representación más flexible y clara.
Este objetivo se consigue mediante un dispositivo según la reivindicación 1, mediante un procedimiento según la reivindicación 12 y mediante un producto de programa informático según la reivindicación 13.
Según la invención, para representar una información estructural sobre un objeto técnico, por ejemplo, un vehículo, un edificio, un avión, una máquina, un aparato, un circuito o una instalación, un dispositivo, por ejemplo, un dispositivo móvil como p. ej. un teléfono inteligente, con un módulo de identificación, un módulo de modelado, un módulo de generación de imágenes, así como con un módulo de proyección. A este respecto, el módulo de identificación sirve para identificar el objeto técnico. El módulo de modelado está configurado para proporcionar un modelo estructural del objeto técnico identificado, así como para determinar específicamente una estructura de objeto externamente reconocible del objeto técnico y una información estructural interna asignada espacialmente a la estructura de objeto sobre el objeto técnico mediante el modelo estructural. El módulo de generación de imágenes sirve para generar una imagen estructural del objeto técni
estructural de manera fiel a la proyección, y para insertar la información estructural en la imagen estructural en una asignación gráfica con la estructura de objeto en un modo de representación del modo de representación de la estructura de objeto. Finalmente, el módulo de proyección sirve para proyectar la imagen estructural sobre el objeto técnico.
Gracias a la proyección de la imagen estructural, que también contiene información estructural interna, sobre el objeto técnico, a un usuario del dispositivo según la invención se le puede mostrar directa e intuitivamente en el objeto técnico mismo, por ejemplo, donde se oculta una estructura no visible externamente o donde se sitúa un punto de partida para un agujero u otra medida técnica. La representación diferente de la estructura de objeto externamente reconocible y la información estructural interna facilita la alineación de la proyección y mejora la distinción entre las estructuras internas y externas.
Formas de realización ventajosas y perfeccionamiento de la invención se especifican en las reivindicaciones dependientes.
Según una forma de realización ventajosa de la invención puede estar previsto un módulo de alineación para detectar si la estructura de objeto proyectada sobre el objeto técnico coincide con una estructura de superficie correspondiente del objeto técnico.
De esta manera se puede detectar cuando la proyección está alineada correctamente sobre el objeto técnico y, en función de ello, se pueden activar acciones predeterminadas.
Además, el módulo de modelado puede estar configurado para determinar una superficie de proyección del objeto técnico mediante el modelo estructural. El módulo de generación de imágenes puede generar la imagen estructural en función de una forma de la superficie de proyección determinada, de tal manera que la estructura de objeto proyectada pueda coincidir con una estructura de superficie correspondiente del objeto técnico en la proyección sobre el objeto técnico.
La inclusión de la forma de la superficie de proyección generalmente permite que la imagen estructural proyectada se rectifique de tal manera que las estructuras de objetos a representar también se reproduzcan fielmente a escala incluso con superficies de proyección curvadas.
Según un perfeccionamiento ventajoso de la invención puede estar previsto un módulo receptor para recibir información de estado sobre un estado del objeto técnico asignado espacialmente a la estructura de objeto. El módulo receptor puede estar acoplado de forma inalámbrica y/o por cable al objeto técnico. El módulo de generación de imágenes puede estar configurado para insertar la información de estado en la imagen estructural en asociación gráfica con la estructura de objeto. La información de estado puede comprender, en particular, datos de sensor de un sensor del objeto técnico.
De esta manera, también se pueden proyectar variables dinámicas, como p. ej. temperatura, presión, etc. del objeto técnico.
Además, puede estar prevista una cámara para grabar una imagen de cámara del objeto técnico, de un entorno del objeto técnico y/o de un entorno del dispositivo. La imagen de la cámara se puede evaluar mediante un módulo de procesamiento de imágenes acoplado a la cámara.
En particular, el módulo de procesamiento de imágenes puede estar acoplado al módulo de alineación y estar configurado para reconocer la coincidencia de la estructura de objeto proyectada sobre el objeto técnico con la estructura de superficie correspondiente del objeto técnico mediante la imagen de la cámara.
Esto permite un reconocimiento automático de la alineación correcta de la proyección.
Además, el módulo de procesamiento de imágenes puede estar acoplado al módulo de identificación y el módulo de identificación puede estar configurado para identificar el objeto técnico mediante la imagen de la cámara. De esta manera, por ejemplo, por la cámara se puede grabar una marca colocada en el objeto técnico, como p. ej. una marca de código QR, y un código QR que identifica el objeto técnico se puede extraer de la imagen de la cámara. Según un perfeccionamiento ventajoso de la invención, el módulo de proyección y el módulo de generación de imágenes pueden estar configurados para proyectar la llamada luz estructurada sobre el objeto técnico. El módulo de procesamiento de imágenes puede estar configurado entonces para determinar una posición, una orientación y/o una forma de una superficie de proyección del objeto técnico a partir de una imagen de cámara de la luz estructurada proyectada.
La evaluación de imágenes de cámara de luz estructurada proyectada generalmente permite una medición espacial relativamente exacta del objeto técnico.
Según otra forma de realización de la invención, puede estar previsto un módulo de detección de posición para detectar una posición y/u orientación del objeto técnico con respecto al dispositivo. El módulo de generación de imágenes puede generar entonces la imagen estructural en función de la posición y/u orientación detectada del objeto técnico.
En particular, el módulo de detección de posición puede estar acoplado al módulo de procesamiento de imágenes y estar configurado para detectar la posición y/u orientación del objeto técnico mediante la imagen de la cámara. Además, el módulo de detección de posición puede presentar un sensor de movimiento, sensor de aceleración, sensor de posición, sensor de orientación y/o receptor de navegación por satélite para detectar un movimiento, posición, orientación y/o posición del dispositivo. El módulo de generación de imágenes puede estar configurado para seguir la imagen estructural después de detectar una coincidencia de la estructura de objeto proyectada sobre el objeto técnico con una estructura de superficie correspondiente del objeto técnico según el movimiento, Seguimiento de la posición, orientación y/o posición detectado del dispositivo. En particular, el módulo de procesamiento de imágenes puede detectar en este caso el movimiento del dispositivo mediante la determinación de un flujo óptico mediante una o varias imágenes de cámara.
Por medio del módulo de detección de posición se puede determinar y/o seguir la orientación, el escalado, así como un fragmento de imagen a proyectar de la imagen estructural, en función de la posición y/u orientación detectada del objeto técnico.
Un ejemplo de realización de la invención se explica más en detalle a continuación mediante el dibujo. A este respecto muestran respectivamente en representación esquemática
Figura 1 un objeto técnico, así como un dispositivo móvil según la invención para representar información estructural sobre este objeto técnico,
Figura 2 una imagen estructural del objeto técnico generado por el dispositivo móvil,
Figura 3 una proyección de la imagen estructural sobre el objeto técnico y
Figura 4 una ilustración de un seguimiento de esta proyección al mover el dispositivo móvil.
En la figura 1 están representados esquemáticamente un dispositivo SP según la invención, implementado como un dispositivo móvil, para representar una información estructural sobre un objeto técnico TO y este mismo objeto técnico TO.
El objeto técnico TO puede ser, por ejemplo, un vehículo, un avión, un edificio, una máquina, un aparato, un circuito o una instalación. Preferentemente dispone de un sensor S para detectar datos de sensor SD como información de estado sobre el objeto técnico TO. Los datos de sensor SD se pueden referir, por ejemplo, a temperatura, presión, nivel de llenado u otras variables dinámicas del objeto técnico TO o ciertas zonas limitadas espacialmente del mismo. Los datos de sensor SD se detectan preferentemente por el sensor S en tiempo real.
El objeto técnico TO también presenta un transmisor TX para el envío preferentemente inalámbrico de los datos de sensor SD, por ejemplo, a través de la llamada interfaz de Bluetooth. Alternativa o adicionalmente, el transmisor TX también puede estar configurado para enviar los datos de sensor SD a través de una o varias interfaces cableadas. En particular, pueden estar previstas varias interfaces posicionadas de manera diferente en el objeto técnico TO, que transmiten datos de sensores diferentes. De esta manera, al seleccionar la interfaz a la que se acopla el dispositivo móvil SP, un usuario puede restringir los datos de sensor transmitidos.
Una superficie exterior del objeto técnico TO sirve como superficie de proyección POF para una proyección de una imagen estructural por el dispositivo móvil SP según la invención sobre el objeto técnico TO. Sobre la superficie de proyección POF se sitúan las características de objeto QRM del objeto técnico TO reconocibles externamente, preferentemente visualmente. En el presente ejemplo de realización están previstas características de objeto reconocibles externamente en el objeto técnico TO, p. ej., las denominadas marcas de código QR QRM. Las marcas de códigos QR QRM de este tipo también pueden servir ventajosamente al mismo tiempo para identificar el objeto técnico TO.
El dispositivo móvil SP según la invención presenta un módulo de proyección PM, por ejemplo, un proyector LED o un dispositivo de proyección con uno o varios rayos láser desviados. Por ejemplo, un teléfono inteligente equipado con un proyector LED se puede usar como el dispositivo móvil SP.
El dispositivo móvil SP también dispone de un módulo de detección de posición PE para detectar una posición y/u orientación PO del objeto técnico TO en relación con el dispositivo móvil SP. El módulo de detección de posición PE a su vez comprende un sensor de movimiento, sensor de aceleración, sensor de ubicación, sensor de orientación, receptor de navegación por satélite y/u otro sensor de posición BS para detectar un movimiento, ubicación, orientación y/o posición del dispositivo móvil SP. Los sensores de posición BS d este tipo pueden estar implementados, por ejemplo, por medio de un giroscopio, sensor Hall o una brújula.
El dispositivo móvil SP comprende además una cámara C para grabar una imagen de cámara CI del objeto técnico TO, de un entorno del objeto técnico TO y/o de un entorno del dispositivo móvil SP. La cámara C puede ser adecuada para grabar imágenes de cámara CI en luz visible, en luz infrarroja y/o en luz ultravioleta. En lugar de o además de la cámara, también puede estar previsto un escáner 3D para escanear el objeto técnico TO, el entorno del objeto técnico TO y/o el entorno del dispositivo móvil SP. Las formas 3D escaneadas de esta manera se pueden usar en lugar de o además de la imagen de la cámara CI. El dispositivo móvil SP también presenta un módulo de procesamiento de imágenes IPROC acoplado a la cámara C y al módulo de detección de posición PE para evaluar la imagen de la cámara CI. De este modo, el módulo de detección de posición PE puede detectar la posición y/u orientación relativa PO del objeto técnico TO y el dispositivo móvil SP entre sí mediante la imagen de la cámara CI del objeto técnico TO evaluada por el módulo de procesamiento de imágenes IPROC, el entorno del objeto técnico TO y/o el entorno del dispositivo móvil SP.
Preferentemente, puede estar previsto proyectar la llamada luz estructurada SL sobre el objeto técnico TO por medio del módulo de proyección PM. La posición y/u orientación relativa PO, así como una forma de la superficie de proyección POF se pueden determinar entonces mediante una imagen de cámara de la luz estructurada SL proyectada sobre la superficie de proyección POF. La posición y/u orientación relativa PO se transmite desde el módulo de detección de posición PE a un módulo de generación de imágenes IGEN.
El dispositivo móvil SP dispone además de un módulo de identificación IDM para identificar el objeto técnico TO, preferentemente mediante una imagen de cámara CI del objeto técnico TO. En el presente ejemplo de realización, las marcas de código QR QRM aplicadas sobre el objeto técnico TO se detectan en la imagen de cámara CI por el módulo de procesamiento de imágenes IPROC y se extrae un contenido de datos, es decir, un código QR QR de las marcas de código QR QRM y se transmite al módulo de identificación IDM. El módulo de identificación IDM determina a partir de ello un identificador de objeto ID unívoco del objeto técnico TO y/o de una zona del objeto técnico TO asignada a la marca de código QR respectiva. Alternativa o adicionalmente también se pueden detectar otras características de objeto del objeto técnico TO mediante la imagen de la cámara CI y usarse para la identificación. Si la cámara C es sensible a los rayos infrarrojos o ultravioleta, las marcas invisibles para los humanos también se pueden aplicar en el objeto técnico y evaluarse mediante el módulo de procesamiento de imágenes IPROC.
Como alternativa o además de la identificación automática del objeto técnico TO mediante las características de objeto QRM, también puede estar prevista la identificación del objeto técnico mediante una entrada del usuario, por ejemplo, un tipo de automóvil o un número de habitación.
Según la invención, la parte móvil SP dispone de un módulo de modelado MM, que proporciona un modelo estructural SM preferentemente tridimensional del objeto técnico TO identificado. El modelo estructural SM del objeto técnico TO se puede recibir y procesar por el módulo de modelado MM, por ejemplo por medio de un módulo receptor RX. El módulo receptor RX puede recibir el modelo estructural SM, por ejemplo, a través de telefonía móvil, WLAN y/o Bluetooth o mediante una interfaz por cable.
Gracias al modelo estructural SM se representa una estructura de objeto OS reconocible externamente del objeto técnico TO, así como la información estructural interna SI sobre el objeto técnico. El modelo estructural SM contiene la estructura de objeto OS y la información estructural SI en una asignación espacial correspondiente al objeto técnico real TO. En particular, la información estructural SI se muestra en su posición relativa a las características de objeto QRM. La estructura de objeto OS corresponde a estructuras de superficie externamente visibles del objeto técnico, preferentemente a varias características de objeto estáticas, visualmente bien reconocibles o marcas de objeto del objeto técnico TO. Pueden ser, por ejemplo, bordes de puertas, esquinas de puertas, carteles de puertas, etc., respectivamente en una asignación espacial fiel a la posición respecto a otras características de objeto del objeto técnico TO. En el presente ejemplo de realización, las marcas de código QR QRM se usan en particular con esta finalidad. Para ello, las marcas de código QR QRM y su posición respectiva están almacenadas en el objeto técnico TO en el modelo estructural SM.
La información estructural SI reproduce estructuras internas, preferentemente estructuras del objeto técnico TO no reconocibles externamente o solo difícilmente. Esto puede ser, por ejemplo, un trazado de líneas u otras estructuras técnicas ocultas por debajo de la superficie del objeto. Estas se representan por el modelo estructural SM en su asignación espacial con la estructura de objeto OS externamente reconocible.
El módulo de modelado MM determina mediante el modelo estructural SM identificado la estructura de objeto OS, así como la información estructural SI y las transmite al módulo de generación de imágenes IGEN. Además, el módulo receptor RX recibe los datos de sensor SD de forma inalámbrica desde el transmisor TX del objeto técnico TO y también transmite los datos de sensor SD al módulo de generación de imágenes IGEN. El modelo estructural SM contiene preferentemente información sobre una posición relativa del sensor S en el objeto técnico TO, de modo que el módulo de modelado MM puede posicionar los datos de sensor SD espacialmente en relación con la estructura de objeto OS y la información estructural SI e igualmente transmite este posicionamiento al módulo de generación de imágenes IGEN.
El módulo de generación de imágenes IGEN sirve para generar una imagen estructural SIMG y para generar la luz estructurada SL. El módulo de generación de imágenes IGEN inserta la estructura de objeto OS, la información estructural SI y los datos de sensor SD, que están asignados espacialmente entre sí, respectivamente en una asignación gráfica fiel a la proyección correspondiente en la imagen estructural SIMG. A este respecto, la información estructural SI y los datos del sensor SD se insertan en un modo de representación diferente al modo de representación de la estructura de objeto OS. A este respecto, los modos de representación se pueden diferenciar, p. ej., respecto a su color, brillo, su contraste, etc. La asignación gráfica dentro de la imagen estructural SIMG se ilustra en la figura 1 mediante flechas dobles. El módulo de generación de imágenes IGEN determina una orientación, escalado, perspectiva y/o una fragmento de imagen representado de la imagen estructural SIMG según la posición y/u orientación relativa PO, así como según la forma de la superficie de proyección POF. Esto se realiza de tal manera que un contenido de la imagen estructural SIMG puede coincidir con una estructura de superficie correspondiente del objeto técnico en la proyección sobre el objeto técnico TO. La inclusión de la forma de superficie permite que la imagen estructural SMIG proyectada se rectifique de modo que las estructuras de objetos a representar se reproduzcan a escala.
La imagen estructural SIMG generada se transmite desde el módulo de generación de imágenes IGEN al módulo de proyección PM y se proyecta desde este sobre la superficie de proyección POF del objeto técnico TO.
La proyección de la estructura de objeto OS se hace coincidir con las características de objeto correspondientes a ello, aquí QRM, de forma manual y/o automática. Si la proyección y las características de objeto reales QRM coinciden, la proyección está alineada. Está previsto un módulo de alineación AM para detectar una alineación realizada. El módulo de alineación AM está acoplado al módulo de procesamiento de imágenes IPROC y al módulo de detección de posición PE. La detección de la alineación se puede detectar automáticamente mediante la imagen de la cámara CI del objeto técnico TO y/o manualmente mediante accionamiento de un interruptor o botón. Una detección semejante de la alineación correcta a menudo se denomina como registro.
La figura 2 muestra una representación esquemática más detallada de la imagen estructural generada SIMG. Las imágenes de las marcas del código QR QRM conforme a su posición entre sí y a otras estructuras de objetos reconocibles externamente y correspondientes a características de objeto visibles externamente o marcas de objeto del objeto técnico TO se insertan como la estructura de objeto OS reconocible externamente del objeto técnico TO.
Las imágenes de las marcas del código QR QRM están complementadas en arrastre de forma mediante retículas, que actúan como estructuras de proyección que facilitan la alineación.
Como información estructural SI está inserta una bisagra externamente invisible en la posición relativa correcta con respecto a las marcas de código QR QRM en la imagen estructural SIMG. Adicionalmente está contenida una breve descripción "¡Corta aquí!" con la flecha correspondiente. Además, como información de estado SD está insertada una imagen de un termómetro que ilustra una temperatura en la vecindad de la bisagra junto con una breve descripción "¡Caliente!" en la imagen estructural SIMG. La información estructural SI y la información de estado SD están representadas, por ejemplo, en un color diferente que las estructuras de objeto OS.
La figura 3 ilustra una proyección de la imagen estructural SIMG sobre la superficie de proyección POF del objeto técnico TO. Por ejemplo, como la superficie de proyección POF se supone una pared de un edificio o de un avión con una puerta T, p. ej., una puerta de una sala de máquinas. La pared presenta a modo de ejemplo tres marcas de código QR QRM colocadas, de las que dos se sitúan en un cono de proyección del dispositivo móvil SP indicado por una línea de puntos. Mediante las marcas de código QR QRM, el modelo estructural SM o la imagen estructural SIMG generada a partir de él se pueden alinear en el objeto técnico real TO. Además, las marcas de código QR QRM aplicadas permiten la identificación unívoca del objeto técnico TO, así como de la zona espacial alrededor de una marca de código QR QRM detectada respectivamente.
El código QR se puede leer de manera sencilla por medio de la cámara CI del dispositivo móvil SP. La posición y/u orientación relativa PO de las marcas de código QR QRM y del dispositivo móvil SP entre sí también se puede determinar mediante la imagen de la cámara CI. Mediante la posición y/u orientación PO determinada, las estructuras OS, SI y SD relevantes para la proyección se pueden generar a partir del modelo estructural SM. A este respecto se pueden tener en cuenta las distorsiones que resultan de la forma de la superficie de proyección POF almacenada en el modelo estructural SM y/o detectada por medio de la luz estructurada SL. La imagen estructural SIMG generada de esta manera se proyecta por el módulo de proyección PM en la superficie de proyección POF y se hace coincidir con la estructura de superficie correspondiente, aquí las marcas de código QR QRM aplicadas. En este caso, la retícula proyectada conjuntamente facilita la alineación correcta.
Alternativa o adicionalmente a la alineación en las marcas QRM, también se pueden proyectar otras estructuras de objetos externamente reconocibles OS del objeto técnico TO. En el presente caso de una puerta T situada en la superficie de proyección POF, por ejemplo, un marco de puerta o un letrero de puerta visible externamente se puede proyectar como una estructura de objeto OS y hacerse coincidir con el marco de puerta real o el letrero de puerta del objeto técnico TO.
La orientación de la imagen estructural proyectada SIMG se puede realizar manualmente por el usuario o automáticamente mediante la posición y/u orientación relativa PO determinada. En el último caso, la imagen estructural SIMG se genera en función de la posición y/u orientación relativa PO, de tal manera que su proyección esté alineada con la estructura de superficie correspondiente del objeto técnico TO. Una alineación realizada se reconoce por medio del módulo de alineación AM.
La proyección le muestra de forma inmediata e intuitiva al usuario del dispositivo móvil SP donde está oculta una bisagra no visible externamente y qué hacer con ella en caso de emergencia. Además, se indica que la temperatura en el entorno de la bisagra es muy alta.
La invención tiene diversas aplicaciones en el rescate, mantenimiento y/o reparación. La superposición de imágenes directamente visible visualmente del modelo estructural SM sobre el objeto técnico real TO se puede representar, por ejemplo, directamente un punto de partida ideal para un agujero u otra medida técnica. La transferencia propensa a errores desde un medio de representación al objeto técnico real se puede evitar de esta manera en muchos casos.
Después de la orientación o registro realizado de la proyección, esta se puede seguir automáticamente durante el movimiento del dispositivo móvil SP.
La figura 4 ilustra un seguimiento semejante. En este caso, el seguimiento se basa en una detección de un movimiento, ubicación, orientación y/o posición del dispositivo móvil SP después del registro realizado. La detección se realiza por medio del sensor de posición BS y/o mediante un flujo óptico, que se determina mediante la evaluación una o varias imágenes de cámara CI. Mediante el movimiento, ubicación, orientación y/o posición detectados se calcula a tiempo real la alineación relativa del dispositivo móvil SP respecto a la superficie de proyección POF y se genera una imagen estructural SIMG2 seguida correspondiente.
Se supone que el dispositivo móvil SP se mueve después del registro de la proyección de la imagen estructural SIMG, como se indica por una flecha doble. El movimiento se detecta en extensión y dirección mediante el flujo óptico de varias imágenes de cámara CI y la posición de la estructura de objeto OS, la información de la estructura SI y los datos del sensor SD dentro de la imagen estructural SIMG se desplazan según el movimiento detectado, como se indica por una flecha doble. De esta manera, se genera y proyecta una imagen estructural nueva y
actualizada SIMG2 en tiempo real, que al menos coincide aproximadamente con las características del objeto técnico TO. Adicionalmente, mediante el módulo de alineación AM se puede realizar un ajuste fino mediante una imagen de cámara CI de la imagen estructural proyectada SIMG2.
De esta manera, después de un registro inicial de la proyección se pueden incluir y compensar automáticamente los movimientos relativos del dispositivo móvil SP en la proyección, de modo que el usuario pueda mover la proyección a lo largo de la superficie de proyección POF mientras conservando una coincidencia. En particular, esto permite un trabajo manos libres sin ajustes manuales.
Claims (13)
1. Dispositivo (SP) para representar una información estructural (SI) sobre un objeto técnico (TO), con
a) un módulo de identificación (IDM) para identificar el objeto técnico (TO),
b) un módulo de modelado (MM)
- para proporcionar un modelo estructural (SM) del objeto técnico (TO) identificado y - para determinar específicamente una estructura de objeto (OS) reconocible externamente del objeto técnico (TO) y una información estructural interna (SI) asignada espacialmente a la estructura de objeto (OS) sobre el objeto técnico (TO) mediante el modelo estructural (SM), así como c) un módulo de generación de imágenes (IGEN)
- para generar una imagen estructural (SIMG) del objeto técnico (TO),
- para insertar la estructura de objeto (OS) en la imagen estructural (SIMG) de manera fiel a la proyección, así como
- para insertar la información estructural (SI) en la imagen estructural (SIMG) en la asignación gráfica con la estructura de objeto (OS) en un modo de representación diferente al modo de representación de la estructura de objeto (OS),
d) un módulo de proyección (PM) para proyectar la imagen estructural (SIMG) sobre el objeto técnico (TO), y e) un módulo receptor (RX) para recibir datos de sensor (SD) detectados por un sensor (S) del objeto técnico (TO) y enviados por el objeto técnico (TO),
en donde el módulo de generación de imágenes (IGEN) está configurado para insertar los datos de sensor (SD) en la imagen estructural (SIMG) en la asignación gráfica con la estructura de objeto (OS).
2. Dispositivo según la reivindicación 1, caracterizado por un módulo de alineación (AM) para detectar si la estructura de objeto (OS) proyectada sobre el objeto técnico (TO) coincide con una estructura de superficie (QRM) correspondiente del objeto técnico (TO).
3. Dispositivo según una de las reivindicaciones anteriores, caracterizado por
que el módulo de modelado (MM) está configurado para determinar una superficie de proyección (POF) del objeto técnico (TO) mediante el modelo estructural (SM), y que el módulo de generación de imágenes (IGEN) está configurado para generar la imagen estructural (SIMG) en función de una forma de la superficie de proyección (POF) determinada, de tal manera que la estructura de objeto proyectada (OS) puede coincidir con una estructura de superficie (QRM) correspondiente del objeto técnico (TO) en la proyección sobre el objeto técnico (TO).
4. Dispositivo según una de las reivindicaciones anteriores, caracterizado por
una cámara (C) para grabar una imagen de cámara (CI) del objeto técnico (TO), de un entorno del objeto técnico y/o de un entorno del dispositivo (SP), así como
un módulo de procesamiento de imágenes (IPRC) acoplado a la cámara (C) para evaluar la imagen de la cámara (CI).
5. Dispositivo según las reivindicaciones 2 y 4, caracterizado por que el módulo de alineación (AM) está acoplado al módulo de procesamiento de imágenes (IPROC) y el módulo de procesamiento de imágenes (IPROC) está configurado para reconocer la coincidencia de la estructura de objeto (OS) proyectada sobre el objeto técnico (TO) con la estructura de superficie (QRM) correspondiente del objeto técnico (TO) mediante la imagen de la cámara (CI).
6. Dispositivo según la reivindicación 4 o 5, caracterizado por
que el módulo de identificación (IDM) está acoplado al módulo de procesamiento de imágenes (IPROC) y está configurado para identificar el objeto técnico (TO) mediante la imagen de la cámara (CI).
7. Dispositivo según una de las reivindicaciones 4 a 6, caracterizado por
que el módulo de proyección (PM) y el módulo de generación de imágenes (IGEN) están configurados para proyectar luz estructurada (SL) sobre el objeto técnico (TO), y
que el módulo de procesamiento de imágenes (IPROC) está configurado para determinar una posición, una orientación y/o una forma de una superficie de proyección (POF) del objeto técnico (TO) a partir de una imagen de cámara (CI) de la luz estructurada (SL) proyectada.
8. Dispositivo según una de las reivindicaciones anteriores, caracterizado por
que está previsto un módulo de detección de posición (PE) para detectar una posición y/u orientación (PO) del objeto técnico (TO) en relación con el dispositivo (SP), y
que el módulo de generación de imágenes (IGEN) está configurado para generar la imagen estructural (SIMG) en función de la posición y/u orientación (PO) detectada del objeto técnico.
9. Dispositivo según las reivindicaciones 4 y 8, caracterizado por
que el módulo de detección de posición (PE) está acoplado al módulo de procesamiento de imágenes (IPROC) y está configurado para detectar la posición y/u orientación (PO) del objeto técnico (TO) mediante la imagen de la cámara (CI).
10. Dispositivo según la reivindicación 8 o 9, caracterizada por
que el módulo de detección de posición (PE) presenta un sensor de movimiento, sensor de aceleración, sensor de posición, sensor de orientación y/o receptor de navegación por satélite (BS) para detectar un movimiento, posición, orientación y/o posición del dispositivo (SP), y
que el módulo de generación de imágenes (IGEN) está configurado para seguir la imagen estructural (SIMG) después de detectar una coincidencia de la estructura de objeto (OS) proyectada sobre el objeto técnico (TO) con una estructura de superficie (QRM) correspondiente del objeto técnico (TO) según el movimiento, Seguimiento de la posición, orientación y/o posición detectado del dispositivo (SP).
11. Dispositivo según las reivindicaciones 4 y 10, caracterizado por
que el módulo de procesamiento de imágenes (IPROC) está configurado para detectar el movimiento del dispositivo (SP) gracias a la determinación de un flujo óptico mediante una o varias imágenes de cámara (CI).
12. Procedimiento para representar información estructural (SI) sobre un objeto técnico (TO), en donde
a) el objeto técnico (TO) se identifica por medio de un módulo de identificación (IDM),
b) se proporciona un modelo estructural (SM) del objeto técnico identificado (TO),
c) mediante el modelo estructural (SM)
- una estructura de objeto (OS) reconocible externamente del objeto técnico (TO) así como - una información estructural interna (SI) asignada espacialmente a la estructura de objeto (OS) sobre el objeto técnico (TO)
se determinan respectivamente de forma específica,
d) se genera una imagen estructural (SIMG) del objeto técnico (TO), en donde
- la estructura de objeto (SO) se inserta en la imagen estructural (SIMG) de manera fiel a la proyección, y
- la información estructural (SI) se inserta en la imagen estructural (SIMG) en una asignación gráfica con la estructura de objeto (OS) en un modo de representación diferente al modo de representación de la estructura de objeto (OS),
e) la imagen estructural (SIMG) se proyecta de tal manera que la estructura de objeto (OS) proyectada puede coincidir con una estructura de superficie (QRM) correspondiente del objeto técnico (TO) en la proyección sobre el objeto técnico (TO), y en donde
f) los datos de sensor (SD) detectados por un sensor (S) del objeto técnico (TO) y enviados por el objeto técnico (TO) se reciben, y los datos del sensor (SD) se insertan en la imagen estructural en asociación gráfica con la estructura de objeto.
13. Producto de programa informático para representar información estructural (SI) sobre un objeto técnico (TO), que comprende comandos que, al ejecutar el programa por un ordenador, llevan a este a ejecutar un procedimiento según la reivindicación 12.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014224851.5A DE102014224851A1 (de) | 2014-12-04 | 2014-12-04 | Vorrichtung und Verfahren zur Darstellung von Strukturinformation über ein technisches Objekt |
| PCT/EP2015/074440 WO2016087121A1 (de) | 2014-12-04 | 2015-10-22 | Vorrichtung und verfahren zur darstellung von strukturinformation über ein technisches objekt |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2770076T3 true ES2770076T3 (es) | 2020-06-30 |
Family
ID=54478717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES15791532T Active ES2770076T3 (es) | 2014-12-04 | 2015-10-22 | Dispositivo y procedimiento para representar una información estructural sobre un objeto técnico |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20170316618A1 (es) |
| EP (1) | EP3183717B1 (es) |
| AU (1) | AU2015357660A1 (es) |
| DE (1) | DE102014224851A1 (es) |
| DK (1) | DK3183717T3 (es) |
| ES (1) | ES2770076T3 (es) |
| PL (1) | PL3183717T3 (es) |
| RU (1) | RU2682925C2 (es) |
| WO (1) | WO2016087121A1 (es) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10692401B2 (en) | 2016-11-15 | 2020-06-23 | The Board Of Regents Of The University Of Texas System | Devices and methods for interactive augmented reality |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2163394C2 (ru) * | 1999-03-29 | 2001-02-20 | Федеральный научно-производственный центр "Научно-исследовательский институт комплексных испытаний оптико-электронных приборов и систем ВНЦ "ГОИ им. С.И. Вавилова" | Способ идентификации материальных объектов |
| RU2291488C9 (ru) * | 2002-06-24 | 2007-04-20 | Ренат Анатольевич Красноперов | Способ стереологического исследования структурной организации объектов |
| CN100449440C (zh) * | 2003-02-03 | 2009-01-07 | 西门子公司 | 综合信息的投影 |
| US7756694B2 (en) * | 2006-05-31 | 2010-07-13 | Schlumberger Technology Corporation | Method for interactive automation of fault modeling including a method for intelligently sensing fault-fault relationships |
| US7953587B2 (en) * | 2006-06-15 | 2011-05-31 | Schlumberger Technology Corp | Method for designing and optimizing drilling and completion operations in hydrocarbon reservoirs |
| WO2009049282A2 (en) * | 2007-10-11 | 2009-04-16 | University Of Florida Research Foundation, Inc. | Mixed simulator and uses thereof |
| JP4950834B2 (ja) * | 2007-10-19 | 2012-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| DE102010013420A1 (de) * | 2010-02-16 | 2011-08-18 | Volkswagen AG, 38440 | Projektionsanordnung, insbesondere für ein Kraftfahrzeug oder sonstige technische Einrichtungen |
| US8731333B2 (en) * | 2010-04-06 | 2014-05-20 | Jeffrey M. Sieracki | Inspection of hidden structure |
| CN103003713B (zh) * | 2010-09-08 | 2015-04-01 | 法罗技术股份有限公司 | 具有投影器的激光扫描器或激光跟踪器 |
| US8537376B2 (en) * | 2011-04-15 | 2013-09-17 | Faro Technologies, Inc. | Enhanced position detector in laser tracker |
| US9520072B2 (en) * | 2011-09-21 | 2016-12-13 | University Of South Florida | Systems and methods for projecting images onto an object |
| RU2638761C2 (ru) * | 2012-06-28 | 2017-12-15 | Конинклейке Филипс Н.В. | Система и способ для совмещения последовательности изображений |
| US9448758B2 (en) * | 2012-07-18 | 2016-09-20 | The Boeing Company | Projecting airplane location specific maintenance history using optical reference points |
| KR20130088104A (ko) * | 2013-04-09 | 2013-08-07 | 삼성전자주식회사 | 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법 |
| US9858482B2 (en) * | 2013-05-28 | 2018-01-02 | Ent. Services Development Corporation Lp | Mobile augmented reality for managing enclosed areas |
| US9772173B2 (en) * | 2013-06-27 | 2017-09-26 | Faro Technologies, Inc. | Method for measuring 3D coordinates of a surface with a portable articulated arm coordinate measuring machine having a camera |
| US20150062123A1 (en) * | 2013-08-30 | 2015-03-05 | Ngrain (Canada) Corporation | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model |
| US9298076B2 (en) * | 2014-01-05 | 2016-03-29 | Hong Kong Applied Science and Technology Research Institute Company Limited | Image projector |
| US20150378661A1 (en) * | 2014-06-30 | 2015-12-31 | Thomas Schick | System and method for displaying internal components of physical objects |
| US9799143B2 (en) * | 2014-08-15 | 2017-10-24 | Daqri, Llc | Spatial data visualization |
-
2014
- 2014-12-04 DE DE102014224851.5A patent/DE102014224851A1/de not_active Withdrawn
-
2015
- 2015-10-22 DK DK15791532.3T patent/DK3183717T3/da active
- 2015-10-22 RU RU2017119806A patent/RU2682925C2/ru active
- 2015-10-22 ES ES15791532T patent/ES2770076T3/es active Active
- 2015-10-22 PL PL15791532T patent/PL3183717T3/pl unknown
- 2015-10-22 EP EP15791532.3A patent/EP3183717B1/de active Active
- 2015-10-22 AU AU2015357660A patent/AU2015357660A1/en not_active Abandoned
- 2015-10-22 WO PCT/EP2015/074440 patent/WO2016087121A1/de not_active Ceased
- 2015-10-22 US US15/523,506 patent/US20170316618A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016087121A1 (de) | 2016-06-09 |
| DE102014224851A1 (de) | 2016-06-09 |
| PL3183717T3 (pl) | 2020-05-18 |
| AU2015357660A1 (en) | 2017-05-04 |
| EP3183717B1 (de) | 2019-11-27 |
| EP3183717A1 (de) | 2017-06-28 |
| RU2017119806A3 (es) | 2019-01-09 |
| RU2017119806A (ru) | 2019-01-09 |
| DK3183717T3 (da) | 2020-03-02 |
| RU2682925C2 (ru) | 2019-03-22 |
| US20170316618A1 (en) | 2017-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767555B (zh) | 用于校准增强现实装置的系统和方法 | |
| US9448758B2 (en) | Projecting airplane location specific maintenance history using optical reference points | |
| ES2545859T3 (es) | Sistema de asistencia al conductor y procedimiento para habilitar un aparcamiento autónomo o pilotado en un garaje | |
| CN110031975B (zh) | 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜 | |
| ES2460946T3 (es) | Método y aparato para generar textura en una escena tridimensional | |
| RU2017124586A (ru) | Транспортное средство и соответствующий способ проекционного отображения (варианты) | |
| WO2018121617A1 (zh) | 定位准确度的检测方法及电子设备、计算机存储介质 | |
| JP2024096981A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| CN106796646A (zh) | 识别装置和识别方法 | |
| CN105229419A (zh) | 导航装置 | |
| US20170063457A1 (en) | Mobile device, transmitting device, and guidance system | |
| CN103780835A (zh) | 标识设备和方法 | |
| JP7173133B2 (ja) | カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム | |
| ES2770076T3 (es) | Dispositivo y procedimiento para representar una información estructural sobre un objeto técnico | |
| US20200394823A1 (en) | Operation guiding system | |
| US20180225007A1 (en) | Systems and methods for user input device tracking in a spatial operating environment | |
| ES2920949T3 (es) | Sistema de comunicación con dispositivo antifraude | |
| JP2014132478A (ja) | 表示制御装置、表示制御方法及びプログラム | |
| KR101956035B1 (ko) | 인터랙티브 디스플레이 디바이스 및 그 제어 방법 | |
| TW201910952A (zh) | 半導體製造裝置的管理系統、方法及電腦程式 | |
| US10474915B2 (en) | System for comparing a head position of a passenger of a motor vehicle, determined by a determination unit, with a reference measurement | |
| KR102437606B1 (ko) | 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터 | |
| JP7148713B2 (ja) | 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム | |
| JP2016139172A (ja) | 空港監視装置 | |
| JP6670682B2 (ja) | 位置検出方法及び位置検出システム |