ES2868049T3 - Visualización externa de grabaciones de imágenes del habitáculo de un vehículo en unas gafas de realidad virtual - Google Patents

Visualización externa de grabaciones de imágenes del habitáculo de un vehículo en unas gafas de realidad virtual Download PDF

Info

Publication number
ES2868049T3
ES2868049T3 ES18725520T ES18725520T ES2868049T3 ES 2868049 T3 ES2868049 T3 ES 2868049T3 ES 18725520 T ES18725520 T ES 18725520T ES 18725520 T ES18725520 T ES 18725520T ES 2868049 T3 ES2868049 T3 ES 2868049T3
Authority
ES
Spain
Prior art keywords
vehicle
image
interior
external server
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18725520T
Other languages
English (en)
Inventor
TOBIAS MüLLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Application granted granted Critical
Publication of ES2868049T3 publication Critical patent/ES2868049T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/797—Instrument locations other than the dashboard at the vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Procedimiento para visualizar al menos una imagen (13) del habitáculo de un vehículo, en el que se registra al menos una imagen (13) del habitáculo del vehículo mediante al menos una cámara (12) presente en el vehículo, los datos de imagen caracterizados e identificados con relación al vehículo de la al menos una imagen (13) se transmiten a un servidor externo (16), aplicándose métodos para reconocer al menos un objeto en los datos de imagen almacenados en el servidor externo (16), y en el que a un usuario (10) autorizado frente al servidor externo (16) se le concede acceso a los datos de imagen caracterizados e identificados con relación al vehículo, caracterizado por que los datos de imagen (18,19), se muestran al usuario (10) por medio de unas gafas de realidad virtual (17) y por que los métodos para reconocer al menos un objeto son métodos numéricos.

Description

DESCRIPCIÓN
Visualización externa de grabaciones de imágenes del habitáculo de un vehículo en unas gafas de realidad virtual
La presente invención se refiere a un procedimiento y a un sistema para visualizar grabaciones de imágenes del habitáculo de un vehículo en unas gafas de realidad virtual.
Los dispositivos de realidad aumentada superponen la información adicional generada en un ordenador con un entorno perceptible y/o grabado. En el área de la representación visual, la información adicional se muestra en la imagen del entorno, o se complementa en la posición correcta. Esto se puede hacer, por ejemplo, mediante unas gafas de datos en las que el usuario aún tiene su entorno en el campo visual. Frente a eso, en la realidad virtual, un usuario está desacoplado de su entorno actual. Un dispositivo visual para esto puede consistir, por ejemplo, en gafas de RV (Virtual Reality: VR-Realidad Virtual: RV), que permiten al usuario percibir imágenes reales o generadas artificialmente, que no tienen por qué provenir de su entorno físico real. Usando métodos de detección de movimiento, por ejemplo, de la cabeza y/o los ojos, las informaciones de las imágenes mostradas en una unidad de salida visual pueden entonces ser influenciadas.
A partir del documento de patente alemana DE 102013 016 245 A1 se conocen un procedimiento y un dispositivo, para reconocer y generar objetos reales invisibles en un entorno. En los objetos que no pueden ser reconocidos por el ojo humano se ubica una marca correspondiente, que puede ser detectada por una cámara sobre la base de la luz reflejada en el intervalo de longitudes de onda invisible y que permite identificar el objeto correspondiente. Una unidad de procesamiento genera información adicional para el objeto identificado, que se muestra en la imagen de salida, eventualmente mostrada en las gafas de datos.
En el documento de patente alemana DE 10 2013 019 563 A1 se describe un procedimiento para proporcionar informaciones sobre un entorno en un dispositivo inteligente, por ejemplo, unas gafas de datos. Un sistema de reconocimiento instalado en el vehículo registra la presencia del dispositivo inteligente y ofrece a su usuario informaciones sobre el entorno. En este caso, el entorno está cerca del usuario del dispositivo inteligente y puede incluir el habitáculo de un vehículo.
El documento de patente alemana DE 102014013961 A1 da a conocer unas gafas de realidad virtual, en las que un ventilador incorporado adicionalmente está destinado a proporcionar al usuario de las gafas una experiencia de conducción lo más realista posible, si el usuario está expuesto a un flujo de aire en un entorno virtual, por ejemplo un viento en contra. Básicamente, las gafas de realidad virtual sirven en este caso para representar el entorno de un conductor que se encuentra en un vehículo virtual, en particular también el habitáculo de un vehículo virtual. Otro estado actual de la técnica se conoce del documento CN 105 151 001 A.
Lo que tienen en común los dos primeros documentos de patente mencionados, es que el usuario debe estar en el vehículo, o al menos cerca, para obtener informaciones sobre el habitáculo del vehículo. En el último documento de patente mencionado anteriormente, solo se muestra un habitáculo virtual del vehículo, pero no el actual ni el real.
Ante estos antecedentes, misión de la presente invención es proporcionar un procedimiento que permita una representación externa del habitáculo del vehículo dentro de una realidad virtual. Además, misión de la presente invención es proporcionar un sistema correspondiente para llevar a cabo tal procedimiento.
Para solucionar el problema anterior, se propone un procedimiento para visualizar al menos una imagen del habitáculo de un vehículo, en el que se registra al menos una imagen del habitáculo del vehículo mediante al menos una cámara presente en el vehículo, los datos de imagen caracterizándose identificados con relación al vehículo, de la al menos una imagen se transmiten a un servidor externo, a un usuario autorizado frente al servidor externo se le concede acceso a los datos de imagen caracterizados e identificados con relación al vehículo, y los datos de imagen se muestran al usuario como una imagen mediante las gafas de RV. Ventajosamente están dispuestas varias cámaras en el vehículo, en particular en el habitáculo del vehículo, y están colocadas ventajosamente de tal manera que eventualmente se posibilita una vista panorámica de 360° del habitáculo del vehículo. En particular, es ventajoso que haya suficientes cámaras en el vehículo para poder capturar tanto las zonas delos asientos como las zonas de los pies.
En una forma de realización del procedimiento según la invención, la al menos una imagen del habitáculo del vehículo es registrada por al menos una cámara instalada de forma invisible en el vehículo. Se puede pensar, que la al menos una cámara esté integrada en un componente de un revestimiento del habitáculo del vehículo, eventualmente de forma discreta o invisible, es decir oculta.
Con el fin de capturar la mayor cantidad posible del entorno, es ventajoso utilizar un objetivo ojo de pez o respectivamente cualquier posible implementación de un objetivo gran angular como objetivo de al menos una cámara. Las distorsiones ópticas resultantes se pueden calcular o corregir para una visualización posterior de la imagen grabada, utilizando métodos numéricos. Para ello, se debe prever una unidad operativa dispuesta en el vehículo y en conexión comunicativa con el servidor externo o, alternativamente, integrada en él.
Según la invención, se calcula una imagen fusionada del habitáculo del vehículo a partir de al menos dos imágenes combinadas, grabadas por al menos dos cámaras presentes en dos posiciones diferentes. La imagen fusionada puede calcularse mediante una unidad operativa presente en el vehículo. En una ejecución, ésta puede ser la misma unidad operativa que ya se mencionó anteriormente.
Es ventajoso comprimir las imágenes o los datos de imágenes obtenidos del habitáculo del vehiculó que, siguiendo el procedimiento según la invención, se transmiten a un servidor externo por medio de una unidad de comunicación presente en el vehículo. Para ello se pueden utilizar procedimientos numéricos conocidos para la compresión de datos de imágenes, que se llevan a cabo en una unidad operativa asimismo presente en el vehículo. Los datos de imagen recibidos y marcados con referencia al vehículo se pueden descomprimir de nuevo en el servidor externo para su posterior procesamiento. Las unidades operativas mencionadas precedentemente, dispuestas en el vehículo, pueden implementarse mediante una unidad operativa que está diseñada para realizar las operaciones de cálculo mencionadas anteriormente.
Según la invención, se aplican métodos numéricos para reconocer al menos un objeto por los datos de imagen almacenados en el servidor externo. Se utilizan procedimientos conocidos de reconocimiento de patrones y/o detección de bordes para identificar objetos ubicados en el habitáculo del vehículo. Esto también puede ser apoyado por una comparación de imágenes con una grabación del habitáculo de un vehículo intacto, es decir, nuevo o recién salido de fábrica.
En una extensión de esta forma de realización del método según la invención, el al menos un objeto a reconocer, se especifica en una lista, por ejemplo que consta de una billetera, un llavero, un dispositivo inteligente, unas gafas de sol, un bolso de mano y unos guantes. Esta lista se puede configurar como se desee, eventualmente también por el usuario, en particular, se puede ampliar. Se puede pensar en proporcionar descripciones geométricas y/o parámetros específicos del objeto para los respectivos objetos de dicha lista en el lado del sistema con el fin de simplificar y/o acelerar el proceso de identificación.
En una extensión continua de esta forma de realización del procedimiento según la invención, un objeto reconocido, ya sea de la lista mencionada anteriormente o porque destaca, por ejemplo, del habitáculo intacto (es decir, nuevo o recién salido de fábrica) del vehículo, se identifica en la imagen que se muestra destacado en las gafas de RV preferiblemente en color.
Se puede pensar que los pasos anteriores del procedimiento se repitan en un intervalo de tiempo predeterminado, por ejemplo, cada 10, 30 o 60 minutos, o se inicien a petición externa. Un usuario que no se encuentra dentro o al lado del vehículo puede, por tanto, buscar cualquier objeto que haya quedado en el habitáculo del vehículo, mediante una vista interior de su vehículo proporcionada por un servidor externo mediante las gafas de RV. Las gafas de RV equipadas con detección de movimiento permiten una mirada virtual alrededor del habitáculo del vehículo de acuerdo con una búsqueda real en el sitio. Esto significa que con las gafas de RV puestas, el usuario puede mirar virtualmente el interior del vehículo y buscar objetos girando la cabeza.
Además, se reivindica un sistema de visualización de imágenes del habitáculo de un vehículo en unas gafas de RV, que comprende al menos una cámara instalada en el habitáculo del vehículo, un dispositivo de comunicación presente en el vehículo, un servidor externo que está en conexión comunicativa con el dispositivo de comunicación del vehículo, y unas gafas de RV, que están en conexión comunicativa con el servidor externo, en el que el sistema está diseñado para llevar a cabo un procedimiento descrito anteriormente.
En el contexto de la presente descripción, una conexión comunicativa debe entenderse como una conexión a través de la cual se pueden transmitir o intercambiar datos entre los participantes de la conexión correspondiente, como aquí, por ejemplo, entre el servidor externo y el vehículo o bien entre las gafas de RV y el servidor externo.
Otras ventajas y ejecuciones de la invención se desprenden de la descripción y del dibujo adjunto.
No hace falta decir que las características mencionadas anteriormente y las que aún quedan por explicar a continuación pueden usarse no solo en la combinación especificada respectivamente, sino también en otras combinaciones o por sí mismas, sin apartarse del alcance de la presente invención.
La figura 1 muestra en una representación esquemática el concepto de una forma de realización del procedimiento según la invención.
En la figura 1 se muestra el concepto de una forma de realización del procedimiento según la invención en una representación esquemática. En el habitáculo de un vehículo 11 está presente una cámara 12 eventualmente instalada de forma invisible que, por ejemplo, crea una imagen 13 de una zona central del tablero de instrumentos frontal del vehículo 11 y transmite la imagen 13 o bien los datos de imagen asociados a la misma a una unidad operativa 14. Si la cámara 12 es móvil o si se instalan varias cámaras con diferentes ángulos de visión en el vehículo 11, se pueden crear imágenes hasta una captura completa del habitáculo del vehículo. La unidad operativa 14 puede componer una imagen fusionada a partir de estas imágenes. Estos datos de imagen asociados pueden comprimirse mediante procedimientos numéricos, por ejemplo, realizados asimismo en la unidad operativa 14. Además, se identifican en relación con el vehículo y se transmiten mediante un dispositivo de comunicación 15 del vehículo 11 a un servidor externo 16 con un dispositivo de almacenamiento masivo que funciona como extremo posterior. La transmisión se realiza en este caso, por ejemplo, a través de una red inalámbrica. Si esto no se ha hecho anteriormente en el vehículo, los datos de imagen 18 también pueden fusionarse en el servidor externo 16 para formar una vista completa del habitáculo del vehículo 11, si hay suficientes imágenes, o respectivamente vistas de imágenes disponibles para este propósito. Además, los datos de imagen 18 se pueden procesar en el servidor externo 16 mediante procedimientos numéricos desde la zona de un denominado Image Processing (Procesamiento de Imágenes). Para ello, también puede recurrirse a métodos del llamado Object Recognition (Reconocimiento de Objetos) - la detección de objetos en imágenes - , por lo que el sistema puede buscar objetos del lado del sistema, por ejemplo unas gafas de sol, y usarse para una representación resaltada 19 en los datos de imagen 18. Finalmente, el usuario 10 puede ver los datos de imagen 18 usando las gafas de RV 17, recibiendo las gafas de RV los datos de imagen 18 desde el servidor externo 16. Para ello, el usuario 10 no tiene que estar en las proximidades del vehículo 11, por lo que, por ejemplo, puede comprobar desde casa si ha dejado algún objeto que le falta, por ejemplo, sus gafas de sol, en el vehículo 11. Esto puede verse facilitado eventualmente por la representación resaltada 19.

Claims (9)

REIVINDICACIONES
1. Procedimiento para visualizar al menos una imagen (13) del habitáculo de un vehículo, en el que se registra al menos una imagen (13) del habitáculo del vehículo mediante al menos una cámara (12) presente en el vehículo, los datos de imagen caracterizados e identificados con relación al vehículo de la al menos una imagen (13) se transmiten a un servidor externo (16), aplicándose métodos para reconocer al menos un objeto en los datos de imagen almacenados en el servidor externo (16), y en el que a un usuario (10) autorizado frente al servidor externo (16) se le concede acceso a los datos de imagen caracterizados e identificados con relación al vehículo, caracterizado por que los datos de imagen (18,19), se muestran al usuario (10) por medio de unas gafas de realidad virtual (17) y por que los métodos para reconocer al menos un objeto son métodos numéricos.
2. Procedimiento según la reivindicación 1, en el que al menos una imagen (13) del habitáculo del vehículo es registrada por al menos una cámara instalada de forma invisible en el vehículo (11).
3. Procedimiento según una de las reivindicaciones anteriores, en el que se selecciona un objetivo de ojo de pez como objetivo de al menos una cámara (12).
4. Procedimiento según una de las reivindicaciones anteriores, en el que se registran al menos dos imágenes correspondientemente a la cámara(12) presente al menos en dos posiciones dentro del vehículo (11) y se calcula una imagen fusionada del habitáculo del vehículo a partir de las al menos dos imágenes registradas.
5. Procedimiento según la reivindicación 4, en el que la imagen fusionada es creada por una unidad operativa (14) presente en el vehículo (11).
6. Procedimiento según una de las reivindicaciones anteriores, en el que los datos de imagen obtenidos del habitáculo del vehículo se transmiten al servidor externo (16) en forma comprimida.
7. Procedimiento según una de las reivindicaciones anteriores, en el que el al menos un objeto a reconocer se selecciona de la siguiente lista: la cartera, el llavero, el dispositivo inteligente, las gafas de sol, el bolso de mano, los guantes.
8. Procedimiento según la reivindicación 7, en el que un objeto reconocido (19) se resalta en color en la imagen mostrada en las gafas de realidad virtual (17).
9. Sistema, que comprende al menos una cámara (12) instalada en el habitáculo de un vehículo, un dispositivo de comunicación (15) presente en el vehículo, un servidor externo (16), que está conectado al dispositivo de comunicación (15) del vehículo y que dispone de métodos numéricos para reconocer al menos un objeto en los datos de imagen almacenados, y unas gafas de realidad virtual (17), que están en conexión con el servidor externo (16), en donde el sistema está diseñado para llevar a cabo un procedimiento según cualquiera de las reivindicaciones anteriores.
ES18725520T 2017-05-24 2018-05-18 Visualización externa de grabaciones de imágenes del habitáculo de un vehículo en unas gafas de realidad virtual Active ES2868049T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017208806.0A DE102017208806B3 (de) 2017-05-24 2017-05-24 Externe Darstellung von Bildaufnahmen eines Fahrzeuginnenraums in einer VR-Brille
PCT/EP2018/063070 WO2018215332A1 (de) 2017-05-24 2018-05-18 Externe darstellung von bildaufnahmen eines fahrzeuginnenraums in einer vr-brille

Publications (1)

Publication Number Publication Date
ES2868049T3 true ES2868049T3 (es) 2021-10-21

Family

ID=62196604

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18725520T Active ES2868049T3 (es) 2017-05-24 2018-05-18 Visualización externa de grabaciones de imágenes del habitáculo de un vehículo en unas gafas de realidad virtual

Country Status (6)

Country Link
US (1) US11356641B2 (es)
EP (1) EP3630522B1 (es)
CN (1) CN110678353B (es)
DE (1) DE102017208806B3 (es)
ES (1) ES2868049T3 (es)
WO (1) WO2018215332A1 (es)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034904A1 (en) * 2018-07-30 2020-01-30 Stephen Barone System and method for displaying wheel styles and artwork on vehicles
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
JP7609598B2 (ja) * 2020-10-07 2025-01-07 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
DE102021204095A1 (de) 2021-04-26 2022-10-27 Volkswagen Aktiengesellschaft Bedieneinheit, Daten-Brille und Bedienelement
DE102021119813A1 (de) 2021-07-30 2023-02-02 Audi Aktiengesellschaft Verfahren zum Kontrollieren einer Belegung mindestens eines Innenraums eines Kraftfahrzeugs
CN115393380B (zh) * 2022-08-01 2023-07-04 北京城市网邻信息技术有限公司 车内全景图像显示方法、装置、电子设备及存储介质
DE102022208015A1 (de) * 2022-08-03 2024-02-08 Psa Automobiles Sa Wiederauffinden von verlorenen Gegenständen im Fahrzeug

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US7477758B2 (en) * 1992-05-05 2009-01-13 Automotive Technologies International, Inc. System and method for detecting objects in vehicular compartments
DE19634184A1 (de) 1996-08-23 1998-02-26 Ralph Eberhart System zur Überwachung des Fahrgastraumes eines Kraftfahrzeuges
DE29819117U1 (de) 1998-10-27 2000-03-09 Schiesler Peter Uwe Vorrichtung zur Innenraum- und Notfallüberwachung von Fahrzeugen, insbesondere von Taxis o.dgl.
US7433494B2 (en) * 2002-09-19 2008-10-07 Denso Corporation Moving body detecting apparatus
US20040257208A1 (en) * 2003-06-18 2004-12-23 Szuchao Huang Remotely controllable and configurable vehicle security system
JP4858381B2 (ja) * 2007-09-19 2012-01-18 株式会社デンソー 車内忘れ物防止装置
US20100182425A1 (en) * 2009-01-21 2010-07-22 Mazda Motor Corporation Vehicle interior state recognition device
DE102010010179A1 (de) 2010-03-04 2011-09-08 Kathrin Graser System zur Überwachung von Personen und Gegenständen
US20130145279A1 (en) * 2011-11-16 2013-06-06 Flextronics Ap, Llc Removable, configurable vehicle console
US8979159B2 (en) * 2011-11-16 2015-03-17 Flextronics Ap, Llc Configurable hardware unit for car systems
US11632520B2 (en) * 2011-11-14 2023-04-18 Aaron Chien LED light has built-in camera-assembly to capture colorful digital-data under dark environment
US20130200991A1 (en) * 2011-11-16 2013-08-08 Flextronics Ap, Llc On board vehicle media controller
WO2013101057A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Object recognition and notification
WO2014072972A1 (en) 2012-11-08 2014-05-15 Maimoni Iris System and method for determining whether items have been left in vehicles
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
DE102013016245A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur Erkennung und Ausgabe von realen nicht sichtbaren Objekten einer Umgebung
DE102013019563B4 (de) 2013-11-22 2021-11-18 Audi Ag Verfahren zum Bereitstellen von Information über eine Umgebung an einem Smart-Gerät
DE102014013961A1 (de) 2014-09-19 2016-03-24 Audi Ag Virtual-Reality-Brille, System mit einer Virtual-Reality-Brille und Verfahren zum Betreiben einer Virtual-Reality-Brille
DE102015003884B4 (de) 2015-03-26 2024-12-19 Audi Ag Kraftfahrzeugsimulationsanordnung zur Simulation einer virtuellen Umgebung mit zumindest einem Teil eines virtuellen Kraftfahrzeugs und Verfahren zum Einstellen einer Kraftfahrzeugsimulationsanordnung
DE102015004749A1 (de) 2015-04-11 2016-10-13 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102015011815A1 (de) 2015-09-09 2017-03-09 Audi Ag Verfahren zum Vorschlagen einer Positionierung mindestens eines Gegenstands
CN105151001B (zh) 2015-09-24 2018-02-06 廖勇 一种汽车视觉监控智能安防系统
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
US10017156B2 (en) * 2016-08-30 2018-07-10 Nzube Etonye Vehicle security system
DE102016120116A1 (de) * 2016-10-21 2018-04-26 Connaught Electronics Ltd. Verfahren zur Zurverfügungstellung eines einen Umgebungsbereich eines Kraftfahrzeugs beschreibenden Ausgangsbildes sowie vernetztes System
JP2019109849A (ja) * 2017-12-20 2019-07-04 セイコーエプソン株式会社 透過型頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren

Also Published As

Publication number Publication date
WO2018215332A1 (de) 2018-11-29
DE102017208806B3 (de) 2018-07-26
US11356641B2 (en) 2022-06-07
CN110678353A (zh) 2020-01-10
CN110678353B (zh) 2021-05-28
EP3630522A1 (de) 2020-04-08
EP3630522B1 (de) 2021-03-03
US20200151472A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
CN107771342B (zh) 一种增强现实显示方法及头戴式显示设备
US9086566B2 (en) Monocular head mounted display
US8922589B2 (en) Augmented reality apparatus
US9771083B2 (en) Cognitive displays
JP6978192B2 (ja) 帽子型仮想現実ディスプレー映像システム
ES2916408T3 (es) Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario
US20150084990A1 (en) Augmented reality medical procedure aid
CN109934076A (zh) 视觉盲区的场景图像的生成方法、装置、系统及终端设备
CN106484094A (zh) 用于具有抬头显示器的车辆中眼球追踪的方法
KR101349025B1 (ko) 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법
JP2020080485A (ja) 運転支援装置、運転支援システム、運転支援方法およびプログラム
US20160264051A1 (en) Night Driving System and Method
US12299192B2 (en) Visual assistance
US11356641B2 (en) External depiction of photographs of a vehicle in interior in VR goggles
CN107850944A (zh) 在机动车辆中运行数据眼镜的方法以及带有数据眼镜的系统
WO2019058492A1 (ja) 表示システム及び表示方法
CN111902792B (zh) 用于控制第一用户的增强现实设备的显示的方法和系统
ES2704327A1 (es) Método y sistema para mostrar información de realidad virtual en un vehículo
CN116594180A (zh) 一种基于增强现实的透雾平视显示系统
ES2298681T3 (es) Procedimiento y dispositivo para la representacion de informacion para el conductor teniendo en cuenta otros objetos moviles.
KR20170011854A (ko) 디스플레이 장치 및 디스플레이 장치의 영상 구현 방법
KR102190892B1 (ko) 차량의 주변 감시 장치 및 방법
JP2017189498A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JPWO2021095198A5 (es)
ES2704350B2 (es) Método y sistema para mostrar información prioritaria en un vehículo