ES2704373B2 - Método y sistema para mostrar información de realidad virtual en un vehículo - Google Patents
Método y sistema para mostrar información de realidad virtual en un vehículo Download PDFInfo
- Publication number
- ES2704373B2 ES2704373B2 ES201731121A ES201731121A ES2704373B2 ES 2704373 B2 ES2704373 B2 ES 2704373B2 ES 201731121 A ES201731121 A ES 201731121A ES 201731121 A ES201731121 A ES 201731121A ES 2704373 B2 ES2704373 B2 ES 2704373B2
- Authority
- ES
- Spain
- Prior art keywords
- virtual
- information
- user
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/213—Virtual instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Combustion & Propulsion (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Description
DESCRIPCIÓN
Método y sistema para mostrar información de realidad virtual en un vehículo
OBJETO DE LA INVENCIÓN
La presente solicitud de patente tiene por objeto un método para mostrar información de realidad virtual en un vehículo según la reivindicación 1, que incorpora notables innovaciones y ventajas, junto con un sistema para mostrar información de realidad virtual en un vehículo, según la reivindicación 18.
ANTECEDENTES DE LA INVENCIÓN
Los vehículos actuales disponen de cámaras que captan imágenes con la información del entorno del usuario, tanto del espacio interior del habitáculo, como del exterior del vehículo. Dicha información, presente en el entorno del usuario, puede ser procesada con el fin de mejorar su presentación a través de un dispositivo de realidad virtual, de manera que se aportan diferentes funcionalidades para el usuario. Existe pues la necesidad de que el usuario de un vehículo perciba su entorno de una manera filtrada, en el que se muestren imágenes, informaciones, e incluso actuadores virtuales, en función de su importancia y prioridad en cada momento de la conducción.
A este respecto, es conocido del estado de la técnica, según se refleja en el documento US20160093230, un simulador de vuelo para aviones con un dispositivo de visualización montado en la cabeza del usuario y una superficie de control. Se generan imágenes de un entorno virtual que incluye elementos de fuera de la ventana de la cabina. Comprende un dispositivo configurado para detectar una ubicación de una mano de un usuario dentro del campo de visión del usuario.
El documento describe una serie de actuadores físicos y un tablero de instrumentos vacío o parcialmente vacío, en donde algunos de los actuadores son virtuales. Funcionan de modo que cuando el usuario desea actuar sobre un actuador, físico o virtual, del cuadro de
mandos, sea captado por el controlador, modificando en la imagen virtual las características del simulador.
No obstante, aunque en dicho documento el usuario ve en sus gafas de realidad virtual todos los actuadores y recibe del tablero físico una realimentación, siempre se proyecta la información sobre una misma zona determinada, sin posibilidad de modificar donde se representa dicha información.
Así pues, y a la vista de todo lo anterior, se ve que existe aún una necesidad de contar con método y sistema para mostrar información de realidad virtual en un vehículo, tal que sea posible una fácil modificación de los controles o actuadores del tablero de instrumentos en su formato virtual, en circunstancias tales como cuando el usuario adquiere funcionalidades nuevas, o en función del contexto o situación de conducción y las variables internas y externas al vehículo, lográndose de este modo un ahorro económico al eliminarse los actuadores o controles físicos, así como pantallas adicionales donde representar dicha información.
DESCRIPCIÓN DE LA INVENCIÓN
La presente invención consiste en un método y sistema para mostrar información de realidad virtual en un vehículo, mediante un dispositivo de realidad virtual, en el cual se representan hacia el usuario imágenes con información relevante, enmarcadas en el propio campo visual. De modo preferente, el dispositivo de realidad virtual consistirá en unas gafas de realidad virtual.
Así, el usuario, para disfrutar de las ventajas de la presente invención, ha de colocarse las gafas de realidad virtual, de modo que visualice el entorno a través de las imágenes de realidad virtual que se le muestran a través de dicho dispositivo. Es decir, que el usuario no visualiza directamente el entorno, sino que todo lo observa a través de, en este caso, el dispositivo de realidad virtual o gafas de realidad virtual.
El dispositivo de realidad virtual comprende preferentemente al menos una cámara que capta el punto de vista del usuario, mostrando al usuario la imagen proveniente de dicha al menos una cámara. El método y sistema de la presente invención muestra al usuario la
imagen proveniente de la al menos una cámara, solo que, antes de la representación del contenido captado y/o grabado por la al menos una cámara, el sistema procesa la imagen para proporcionar una serie funcionalidades y prestaciones.
Se observa que la prestación de proyectar la información en el propio dispositivo de realidad virtual permite un mayor grado de libertad en la presentación de imágenes, la posibilidad de hacerlo más notoriamente y con más versatilidad, no estando limitado el usuario a mirar a una zona concreta del vehículo, como por ejemplo el retrovisor, no teniendo así que desviar la vista de la conducción, ahorrando por otra parte costes de infraestructura de pantallas.
Una alternativa a la solución de la presente invención sería la de realizar proyecciones de imágenes tradicionales sobre las superficies del habitáculo del vehículo, en particular del tablero de instrumentos, o bien realizar proyecciones de hologramas sobre espacios visibles hacia el usuario del vehículo. Dichas proyecciones no dependen de la posición del usuario con respecto a la proyección, siendo observada igualmente por todos los usuarios del vehículo, tanto el conductor como los pasajeros. Dicha opción presenta limitaciones respecto de la presente invención, en el sentido que dichas proyecciones deber de ser realizadas sobre espacio predeterminados del habitáculo y reservados a tal efecto, presentando una menor versatilidad y flexibilidad de diseño.
En esencia, el método de la presenta invención comprende los pasos siguientes:
- captación información mediante al menos una cámara implementada en el dispositivo de realidad virtual que capta el campo de visión del conductor y/o una cámara que capta el exterior del vehículo;
- recepción de una solicitud para representar una información adicional o una información prioritaria en el dispositivo de realidad virtual, donde la información adicional es diferente a la información captada por la al menos una cámara captada en el dispositivo de realidad virtual;
- procesar la información grabada por la al menos una cámara del dispositivo de realidad virtual, clasificando los píxeles de la imagen según sean del habitáculo, del exterior y/o de objetos adicionales;
- generar una información virtual en base a la información adicional a representar,
- generar una imagen en base a la información grabada y la información virtual, de manera que la información virtual se muestra de manera que no interfiere con la información grabada;
- mostrar la información generada en la pantalla del dispositivo de realidad virtual.
De este modo, generar la imagen significa definir un contenido de la información adicional a mostrar, una posición de la imagen a representar la información adicional, unas dimensiones y/o unas transparencias de dicha información virtual... presentando de este modo la información adicional de la forma más adecuada en base a unas condiciones de conducción, riesgos de accidente, número de información simultánea que se le está mostrando al usuario.
Según un modo de realización, el método divide las imágenes captadas en tres partes o capas, al objeto de poder procesar la parte o capa correcta:
- los píxeles de la imagen correspondientes al habitáculo o interior del vehículo, entendiendo por habitáculo los revestimientos interiores, el tablero de instrumentos, los asientos, los retrovisores. y demás componentes que conforman y delimitan el interior del habitáculo de un vehículo,
- los píxeles de la imagen correspondientes al exterior del habitáculo, entendiendo por exterior del habitáculo del vehículo, incluyendo cualquier elemento que ocurra detrás de los cristales, parabrisas y/o luneta del vehículo, y
- los píxeles de la imagen correspondientes a objetos adicionales como por ejemplo paquetes, pasajeros o el propio usuario.
En una realización preferida de la invención, y para que el sistema pueda aportar el máximo de funcionalidades, el dispositivo de realidad virtual comprende los planos, layout o distribución del interior del vehículo. También comprende un sistema de posicionamiento y orientación exactos del dispositivo de realidad virtual en el espacio, de cara a mostrar con precisión, y en el lugar adecuado los controles o actuadores por medio del dispositivo de realidad virtual.
Así pues, la presente invención es relativa a un método de control de al menos una información por medio de realidad virtual, que comprende, un dispositivo de realidad virtual, habitualmente unas gafas de realidad virtual, pudiendo ser otro sistema equivalente, comprendiendo en todo caso al menos una cámara que captura el punto de vista del usuario. Tras una fase de procesado en una unidad de procesamiento, dichas imágenes capturadas, son mostradas hacia el usuario, preferentemente por medio de una pantalla en dicho dispositivo de realidad virtual. La fase de procesado puede comprender el determinar
una información adicional a ser mostrada por el dispositivo de realidad virtual, y también el detectar una entrada, la cual puede ser una petición realizada por el usuario, o también una petición de una unidad de control. Posteriormente a la fase de procesado, puede existir una fase de representar la información adicional en el entorno captado en base a la entrada, de manera que la posición, dimensión, propiedades visuales, etc. de la información representada varía en función de la entrada.
La unidad de procesamiento puede detectar la necesidad de proyectar una información, bien sea por una señal entrante que debe ser representada, por ejemplo una llamada entrante, por una actuación por parte del usuario a un actuador, por ejemplo el usuario pulsa el botón físico o el actuador o control virtual de la música, por un gesto que se asocia a la proyección de una información determinada, por ejemplo un puño implica mostrar señal de navegación, o por voz.
Así, y concretamente, la invención en su realización básica trata de un método para mostrar información de realidad virtual en un vehículo, donde un dispositivo de realidad virtual es utilizado por un usuario en el interior del vehículo, donde el método comprende las etapas de:
i) captar al menos una primera imagen de un entorno del usuario, donde la al menos una primera imagen captada coincide con un campo de visión del usuario, ii) determinar una solicitud para representar una información adicional en el dispositivo de realidad virtual,
iii) generar una información virtual en base a la información adicional a representar, iv) generar un entorno virtual del usuario, donde el entorno virtual comprende insertar la información virtual en la al menos una primera imagen, y
v) mostrar el entorno virtual generado por medio del dispositivo de realidad virtual.
Así por entorno se entiende el espacio físico que rodea al usuario. Por usuario se entiende la persona que se encuentra físicamente dentro del habitáculo del vehículo y que porta el dispositivo de realidad virtual. Por dispositivo de realidad virtual se entiende un dispositivo capaz de proyectar imágenes de un entorno, dando la sensación al usuario que lo porta, de encontrarse en dicho entorno. Por entorno virtual se entiende un conjunto de imágenes que recrean un entorno alrededor de un usuario que porta un dispositivo de realidad virtual. Por campo de visión se entiende un conjunto de imágenes observadas por el usuario para una dirección de observación determinada.
Según lo descrito, la invención presenta la ventaja de mostrar unas informaciones virtuales o adicionales en un entorno virtual, a través de un dispositivo de realidad virtual, dichas informaciones virtuales se combinarían con información del mundo real. Dichas informaciones, tanto las virtuales como las correspondientes al mundo real, pueden ser representadas en la totalidad del espacio visual, sin estar limitados a una pantalla.
Adicionalmente a la reducción de costes que representa no mostrar la información por pantallas físicas, aparece la versatilidad del contenido de la opción presentada así como la versatilidad de la posición en que se presenta la información. De este modo, la información puede ser cambiada de forma rápida. Así, si un usuario adquiere un nuevo sistema podría actualizar la apariencia, o la estética de los mandos de control.
Específicamente, la información adicional proyectada en el dispositivo de realidad virtual consiste principalmente en información relativa a contextos como navegación, radio, teléfono, parámetros del vehículo, actuadores para modificar parámetros del vehículo... Así, si una llamada es recibida por el usuario, la información adicional sería un indicador de la llamada entrante con al menos un actuador virtual para contestar la llamada. Otro ejemplo podría ser que el usuario realiza una determinada acción para activar los parámetros del climatizador del vehículo, por lo que la información adicional serían los actuadores para gestionar los ajustes del climatizador.
Según otro aspecto de la invención, la etapa de generar una información virtual comprende definir al menos una propiedad visual de la información virtual a mostrar en el dispositivo de realidad virtual. La al menos una propiedad visual de la información virtual comprende alterar un brillo, un color, una luminosidad, un contraste y/o una saturación de la información recibida. De este modo se puede concretar la apariencia de la información virtual en base a la información adicional, la primera imagen captada, la prioridad de la información adicional y/o a las preferencias del usuario.
Por otra parte, la etapa de generar una información virtual comprende definir un contenido de la información virtual a mostrar en el dispositivo de realidad virtual. Donde definir el contenido de la información virtual comprende seleccionar una información a representar, o seleccionar un texto, o un actuador, e tc . en base a un grado de prioridad, donde el grado de prioridad es, preferentemente, determinado por el vehículo. De este modo el contenido
de la información virtual presentada puede ser personalizado de acuerdo a las necesidades o preferencias establecidas previamente para un usuario genérico.
En una realización preferida de la invención, la etapa de generar un entorno virtual comprende sobreponer la información virtual generada a la al menos una primera imagen captada. De este modo el usuario contempla sobre la imagen de su campo de visión, otra información de su interés, o relevante para la conducción. Se trata pues de una sustitución directa de al menos una zona de la primera imagen captada por la información a representar, dentro del entorno virtual generado.
Según otro aspecto de la invención, sobreponer la información virtual generada a la al menos una primera imagen captada comprende establecer una transparencia de la información virtual sobrepuesta. Dicha transparencia implica el poder mostrar una información virtual sin dejar de representar en el mismo punto la imagen real del entorno del usuario, permitiendo de este modo que el usuario pueda visualizar el completo entorno que le rodea, además de la información adicional a mostrar en el dispositivo de realidad virtual.
La transparencia se puede realizar de modo sencillo, representando el color de cada pixel de la primera imagen como una mezcla del color de la información virtual que se quiere representar, y del color de la primera imagen, o representación de la realidad. En una realización preferida, el usuario puede cambiar la transparencia y color de la información virtual proyectada de forma que lo puede personalizar a su gusto.
Dicho de modo general, el alterar al menos una propiedad visual de la primera imagen, puede permitir mostrar la información virtual de modo más destacado y accesible visualmente para el usuario.
Ventajosamente, sobreponer la información virtual generada a la al menos una primera imagen captada comprende definir una dimensión de la información virtual sobrepuesta, de modo que el usuario, o la unidad de procesamiento, puede variar el grado de visibilidad y accesibilidad a la información virtual, pudiendo definir en base a una prioridad y/o importancia de la información adicional, su tamaño o dimensión dentro del entorno virtual generado.
Según aún otro aspecto de la invención, la etapa de generar un entorno virtual comprende definir una posición de la información virtual a mostrar en el dispositivo de realidad virtual, de manera que la invención determina la posición en la que se proyecta una información virtual dentro del campo de visión de las gafas de realidad virtual en base a una prioridad y/o importancia de la información adicional. Adicionalmente, la posición de la información adicional puede ser personalizada por el usuario, tal y como se explica más adelante.
Así, y en resumen, el método de la presente invención determina el orden, la forma, posición y/o el tamaño de cada información virtual de modo independiente. Por ejemplo, y caso de tratarse de un actuador, decidir dichas variables para cada uno de los actuadores y en el momento en que se muestran por el dispositivo de realidad virtual.
Por otro lado, y en una realización particular de la invención, la información virtual comprende una posición predefinida. Dicha posición predefinida está situada en una zona determinada del campo de visión del usuario, de modo que cada información adicional ocupa un espacio predefinido determinado dentro del entorno virtual. Así, el usuario sabe hacia dónde tiene que mirar para revisar o actuar sobre dicha información virtual.
Más en particular, el método comprende una etapa de determinar una orden por parte del usuario, donde definir una posición de la información virtual comprende insertar la información virtual en una posición solicitada por parte del usuario. De este modo el usuario puede elegir dónde le va bien disponer de dicha información virtual en su campo visual, pudiendo adaptar la representación de información virtual a las necesidades puntuales del usuario.
Según otro aspecto de la invención, la orden mencionada comprende un gesto predefinido captado en la al menos una primera imagen, de manera que la posición de la información virtual es sustancialmente igual a la posición del gesto predefinido captado en el campo de visión del usuario, lo cual redunda en una mayor accesibilidad del usuario a las informaciones y/o actuadores.
Concretamente, dicha información puede representarse por defecto en una determinada zona del campo de visión del usuario, portante del dispositivo de realidad virtual. Así el usuario puede solicitar el movimiento de la información y su representación en la zona solicitada. Así, el usuario puede realizar un determinado gesto, por ejemplo extender una
mano plana, para indicar que se proyecte la imagen de la información virtual justo encima de la mano.
En una realización preferida de la invención, la orden comprende al menos una instrucción, de manera que la posición de la información virtual es desplazada por la al menos una instrucción, donde la al menos una instrucción comprende una instrucción por voz y/o una instrucción en una superficie táctil y/o una instrucción por gestos. De este modo el usuario puede elegir dónde tiene la información a través de diversos tipos de acciones, de acuerdo a su mayor comodidad, y para una menor interferencia con su labor de conducción.
Por lo tanto, el cambio de posición de la información virtual es mediante gestos, detectados por una cámara, o mediante su actuación sobre un actuador o controlador, por ejemplo una superficie táctil, en el propio dispositivo de realidad virtual. Ventajosamente, el usuario puede realizar gestos con su mano, de subirla o bajarla, de moverla a la izquierda o la derecha, para desplazar la imagen de la información virtual. El usuario puede realizar el deslizamiento en una superficie táctil del propio dispositivo de realidad virtual, indicando el movimiento progresivo de la imagen. Ventajosamente, la detección de la orden y, por lo tanto, del gesto para definir la posición de la información virtual, es detectada por medio de la misma cámara que capta la al menos una primera imagen, aprovechando que la cámara que capta la al menos una primera imagen coincide con el campo de visión del usuario portador del dispositivo de realidad virtual.
Si la entrada o instrucción es una petición del propio usuario, éste puede solicitar directamente la zona del campo de visión a representar la imagen, sin que ésta se muestre previamente en una zona predeterminada.
En una realización particular de la invención, el método comprende una etapa de determinar una situación crítica de conducción, donde la etapa de generar una información virtual y/o la etapa de generar un entorno virtual son adicionalmente en base a la situación crítica de conducción determinada.
Así pues la invención hace referencia a un método, y a un sistema asociado, que permite evitar colisiones entre el vehículo del usuario y los circundantes debidas a una proyección de una información virtual en una zona que entorpece la visualización del entorno, dificultando así la conducción del vehículo. Así, cuando se detecta un riesgo de colisión, se
proyecta en el dispositivo de realidad virtual, preferentemente unas gafas de realidad virtual, la información adicional en unas condiciones aptas para no dificultar o imposibilitar la conducción. Adicionalmente, la información virtual puede ser información para evitar la colisión, lo cual redunda en un incremento de la seguridad de los ocupantes del vehículo. A modo de ejemplo, la información virtual proyectada consiste principalmente en las imágenes captadas por cámaras exteriores al vehículo, de modo que se podrá enseñar al conductor una ampliación de la zona posterior del vehículo, de la zona lateral, o frontal, en el instante en el que se detecte un riesgo de colisión.
Se entiende por situación crítica de conducción un evento del entorno, una acción del conductor, una acción de un tercer vehículo o peatón con respecto al vehículo... donde el método determina que ésta información es prioritaria y que debe ser mostrada al conductor del vehículo.
Según otro aspecto de la invención, la al menos una primera imagen comprende al menos un primer segmento, donde el método comprende una etapa de clasificar el al menos un primer segmento de la al menos una primera imagen en interior del vehículo, exterior del vehículo, y objeto adicional del vehículo, donde la etapa de generar una información virtual y/o la etapa de generar un entorno virtual son adicionalmente en base a la clasificación del al menos un primer segmento de la al menos una primera imagen.
Así, el método de la presente invención divide las imágenes en tres partes, para poder representar la información adicional superponiéndola sobre zonas no críticas del entorno captado. De este modo, según el nivel de prioridad o de riesgo de colisión detectado, la información adicional podrá ser mostrada de forma selectiva superponiéndola o aplicando una transparencia sobre los píxeles correspondientes al habitáculo, los píxeles correspondientes al exterior, y/o los píxeles correspondientes a objetos adicionales como por ejemplo paquetes, pasajeros o el propio usuario. Señalar que el sistema cuenta en su unidad de memoria los planos exactos del interior o exterior del vehículo, o bien de un objeto o edificio, si el dispositivo de realidad virtual se encuentra en otro entorno.
Concretamente, la cámara del dispositivo de realidad virtual capta las imágenes de su entorno y la distancia a cada parte de la imagen de dicho entorno. El dispositivo de realidad virtual sabe dónde está posicionado y sabe la distancia que hay desde el mismo hasta cada punto del habitáculo. Por otro lado, el método de la invención comprende una etapa
adicional de determinar al menos una zona de ventana en la al menos una imagen captada, donde la etapa de determinar la al menos una zona de ventana comprende reconocer al menos una forma geométrica predefinida por medio de procesamiento de imagen y/o determinar al menos un marcador de la al menos una imagen, donde el marcador comprende un color predefinido y/o comparar el al menos un vector real con el al menos un vector teórico.
En base a lo anterior, precisar que el al menos un segmento es clasificado como exterior del vehículo si el al menos un segmento está dispuesto en la al menos una zona de ventana en la al menos una imagen.
Adicionalmente, el al menos un segmento es clasificado como interior del vehículo si el vector real del al menos un segmento es sustancialmente igual que el vector teórico, en donde tanto ángulo como módulos de los vectores coinciden.
Por otro lado, el al menos un segmento es clasificado como objeto adicional del vehículo si el módulo del vector real del al menos un segmento es menor que el módulo del vector teórico.
En conclusión tras dicho análisis de imagen, el dispositivo de realidad virtual separa la imagen que se está captando en tres partes: los pixeles que corresponden al habitáculo, los pixeles correspondientes a objetos adicionales no pertenecientes al habitáculo y los pixeles que corresponden al exterior del vehículo, es decir que están sobre la ventana.
Más específicamente, insertar la información virtual generada a la al menos una primera imagen captada comprende sobreponer la información virtual al primer segmento del interior del vehículo y/o al primer segmento del exterior del vehículo y/o al primer segmento de objeto adicional del vehículo. De este modo se muestra el tipo de información virtual representada en la zona que se cree más conveniente, en función de las características de conducción, el riesgo de conducción, el tipo de información virtual a representar...
Según una realización preferente de la invención, la información virtual comprende un al menos un actuador virtual, en donde actuador virtual debe entenderse como un botón, pulsador o comando, que envía instrucciones a alguna unidad de procesamiento del vehículo. De este modo se puede conseguir que dichos actuadores virtuales, sean
fácilmente editables y actualizables, pudiendo modificar parámetros del vehículo ubicándolos en la zona más óptima o preferida del campo de visión del usuario. Se contrasta las ventajas que presenta comparando con la posición física definida e inmodificable que ocupan los actuadores, pantallas u otros elementos de control actuales en el vehículo.
Una ventaja adicional de dichos actuadores virtuales con respecto a los botones físicos, es que se pueden colocar en cualquier sitio, sin tener problemas de viabilidad técnica. No importa lo profundo que sea la superficie ya que el botón no lleva ningún mecanismo detrás.
Así, el sistema configurado para ejecutar el método de la presente invención es capaz de mostrar actuadores virtuales en forma de superficies táctiles sobre una superficie correspondiente al interior del habitáculo o sobre el espacio 3D, en forma de actuadores holográficos. Los botones pueden ser cambiados de forma rápida, por ejemplo, si un usuario adquiere un nuevo sistema podría actualizarlos. Por lo tanto, se destaca la capacidad del método de la presente invención de editar tanto la apariencia visual, la posición, el tamaño como el contenido o función de dichos actuadores virtuales. Actualmente se da la situación de que los fabricantes tienen que reservar espacios para los botones físicos, aunque en el caso de que el usuario no adquiera esa funcionalidad en el momento de la compra del vehículo, debiendo poner algún tipo de tapa para cubrir ese espacio. Dicha problemática quedaría solucionada con la presente invención.
Adicionalmente, y de modo ventajoso, también se pueden modificar los actuadores virtuales en función del contexto, entendiendo por contexto el conjunto de variables del vehículo y de su entorno. Dichos actuadores virtuales pueden aparecer y desaparecer en función de diversos factores del contexto. Por ejemplo, a mayores velocidades del vehículo, estos podrían aumentar su tamaño para facilitar su pulsado rápido, y disminuyendo la posibilidad de distracción. Otro ejemplo sería la presencia de un botón para abrir el maletero. Cuando el maletero está cerrado, el botón muestra la función de abrir el maletero, pero cuando está abierto, el botón muestra la función de cerrarlo.
Según otro aspecto de la invención, el método comprende una etapa de actuar el al menos un actuador virtual, que a su vez comprende determinar una posición de al menos una mano del usuario en el campo de visión, asociar la posición de la al menos una mano del usuario determinada con la posición del al menos un actuador virtual, determinar una coincidencia entre la posición de la al menos una mano del usuario determinada con la posición del al
menos un actuador virtual. De este modo existe la posibilidad de establecer una comunicación con una unidad de procesamiento del vehículo, de manera que se puede transmitir una activación o desactivación de una función el vehículo, o bien un aumento o disminución de un parámetro de dicho vehículo.
En consecuencia, el usuario también puede controlar o interactuar con la información representada. Así, el usuario podría tocar el "aire”, es decir el espacio vacío frente a él, en el cual se representa el entorno virtual. En dicho entorno virtual están dispuestos al menos un actuador virtual para realizar acciones o modificar parámetros del vehículo. La etapa de determinar la posición de la mano del usuario podría ser realizada por la cámara que capta la al menos una primera imagen, facilitando la etapa de asociar la posición de la al menos una mano del usuario con la posición del actuador virtual en el entorno virtual, puesto que el campo de visión es el mismo. Con el fin de mejorar la precisión de la etapa de determinar la coincidencia entre la posición de la mano y la posición del actuador virtual, un sistema capaz de determinar la distancia a todos los objetos, como por ejemplo un Lidar (Light Detection and Ranging). Este sistema puede ser el mismo que el utilizado para clasificar los píxeles o segmentos de la primera imagen.
Más en particular, ante la circunstancia de que una coincidencia entre la posición de la al menos una mano y el actuador virtual ha sido determinada, actuar el al menos un actuador virtual comprende generar al menos una respuesta al usuario, de modo que el usuario obtiene una señal perceptible que le transmite información. La al menos una respuesta comprende preferentemente modificar al menos una propiedad visual de la información virtual, o bien producir otro tipo de señal como una vibración en el asiento, u otro tipo de señal acústica o visual, como puede ser el cambio de forma o color del contenido representado en el dispositivo de realidad virtual.
Es también objeto de la invención un sistema para mostrar información de realidad virtual en un vehículo automóvil, donde el sistema comprende un dispositivo de realidad virtual, donde el dispositivo de realidad virtual comprende al menos una pantalla, al menos una primera cámara, donde la al menos una primera cámara está configurada para captar al menos una primera imagen, donde la al menos una primera imagen coincide con un campo de visión del usuario, al menos una unidad de procesamiento, donde la al menos una unidad de procesamiento está configurada para determinar una solicitud para representar una información en el dispositivo de realidad virtual, recibir una instrucción, generar una
información virtual, y generar un entorno virtual del usuario. Se entiende pues que el sistema para mostrar información de realidad virtual en un vehículo automóvil comprende los componentes y al menos un aparato de procesamiento de información que comprende medios para implementar el método descrito anteriormente.
El dispositivo de realidad virtual, siendo preferentemente unas gafas de realidad virtual, puede comprender una cámara de alta resolución, y sistemas de autofoco de gran calidad, como pueden ser una cámara nocturna y/o infrarroja, y también un sistema capaz de determinar la distancia a todos los objetos en la imagen, como por ejemplo Lidar.
Según otro aspecto de la invención, el sistema comprende al menos un medio de detección de posición, donde el medio de detección de posición está configurado para determinar una posición del dispositivo de realidad virtual en el vehículo. De este modo se puede conocer la posición y orientación del dispositivo de realidad virtual en el interior del vehículo, lo cual, entre otras cosas, permite clasificar en capas, secciones o segmentos, la primera imagen, y también determinar el campo de visión que está percibiendo el usuario en cada momento. A modo de ejemplo, el sistema de posicionamiento puede ser al menos una cámara, al menos un sistema de posicionamiento por triangulación, captación de posición de elementos conocidos en el entorno...
Adicionalmente, y para ayudar a la orientación, el dispositivo de realidad virtual puede disponer de un sistema de acelerómetros y giroscopios. Por otro lado, la representación de la imagen del entorno virtual puede realizarse, bien en una pantalla del dispositivo, bien en una proyección en una lente, caso de tratarse de unas gafas de realidad virtual.
En los dibujos adjuntos se muestra, a título de ejemplo no limitativo, un método y sistema para mostrar información de realidad virtual en un vehículo, constituido de acuerdo con la invención. Otras características y ventajas de dicho método y sistema para mostrar información de realidad virtual en un vehículo, objeto de la presente invención, resultarán evidentes a partir de la descripción de una realización preferida, pero no exclusiva, que se ilustra a modo de ejemplo no limitativo en los dibujos que se acompañan, en los cuales:
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Figura 1.- Es una vista en perspectiva del habitáculo de un vehículo, de acuerdo con la presente invención.
Figura 2.- Es una vista en primera persona del campo de visión de un usuario desde la posición del conductor en el habitáculo de un vehículo, de acuerdo con la presente invención.
Figura 3.- Es una vista en perspectiva de un dispositivo de realidad virtual, de acuerdo con la presente invención.
Figura 4A.- Es una vista en perspectiva de un dispositivo de realidad virtual en una primera posición, de acuerdo con la presente invención.
Figura 4B.- Es una vista en perspectiva de un dispositivo de realidad virtual en una segunda posición, de acuerdo con la presente invención.
Figura 5A.- Es una vista en perspectiva de la primera fila de asientos del habitáculo de un vehículo con dos usuarios portando sus respectivos dispositivos de realidad virtual, de acuerdo con la presente invención.
Figura 5B.- Es una vista en perspectiva del campo de visión del conductor en el habitáculo de un vehículo, de acuerdo con la presente invención.
Figura 6A.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una información virtual en una primera posición del campo de visión, de acuerdo con la presente invención. Figura 6B.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un primer giro de la cabeza del conductor, con una información virtual aun en una primera posición del campo de visión, de acuerdo con la presente invención.
Figura 6C.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un segundo giro de la cabeza del conductor, sin una información virtual mostrada, de acuerdo con la presente invención.
Figura 7A.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una información virtual en una primera posición del campo de visión, de acuerdo con la presente invención. Figura 7B.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una información virtual en una segunda posición del campo de visión, de acuerdo con la presente invención. Figura 7C.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una información
virtual en una segunda posición del campo de visión, y con otra información virtual en una tercera posición del campo de visión, de acuerdo con la presente invención.
DESCRIPCIÓN DE UNA REALIZACIÓN PREFERENTE
A la vista de las mencionadas figuras y, de acuerdo con la numeración adoptada, se puede observar en ellas un ejemplo de realización preferente de la invención, la cual comprende las partes y elementos que se indican y describen en detalle a continuación.
Tal y como puede verse en la figura 5A, el sistema y método de la presente invención se basa en proyectar información de realidad virtual por medio de un dispositivo de realidad virtual 3. El dispositivo de realidad virtual 3 está dispuesto preferentemente en la cabeza 21 del usuario 2, tanto de un conductor como de un acompañante cuando éstos están en el interior de un vehículo 1.
A modo de resumen, el método de la presente invención lleva a cabo las siguientes acciones, en una realización preferente:
- captar al menos una primera imagen 51 por medio de al menos una primera cámara 31, donde la al menos una imagen 5 coincide con el campo de visión 22 del usuario, - recibir en el dispositivo de realidad virtual 3 una solicitud para representar una información adicional en el dispositivo de realidad virtual, donde la información adicional puede ser una segunda imagen captada por una cámara exterior, un actuador que permite actuar sobre un parámetro del vehículo 1...
- un vez recibida la información virtual a representar, generar una información virtual 101, que consiste en definir la forma en que se representa la información adicional en un entorno virtual 6,
- generar el entorno virtual 6 del usuario 2, donde el entorno virtual 6 comprende la primera imagen 51 que coincide con el campo visual 22 y la información virtual 101, de manera que se muestra en el campo de visión 22 del usuario 2 la información adicional, y
- mostrar el entorno virtual 6 generado por medio del dispositivo de realidad virtual 3.
Señalar, que en una primera variante el mostrar el entorno virtual 6 se realizaría en una pantalla 37 del dispositivo o gafas de realidad virtual 3, y en una segunda variante se realizaría en la propia lente del dispositivo o gafas de realidad virtual 3.
En la figura 1 se puede observar, de modo ilustrativo, el habitáculo de un vehículo 1, con una unidad de procesamiento 4 y una unidad de memoria 41, localizada preferentemente bajo el tablero de instrumentos. Se observan también una pluralidad de medios de detección de posición 7 del dispositivo de realidad virtual 3 en el vehículo 1. Un ejemplo para posicionar el dispositivo de realidad virtual 3 es por medio de transceptores, por ejemplo de ondas infrarrojas o electromagnéticas. Así mediante un proceso de triangulación y conociendo el tiempo de emisión y respuesta de dichas ondas con dispositivos ubicados en emplazamientos conocidos del vehículo 1, se puede determinar de modo preciso su posición.
En la figura 2 se puede observar, de modo ilustrativo, una vista en primera persona del campo de visión 22 de un usuario 2 desde la posición del conductor en el habitáculo de un vehículo 1. En la misma se observa las zonas del campo de visión 22, clasificadas como interior 11, exterior 12 y zona de ventana 15. Se destaca asimismo la zona exterior 12 del vehículo, correspondiente preferentemente a la zona de ventana 15. También se aprecia una localización a modo de ejemplo de la la unidad de procesamiento 4, habitualmente junto a la unidad de memoria 41.
En la figura 3 se puede observar, de modo ilustrativo, una vista en perspectiva de un dispositivo de realidad virtual 3. Dicho dispositivo de realidad virtual 3 es, preferentemente, unas gafas de realidad virtual. Las gafas de realidad virtual comprenden de modo preferente una primera cámara 31 para captar la al menos una primera imagen 51, al menos un sensor de distancia 9, donde el al menos un sensor de distancia 9 está configurado para obtener al menos una distancia entre el usuario 2 y los objetos del entorno, un acelerómetro 34 y un giroscopio 35 con el fin de determinar una posición del dispositivo de realidad virtual 3 en el vehículo 1, así como una unidad de procesamiento 4. Así, el dispositivo de realidad virtual 3 conoce dónde está posicionado, y sabe la distancia que hay hasta cada punto del habitáculo del vehículo 1. Además, una pantalla 37 permite mostrar al usuario 2 el entorno virtual 6 generado.
En la figura 4A se puede observar, de modo ilustrativo, un dispositivo de realidad virtual 3 en una primera posición, que corresponde con una vista superior de las gafas de realidad virtual. En la figura 4B se puede observar, de modo ilustrativo, un dispositivo de realidad virtual 3 en una segunda posición, que corresponde con una vista lateral de las gafas de realidad virtual. Con el fin de posicionar el dispositivo de realidad virtual 3 en el entorno, es posible establecer en las gafas unas marcas o balizas que sirvan como puntos de referencia. En la figura 4A las marcas están dispuestas en la zona superior de la montura. En la figura 4B las marcas están dispuestas en la zona lateral de las varillas. Por medio de cámaras dispuestas en el interior del vehículo, se determina la posición y orientación de dichas marcas, posicionando así el dispositivo de realidad virtual 3.
Según otro aspecto de la invención, el método de la presente invención clasifica al menos un primer segmento 511 o píxel de las primeras imágenes 51 obtenidas por la primera cámara 31. El al menos un primer segmento 511 es clasificado según:
- interior 11 del vehículo 1,
- exterior 12 del vehículo 1, y
- objeto adicional 13, del vehículo.
Por segmento se entiende una porción o una parte de una imagen. La subdivisión de una imagen en porciones o segmentos se puede realizar mediante tratamiento de imagen, dividiendo la imagen por colores, volúmenes, geometrías, contornos... obteniendo de este modo la pluralidad de segmentos que conforman la imagen. Alternativamente, la subdivisión de la imagen puede ser por píxeles u otra equivalente. Así el término segmento de una imagen es equivalente al de píxel de dicha imagen, pudiendo ser sustituido uno por el otro, e interpretado ambos bajo el mismo significado.
Así, la clasificación de los primeros segmentos 511 se realiza en base a una ubicación de al menos un elemento del entorno del usuario 2 respecto al dispositivo de realidad virtual 3, donde el método comprende adicionalmente las etapas de:
a) obtener al menos un vector real 23, donde el al menos un vector real 23 comprende un módulo y una dirección entre el dispositivo de realidad virtual 3 y el al menos un elemento del entorno del usuario 2,
b) determinar una posición del dispositivo de realidad virtual 3 en el vehículo 1,
c) asignar el al menos un vector real 23 al al menos un primer segmento 511, y
d) comparar el al menos un vector real 23 con al menos un vector teórico 24, donde el al menos un vector teórico 24 es previamente conocido.
En la figura 5A se puede observar, de modo ilustrativo, una vista en perspectiva de la primera fila de asientos del habitáculo de un vehículo 1 con dos usuarios 2 portando sus respectivos dispositivos de realidad virtual 3. Se observa de forma esquemática como el dispositivo de realidad virtual 3 capta primeras imágenes 51 del entorno, coincidiendo con el campo de visión 22 del usuario 2. Además, al menos un sensor de distancia 9 capta al menos un módulo y una dirección entre el dispositivo de realidad virtual 3 y los elementos que se encuentran en el entorno del usuario 2, de manera que se definen una pluralidad de vectores reales 23. Cada primer segmento 511 de la primera imagen 51 tiene asociado al menos un vector real 23, de manera que se conoce una posición relativa cada primer segmento 511 con el usuario 2.
Adicionalmente, al menos un medio de detección de posición 7 permite conocer la posición del dispositivo de realidad virtual 3 en el interior del vehículo 1. Conocer la posición es imprescindible para ubicar el usuario 2 en un mapa tridimensional previamente conocido del vehículo 1. De este modo, se conocerá una pluralidad de vectores teóricos 24, que indican la posición relativa entre los objetos ubicados en el entorno del usuario 2 y el propio usuario 2. Una comparación entre la pluralidad de vectores teóricos 24 y la pluralidad de vectores reales 23 permitirá clasificar la pluralidad de primeros segmentos 511 u objetos adicionales de la primera imagen 51, pudiendo de este modo generar un entorno virtual 6 modificado a las necesidades puntuales del usuario 2.
Con el fin de determinar los primeros segmentos 511 de la primera imagen 51 que representan el exterior 12 del vehículo 1, se determina al menos una zona de ventana 15 en la al menos una primera imagen 51 captada. Se basa en reconocer al menos una forma geométrica predefinida por medio de procesamiento de imagen y/o determinar al menos un marcador de la al menos una primera imagen 51, donde el marcador comprende un color predefinido y/o comparar el al menos un vector real 23 con el al menos un vector teórico 24. Señalar que la zona de ventana 15 corresponde al parabrisas, o a cualquier superficie acristalada o transparente del vehículo 1. Así, al menos un primer segmento 511 es clasificado como exterior 12 del vehículo 1 si el al menos un primer segmento 511 está dispuesto en la al menos una zona de ventana 15 en la al menos una primera imagen 51.
La imagen 5B muestra un primer entorno virtual 6 del usuario 2 generado. Se destaca que este primer entorno virtual 6 no presenta ninguna modificación respecto al entorno real del usuario 2. Así, se puede observar un campo de visión 22 de un usuario 2 conductor en el habitáculo de un vehículo 1, en donde se aprecian las diferentes zonas del campo de visión 22, clasificadas como píxeles o primeros segmentos 511 que corresponden al interior 11 del vehículo 1 o habitáculo, por ejemplo un tablero de instrumentos del vehículo 1, píxeles que corresponden a objetos adicionales 13 no pertenecientes al interior 11 del vehículo 1, en este caso las manos 25 del usuario 2 conductor, o habitáculo, y píxeles que corresponden al exterior 12 del vehículo 1, es decir, a la parte de la primera imagen 51 que está detrás del parabrisas.
Precisar que la presente invención clasifica los píxeles de la primera imagen 51 según al menos las siguientes capas del exterior 12, interior 11 y objeto adicional 13 del vehículo 1. La del exterior 12 equivale a los píxeles captados que están posicionados en la zona de ventana 15 o de cristales. Por lo tanto, todo lo que es captado y, según la disposición 3D, indica que es cristal o la zona de ventana 15, equivale al exterior 12, siempre y cuando la distancia de ese píxel sea igual a la distancia real. En cuanto al interior 11 del vehículo 1, o habitáculo, la distancia real ha de coincidir con la distancia teórica según la disposición 3D. En cuanto al objeto adicional 13, ajeno al interior 11 del vehículo 1, o habitáculo, la distancia real ha de ser menor que la distancia teórica según la disposición 3D.
Partiendo de un entorno como el mostrado en la figura 2, donde este entorno del usuario 2 es captado por medio de la primera cámara 31, se detecta una solicitud para representar una información adicional en el dispositivo de realidad virtual 3. Una información adicional puede ser una imagen captada por una segunda cámara, un actuador para modificar un parámetro del vehículo 1, una llamada entrante...
En la figura 6A se puede observar, de modo ilustrativo, una vista en perspectiva del entorno virtual 6 que observa el conductor en el interior 11 del habitáculo de un vehículo 1 a través del dispositivo de realidad virtual 3, con una información virtual 101 en una primera posición del campo de visión 22 aproximada al espacio central del tablero de instrumentos del vehículo 1, de acuerdo con la presente invención.
Concretamente, la información del HMI (Human Machine Interface), o Interfaz Hombre Máquina, o también interfaz de usuario, es definitiva, el punto de acción en que un usuario 2
entra en contacto con el vehículo 1, puede ser proyectada "on demand” (bajo demanda), de forma que no esté siempre visible, reduciendo de este modo las distracciones. Por ejemplo, determinar una solicitud para representar una información adicional podría activarse al pulsar un botón en el volante, o al realizar un gesto, o incluso por voz.
En la etapa de generar la información virtual 101 se define la forma, apariencia y otros factores con los que se presenta la información adicional en el entorno virtual. Así, generar la información virtual 101 comprende definir al menos una propiedad visual de la información virtual 101, donde la propiedad visual puede ser un color, un brillo, un contraste u otro aspecto gráfico con el que se representa la información adicional. Adicionalmente a la propiedad visual, también comprende definir un contenido de la información virtual 101, de manera que se selecciona el texto a mostrar al usuario 2 y/o los actuadores y grafismos a representar en el entorno virtual 6. A modo de ejemplo, tal y como se muestra en la figura 6A, la información virtual 101 consta de un texto y de una pluralidad de actuadores virtuales, uno en cada esquina de la información virtual 101. Cada texto, gráfico y/o actuador dispondrá de sus propias propiedades visuales, en función de unas necesidades puntuales.
Así, la información virtual 101 puede ser sobrepuesta a la al menos una primera imagen 51 captada, de manera que un píxel o primer segmento 511 de la primera imagen 51 será sustituido por un píxel representativo de la información virtual 101 generada. Adicionalmente, es posible sobreponer la información virtual 101 estableciendo una transparencia o bien de la información virtual 101 o bien de la primera imagen 51, de manera que es posible observar a través de la información virtual 101 sobrepuesta. La transparencia se puede aplicar, realizando una mezcla en el color de cada píxel, combinando el color de la información virtual 101 que se quiere representar con el color de lo que hay detrás.
Adicionalmente a la propiedad visual y al contenido de la información virtual 51, la etapa de generar la información virtual 101 comprende definir una dimensión de la información virtual 101 representada en el entorno virtual 6. En la figura 6A se ha generado una información virtual 51 de un primer tamaño. Este tamaño podría ser otro en función de, por ejemplo, la velocidad con la que circula el vehículo o una situación crítica de conducción, disminuyendo de este modo el tiempo necesario para que el usuario visualice y comprenda el contenido de la información virtual 101, disminuyendo así el riesgo de una colisión o distracción.
Según otro aspecto de la invención, definir una información virtual 101 comprende establecer una posición de la información virtual 101 en el entorno virtual 6. Esta posición puede ser una posición predefinida, de modo que cada información adicional dispone de una posición predefinida en el interior 11 del vehículo 1. Por ejemplo, en la figura 6A una información relacionada con la música que está sonando en el vehículo 1 será representada por defecto en la zona central del tablero de instrumentos del vehículo 1.
En la figura 6B se puede observar, de modo ilustrativo, una vista en perspectiva del entorno virtual 6 que observa el usuario 2 conductor en el habitáculo de un vehículo 1 a través del dispositivo de realidad virtual 3, tras un primer giro de la cabeza del conductor, con una segunda imagen 52 de una información virtual 101 aun en una primera posición del campo de visión 22 aproximada al espacio central del tablero de instrumentos del vehículo. Se destaca que la posición de la información 101 es la misma posición predefinida representada en la figura 6A.
En la figura 6C se puede observar, de modo ilustrativo, una vista en perspectiva del entorno virtual 6 que observa el usuario 2 conductor en el habitáculo de un vehículo 1 a través del dispositivo de realidad virtual 3, tras un segundo giro de la cabeza del conductor. Debido a que la posición predefinida de la información virtual 101 no está comprendida dentro del campo de visión 22 del usuario 2, la información virtual 101 no es representada.
En la figura 7A se puede observar, una misma situación que la representada en la figura 6A. Así, la información virtual 101 está representada en una zona predefinida, en este caso en la parte central del tablero de instrumentos. En dicha figura se observa que el sistema, o unidad de procesamiento 4, muestra la información que considera interesante y/o necesaria para el usuario 2 en la posición que considera más adecuada. Según un modo preferente de la presente invención, la posición de la información virtual 101 podrá ser modificada por el usuario 2.
En la figura 7B se puede observar, de modo ilustrativo, una vista en perspectiva del entorno virtual 6 que observa el usuario 2 conductor en el habitáculo de un vehículo 1 a través del dispositivo de realidad virtual 3, con una información virtual 101 en una segunda posición del campo de visión 22 aproximada a la base del retrovisor exterior izquierdo del vehículo 1 sobre la que se está efectuando una orden del usuario 2. El movimiento de la información virtual 101 de la primera posición a la segunda posición es debido a que una orden 102 ha
sido determinada, de manera que la posición de la información virtual 101 ha sido determinada a voluntad del usuario 2. Para ello, el usuario ha realizado un gesto predefinido, como por ejemplo, una mano 25 plana. Este gesto es recibido por parte de la unidad de procesamiento 4, de manera que se modifica la posición de la información virtual 101 en el entorno virtual, en concreto, encima de la mano 25 plana detectada en el campo de visión 22.
Según otro modo de realización, la posición de la información virtual 101 puede ser modificada de forma progresiva mediante diferentes instrucciones o comandos de desplazamiento de la imagen desde la primera posición a la segunda posición. A modo de ejemplo, las instrucciones pueden ser por voz, por desplazamientos de un dedo en una superficie táctil, por gestos... Más en detalle, la misma primera cámara 31 que capta la primera imagen es la que capta el gesto. El beneficio es dicha primera cámara 31 tiene el mismo campo de visión 22 que el usuario 2. Si se produce un desplazamiento del gesto predefinido en el campo visual 22, se procede a adaptar la posición de la información virtual 101 a la posición del gesto predefinido, a modo de ejemplo, un gesto predefinido de una mano 25. Así, la información virtual 101 se desplaza sobre el entorno virtual 6 siguiendo el movimiento de la mano 25 del usuario 2.
Propiedades de la representación de la información virtual 101 como las comentadas anteriormente (posición, tamaño, contenido.) puede modificarse en función de una situación crítica de conducción determinada. Una situación crítica de conducción puede ser una invasión de un carril por parte del vehículo 1, una situación inminente de colisión o contacto entre el vehículo 1 y un tercer vehículo, un tercer vehículo ubicado en el ángulo muerto del vehículo 1 y no visto por parte del conductor, un peatón próximo a la trazada del vehículo 1.
Cualquiera de estas situaciones críticas de conducción puede ser detectada por medio de sensores del vehículo, como sensores de distancia, sensores de presencia, sensores que parametrizan la trayectoria del vehículo 1. Cuando una situación crítica de conducción es detectada, se tendrá en cuenta donde y como representa la información virtual 101 dentro del entorno virtual 6.
Anteriormente se ha comentado que el método de la presente invención clasifica la pluralidad de primeros segmentos 511 o píxeles de la primera imagen 51 en interior 11,
exterior 12 y objeto adicional 13 del vehículo 1. De esta manera, y tal y como se observa en la figura 7C, la información virtual 101 se sobrepone al primer segmento 511 del interior 11 del vehículo 1 y/o al primer segmento 511 del exterior 12 del vehículo 1 y/o al primer segmento 511 de objeto adicional 13 del vehículo 1. En concreto y según se observa en la figura 7C, la información virtual 101 que se muestra a la derecha de la primera imagen 51 se sobrepone únicamente a primeros segmentos 511 del interior 11 del vehículo 1. Además, la información virtual 101 que se muestra a la izquierda de la primera imagen 51 se sobrepone parcialmente a primeros segmentos 511 del exterior 12 del vehículo 1 y a primeros segmentos 511 del interior 11 del vehículo 1. De este modo, dependiendo del tipo de información y de su prioridad al ser presentada, se puede elegir de forma selectiva la clase de primeros píxeles 511 de la primera imagen 51 sobre los que se sobrepone la información virtual 101. Por ejemplo, si se trata de una situación altamente crítica, la información virtual 101 podrá ser sobrepuesta a primeros segmentos 511 tanto del interior 11, del exterior 12 como de objeto adicional 13 del vehículo 1.
Más en particular, la información virtual 101 comprende al menos un actuador virtual 105. Dicho el actuador virtual 105 puede ser una superficie táctil u holográfica en un entorno virtual 6. Tal y como se observa en la figura 7B, el usuario 2 actúa sobre el actuador virtual 105. Para detectar dicha actuación, es necesario determinar una posición de la mano 25 del usuario, preferentemente por medio de la primera cámara 31 que capta el campo de visión 22. Posteriormente, se asocia la posición de la mano 25 determinada con la posición del actuador virtual 105 en el entorno virtual 6 con el fin de determinar una coincidencia entre ambas posiciones. Para mejorar la precisión, la información del sensor 32 de distancia puede ser utilizada para conocer con mayor precisión la distancia de la mano 2 al dispositivo de realidad virtual 3.
Una vez determinada la coincidencia y, por lo tanto, la voluntad del usuario 2 de actuar sobre el actuador virtual 105, se transmite una orden a la unidad de procesamiento 4, de manera que se actúa sobre la función que representa el actuador virtual 105. Adicionalmente y con el fin de mejorar la apreciación por parte del usuario 2 de que el actuador virtual 105 ha sido actuado, es posible generar una respuesta al usuario 2, como por ejemplo modificar alguna propiedad visual de la información virtual 101, introducir una vibración en el asiento del vehículo 1.
Los detalles, las formas, las dimensiones y demás elementos accesorios, así como los componentes empleados en la implementación del método y sistema para mostrar información de realidad virtual en un vehículo, podrán ser convenientemente sustituidos por otros que sean técnicamente equivalentes, y no se aparten de la esencialidad de la invención ni del ámbito definido por las reivindicaciones que se incluyen a continuación de la siguiente lista.
Lista referencias numéricas:
1 vehículo
11 interior
12 exterior
13 objeto adicional
15 zona de ventana
2 usuario
21 cabeza
22 campo de visión
23 vector real
24 vector teórico
25 mano
3 dispositivo de realidad virtual
31 primera cámara
32 sensor
34 acelerómetro
35 giroscopio
37 pantalla
4 unidad de procesamiento
41 unidad de memoria
51 primera imagen
511 primer segmento
6 entorno virtual
7 medio de detección de posición
9 sensor de distancia
101 información virtual
orden actuador virtual
Claims (1)
- r e iv in d ic a c io n e s1- Método para mostrar información de realidad virtual en un vehículo (1), donde un dispositivo de realidad virtual (3) es utilizado por un usuario (2) en el interior (11) del vehículo (1), donde el método comprende las etapas de:i) captar al menos una primera imagen (51) de un entorno del usuario (2), donde la al menos una primera imagen (51) captada coincide con un campo de visión (22) del usuario (2),ii) determinar una solicitud para representar una información adicional en el dispositivo de realidad virtual (3),iii) generar una información virtual (101) en base a la información adicional a representar,iv) generar un entorno virtual (6) del usuario (2), donde el entorno virtual (6) comprende insertar la información virtual (101) en la al menos una primera imagen (51), yv) mostrar el entorno virtual (6) generado por medio del dispositivo de realidad virtual (3).2- Método según la reivindicación 1, donde la etapa de generar una información virtual (101) comprende definir al menos una propiedad visual de la información virtual (101) a mostrar en el dispositivo de realidad virtual (3).3- Método según cualquiera de las reivindicaciones anteriores, donde la etapa de generar una información virtual (101) comprende definir un contenido de la información virtual (101) a mostrar en el dispositivo de realidad virtual (3).4- Método según cualquiera de las reivindicaciones anteriores, donde la etapa de generar un entorno virtual (6) comprende sobreponer la información virtual (101) generada a la al menos una primera imagen (51) captada.5- Método según la reivindicación 4, donde sobreponer la información virtual (101) generada a la al menos una primera imagen (51) captada comprende establecer una transparencia de la información virtual (101) sobrepuesta.6- Método según la reivindicación 4, donde sobreponer la información virtual (101) generada a la al menos una primera imagen (51) captada comprende definir una dimensión de la información virtual (101) sobrepuesta.7- Método según cualquiera de las reivindicaciones anteriores, donde la etapa de generar un entorno virtual (6) comprende definir una posición de la información virtual (101) a mostrar en el dispositivo de realidad virtual (3).8- Método según la reivindicación 7, donde la información virtual (101) comprende una posición predefinida.9- Método según la reivindicación 7, que comprende una etapa de determinar una orden (102) por parte del usuario (2), donde definir una posición de la información virtual (101) comprende insertar la información virtual (101) en una posición solicitada por parte del usuario (2).10- Método según la reivindicación 9, donde la orden (102) comprende un gesto predefinido captado en la al menos una primera imagen (51), de manera que la posición de la información virtual (101) es sustancialmente igual a la posición del gesto predefinido captado en el campo de visión (22) del usuario (2).11- Método según alguna de las reivindicaciones 9 o 10, donde la orden (102) comprende al menos una instrucción, de manera que la posición de la información virtual (101) es desplazada por la al menos una instrucción, donde la al menos una instrucción (102) comprende una instrucción por voz y/o una instrucción en una superficie táctil y/o una instrucción por gestos.12- Método cualquiera de las reivindicaciones anteriores, que comprende una etapa de determinar una situación crítica de conducción, donde la etapa de generar una información virtual (101) y/o la etapa de generar un entorno virtual (6) son adicionalmente en base a la situación crítica de conducción determinada.13- Método según cualquiera de las reivindicaciones anteriores, donde la al menos una primera imagen (51) comprende al menos un primer segmento (511), donde el método comprende una etapa de clasificar el al menos un primer segmento (511) de la al menos una primera imagen (51) en:- interior (11) del vehículo (1),- exterior (12) del vehículo (1), y- objeto adicional (13) del vehículo,donde la etapa de generar una información virtual (101) y/o la etapa de generar un entorno virtual (6) son adicionalmente en base a la clasificación del al menos un primer segmento (511) de la al menos una primera imagen (51).14- Método según la reivindicación 13, donde insertar la información virtual (101) generada a la al menos una primera imagen (51) captada comprende sobreponer la información virtual (101) al primer segmento (511) del interior (11) del vehículo y/o al primer segmento (511) del exterior (12) del vehículo (1) y/o al primer segmento (511) de objeto adicional (13) del vehículo (1).15- Método según cualquiera de las reivindicaciones anteriores, donde la información virtual (101) comprende un al menos un actuador virtual (105).16- Método según la reivindicación 15, que comprende una etapa de actuar el al menos un actuador virtual (105), que a su vez comprende:- determinar una posición de al menos una mano (25) del usuario (2) en el campo de visión (22),- asociar la posición de la al menos una mano (25) del usuario (2) determinada con la posición del al menos un actuador virtual (105),- determinar una coincidencia entre la posición de la al menos una mano (25) del usuario (2) determinada con la posición del al menos un actuador virtual (105),17- Método según la reivindicación 16, donde si una coincidencia entre la posición de la al menos una mano (25) y el actuador virtual (105) ha sido determinada, actuar el al menos un actuador virtual (105) comprende generar al menos una respuesta al usuario (2).18- Sistema para mostrar información de realidad virtual en un vehículo (1), donde el sistema comprende:- un dispositivo de realidad virtual (3) utilizable por un usuario (2) en el interior (11) del vehículo (1); donde el dispositivo de realidad virtual (3) comprende al menos una pantalla (37),- al menos una primera cámara (31) configurada para captar al menos una primera imagen (51) del entorno del usuario; donde la al menos una primera imagen (51) capturada coincide con un campo de visión (22) del usuario (2);caracterizado por que el sistema comprende:al menos una unidad de procesamiento (4) configurada para:determinar una solicitud para representar una información adicional en el dispositivo de realidad virtual (3);generar una información virtual (101) basada en la información adicional a representar en el dispositivo de realidad virtual (3); ygenerar un entorno virtual (6) del usuario (2), donde el entorno virtual (6) comprende la al menos una primera imagen (51) insertada en la información virtual (101);y donde la al menos una pantalla (37) está configurada para mostrar el entorno virtual (6) generado.FIG. 2FI FIG. 4BFIG. 5B
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201731121A ES2704373B2 (es) | 2017-09-15 | 2017-09-15 | Método y sistema para mostrar información de realidad virtual en un vehículo |
| EP18194924.9A EP3457254A1 (en) | 2017-09-15 | 2018-09-17 | Method and system for displaying virtual reality information in a vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201731121A ES2704373B2 (es) | 2017-09-15 | 2017-09-15 | Método y sistema para mostrar información de realidad virtual en un vehículo |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2704373A1 ES2704373A1 (es) | 2019-03-15 |
| ES2704373B2 true ES2704373B2 (es) | 2020-05-29 |
Family
ID=63794269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201731121A Expired - Fee Related ES2704373B2 (es) | 2017-09-15 | 2017-09-15 | Método y sistema para mostrar información de realidad virtual en un vehículo |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3457254A1 (es) |
| ES (1) | ES2704373B2 (es) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019210383A1 (de) | 2019-07-15 | 2021-01-21 | Audi Ag | Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung |
| DE102019122632A1 (de) * | 2019-08-22 | 2021-02-25 | Bayerische Motoren Werke Aktiengesellschaft | Anzeigesystem für ein Kraftfahrzeug |
| CN114519935B (zh) * | 2020-11-20 | 2023-06-06 | 华为技术有限公司 | 道路识别方法以及装置 |
| GB2602314A (en) * | 2020-12-23 | 2022-06-29 | Continental Automotive Gmbh | Augmented reality vehicular display system and method |
| DE102021119970A1 (de) | 2021-08-02 | 2023-02-02 | Bayerische Motoren Werke Aktiengesellschaft | Bedienverfahren für Fahrzeuge mit Datenbrille |
| CN116086438A (zh) * | 2023-01-19 | 2023-05-09 | 蔚来汽车科技(安徽)有限公司 | 目标对象的定位方法、装置、计算机设备和存储介质 |
| DE102023204274B3 (de) | 2023-05-09 | 2024-10-31 | Volkswagen Aktiengesellschaft | Verfahren, System und Computerprogramm zur augmentierten Bedienung eines Fahrzeugsystems eines Kraftfahrzeugs |
| DE102024101664A1 (de) * | 2024-01-22 | 2024-11-21 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Computerimplementiertes Verfahren zum Konfigurieren mindestens eines Fahrzeugs |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007045834B4 (de) * | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| US9170648B2 (en) * | 2012-04-03 | 2015-10-27 | The Boeing Company | System and method for virtual engineering |
| DE102013005342A1 (de) * | 2013-03-26 | 2013-09-19 | Daimler Ag | Kraftfahrzeug, -bedienvorrichtung, und Bedienverfahren hierfür |
| US9630631B2 (en) * | 2013-10-03 | 2017-04-25 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
| US9547173B2 (en) * | 2013-10-03 | 2017-01-17 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
| GB2532462A (en) * | 2014-11-19 | 2016-05-25 | Bae Systems Plc | Mixed reality information and entertainment system and method |
| DE102015003882A1 (de) * | 2015-03-26 | 2016-09-29 | Audi Ag | Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille und Virtual-Reality-System |
| US20170256096A1 (en) * | 2016-03-07 | 2017-09-07 | Google Inc. | Intelligent object sizing and placement in a augmented / virtual reality environment |
-
2017
- 2017-09-15 ES ES201731121A patent/ES2704373B2/es not_active Expired - Fee Related
-
2018
- 2018-09-17 EP EP18194924.9A patent/EP3457254A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP3457254A1 (en) | 2019-03-20 |
| ES2704373A1 (es) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2704373B2 (es) | Método y sistema para mostrar información de realidad virtual en un vehículo | |
| US11828947B2 (en) | Vehicle and control method thereof | |
| ES2704327B2 (es) | Método y sistema para mostrar información de realidad virtual en un vehículo | |
| JP6454368B2 (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
| US20210118192A1 (en) | Image display system | |
| ES2909889T3 (es) | Visualizaciones de seguridad para interfaz de navegación | |
| US9823735B2 (en) | Method for selecting an information source from a plurality of information sources for display on a display of smart glasses | |
| KR20120067854A (ko) | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 | |
| JP7048202B2 (ja) | 車両用表示装置及び車両用表示方法 | |
| KR20130063911A (ko) | 주행중 운전자의 시선 이탈 방지 시스템 | |
| JP7548196B2 (ja) | 画像表示システム | |
| ES2901146T3 (es) | Procedimiento para el funcionamiento de un dispositivo de visualización electrónico que se puede portar en la cabeza y sistema de visualización para mostrar contenido virtual | |
| JP2023052450A (ja) | 頭部着用型の電子表示装置の操作方法および仮想コンテンツを表示する表示システム | |
| CN108475105B (zh) | 用于运行虚拟现实系统的方法和虚拟现实系统 | |
| JP2019202589A (ja) | 表示装置 | |
| WO2018100377A1 (en) | Multi-dimensional display | |
| JP2018052215A (ja) | 車両用視認装置及び車両用視認画像表示方法 | |
| JP2006219000A (ja) | 車両用操作装置 | |
| CN108725321A (zh) | 信息提示装置 | |
| ES2704350B2 (es) | Método y sistema para mostrar información prioritaria en un vehículo | |
| JP2009098501A (ja) | 視覚情報呈示装置及び視覚情報呈示方法 | |
| JP7574785B2 (ja) | 画像表示システムおよび画像コントローラ | |
| JP7028116B2 (ja) | 車両用装飾画像合成装置 | |
| CN115257773A (zh) | 在车辆内的信息呈现 | |
| JP2008037118A (ja) | 車両用表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 2704373 Country of ref document: ES Kind code of ref document: A1 Effective date: 20190315 |
|
| FG2A | Definitive protection |
Ref document number: 2704373 Country of ref document: ES Kind code of ref document: B2 Effective date: 20200529 |
|
| FD2A | Announcement of lapse in spain |
Effective date: 20240402 |


