ES2704350B2

ES2704350B2 - Método y sistema para mostrar información prioritaria en un vehículo

Info

Publication number: ES2704350B2
Application number: ES201731120A
Authority: ES
Inventors: Parejo Alejandro Moreno
Original assignee: SEAT SA
Current assignee: SEAT SA
Priority date: 2017-09-15
Filing date: 2017-09-15
Publication date: 2020-03-17
Anticipated expiration: 2037-09-15
Also published as: EP3457363A1; ES2704350A1

Description

DESCRIPCIÓN

Método y sistema para mostrar información prioritaria en un vehículo

Objeto de la invención

La presente solicitud de patente tiene por objeto un método para mostrar información prioritaria en un vehículo, según la reivindicación 1, que incorpora notables innovaciones y ventajas, junto con un sistema para mostrar información prioritaria en un vehículo, según la reivindicación 14.

Antecedentes de la invención

Los vehículos actuales disponen de cámaras que captan imágenes con la información del entorno, en particular del exterior del vehículo, como la zona trasera del vehículo. Dicha información relevante para el usuario del vehículo puede ser procesada y presentada a través de un dispositivo de realidad virtual.

La solución conocida para mejorar la visibilidad del conductor del vehículo hacia su parte trasera es la de implementar cámaras y pantallas adicionales, lo cual implica costes adicionales, aparte del hecho que hay que reservar espacios para colocar dichas pantallas y que dichas pantallas ocupan espacios fijos en el interior del vehículo.

Por otra parte, la representación en el HUD (Head Up Display), o visualizador de información proyectada en el parabrisas, de las imágenes captadas por cámaras hacia el exterior del vehículo, en particular hacia la parte trasera, implicaría una reducción de calidad, dado que el espacio de proyección estaría limitado. Adicionalmente se requeriría un coste adicional del sistema.

A este respecto, es conocido del estado de la técnica, según se refleja en el documento US20160379411, un método y sistema para proporcionar información a un conductor de un vehículo, el cual permite al conductor gobernar el vehículo de una manera más segura. Dicha información se presenta al conductor como un entorno de realidad aumentada de manera que el conductor puede visualizar mediante pantallas dispuestas en el interior del vehículo, imágenes del exterior del vehículo que le facilitan la conducción y el control del entorno exterior. Estas pantallas pueden estar dispuestas sustituyendo un retrovisor lateral exterior del vehículo o un retrovisor central del vehículo. Se presenta pues la posibilidad de mostrar informaciones de realidad aumentada que sean relevantes para el conductor, de manera que se aumenta la seguridad. A diferencia de la presente invención, las pantallas son fijas y situadas en el mismo lugar que los retrovisores actuales.

Así pues, y a la vista de todo lo anterior, se ve que existe aún una necesidad de contar con un método y sistema para mostrar información prioritaria en un vehículo, en particular del exterior del vehículo, de manera que se le muestren imágenes e informaciones de forma clara, sin interferir con otras imágenes e informaciones presentes en el campo de vista del usuario, de acuerdo a su importancia y a la prioridad en cada momento de la conducción, optimizando así la representación de información relevante en el momento adecuado.

Descripción de la invención

La presente invención consiste en un método y sistema para mostrar información prioritaria en un vehículo, mediante un dispositivo de realidad virtual, en el cual se representan hacia el usuario imágenes con información relevante, enmarcadas en el propio campo visual. De modo preferente, el dispositivo de realidad virtual consistirá preferentemente en unas gafas de realidad virtual, u otro sistema equivalente.

Así, el usuario, para disfrutar de las ventajas de la presente invención, ha de colocarse las gafas de realidad virtual, de modo que visualice el entorno a través de las imágenes de realidad virtual que se le muestran a través de dicho dispositivo. Es decir, que el usuario no visualiza directamente el entorno, sino que todo lo observa a través de, en este caso, las gafas de realidad virtual.

El dispositivo de realidad virtual comprende preferentemente al menos una cámara que capta el punto de vista del usuario, mostrando al usuario la imagen proveniente de dicha al menos una cámara. Antes de la representación del contenido de la imagen captada por la cámara, el sistema procesa dicha imagen, así como la proveniente de otra u otras cámaras del vehículo. Esta al menos una cámara apunta preferentemente hacia el exterior del vehículo y en particular, enfocada a la parte trasera del vehículo. De este modo se pude detectar una situación crítica de conducción que puede representar un riesgo de colisión, mostrando al usuario conductor del vehículo alguna imagen o información relevante que le avisé de dicho riesgo.

Se observa que la prestación de proyectar la información en el propio dispositivo de realidad virtual permite un mayor grado de libertad en la presentación de imágenes respecto a su presentación en al menos una pantalla fija del vehículo. Así, existe la posibilidad de hacerlo más notoriamente y con más versatilidad, no estando limitado el usuario a mirar a una zona concreta del vehículo, como por ejemplo el retrovisor, evitando así desviar la vista de la conducción. Además, permite ahorrar por otra parte costes de infraestructura de pantallas.

En esencia, el método de la presente invención comprendería los pasos siguientes:

- captación de información mediante cámaras de la zona posterior, lateral y/o frontal del vehículo;

- captación de información mediante al menos una cámara interior que capta el campo de visión del conductor;

- procesar la información grabada por la al menos una cámara interior, clasificando los píxeles de la imagen según sean del habitáculo, del exterior y/o de objetos adicionales;

- procesar información de cámaras y/o sensores exteriores al vehículo con el fin de detectar situaciones críticas de conducción;

- detectar un riesgo de colisión;

- generar una imagen virtual en base a la información grabada por la al menos una cámara interior, por la información grabada por la o las cámaras exteriores, en función del riesgo de colisión detectado;

- mostrar la imagen virtual en la pantalla del dispositivo de realidad virtual.

En concreto, la invención consiste en un método para mostrar información prioritaria en un vehículo, donde un dispositivo de realidad virtual es utilizado por un usuario en el interior del vehículo, donde el método comprende las etapas de:

i) captar al menos una primera imagen de un entorno del usuario, donde la al menos una primera imagen captada coincide con un campo de visión del usuario,

ii) obtener una información de un entorno del vehículo,

iii) determinar una situación crítica de conducción en base a la información del entorno del vehículo obtenida,

iv) captar al menos una segunda imagen del entorno del vehículo,

v) generar un entorno virtual del usuario, donde el entorno virtual comprende la al menos una primera imagen captada y la al menos una segunda imagen captada, donde el entorno virtual generado es en base a la situación crítica de conducción determinada, y

vi) mostrar el entorno virtual generado por medio del dispositivo de realidad virtual.

Así pues, la invención hace referencia a un método, y a un sistema asociado que permite evitar colisiones de modo que, cuando se detecta un riesgo de colisión, se proyecta en el dispositivo de realidad virtual, preferentemente unas gafas de realidad virtual, información para evitar la colisión, lo cual redunda en un incremento de la seguridad de los ocupantes del vehículo.

Específicamente, la información proyectada en el dispositivo de realidad virtual consiste principalmente en las imágenes captadas por cámaras exteriores al vehículo, de modo que se podrá enseñar al conductor una ampliación de la zona posterior del vehículo, de la zona lateral, o frontal, en el instante en el que se detecte un riesgo de colisión. De este modo, las imágenes pueden mostrarse únicamente en el momento en que aparece el peligro, dando al mismo tiempo la información pertinente para que el usuario pueda tomar las decisiones de conducción, y evitar la colisión, o minimizar la situación de riesgo.

Se entiende por situación crítica de conducción un evento del entorno, una acción del conductor, una acción de un tercer vehículo o peatón con respecto al vehículo... donde el método determina que esta información es prioritaria y que debe ser mostrada al conductor del vehículo. A modo de ejemplo, puede ser una segunda imagen del lateral del vehículo que muestra un ángulo muerto ocupado por un tercer vehículo, o también una segunda imagen que amplia una señal de tráfico que no se está respetando, o también una segunda imagen recibida a través de un sistema de conectividad inalámbrica, donde la segunda imagen muestra un accidente o retención de tráfico producidos delante del vehículo.

Cabe señalar que la situación de riesgo de colisión se detecta a través de cualquiera de los sistemas actuales de asistencia a la conducción, como pueden ser el asistente de cambio de carril, el asistente de aparcamiento, o el asistente de ángulo muerto; o también sistemas de comunicaciones como el de comunicación vehículo con vehículo ("car 2 car"), o el de comunicación de vehículo con infraestructura ("car 2 X"). Lo anterior son ejemplos no limitativos, pudiendo añadirse otros elementos o dispositivos de entrada de datos o sensores.

Por otro lado, mencionar que las imágenes del exterior del vehículo se proyectan sobre el dispositivo de realidad virtual con unas u otras propiedades en función del grado de emergencia, prioridad o nivel de riesgo de colisión. Así, se captan primeras imágenes que coinciden con el campo de visión del usuario o dirección en la que el usuario está mirando. A modo de ejemplo, si mediante las cámaras y sensores, un vehículo en el ángulo muerto supone un elevado riesgo de colisión, ésta segunda imagen o únicamente la parte relevante de esta segunda imagen será mostrada en el dispositivo de realidad virtual. En cambio, si el riesgo de colisión se valora como bajo, la imagen de dicho vehículo se mostrará de forma discreta, o alternante con otras informaciones.

Para mostrar la información prioritaria de forma eficiente y de forma práctica para el usuario, se genera un entorno virtual. Por entorno virtual se entiende aquel espacio que envuelve al usuario de un sistema de realidad virtual, generado a partir de primeras imágenes captadas del entorno real, pudiendo ser estas primeras imágenes previamente procesadas. Adicionalmente, se superpondrán o añadirán segundas imágenes, según una evaluación de la situación crítica de conducción. Esta superposición se realizará teniendo en cuenta una serie de parámetros de la primera y de la segunda imágenes, en función de la peligrosidad de la situación crítica de conducción determinada. Dichas propiedades pueden consistir en variar la posición de la segunda imagen en la pantalla del dispositivo de realidad virtual, la intensidad de la segunda imagen, su grado de transparencia, su proximidad o lejanía, su tamaño... Así, a modo de ejemplo, cuanto mayor sea el riesgo, mayor será el tamaño, más centrada su posición, más intensa y superpuesta con respecto a la al menos una primera imagen del entorno del usuario.

Opcionalmente el usuario puede seleccionar la posición de las segundas imágenes correspondientes a la cámara exterior, en la parte del campo de visión que se crea más conveniente, manteniéndose dentro de unos márgenes de seguridad. El usuario también puede seleccionar el tamaño de la imagen, manteniéndose también dentro de unos márgenes de seguridad. Tanto el tamaño como la posición de la imagen pueden cambiarse automáticamente tras alguna acción o evento en la conducción. Citar a modo de ejemplo la posibilidad de aumentar el tamaño de la segunda imagen cuando el usuario ponga el intermitente, entendido que el conductor se dispone a cambiar de carril, necesitando observar la eventual presencia de vehículos en la parte trasera.

Señalar asimismo como ventajas adicionales, la de que el dispositivo de realidad virtual, siendo preferentemente unas gafas de realidad virtual, representa un ahorro económico respecto de la opción de incorporar pantallas adicionales en el habitáculo del vehículo. Por otra parte, al ser una representación virtual, no requiere una reserva de espacio físico dentro del habitáculo del vehículo. Y como se ha mencionado, presenta la flexibilidad, de que el usuario puede modificar la posición y el tamaño de la imagen en función de factores de conducción o las preferencias del usuario.

Según otro aspecto del método de la invención, la etapa de generar un entorno virtual comprende sobreponer la al menos una segunda imagen a la al menos una primera imagen. Por sobreponer una segunda imagen a una primera imagen se entiende sobreponer el al menos un fragmento de la segunda imagen a al menos un fragmento de la primera imagen. En una variante se puede contemplar la opción de sustituir un fragmento de la primera imagen por al menos un fragmento de la segunda imagen, en vez de sobreponer. La ventaja de dicha superposición o sustitución entre imágenes es un aumento de la versatilidad de la información que es presentada al usuario del vehículo, al tiempo que se hace posible modificar informaciones y combinarlas, es decir, no necesitando escoger del todo entre presentar la segunda imagen en perjuicio de esconder la primera imagen.

Más en particular, la etapa de generar un entorno virtual comprende alterar un brillo, un color, una luminosidad, un contraste y/o una saturación de la al menos una segunda imagen. De este modo, es posible presentar las imágenes de modo diferente ante situaciones de conducción de distinta peligrosidad y riesgo. Por ejemplo, la presente invención permite aumentar o disminuir una relevancia con la que se muestra la segunda imagen en el entorno virtual generado, de manera que, si el grado de prioridad de la información es determinado como crítico, el nivel de transparencia de la segunda imagen es disminuido. Por el contrario, si el grado de prioridad de la información es determinado como poco crítico, el nivel de transparencia de la segunda imagen es aumentado.

Ventajosamente, la etapa de generar un entorno virtual comprende alterar un brillo, un color, una luminosidad, un contraste y/o una saturación de la al menos una primera imagen, al objeto de enfatizar y resaltar la importancia de la segunda imagen. Opcionalmente también s posible modificar parcialmente la primera imagen en la zona en que la que la segunda imagen queda superpuesta de manera que se destaque y se visualice de forma más clara la segunda imagen, y sin ningún tipo de distorsión ni de interferencia.

Según otro aspecto de la invención, la etapa de generar un entorno virtual comprende definir una dimensión de la al menos una segunda imagen, de manera que es posible establecer el tamaño con el cual aparecerá representada dicha segunda imagen en el dispositivo de realidad virtual en base al grado de prioridad de la situación crítica de conducción determinada.

En una realización preferida de la invención, la etapa de generar un entorno virtual comprende incorporar al menos una información virtual adicional, donde la información virtual adicional es incorporada en la al menos una primera imagen y/o en la al menos una segunda imagen, de modo que el usuario del vehículo puede ser provisto con informaciones adicionales tales como realidad aumentada, pudiendo por ejemplo, modificar el color de un contorno de un tercer vehículo con el que existe una situación crítica de conducción, o añadir en la primera o segunda imagen una información de velocidad de un tercer vehículo.

Concretamente, el método de la invención comprende una etapa de determinar el campo de visión del usuario, donde la etapa de generar un entorno virtual comprende establecer una posición de la al menos una segunda imagen en el entorno virtual en base al campo de visión del usuario determinado. De este modo la posición de la información adicional podrá ser ajustada al tipo de información de que se trate, y a las necesidades de la conducción, en base al grado de criticidad de la situación determinada. Así si el grado de prioridad es bajo, la segunda imagen es sobrepuesta a una zona de la primera imagen de poca relevancia, como una esquina o lateral del campo de visión del usuario. Por el contrario, si el grado de prioridad es alto, la segunda imagen es sobrepuesta en una zona central del campo de visión del usuario.

Por otra parte, establecer la posición de la al menos una segunda imagen comprende desplazar la posición de la segunda imagen en el entorno virtual acorde con una variación del campo de visión del usuario determinado, de modo que la segunda imagen se mantiene sobrepuesta en la primera imagen, independiente de si el campo de visión ha variado. Así, la segunda imagen se mantiene siempre visible y perceptible. Así, en el caso de que el usuario gire la cabeza y varíe el campo de visión, la segunda imagen modifica la posición en el entorno virtual acorde con la variación del campo de visión del usuario, de forma que siempre aparezca visible la segunda imagen.

Según otra realización de la invención, establecer la posición de la al menos una segunda imagen comprende mantener la posición de la al menos una segunda imagen fija en el entorno virtual. De este modo, una variación del campo de visión de un usuario determinado no afecta la posición de la segunda imagen en el entorno virtual. En consecuencia, dicha segunda imagen puede llegar a salir fuera del entorno virtual mostrado al usuario, siendo visible solamente cuando el campo de visión del usuario apunte a la zona donde la segunda imagen está fija.

Precisar que la posición de la segunda imagen se ve como fija en el espacio, es decir, que, si la imagen se sitúa en la ventanilla del conductor, siempre aparecerán en ese punto, aunque el usuario mueva la cabeza. Si dicho movimiento, es en particular hacia la derecha para mirar al acompañante, y supera un determinado ángulo de giro, la imagen desaparecería de su campo de visión.

Según otro aspecto de la invención, la al menos una primera imagen comprende al menos un primer segmento, donde el método comprende una etapa de clasificar el al menos un primer segmento de la al menos una primera imagen, bien como perteneciente al interior del vehículo, bien como perteneciente exterior del vehículo, bien como correspondiente a un objeto adicional del vehículo.

Por primer segmento se entiende una porción o una parte de una imagen. La subdivisión de una imagen en porciones o primeros segmentos se puede realizar mediante tratamiento de imagen, dividiendo la imagen por colores, volúmenes, geometrías, contornos obteniendo de este modo la pluralidad de primeros segmentos que conforman la imagen. Alternativamente, la subdivisión de la imagen puede ser por píxeles u otra equivalente. Así el término segmento de una imagen es equivalente al de píxel de dicha imagen, pudiendo ser sustituido uno por el otro, e interpretado ambos bajo el mismo significado.

Así, el sistema que ejecuta el método de la presente invención, divide las imágenes en tres partes, al objeto de poder procesar la parte correcta, clasificando los píxeles como correspondientes al habitáculo, es decir, al interior del vehículo, como correspondientes al exterior del vehículo, en particular sobre la zona correspondiente a los cristales de la ventana, y como correspondientes a objetos adicionales, o no pertenecientes al habitáculo, como por ejemplo, paquetes, pasajeros o partes del cuerpo del propio usuario portador del dispositivo de realidad virtual.

Adicionalmente por entorno virtual se entiende aquel espacio que envuelve al usuario de un sistema de realidad virtual, generado a partir de imágenes captadas del entorno real, pudiendo ser estas imágenes captadas previamente procesadas. De este modo, al igual que una imagen captada del entorno comprende al menos un primer segmento, el entorno virtual comprende al menos un segmento virtual, entendiéndose por segmento virtual la subdivisión, porción o parte del entorno virtual. Así el término segmento de una imagen es equivalente al de píxel de dicha imagen, pudiendo ser sustituido uno por el otro, e interpretado ambos bajo el mismo significado.

Según otro aspecto del método de la invención, la etapa de clasificar el al menos un primer segmento es en base a una ubicación de al menos un elemento del entorno del usuario respecto al dispositivo de realidad virtual, donde el método comprende adicionalmente las etapas de:

a) obtener al menos un vector real, donde el al menos un vector real comprende un módulo y una dirección entre el dispositivo de realidad virtual y el al menos un elemento del entorno del usuario,

b) determinar una posición del dispositivo de realidad virtual en el vehículo,

c) asignar el al menos un vector real al al menos un primer segmento, y

d) comparar el al menos un vector real con al menos un vector teórico, donde el al menos un vector teórico es previamente conocido. Posteriormente se clasifica y se etiqueta el al menos un primer segmento de la al menos una imagen como interior del vehículo, exterior del vehículo, u objeto adicional del vehículo, en base a la comparación del al menos un vector real con el al menos un vector teórico.

Adicionalmente, el al menos un vector teórico es en base a una disposición del habitáculo del vehículo y a la posición del dispositivo de realidad virtual en el vehículo, donde la disposición del habitáculo del vehículo es previamente conocida. Señalar que la disposición del habitáculo del vehículo es como un mapa en 3D (3 dimensiones) del interior, de manera que sabiendo la posición del dispositivo de realidad virtual en dicho mapa 3D, se conoce todos los vectores teóricos entre el dispositivo de realidad virtual y el al menos un elemento del entorno.

Por otro lado, el método de la invención comprende una etapa adicional de determinar al menos una zona de ventana en la al menos una imagen captada, donde la etapa de determinar la al menos una zona de ventana comprende reconocer al menos una forma geométrica predefinida por medio de procesamiento de imagen y/o determinar al menos un marcador de la al menos una imagen, donde el marcador comprende un color predefinido y/o comparar el al menos un vector real con el al menos un vector teórico. Para una realización preferida pueden existir medios para facilitar la posición de los cristales o de la zona de ventana, como marcos de ventanas pintados con un color predeterminado y determinados mediante una etapa de procesar la al menos una imagen del entorno del usuario captada.

Como se ha anticipado, la zona de ventana corresponde al parabrisas como superficie acristalada o transparente, y, adicionalmente, a las ventanas laterales y trasera del habitáculo. Señalar que, en la comparación del vector real con el vector teórico, tanto ángulos como módulos coinciden, definiendo así que ese primer segmento equivale a zona de ventana.

En base a lo anterior, precisar que el al menos un primer segmento es clasificado como exterior del vehículo si el al menos un primer segmento está dispuesto en la al menos una zona de ventana en la al menos una imagen.

Adicionalmente, el al menos un primer segmento es clasificado como interior del vehículo si el vector real del al menos un primer segmento es sustancialmente igual que el vector teórico, en donde tanto ángulo como módulos de los vectores coinciden. Se incide que, en este caso, el vector teórico no está definido como zona de ventana.

Por otro lado, el al menos un primer segmento es clasificado como objeto adicional del vehículo si el módulo del vector real del al menos un primer segmento es menor que el módulo del vector teórico.

En una realización particular de la invención, la etapa de determinar una posición del dispositivo de realidad virtual en el vehículo comprende determinar una ubicación de la cabeza del usuario por medio de procesamiento de imagen y/o determinar una ubicación de al menos un punto de referencia del dispositivo de realidad virtual por medio de procesamiento de imagen y/o determinar una ubicación del dispositivo de realidad virtual por medio de triangulación y/o determinar una ubicación del dispositivo de realidad virtual por medio de al menos un sistema inercial dispuesto en el dispositivo de realidad virtual.

Según otro aspecto particular de la invención, la etapa de generar un entorno virtual del usuario es adicionalmente en base a la clasificación del al menos un primer segmento de la al menos una primera imagen. También propiedades como brillo, posición y dimensión dependen adicionalmente de dicha clasificación del primer segmento.

En una realización concreta de la invención, la al menos una segunda imagen comprende al menos un segundo segmento, donde la etapa de sobreponer la al menos una segunda imagen a la al menos una primera imagen comprende sobreponer el al menos un segundo segmento de la segunda imagen al primer segmento del interior del vehículo y/o al primer segmento del exterior del vehículo y/o al primer segmento de objeto adicional del vehículo. De este modo la superposición de la segunda imagen se ajusta en sus propiedades atendiendo a la parte del campo visual a la que corresponda dicho primer segmento. De este modo, en caso de que una situación crítica de conducción sea determinada como poco prioritaria, la al menos una segunda imagen podrá ser superpuesta únicamente a los segmentos de la primera imagen clasificados como interior del vehículo. En cambio, en caso de que una situación crítica de conducción sea determinada como muy prioritaria, la al menos una segunda imagen podrá ser superpuesta a los segmentos de la primera imagen clasificados como objetos adicionales del vehículo o, incluso, a los segmentos de la primera imagen clasificados como exterior del vehículo.

Según otro aspecto de la invención, la etapa de desplazar la posición de la segunda imagen en el entorno virtual comprende sobreponer el al menos un segundo segmento de la segunda imagen a sucesivos primeros segmentos del interior del vehículo y/o a sucesivos primeros segmentos del exterior del vehículo y/o a sucesivos primeros segmentos de objeto adicional del vehículo. De este modo el desplazamiento de la segunda imagen se ajusta en su posición atendiendo a la parte del campo visual a la que corresponda dicho primer segmento, sin sobreponerse a segmentos de mayor prioridad que la propia segunda imagen, como podría ser el exterior del vehículo.

Es también objeto de la presente invención, un sistema para mostrar información de realidad virtual en un vehículo, donde el sistema comprende:

- un dispositivo de realidad virtual, donde el dispositivo de realidad virtual comprende al menos una pantalla,

- al menos una primera cámara, donde la al menos una primera cámara está configurada para captar al menos una primera imagen, donde la al menos una primera imagen coincide con un campo de visión del usuario,

- al menos un medio de sensado, donde el al menos un medio de sensado está configurado para obtener una información de un entorno del vehículo,

- al menos una segunda cámara, donde la al menos una segunda cámara está configurada para captar al menos una segunda imagen de un entorno del vehículo, y - al menos una unidad de procesamiento, donde la al menos una unidad de procesamiento está configurada para determinar una situación crítica de conducción en base a la información del entorno del vehículo, y generar un entorno virtual del usuario, donde el entorno virtual comprende la al menos una primera imagen captada y la al menos una segunda imagen captada, donde el entorno virtual generado es en base a la situación crítica de conducción determinada.

De dicho sistema se derivan las mismas ventajas que del método arriba señalado, en la medida que la unidad de procesamiento ejecuta sus etapas, en el entorno de un habitáculo de un vehículo. Así, el dispositivo de realidad virtual es susceptible de ser portado por la cabeza de un usuario del vehículo, con lo que facilita que el dispositivo de realidad virtual capte mediante la al menos una primera cámara el campo de visión del usuario.

Preferentemente, y como se ha señalado, el dispositivo de realidad virtual es habitualmente unas gafas de realidad virtual, las cuales, en una realización preferida, comprenden una cámara de alta resolución, sistemas de autofoco de gran calidad, al menos una cámara nocturna y/o infrarroja y/o con un objetivo gran angular, y un sistema capaz de determinar la distancia a todos los objetos en la imagen, como por ejemplo un Lidar (Light Detection and Ranging o Laser Imaging Detection and Ranging) , es decir, un dispositivo que permite determinar la distancia desde un emisor láser a un objeto o superficie utilizando un haz láser pulsado. Así, un sensor tipo Lidar puede ser dispuesto adyacente a la al menos una primera cámara, de manera que el al menos un segmento de la imagen es emparejado con un vector real.

Así se puede detectar la presencia de otro vehículo en la zona del campo de visión correspondiente al ángulo muerto. Cuando el usuario invade carril o activa intermitente, se puede hacer que, independientemente de hacia dónde mire el conductor, se proyecte la información visual correspondiente a la al menos una segunda cámara en el entorno virtual del usuario. Se muestra por medio del dispositivo de realidad virtual e independientemente del campo de visión del usuario la segunda imagen captada por la segunda cámara, con tamaño más o menos grande, con o sin un grado de transparencia, y superpuesta o no en función de la situación crítica de conducción determinada y/o la clasificación del al menos un primer segmento de la primera imagen.

Según otro aspecto de la invención, el sistema comprende al menos un medio de detección de posición, donde el medio de detección de posición está configurado para determinar una posición del dispositivo de realidad virtual en el vehículo. De este modo se puede conocer la posición y orientación del dispositivo de realidad virtual en el interior del vehículo, lo cual, entre otras cosas, permite clasificar en capas, secciones o segmentos, la primera imagen, y también determinar el campo de visión que está percibiendo el usuario en cada momento.

Señalar que por tanto, la disposición del interior del vehículo es previamente conocida en una realización preferente. Esto significa conocer el plano o mapa del interior del vehículo y por lo tanto, las distancias teóricas de cada objeto del entorno en función de la posición que ocupa el dispositivo de realidad virtual en el interior del vehículo.

En cuanto al sistema de posicionamiento y orientación con el que cuenta el dispositivo de realidad virtual de la presente invención, se puede hacer uso de uno o varios de los siguientes sistemas:

- Cámaras que graben la posición y orientación del dispositivo o gafas de realidad virtual, basándose bien en procesado de formas de la imagen, por ejemplo, la forma de la cabeza, bien colocando puntos de referencia en el dispositivo o gafas de realidad virtual, por ejemplo, una cámara que solo grabe el color violeta, teniendo el dispositivo o gafas unos puntos de referencia violetas,

- Posicionamiento a través de triangulación, usando tecnologías basadas en ondas electromagnéticas o de infrarrojos. Para determinar la orientación, solo es necesario colocar 3 emisores y/o receptores en el dispositivo o gafas de realidad virtual, de forma que se pueda determinar la orientación en el espacio. El espacio o habitáculo del entorno debe disponer también de al menos tres emisores y/o receptores que realicen la función de estación base.

- Imágenes de referencia. El habitáculo u objeto puede disponer de puntos de referencia que, al ser captados por la cámara del dispositivo o gafas de realidad virtual, lleva a determinar la posición y orientación del mismo.

De cara a ayudar a la orientación del dispositivo o gafas de realidad virtual, este puede disponer de un sistema de acelerómetros y giroscopios.

En los dibujos adjuntos se muestra, a título de ejemplo no limitativo, un método y sistema para mostrar información prioritaria en un vehículo, constituido de acuerdo con la invención. Otras características y ventajas de dicho método y sistema para mostrar información prioritaria en un vehículo, objeto de la presente invención, resultarán evidentes a partir de la descripción de una realización preferida, pero no exclusiva, que se ilustra a modo de ejemplo no limitativo en los dibujos que se acompañan, en los cuales:

Breve descripción de los dibujos

Figura 1.- Es una vista en perspectiva del habitáculo de un vehículo, de acuerdo con la presente invención.

Figura 2.- Es una vista en primera persona del campo de visión de un usuario desde la posición del conductor en el habitáculo de un vehículo, de acuerdo con la presente invención.

Figura 3.- Es una vista en perspectiva de un dispositivo de realidad virtual, de acuerdo con la presente invención.

Figura 4A.- Es una vista en perspectiva de un dispositivo de realidad virtual en una primera posición, de acuerdo con la presente invención.

Figura 4B.- Es una vista en perspectiva de un dispositivo de realidad virtual en una segunda posición, de acuerdo con la presente invención.

Figura 5A.- Es una vista en perspectiva de la primera fila de asientos del habitáculo de un vehículo con dos usuarios portando sus respectivos dispositivos de realidad virtual, de acuerdo con la presente invención.

Figura 5B.- Es una vista en perspectiva del campo de visión del conductor en el habitáculo de un vehículo, de acuerdo con la presente invención.

Figura 6A.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una segunda imagen en una primera posición del campo de visión aproximada a la que tendría un retrovisor del vehículo, de acuerdo con la presente invención.

Figura 6B.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un primer giro de la cabeza del conductor, con una segunda imagen en una segunda posición del campo de visión desplazada de la primera posición, de acuerdo con la presente invención.

Figura 6C.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un segundo giro de la cabeza del conductor, con una segunda imagen en una tercera posición del campo de visión y con al menos una propiedad visual alterada, de acuerdo con la presente invención. Figura 6D.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un tercer giro de la cabeza del conductor, con una segunda imagen en una cuarta posición del campo de visión y con al menos una propiedad visual alterada, de acuerdo con la presente invención.

Figura 7A.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una segunda imagen en una primera posición fija, aproximada a la que tendría un retrovisor del vehículo, de acuerdo con la presente invención.

Figura 7B.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un primer giro de la cabeza del conductor, con una segunda imagen en una primera posición fija, de acuerdo con la presente invención.

Figura 7C.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un segundo giro de la cabeza del conductor, con una segunda imagen en primera posición fija, saliendo parcialmente del campo de visión del usuario, de acuerdo con la presente invención.

Figura 7D.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un tercer giro de la cabeza del conductor, con una segunda imagen en primera posición fija, habiendo salido totalmente del campo de visión del usuario, de acuerdo con la presente invención.

Figura 8A.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una segunda imagen en una primera posición del campo de visión aproximada a la que tendría un retrovisor del vehículo, de acuerdo con la presente invención.

Figura 8B.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un primer giro de la cabeza del conductor, con una segunda imagen en una primera posición fija, de acuerdo con la presente invención.

Figura 8C.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un segundo giro de la cabeza del conductor, con una segunda imagen en tercera posición del campo de visión, y con al menos una propiedad visual alterada, de acuerdo con la presente invención.

Figura 8D.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, tras un tercer giro de la cabeza del conductor, con una segunda imagen en una cuarta posición y con al menos una propiedad visual alterada, de acuerdo con la presente invención.

Figura 9A.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una segunda imagen y con objetos adicionales al vehículo superpuestos sobre la segunda imagen, de acuerdo con la presente invención.

Figura 9B.- Es una vista en perspectiva del entorno virtual que observa el conductor en el habitáculo de un vehículo a través del dispositivo de realidad virtual, con una segunda imagen y con la segunda imagen superpuesta sobre los objetos adicionales al vehículo, de acuerdo con la presente invención.

Descripción de una realización preferente

A la vista de las mencionadas figuras y, de acuerdo con la numeración adoptada, se puede observar en ellas un ejemplo de realización preferente de la invención, la cual comprende las partes y elementos que se indican y describen en detalle a continuación.

Tal y como puede verse en la figura 5A, el sistema y método de la presente invención se basa en proyectar información de realidad virtual por medio de un dispositivo de realidad virtual 3. El dispositivo de realidad virtual 3 está dispuesto preferentemente en la cabeza 21 del usuario 2, tanto de un conductor como de un acompañante cuando éstos están en el interior de un vehículo 1.

A modo de resumen, el método de la presente invención lleva a cabo las siguientes acciones, en una realización preferente:

- captar al menos una primera imagen 51 por medio de al menos una primera cámara 31, donde la al menos una imagen coincide con el campo de visión 22 del usuario,

- obtener información del entorno de vehículo, de manera que se analizan tanto parámetros del vehículo como información externa al vehículo, de manera que una situación crítica de conducción pueda ser determinada,

- determinar una situación crítica de conducción, de manera que una información prioritaria debe ser mostrada en el dispositivo de realidad virtual 3 de forma preferente a la al menos una imagen captada,

- captar al menos una segunda imagen 52, donde la al menos una segunda imagen 52 muestra una situación crítica de conducción,

- generar un entorno virtual 6 del usuario 2, donde el entorno virtual 6 comprende la primera imagen 51 que coincide con el campo visual 22 y la segunda imagen 52, de manera que se muestra en el campo de visión del usuario la situación crítica de conducción,

- alterar al menos una propiedad visual de la primera imagen 51 y/o de la segunda imagen 52, de manera que la información prioritaria mostrada al usuario 2 pueda ser destacada y posicionada acorde con el campo de visión 22 del usuario 2 y la prioridad decretada de la situación crítica de conducción, y

- mostrar el entorno virtual 6 generado por medio del dispositivo de realidad virtual 3.

Señalar, que en una primera variante el mostrar el entorno virtual 6 se realizaría en una pantalla 37 del dispositivo o gafas de realidad virtual 3, y en una segunda variante se realizaría en la propia lente del dispositivo o gafas de realidad virtual 3.

En la figura 1 se puede observar, de modo ilustrativo, el habitáculo de un vehículo 1, con una unidad de procesamiento 4 y una unidad de memoria 41, localizada preferentemente bajo el tablero de instrumentos. Se observan también una pluralidad de medios de detección de posición 7 del dispositivo de realidad virtual 3 en el vehículo 1. Un ejemplo para posicionar el dispositivo de realidad virtual 3 es por medio de transceptores, por ejemplo, de ondas infrarrojas o electromagnéticas. Así mediante un proceso de triangulación y conociendo el tiempo de emisión y respuesta de dichas ondas con dispositivos ubicados en emplazamientos conocidos del vehículo, se puede determinar de modo preciso su posición.

En la figura 2 se puede observar, de modo ilustrativo, una vista en primera persona del campo de visión 22 de un usuario 2 desde la posición del conductor en el habitáculo de un vehículo 1. En la misma se puede observar la posición de la unidad de procesamiento 4, y la unidad de memoria 41, así como las zonas del campo de visión 22, clasificadas como interior 11, exterior 12 y zona de ventana 15. También un ejemplo de localización de una segunda cámara 14 que obtiene segunda imágenes 52 del entorno del vehículo 1 y de una tercera cámara 36, en el espacio destinado habitual a un espejo retrovisor.

En la figura 3 se puede observar, de modo ilustrativo, una vista en perspectiva de un dispositivo de realidad virtual 3. Dicho dispositivo de realidad virtual 3 es, preferentemente, unas gafas de realidad virtual. Las gafas de realidad virtual comprenden de modo preferente una primera cámara 31 para captar la al menos una primera imagen 51, al menos un sensor de distancia 9, donde el al menos un sensor de distancia 9 está configurado para obtener al menos una distancia entre el usuario 2 y los objetos del entorno, un acelerómetro 34 y un giroscopio 35 con el fin de determinar una posición del dispositivo de realidad virtual 3 en el vehículo 1, así como una unidad de procesamiento 4. Así, el dispositivo de realidad virtual 3 conoce dónde está posicionado, y sabe la distancia que hay hasta cada punto del habitáculo del vehículo 1. Además, una pantalla 37 permite mostrar al usuario 2 el entorno virtual 6 generado.

En la figura 4A se puede observar, de modo ilustrativo, un dispositivo de realidad virtual 3 en una primera posición, que corresponde con una vista superior de las gafas de realidad virtual. En la figura 4B se puede observar, de modo ilustrativo, un dispositivo de realidad virtual 3 en una segunda posición, que corresponde con una vista lateral de las gafas de realidad virtual.

Con el fin de posicionar el dispositivo de realidad virtual 3 en el entorno, es posible establecer en las gafas unas marcas o balizas que sirvan como puntos de referencia. En la figura 4A las marcas están dispuestas en la zona superior de la montura. En la figura 4B las marcas están dispuestas en la zona lateral de las varillas. Por medio de cámaras dispuestas en el interior del vehículo, se determina la posición y orientación de dichas marcas, posicionando así el dispositivo de realidad virtual 3.

Según otro aspecto de la invención, el método de la presente invención clasifica al menos un primer segmento 511 de las primeras imágenes 51 obtenidas por la primera cámara 31. El al menos un primer segmento 511 es clasificado según:

- interior 11 del vehículo 1,

- exterior 12 del vehículo 1, y

- objeto adicional 13, del vehículo.

Así, la clasificación de los primeros segmentos 511 se realiza en base a una ubicación de al menos un elemento del entorno del usuario 2 respecto al dispositivo de realidad virtual 3, donde el método comprende adicionalmente las etapas de:

a) obtener al menos un vector real 23, donde el al menos un vector real 23 comprende un módulo y una dirección entre el dispositivo de realidad virtual 3 y el al menos un elemento del entorno del usuario 2,

b) determinar una posición del dispositivo de realidad virtual 3 en el vehículo 1,

c) asignar el al menos un vector real 23 al al menos un segmento 52, y

d) comparar el al menos un vector real 23 con al menos un vector teórico 24, donde el al menos un vector teórico 24 es previamente conocido.

En la figura 5A se puede observar, de modo ilustrativo, una vista en perspectiva de la primera fila de asientos del habitáculo de un vehículo con dos usuarios 2 portando sus respectivos dispositivos de realidad virtual 3, de acuerdo con la presente invención. Se observa de forma esquemática como el dispositivo de realidad virtual capta primeras imágenes 51 del entorno, coincidiendo con el campo de visión 22 del usuario 2. Además, al menos un sensor de distancia 9 capta al menos un módulo y una dirección entre el dispositivo de realidad virtual 3 y los elementos que se encuentran en el entorno del usuario 2, de manera que se definen una pluralidad de vectores reales 23. Cada primer segmento 511 de la imagen tiene asociado al menos un vector real 23, de manera que se conoce una posición relativa del al menos un primer segmento 511 con el usuario 2.

Adicionalmente, al menos un medio de detección de posición 7 permite conocer la posición del dispositivo de realidad virtual 3 en el interior del vehículo 1. Conocer la posición es imprescindible para ubicar el usuario 2 en un mapa tridimensional previamente conocido del vehículo 1. De este modo, se conocerá una pluralidad de vectores teóricos 24, que indican la posición relativa entre los objetos ubicados en el entorno del usuario 2 y el propio usuario 2. Una comparación entre la pluralidad de vectores teóricos 24 y la pluralidad de vectores reales 23 permitirá clasificar la pluralidad de primeros segmentos 511 u objetos adicionales de la imagen, pudiendo de este modo generar un entorno virtual 6 modificado a las necesidades puntuales del usuario 2.

Con el fin de determinar los primeros segmentos 511 de la primera imagen 51 que representan el exterior 12 del vehículo 1, se determina al menos una zona de ventana 15 en la al menos una imagen captada. Se basa en reconocer al menos una forma geométrica predefinida por medio de procesamiento de imagen y/o determinar al menos un marcador de la al menos una primera imagen 51, donde el marcador comprende un color predefinido y/o comparar el al menos un vector real 23 con el al menos un vector teórico 24. Señalar que la zona de ventana 15 corresponde al parabrisas, o a cualquier superficie acristalada o transparente del vehículo 1. Así, al menos un primer segmento 511 es clasificado como exterior 12 del vehículo 1 si el al menos un primer segmento 511 está dispuesto en la al menos una zona de ventana 15 en la al menos una primera imagen 51.

La figura 5B muestra un primer entorno virtual 6 del usuario 2 generado. Se destaca que este primer entorno virtual 6 no presenta ninguna modificación respecto al entorno real del usuario 2. Así, se puede observar un campo de visión 22 de un usuario 2 conductor en el habitáculo de un vehículo 1, en donde se aprecia las diferentes zonas del campo de visión 22, clasificadas como píxeles o primeros segmentos 511 que corresponden al interior 11 del vehículo 1 o habitáculo, por ejemplo un tablero de instrumentos del vehículo 1, píxeles que corresponden a objetos adicionales 13 no pertenecientes al interior 11 del vehículo 1, en este caso las manos del usuario 2 conductor, o habitáculo, y píxeles que corresponden al exterior 12 del vehículo 1, es decir, a la parte de la primera imagen 51 que está detrás del parabrisas.

Precisar que la presente invención clasifica los píxeles de la primera imagen 511 según al menos las siguientes capas del exterior 12, interior 11 y objeto adicional 13 del vehículo 1. La del exterior 12 equivale a los píxeles captados que están posicionados en la zona de ventana 15 o de cristales. Por lo tanto, todo lo que es captado y, según la disposición 3D, indica que es cristal o la zona de ventana 15, equivale al exterior 12, siempre y cuando la distancia de ese píxel sea igual a la distancia real. En cuanto al interior 11 del vehículo 1, o habitáculo, la distancia real ha de coincidir con la distancia teórica según la disposición 3D. En cuanto al objeto adicional 13, ajeno al interior 11 del vehículo 1, o habitáculo, la distancia real ha de ser menor que la distancia teórica según la disposición 3D.

Partiendo de un entorno como el mostrado en la figura 2, donde este entorno del usuario 2 es captado por medio de la primera cámara 31, se detecta una situación crítica de conducción. Una situación crítica de conducción puede ser una invasión de un carril por parte del vehículo 1, una situación inminente de colisión o contacto entre el vehículo 1 y un tercer vehículo, un tercer vehículo ubicado en el ángulo muerto del vehículo 1 y no visto por parte del conductor, un peatón próximo a la trazada del vehículo 1.

Cualquiera de estas situaciones críticas de conducción puede ser detectado por medio de sensores del vehículo, como sensores de distancia, sensores de presencia, sensores que parametrizan la trayectoria del vehículo 1. Cuando una situación crítica de conducción es detectada, se genera un entorno virtual que comprende al menos una segunda imagen 52 del exterior del vehículo sobrepuesta en la al menos una primera imagen 51.

Al igual que la al menos una primera imagen 51 comprende al menos un primer segmento 511, es decir, al menos una zona, parte o píxel de la primera imagen 51, la al menos una segunda imagen 52 comprende al menos un segundo segmento 521. De este modo, sobreponer la al menos una segunda imagen 52 a la al menos una primera imagen 51 comprende sobreponer el al menos un segundo segmento 521 de la segunda imagen 52 al al menos un primer segmento 511 de la primera imagen 51. También puede significar sustituir el al menos un primer segmento 511 por el al menos un segundo segmento 521.

En la figura 6A se puede observar, de modo ilustrativo, una vista en perspectiva del entorno virtual 6 que observa el conductor en el habitáculo de un vehículo 1 a través del dispositivo de realidad virtual 3, con una segunda imagen 52 en una primera posición del campo de visión 22 aproximada a la que tendría un retrovisor del vehículo. Se puede ver asimismo las diversas zonas del campo de visión 22 del usuario 2, que son el interior 11 y el exterior 12. Se observa una primera imagen 51, con al menos un primer segmento 511, una segunda imagen 52, con al menos un segundo segmento 521. El entorno virtual 6 comprende al menos un segmento virtual 61.

Debido a que el vehículo 1 ha realizado una invasión de un carril izquierdo, donde un tercer vehículo circula por este carril izquierdo, una situación crítica de conducción ha sido determinada. Por ello, la segunda imagen 52 se representa en el entorno virtual 6 con el fin de que el usuario 2 reciba información prioritaria de una situación crítica de conducción. En este caso, la segunda imagen 52 muestra una imagen exterior 8 del vehículo 1, en particular a la que se vería por un espejo retrovisor. Esto representa una ayuda a la conducción dado que, cuando el conductor cambia de carril, mira normalmente a los espejos retrovisores.

Se observa que la segunda imagen 52 de la zona exterior 12 del vehículo 1 mostrada en dispositivo de realidad virtual 3 ocupa una posición determinada en función de la prioridad de la situación crítica de conducción. Así, la segunda imagen 52 se muestra dentro del entorno virtual 6 en la zona donde se produce el riesgo de colisión. Adicionalmente, la posición de la segunda imagen 52 en el entorno virtual 6 es en base al campo de visión 22 del usuario 2, de manera que no interfiera con otro elemento importante o preferente.

Además de la posición, la segunda imagen 52 comprende una alteración del brillo, color, luminosidad contraste y/o saturación, de manera que se puede modificar dichos parámetros visuales de la segunda imagen 52 con el fin de aportar una mayor relevancia o claridad al contenido de la información mostrada. Adicionalmente, mostrar la segunda imagen 52 comprende definir una dimensión según la prioridad de la situación crítica de conducción determinada.

En un primer modo de realización del método de la invención, una posición de la segunda imagen 52 varía en función del campo de visión 22 del usuario 2. Así, dicha segunda imagen 52 no ocupa una posición fija del entorno, como podría ser una posición ocupada por una pantalla del vehículo 1 o un retrovisor del vehículo 1, sino que la segunda imagen 52 se desplaza acorde con una variación del campo de visión 22 del usuario 2 determinado. Por ejemplo, si el usuario 2 está mirando hacia atrás o hacia el lado porque está hablando con otro pasajero, o simplemente distraído, se puede mostrar una imagen de una segunda cámara 14 que enfoque hacia adelante, caso de considerarse que existe un riesgo de colisión con el vehículo 1 de delante. Por el contrario, si en dicha situación de conducción, el usuario 2 ya está mirando hacia adelante, no será necesario mostrarle esta información de la segunda cámara 14 que enfoca hacia adelante.

En la figura 6B se puede observar, de modo ilustrativo, una vista en perspectiva del entorno virtual 6 que observa el conductor en el habitáculo de un vehículo 1 a través del dispositivo de realidad virtual 3, tras un primer giro de la cabeza 21 a la derecha. La segunda imagen 52 representada en el entorno virtual 6 se ha desplazado hacia la derecha acorde con la variación del campo de visión 22, respecto a la primera posición que ocupaba en la figura 6A. En dicha figura 6B se incluyen los mismos elementos mencionados para la figura 6A.

En la figura 6C se puede observar, de modo ilustrativo, una misma vista que en las figuras 6A y 6B, donde el usuario 2 ha realizado un segundo giro de la cabeza 21 a la derecha, mayor que el primer giro. La segunda imagen 52 representada en el entorno virtual 6 se ha desplazado hacia la derecha acorde con la variación del campo de visión 22, respecto a la segunda posición que ocupaba en la figura 6B.

En la figura 6C, la superposición de la segunda imagen 52 a la primera imagen 51 se realiza adicionalmente en base a la clasificación del al menos un primer segmento 511 de la primera imagen 51. Así, se determina que la segunda imagen 52 desplazada acorde a la variación del campo de visión 22, quedaría superpuesta parcialmente con elementos del interior 11 del habitáculo. En la generación del entorno virtual 6 se determina una mayor prioridad de los segundos segmentos 521 de la segunda imagen 52 que la prioridad de los primeros segmentos 511 clasificados como interior 11 del vehículo 1. En consecuencia, los segundos segmentos 521 se superponen a los primeros segmentos 511 clasificados como interior 11 del vehículo 1. Aun así, dicha segunda imagen 52 puede representarse de forma transparente, para evitar ocultar totalmente este contenido definido previamente.

En la figura 6D se puede observar, de modo ilustrativo, una misma vista que en las figuras 6A, 6B y 6C, donde el usuario 2 ha realizado un tercer de giro de la cabeza 21 a la derecha, mayor que el segundo giro. La segunda imagen 52 representada en el entorno virtual 6 se ha desplazado hacia la derecha acorde con la variación del campo de visión 22, respecto a la segunda posición que ocupaba en la figura 6C.

Adicionalmente, en la generación del entorno virtual 6 se determina una mayor prioridad de los primeros segmentos 511 clasificados como exterior 12 del vehículo que la prioridad de los segundos segmentos 521 de la segunda imagen 52. Adicionalmente, una mayor prioridad de los segundos segmentos 521 de la segunda imagen 52 que la prioridad de los primeros segmentos 511 clasificados como interior 11 del vehículo 1. Por todo ello, la segunda imagen 52 representada en el entorno virtual 6 se ha desplazado hacia la derecha acorde con la variación del campo de visión 22, pero también se ha desplazado hacia la zona inferior, de manera que una zona de ventana 15 no se vea superpuesta por la segunda imagen 52. Se evita de este modo que el usuario no visualice el exterior 12 del vehículo 1, hecho que pudiera ser crítico para la conducción del vehículo. Además, la segunda imagen 52 es representada de forma transparente, para evitar ocultar totalmente los primeros segmentos 511 clasificados como interior 11 del vehículo 1.

Según este primer modo de realización, la segunda imagen 52 se desplazará en el entorno virtual 6, de manera que los segundo segmentos 521 de la segunda imagen 52 se sobrepondrán a sucesivos primeros segmentos 511 del interior 11 del vehículo 1. Además, se evitará superponer segundo segmentos 521 de la segunda imagen 52 a primeros segmentos 511 del exterior 12 del vehículo 1.

Asimismo, en las figuras 7A, 7B, 7C y 7D se muestra un segundo modo de realización, en cuanto a la estrategia de generar el entorno virtual 6. Según el citado segundo modo de realización, la segunda imagen 52 ocupa una zona fija en el entorno virtual 6, de manera que una variación del campo de visión 22 del usuario 2 determinado no afecta la posición de la segunda imagen 52 en el entorno virtual 6. Así, cuando el usuario 2 mira en esa zona concreta, puede observar la segunda imagen 52. En caso contrario, si el campo de visión 22 del usuario 2 no coincide con la segunda imagen 52, el usuario 2 no verá la segunda imagen 52.

La figura 7A es equivalente a la figura 6A, donde una situación crítica de conducción ha sido determinada debido a que el vehículo 1 ha realizado una invasión de un carril izquierdo, donde un tercer vehículo circula por este carril izquierdo. Por ello, la segunda imagen 52 se representa en el entorno virtual 6 con el fin de que el usuario 2 reciba información prioritaria de la situación crítica de conducción. En este caso, la segunda imagen 52 muestra una imagen exterior 8 del vehículo 1, en particular a la que se vería por un espejo retrovisor.

En la figura 7B se puede observar, de modo ilustrativo, una misma vista que en la figura 7A, donde el usuario 2 ha realizado un primer giro de la cabeza 21 a la derecha. Como se observa, el campo visual 22 del usuario 2 ha variado. En cambio, la posición relativa de la segunda imagen 52 respecto a elementos del vehículo, como componentes del interior 11 del vehículo, se mantiene constante.

En la figura 7C se puede observar, de modo ilustrativo, una misma vista en que en las figuras 7A y 7B, tras un segundo giro de la cabeza 21 a la derecha, mayor que el primer giro. Como se observa, el campo visual 22 del usuario 2 ha variado. En cambio, la posición de la segunda imagen 52 se mantiene fija en el entorno virtual 6, saliendo parcialmente del campo de visión del usuario, de acuerdo con la presente invención.

En la figura 7D se puede observar, de modo ilustrativo, una misma vista en que en las figuras 7A, 7B y 7C, tras un tercer giro de la cabeza 21 a la derecha, mayor que el segundo giro.

Nuevamente, el campo visual 22 del usuario 2 ha variado. En cambio, la segunda imagen 52 se mantiene fija en una posición aproximada a la que tendría un retrovisor del vehículo 1. En consecuencia, la segunda imagen 52 ha salido totalmente del campo de visión 22 del usuario 2. Se observa que cuando la zona del espacio donde se encuentra la segunda imagen 52 sale del campo de visión 22, la segunda imagen 52 dejará de ser proyectada en el entorno virtual 6.

Asimismo, en las figuras 8A, 8B, 8C y 8D se muestra un tercer modo de realización, en cuanto a la estrategia de generar el entorno virtual 6. Dicho tercer modo de realización se basa en una combinación del primer modo y el segundo modo de realización. Según el citado tercer modo de realización, la segunda imagen 52 ocupa una zona fija en el entorno virtual 6, de manera que una variación del campo de visión 22 del usuario 2 determinado no afecta la posición de la segunda imagen 52 en el entorno virtual 6. Dicha zona fija se respeta mientras la segunda imagen 52 se encuentra dentro del campo de visión 22 del usuario 2. Así, si el campo de visión 22 del usuario 2 varía y la segunda imagen desaparece, al menos parcialmente, del campo de visión 22 del usuario 2, la segunda imagen 52 se desplaza acorde con la variación del campo de visión 22 del usuario 2.

La figura 8A es equivalente a la figura 6A y 7A, donde una situación crítica de conducción ha sido determinada debido a que el vehículo 1 ha realizado una invasión de un carril izquierdo, donde un tercer vehículo circula por este carril izquierdo. Por ello, la segunda imagen 52 se representa en el entorno virtual 6 con el fin de que el usuario 2 reciba información prioritaria de la situación crítica de conducción. En este caso, la segunda imagen 52 muestra una imagen exterior 8 del vehículo 1, en particular a la que se vería por un espejo retrovisor.

En la figura 8B se puede observar, de modo ilustrativo, una misma vista que en la figura 8A, donde el usuario 2 ha realizado un primer giro de la cabeza 21 a la derecha. Como se observa, el campo visual 22 del usuario 2 ha variado. En cambio, la posición relativa de la segunda imagen 52 respecto a elementos del vehículo, como componentes del interior 11 del vehículo, se mantiene constante.

En la figura 8C se puede observar, de modo ilustrativo, una misma vista que en las figuras 8A y 8B, donde el usuario 2 ha realizado un segundo giro de la cabeza 21 a la derecha, mayor que el primer giro. La segunda imagen 52 representada en el entorno virtual 6 se ha desplazado hacia la derecha acorde con la variación del campo de visión 22, respecto a la segunda posición que ocupaba en la figura 8B.

En la figura 8C, la superposición de la segunda imagen 52 a la primera imagen 51 se realiza adicionalmente en base a la clasificación del al menos un primer segmento 511 de la primera imagen 51. Así, se determina que la segunda imagen 52 desplazada acorde a la variación del campo de visión 22, quedaría superpuesta parcialmente con elementos del interior 11 del habitáculo. En la generación del entorno virtual 6 se determina una mayor prioridad de los segundos segmentos 521 de la segunda imagen 52 que la prioridad de los primeros segmentos 511 clasificados como interior 11 del vehículo 1. En consecuencia, los segundos segmentos 521 se superponen a los primeros segmentos 511 clasificados como interior 11 del vehículo 1. Aun así, dicha segunda imagen 52 puede representarse de forma transparente, para evitar ocultar totalmente este contenido definido previamente.

En la figura 8D se puede observar, de modo ilustrativo, una misma vista que en las figuras 8A, 8B y 8C, donde el usuario 2 ha realizado un tercer de giro de la cabeza 21 a la derecha, mayor que el segundo giro. La segunda imagen 52 representada en el entorno virtual 6 se ha desplazado hacia la derecha acorde con la variación del campo de visión 22, respecto a la segunda posición que ocupaba en la figura 6C. Del mismo modo que para la figura 8C, al afrontar una superposición de la segunda imagen 52 con elementos relevantes del vehículo 1 presentes en el campo de visión 22 del usuario 2, se pueden aplicar transparencias y movimientos de la segunda imagen 52, de acuerdo con lo explicado para las figuras 6C y 6D.

En la figura 9A se puede observar, de modo ilustrativo, una vista en perspectiva del entorno virtual 6 que observa el conductor en el habitáculo de un vehículo 1 a través del dispositivo de realidad virtual 3, con una segunda imagen 52 superpuesta en al menos una zona de la primera imagen 51 y con objetos adicionales 13 al vehículo 1 superpuestos sobre la segunda imagen 52, de acuerdo con la presente invención.

De modo preferido, y mediante la división por capas del campo de visión 22, la proyección de las imágenes 51, 52 va a realizarse, preferentemente, en píxeles del interior 11 habitáculo, evitando superponer la segunda imagen 52 en píxeles del exterior 12 del vehículo 1, dado que en ese caso se reduciría visibilidad del usuario 2. Únicamente en casos de alta emergencia, pude decidirse proyectar la segunda imagen 52 superponiéndola a píxeles del exterior 12 del vehículo 1.

En la generación del entorno virtual 6 mostrado en la figura 9A, se determina una mayor prioridad de los segundos segmentos 521 de la segunda imagen 52 que la prioridad de los primeros segmentos 511 clasificados como interior 11 del vehículo 1. En consecuencia, los segundos segmentos 521 se superponen a los primeros segmentos 511 clasificados como interior 11 del vehículo 1. Aun así, dicha segunda imagen 52 puede representarse de forma transparente, para evitar ocultar totalmente este contenido definido previamente. Adicionalmente, se determina una mayor prioridad primeros segmentos 511 clasificados como exterior 12 del vehículo 1 que la prioridad de los segundos segmentos 521 de la segunda imagen 52, de manera que se evita superponer los segundos segmentos 521 a los primeros segmentos 511 clasificados como exterior 12 del vehículo 1. Adicionalmente, se determina una mayor prioridad primeros segmentos 511 clasificados como objeto adicional 13 del vehículo 1 que la prioridad de los segundos segmentos 521 de la segunda imagen 52, de manera que se superponen los primeros segmentos 511 clasificados como objeto adicional 13 del vehículo 1 a los segundos segmentos 521 a los primeros segmentos 511 clasificados como exterior 12 del vehículo 1. Por ejemplo, la necesidad de superponer en este caso la mano y brazo del usuario 2, clasificados como objeto adicional 13 del vehículo, puede ser en base a determinar un movimiento o cambio de posición del objeto adicional 13 del vehículo 1, de manera que se determina la importancia de representar en el entorno virtual dicho objeto adicional 13 del vehículo 1.

En este caso hay que mover la posición de la segunda imagen 52 proyectada, o bien aplicar transparencias sobre dicha segunda imagen 52, para que el usuario 2 pueda realizar la interacción con el vehículo 1 de forma correcta, es decir, viendo lo que está pulsando. De este modo que la conducción es más segura.

En concreto, a modo de ejemplo de tabla de riesgos, con un riesgo que se determina como alto, la segunda imagen 52 se superpone a la capa interior 11, exterior 12 y de objetos adicionales 13. Con un riesgo que se determina como medio, la segunda imagen 52 se superpone a la capa interior 11, y exterior 12. Y con un riesgo que se determina como bajo, la segunda imagen 52 sólo se superpone a la capa interior 11.

En la figura 9B se puede observar, una misma vista que en la figura 9A. Se observa en este caso la superposición de la segunda imagen 52 sobre los objetos adicionales 13 del vehículo 1, alterando al menos una propiedad visual de la segunda imagen 52, como podría ser la transparencia de la segunda imagen 52, de manera que el al menos un objeto adicional 13 del vehículo 1 quede parcialmente visible.

En una realización preferente, se puede combinar la proyección de las imágenes 51,52, otras de realidad aumentada o de información adicional. Por ejemplo, señalizando con otro color el tercer vehículo con el que existe riesgo de colisión, señalizando con mayor intensidad de color las líneas del carril que se están invadiendo, o señalizando los metros restantes hasta el vehículo 1 precedente.

Los detalles, las formas, las dimensiones y demás elementos accesorios, así como los componentes empleados en la implementación del método y sistema para mostrar información prioritaria en un vehículo, podrán ser convenientemente sustituidos por otros que sean técnicamente equivalentes, y no se aparten de la esencialidad de la invención ni del ámbito definido por las reivindicaciones que se incluyen a continuación de la siguiente lista.

Lista referencias numéricas:

1 vehículo

11 interior

12 exterior

13 objeto adicional

14 segunda cámara

15 zona de ventana

2 usuario

21 cabeza

22 campo de visión

23 vector real

24 vector teórico

3 dispositivo de realidad virtual

31 primera cámara

32 sensor

34 acelerómetro

35 giroscopio

36 tercera cámara

37 pantalla

unidad de procesamiento unidad de memoria

primera imagen

1 primer segmento

segunda imagen

1 segundo segmento entorno virtual

segmento virtual

medio de detección de posición imagen exterior

sensor de distancia

Claims

REIVINDICACIONES

1. Método para mostrar información prioritaria en un vehículo (1), donde un dispositivo de realidad virtual (3) es utilizado por un usuario (2) en el interior (11) del vehículo (1); donde el método comprende las etapas de:

I) captar al menos una primera imagen (51) de un entorno del usuario (2), donde la al menos una primera imagen (51) captada coincide con un campo de visión (22) del usuario (2), y donde la al menos una primera imagen (51) comprende al menos un primer segmento (511),

II) clasificar el al menos un primer segmento (511) de la al menos una primera imagen (51) en:

- interior (11) del vehículo (1),

- exterior (12) del vehículo (1),

- objeto adicional (13) del vehículo, y

III) obtener una información de un entorno del vehículo (1);

IV) determinar una situación crítica de conducción en base a la información del entorno del vehículo (1) obtenida;

V) captar al menos una segunda imagen (52) del entorno del vehículo (1);

VI) generar un entorno virtual (6) del usuario (2), donde el entorno virtual (6) comprende la al menos una primera imagen (51) captada y la al menos una segunda imagen (52) captada, donde el entorno virtual (6) generado es en base a la situación crítica de conducción determinada, y

VII) mostrar el entorno virtual (6) generado por medio del dispositivo de realidad virtual (3).

2. Método según la reivindicación 1, caracterizado porque la etapa de generar un entorno virtual (6) comprende sobreponer la al menos una segunda imagen (52) a la al menos una primera imagen (51).

3. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque la etapa de generar un entorno virtual (6) comprende alterar un brillo, un color, una luminosidad, un contraste y/o una saturación de la al menos una segunda imagen (52).

4. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque la etapa de generar un entorno virtual (6) comprende alterar un brillo, un color, una luminosidad, un contraste y/o una saturación de la al menos una primera imagen (51).

5. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque la etapa de generar un entorno virtual (6) comprende definir una dimensión de la al menos una segunda imagen (52).

6. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque la etapa de generar un entorno virtual (6) comprende incorporar al menos una información virtual adicional, donde la información virtual adicional es incorporada en la al menos una primera imagen (51) y/o en la al menos una segunda imagen (52).

7. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque comprende una etapa de determinar el campo de visión (22) del usuario (2), donde la etapa de generar un entorno virtual (6) comprende establecer una posición de la al menos una segunda imagen (52) en el entorno virtual (6) en base al campo de visión (22) del usuario (2) determinado.

8. Método según la reivindicación 7, caracterizado porque establecer la posición de la al menos una segunda imagen (52) comprende desplazar la posición de la segunda imagen (52) en el entorno virtual (6) acorde con una variación del campo de visión (22) del usuario (2) determinado.

9. Método según la reivindicación 7, caracterizado porque establecer la posición de la al menos una segunda imagen (52) comprende mantener la posición de la al menos una segunda imagen (52) fija en el entorno virtual (6).

10. Método según la reivindicación 1, caracterizado porque la etapa de generar un entorno virtual (6) del usuario (2) es adicionalmente en base a la clasificación del al menos un primer segmento (511) de la al menos una primera imagen (51).

11. Método según la reivindicación 10, caracterizado porque la al menos una segunda imagen (52) comprende al menos un segundo segmento (521) , donde la etapa de sobreponer la al menos una segunda imagen (52) a la al menos una primera imagen (51) comprende sobreponer el al menos un segundo segmento (521) de la segunda imagen (52) al primer segmento (511) del interior (11) del vehículo y/o al primer segmento (511) del exterior (12) del vehículo (1) y/o al primer segmento (511) de objeto adicional (13) del vehículo (1).

12. Método según la reivindicación 11, caracterizado porque la etapa de desplazar la posición de la segunda imagen (52) en el entorno virtual (6) comprende sobreponer el al menos un segundo segmento (521) de la segunda imagen (52) a sucesivos primeros segmentos (511) del interior (11) del vehículo y/o a sucesivos primeros segmentos (511) del exterior (12) del vehículo (1) y/o a sucesivos primeros segmentos (511) de objeto adicional (13) del vehículo (1).

13. Sistema para mostrar información de realidad virtual en un vehículo (1), donde el sistema comprende:

- al menos una primera cámara (31), donde la al menos una primera cámara (31) está configurada para captar al menos una primera imagen (51) de un entorno del usuario (2), donde la al menos una primera imagen (51) coincide con un campo de visión (22) del usuario (2), y donde la al menos una primera imagen (51) comprende al menos un primer segmento (511),

- al menos un medio de sensado, donde el al menos un medio de sensado está configurado para obtener una información de un entorno del vehículo (1),

- al menos una segunda cámara (14), donde la al menos una segunda cámara (14) está configurada para captar al menos una segunda imagen (52) del entorno del vehículo (1),

- al menos una unidad de procesamiento (4), donde la al menos una unidad de procesamiento (4) está configurada para clasificar el al menos un primer segmento (511) de la al menos una primera imagen (51) en el interior (11) del vehículo, exterior (12) del vehículo, y objeto adicional (13) del vehículo (1), determinar una situación crítica de conducción en base a la información del entorno del vehículo (1), y generar un entorno virtual (6) del usuario (2), donde el entorno virtual (6) comprende la al menos una primera imagen (51) captada y la al menos una segunda imagen (52) captada, donde el entorno virtual (6) generado es en base a la situación crítica de conducción determinada, y

- un dispositivo de realidad virtual (3), donde el dispositivo de realidad virtual (3) comprende al menos una pantalla (37), donde el dispositivo de realidad virtual (3) muestra el entorno virtual (6) generado.

14. Sistema según la reivindicación 13, caracterizado porque comprende al menos un medio de detección de posición (7), donde el medio de detección de posición (7) está configurado para determinar una posición del dispositivo de realidad virtual (3) en el vehículo (1).