ES2989125T3 - Método de asistencia operativa, unidad de control, sistema de asistencia operativa y dispositivo de trabajo - Google Patents
Método de asistencia operativa, unidad de control, sistema de asistencia operativa y dispositivo de trabajo Download PDFInfo
- Publication number
- ES2989125T3 ES2989125T3 ES19717859T ES19717859T ES2989125T3 ES 2989125 T3 ES2989125 T3 ES 2989125T3 ES 19717859 T ES19717859 T ES 19717859T ES 19717859 T ES19717859 T ES 19717859T ES 2989125 T3 ES2989125 T3 ES 2989125T3
- Authority
- ES
- Spain
- Prior art keywords
- new
- old
- determined
- frame
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
Abstract
La presente invención se refiere a un procedimiento de asistencia operativa (S) para un aparato de trabajo (1) o para un vehículo, en el que (S1) se obtienen cuadros de objeto (54) para un objeto (52) en un campo de visión del aparato de trabajo (1) en momentos sucesivos o datos que caracterizan dichos cuadros de objeto (54), (S2) se determinan un cambio de escala instantáneo o variables derivadas del mismo para un cuadro de objeto (54) para el objeto respectivo (52) y un cambio de posición lateral instantáneo del cuadro de objeto (54) para el objeto respectivo (52) a partir de cuadros de objeto (54) para un objeto dado (52) para imágenes grabadas en sucesión o directamente en sucesión, (S3) se determina un cuadro de objeto (55) previsto para el futuro a partir del cambio de escala instantáneo o variables derivadas del mismo y el cambio de posición lateral instantáneo para un cuadro de objeto (54) para un objeto respectivo (52), y (S4) la posición del cuadro de objeto previsto (55) y/o la relación de una extensión lateral del cuadro de objeto (54) para un objeto respectivo (52) se determinan y califican los cuadros de objetos predichos (55) en una extensión lateral de un campo de visión capturado (50) y/o de las imágenes grabadas y (S5) el resultado de la calificación se toma como base para (i) determinar si un objeto (52) en el que se basa el cuadro de objetos predichos (55) es crítico o no para una posible colisión, y/o (ii) controlar o regular un estado operativo del aparato de trabajo (1). (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Método de asistencia operativa, unidad de control, sistema de asistencia operativa y dispositivo de trabajo
Estado del arte
La presente invención se refiere a un sistema de asistencia operativa para un dispositivo de trabajo o para un vehículo,
una unidad de control para un sistema de asistencia operativa de un dispositivo de trabajo, un sistema de asistencia operativa como tal y un dispositivo de trabajo y en particular un vehículo.
En los dispositivos de trabajo y especialmente en el sector de los vehículos se utilizan cada vez más sistemas y métodos de asistencia operativa que examinan el entorno del dispositivo en cuestión para detectar posibles colisiones con objetos y emiten los correspondientes mensajes de advertencia y/o intervienen en el funcionamiento del dispositivo. En los sistemas y métodos conocidos se utilizan sistemas y estructuras de datos comparativamente complejos, por ejemplo, con la evaluación de datos tridimensionales, para intervenir y/o la significatividad de las evaluaciones correspondientes del entorno no son suficientes para intervenir en el funcionamiento del dispositivo, por ejemplo, para una decisión de frenado.
El documento Keller, Chritoph G et al.: "¿Wllthe pedestrian cross?A Study on Pedestrian Path Predidion” (IEEE TRANS ON INTELLIGENT TRANSPORTATION SYSTEMS, Vol. 15, No. 2, abril del 2014, páginas 494-506, XP011544920, ISSN: 1524-9050, DOI: 10.1 109/TITS.2013.2280766) revela una predicción de peatones y de su trayectoria en tiempo real para la asistencia de conducción de un vehículo.
El documento Junfeng, Ge et al.: "Real-Time Pedestrian Detection and Tracking at Nighttime for Driver-Assistance Systems" (IEEE TRANS ON INTELLIGENT TRANSPORTATION SYSTEMS, Bd. 10, Nr. 2, Juni 2009, Seiten 283-298, XP011347179, ISSN: 1524-9050, DOI: 10.1109/TITS.2009.2018961) revela detección y seguimiento de peatones en tiempo real para sistemas de asistencia a la conducción.
Divulgación de la invención
El método de asistencia operativa según la invención con las características de la reivindicación 1 tiene la ventaja de que se puede crear con medios comparativamente sencillos una previsión de colisión especialmente fiable para el funcionamiento de un dispositivo de trabajo. Esto se consigue según la invención con las características de la reivindicación 1 porque se crea un método de asistencia operativa para un dispositivo de trabajo y en particular para un vehículo en el que
(51) se obtienen cuadros de objetos para un objeto en un campo de visión del dispositivo de trabajo en momentos sucesivos o se obtienen datos que caracterizan dichos cuadros de objetos,
(52) un cambio de escala instantáneo o un cambio de escala de un cuadro de objeto para el objeto respectivo y un cambio de posición lateral instantáneo del cuadro de objeto para el objeto respectivo se determinan a partir de cuadros de objeto de un objeto dado a imágenes tomadas consecutiva o directamente una detrás de otra,
(53) un cuadro de objeto predicho en el futuro se determina a partir del cambio de escala actual, el cambio de escala o las variables derivadas del mismo y el cambio de posición lateral actual de un cuadro de objeto a un objeto respectivo y
(54) se determinan y evalúan la posición del cuadro de objeto predicho y/o la relación entre una extensión lateral del cuadro de objeto predicho y una extensión lateral de un campo de visión capturado y/o los fotogramas y
(55) dependiendo del resultado de la evaluación (i) se determina si un objeto en el que se basa el cuadro de objetos previstos es crítico con respecto a una posible colisión o no, y/o (ii) un estado operativo del sistema de trabajo dispositivo está controlado o regulado.
Por lo tanto, según la invención está previsto que la evaluación del entorno del dispositivo de trabajo se base en los denominados cuadros de objetos y los correspondientes cuadros de objetos predichas y su evolución de tamaño en relación con un campo de visión registrado. Básicamente, estos datos se pueden registrar y utilizar en dos dimensiones con alta precisión.
Las reivindicaciones subordinadas muestran perfeccionamientos preferidos de la invención.
En principio, los datos asociados a los cuadros de objetos se pueden proporcionar externamente, por ejemplo, mediante unidades de detección óptica de sistemas de asistencia a la conducción convencionales.
Sin embargo, en una realización preferida del método de asistencia operativa según la invención, está previsto en el paso (S1) o para el paso (S1) obtener los cuadros de objetos y/o los datos que caracterizan los cuadros de objetos (S1a) se captura ópticamente un campo de visión del dispositivo de trabajo subyacente de forma bidimensional y/o monocular mediante la grabación de imágenes temporalmente sucesivas y
(S1b) al menos un objeto y una casilla de objeto asignada al objeto se determinan en imágenes grabadas sucesivas o secciones de estas.
Como ya se mencionó anteriormente, un aspecto importante de la presente invención es la predicción de un cuadro de objeto detectado a un objeto en el campo de visión en el futuro. Esta previsión se puede realizar de varias formas.
Según la invención, un cuadro de objetos previsto en el futuro se determina al menos hasta la última imagen capturada actualmente o hasta una sección de esta.
Esto se hace en una pluralidad de incrementos de tiempo determinando hasta un período de pronóstico y actualizado de forma iterativa valores para el escalado o para los tamaños derivados de la misma de un cuadro de objeto respectivo, para las coordenadas de un cuadro de objeto respectivo, para la traslación de un cuadro de objeto respectivo y/o para el ancho lateral de un cuadro de objeto respectivo.
El período de previsión y/o los incrementos de tiempo pueden ser predeterminados y fijos. Sin embargo, también es posible hacer que el periodo de pronóstico y/o los incrementos de tiempo dependan de otros parámetros operativos, por ejemplo, de una velocidad del aire y/o de una posición del dispositivo y en particular del propio vehículo o también de una predicción previa de acelerar y/o posicionar uno o más objetos en el entorno del dispositivo, en particular el vehículo. De este modo se puede realizar ventajosamente una vigilancia más precisa en el tiempo, si esto es necesario debido al número de objetos en el entorno y/o debido a una velocidad inherente comparativamente alta del dispositivo y/o de los objetos. Por el contrario, el esfuerzo de vigilancia puede reducirse en situaciones de tráfico relativamente bajo o similares.
En este contexto, según otra configuración del procedimiento de asistencia operativa según la invención, para cada incremento de tiempo se pueden realizar los siguientes pasos, en particular en el orden indicado:
(I1) Restablecer o preestablecer los valores a calcular de acuerdo con la normativa de asignación
Escalado<viejo>:— Escalado<nuevo>
BoxTranslationXviejo:=BoxTranslationXnuevo
AnchodeBoX<viejo>:— AnchodeBox<nuevo>
BoxPositionIzquierda<v>:— BoxPositionlzquierda<n>
BoxPositionDerechave:—BoxPositionDerechonu
(I2) Actualizar el escalado según la siguiente regla de asignación
Escalado<nuevo>:— 1 / (2-Escalado<viejo>)
(I3) Actualizar la traducción delObjektboxtranslationhorizontal de acuerdo con la siguiente regla de asignación
BoxTranslationXnuevo:—BoxTranslationXviejox Escalado<viejo>
(I4) Actualizar el ancho delObjectboxhorizontal de acuerdo con la siguiente regla de asignación
AnchodeBox<nuevo>:— BoxPositionDerecha<viejo>- BoxPositionlzquierda<viejo>
(I5) Predecir las posiciones de los cuadros horizontales de acuerdo con las siguientes reglas de asignación
BoxPositionlzquierda<nuevo>:— BoxPositionlzquierda<viejo>+BoxTranslationXnuevo- 0.5 x AnchodeBox<nuevo>x (Escalado<nuevo>-1 ) / Escalado<nuevo>
BoxPositionDerechonuevo:— BoxPositionDerecha<viejo>+BoxTranslationXnuevo- 0,5 x AnchodeBox<nuevo>x (Escalado<uevo>-1) / Escalado<nuevo>,
donde Escalado<viejo>, Escalado<nuevo>son el escalado viejo o nuevo de un cuadro de objeto, BoxTranslationX<viejo>,BoxTranslationXnuevo,el desplazamiento viejo y nuevo respectivamente de un cuadro objeto, AnchodeBox<viejo>, AnchodeBox<nuevo>el viejo o el nuevo ancho de un cuadro de objeto, BoxPositionlzquierda<viejo>, BoxPositionlzquierda<nuevo>la posición vieja o nueva de la esquina inferior izquierda de un cuadro de objeto como primera coordenada x del respectivo cuadro de objeto así como BoxPositionDerecha<viejo>, BoxPositionDerecha<nuevo>la posición vieja o nueva de la esquina inferior derecha de un cuadro de objeto como segunda coordenada x del respectivo cuadro de objeto o de sus valores.
Alternativa o adicionalmente, las ecuaciones anteriores pueden reemplazarse o complementarse con las siguientes reglas de cálculo
SoxPos/f/onIzquierda<nuevo :=>(BoxPos/t/onIzquierda<actual>+ VelocidadBoxIzquierda<actual>* T<predicción>) / (1 VelocidadNormalizada<actual>* T<Predicción>
y
BoxPos/t/onDerechanuevo<:=>(BoxPos/t/onDerecha<actual>+ VelocidadBoxDerecha<actual>* T<Predicción>) / (1 VelocidadNormalizada<actual>* T<Predicción>
donde BoxPositionIzquierda<nueva>y BoxPositionIzquierda<actual>o BoxPositionDerecha<nueva>y BoxPositionDerecha<actua/>es la posición nueva o la posición actual del borde izquierdo o derecho del cuadro respectivamente y VelocidadBoxIzquierda<actual>y VelocidadBoxSpeed<actual>es la velocidad angular medida actualmente del borde izquierdo o derecho del cuadro y VelocidadNormalizada<actual>es la llamada velocidad de caja normalizada medida actualmente y T<Predicción>es el tiempo de predicción asociado con el paso de tiempo de predicción. La VelocidadNormalizada<actual>se deriva del cambio de escala calculado del cuadro de objetos.
Según la invención está previsto que un objeto en el que se basa un cuadro de objeto predicho se determine como crítico con respecto a una posible colisión, en particular con un valor de criticidad del 100% si la proporción del ancho del cuadro predicho al objeto es el ancho de una imagen subyacente o una sección predeterminada de la misma excede un primer valor umbral predeterminado. El umbral deberá aplicarse a cada modelo de vehículo y/o a cada umbral nuevo.
En este caso es especialmente ventajoso que el valor de una criticidad determinada para un objeto se reduzca en la medida en que el cuadro de objeto previsto para el objeto se sitúa en su ancho fuera de la imagen subyacente o de su sección predeterminada.
Alternativa o adicionalmente está previsto ventajosamente que un objeto en el que se basa un cuadro de objetos predichos se determine como no crítico con respecto a una posible colisión, en particular con un valor de criticidad del 0% si el cuadro de objeto predicho está completamente fuera de la imagen disponible o de la sección especificada.
Para tener en cuenta en el futuro un escenario lo más realista posible en la previsión de los cuadros de objetos, según otra configuración ventajosa del procedimiento de asistencia operativa según la invención está previsto determinar como objeto a un peatón y determinar el examinar y evaluar la posición y el movimiento del peatón como objeto basándose en un modelo de peatón, determinar la capacidad de aceleración del peatón como objeto basándose en una velocidad determinada para el peatón y determinar la criticidad para el peatón como objeto en función de la velocidad y la capacidad de aceleración.
Es especialmente ventajoso que, basándose en la capacidad de aceleración, se genere un cuadro de objeto predicho ampliado, que envuelva el cuadro de objeto predicho o al menos lo rodee lateral u horizontalmente y se utilice como base para evaluar la criticidad.
Según otro aspecto de la presente invención también se crea una unidad de control para un sistema de asistencia al funcionamiento de un dispositivo de trabajo y, en particular, de un vehículo.
La unidad de control según la invención está configurada para controlar un método de asistencia operativa según la invención, para ejecutarlo y/o para operar un sistema de asistencia operativa subyacente según un método de asistencia operativa según la invención.
Además, la presente invención también tiene por objeto un sistema de asistencia operativa para un dispositivo de trabajo y, en particular, para un vehículo como tal. El sistema de asistencia operativa está configurado para llevar a cabo un método de asistencia operativa según la invención. Para ello, el sistema de asistencia operativa presenta especialmente una unidad de control configurada según la invención.
Además, la presente invención también crea un dispositivo de trabajo que tiene un sistema de asistencia operativa según la invención.
El dispositivo de trabajo está diseñado en particular como vehículo, automóvil o vehículo de pasajeros. Según otro aspecto de la presente invención, el uso del método de asistencia operativa según la invención, la unidad de control según la invención, el sistema de asistencia operativa según la invención y/o los dispositivos de trabajo según la invención para protección de peatones, para protección de ciclistas, para ACC y/o para sistemas o métodos de evasión sugeridos.
Descripción breve de las figuras
Con ayuda de las figuras adjuntas se describen en detalle realizaciones de la invención.
La figura 1 muestra una vista superior esquemática de un dispositivo de trabajo según la invención a modo de vehículo en el que se puede utilizar una realización del método de asistencia operativa según la invención.
Las figuras 2 a 4 muestran vistas laterales esquemáticas de diferentes escenas en un campo de visión, que se pueden evaluar utilizando el método de asistencia operativa según la invención.
Las figuras 5 y 6 muestran diagramas de flujo de una realización del método de asistencia operativa según la invención o la determinación iterativa de un cuadro de objeto previsto.
Realizaciones preferidas de la invención
A continuación, con referencia a las Figuras 1 a 6, se describen en detalle realizaciones ejemplares de la invención y los antecedentes técnicos. Los elementos y componentes iguales y equivalentes que tengan el mismo o equivalente efecto se designan con los mismos números de referencia. La descripción detallada de los elementos y componentes designados no se proporciona en todos los casos en los que aparecen.
Las características y otras propiedades mostradas pueden aislarse entre sí de cualquier forma y combinarse entre sí de cualquier manera sin apartarse del núcleo de la invención.
La figura 1 muestra una vista esquemática superior de un dispositivo de trabajo 1 según la invención a modo de vehículo 1', en el que se puede utilizar una realización del método de asistencia operativa S según la invención. El vehículo 1' según la invención está formado esencialmente por una carrocería 2, en la que están montadas ruedas 4, que pueden ser accionadas a través de una unidad de accionamiento 20 mediante un tren de accionamiento 12, así como a través de una unidad de dirección y de frenado 30 y mediante un tren de freno y/o dirección 13 correspondiente se puede frenar y/o dirigir.
Además, una realización del sistema de asistencia operativa 100 según la invención forma parte del vehículo 1' según la invención como dispositivo de trabajo 1 en el sentido de la presente invención. El sistema de asistencia operativa 100 se compone de una unidad de cámara 40 para la visualización monocular de un campo de visión 50 desde el entorno del vehículo 1'. El campo de visión 50 contiene una escena 53 con un peatón 52' como objeto 52.
La unidad de control 10 está conectada a través de una línea de control y detección 11, por un lado, con la unidad de cámara 40 y, por otro lado, con la unidad de accionamiento 20 y la unidad de frenado y/o de dirección 30 para fines de control.
Como se muestra en la figura 1, las imágenes 51 de la escena 53 captadas por la unidad de cámara 40 se transmiten desde el campo visual 50 a la unidad de control 10 a través de la línea de control y detección 11 y allí se evalúan en combinación con el procedimiento de asistencia operativa S según la invención.
Según la invención, en relación con el peatón 52' como objeto 52, en cada imagen o marco 51 se configura un cuadro de objetos 54 y desde cuadros de objetos hasta imágenes 51 directamente sucesivas se deducen parámetros para cambios de posición y cambios de escala, para velocidades angulares del cuadro, se determinan los bordes y/o tamaños derivados de los mismos, se determinan los cuadros de objeto 54 y un pronóstico para especificar un cuadro predicho 55 para el objeto 52 con base en un método interactivo I.
Las figuras 2 a 4 muestran vistas laterales esquemáticas de varias escenas 53 en un campo de visión 50, que se puede evaluar utilizando el método de asistencia operativa S según la invención.
En la situación mostrada en la Figura 2, en la escena 53 hay un peatón 52' como objeto 52 en el campo de visión 50, que se reproduce en una imagen o cuadro 51 con la unidad de cámara 40 mostrada en la figura 1. Si es necesario, la imagen o marco 51 está limitada por una sección o parte correspondiente 51'.
En primer lugar, se deriva un cuadro de objetos 54 para el peatón 52'. En comparación con un cuadro de objetos 54 de una imagen o fotograma 51 anterior, se determinan entonces un cambio de escala y la cantidad de desplazamiento 0 traslación del cuerpo de objetos 54, posiciones angulares, velocidades angulares de los bordes de la caja y/o variables derivadas de las mismas. A partir de estas variables, se puede hacer entonces un pronóstico en el método iterativo descrito anteriormente con los pasos I1 a I5 a lo largo de un número de incrementos de tiempo con respecto a un cuadro de objeto de pronóstico esperado 55 para un período de pronóstico transcurrido. De esta manera, el cuadro de objeto dado 54 se puede extrapolar en términos de posición con las esquinas inferiores derecha e izquierda y el ancho 55b en un cuadro de objeto previsto 55 para un período de pronóstico en el futuro.
Para la evaluación, se compara entonces el ancho 55b del cuadro de objeto 55 previsto alrededor del período de previsión en el futuro con el ancho 51b de la sección 51' de la imagen 51. Si su relación excede un primer valor umbral predeterminado, el objeto 52 se considera crítico con una criticidad del 100%.
Este valor de criticidad ya puede utilizarse según la invención para enviar un aviso al usuario del dispositivo de trabajo 1 y en particular al conductor del vehículo 1' o para intervenir directamente en el funcionamiento del dispositivo de trabajo 1. Sin embargo, también es concebible, si el objeto 52 es un peatón 52', incorporar otros aspectos del objeto 52 de manera realista, por ejemplo, un comportamiento de aceleración previsto o similar.
Para ello se pueden derivar una velocidad actual del peatón 52' como objeto 52 y su tamaño y servir como parámetros de entrada de un modelo de peatón. Luego, el modelo de peatones genera los valores correspondientes para una aceleración esperada o para un comportamiento de aceleración esperado. Estos valores se pueden usar para construir, según las figuras 3 y 4, un cuadro de objetos 56 integral o envolvente cuyas secciones derecha e izquierda 56r y 56I, que se extienden más allá de la caja de objetos 55 originalmente predicha, áreas de incertidumbre con respecto a valores positivos. o comportamiento de aceleración negativo del peatón 52' representado como objeto 52.
Las figuras 5 y 6 muestran diagramas de flujo de una realización del método de asistencia operativa S según la invención o de la determinación iterativa I de una caja de objeto previsto 55, como ya se ha comentado anteriormente en relación con la presentación general de la presente invención.
En este contexto, también hay que mencionar que el método iterativo I constituye esencialmente el paso S3 de la realización del método de asistencia operativa S según la invención, comprobando el paso I6 si el período de pronóstico ya se ha alcanzado antes de la expiración del tiempo. incrementos y/o si está presente otra condición de terminación para la iteración.
Una condición de terminación alternativa o adicional puede verse, por ejemplo, en relación con la superación de un segundo umbral por el ancho de la caja de objeto predicho 55 en comparación con el ancho de la imagen 51 o la sección 51', siendo el segundo umbral mayor que el primer umbral.
Estas y otras características y propiedades de la presente invención se explican con más detalle mediante las siguientes declaraciones:
La presente invención describe medidas sobre cómo se pueden determinar las medidas de criticidad para un sistema de advertencia de colisión, por ejemplo, como parte de un sistema de asistencia operativa de un dispositivo de trabajo y en particular de un vehículo, basándose únicamente en datos de medición de un sistema de vídeo monocular.
Los indicadores de colisión comúnmente utilizados para esto son"Time-To-Collision"(TTC) y"Time-To-Break'(TBB). Estos proporcionan información sobre cuándo ocurrirá una colisión o cuándo se debe iniciar el frenado para evitar una colisión. Los parámetros TTB y TTC se pueden calcular de forma fiable basándose en los datos de una cámara de vídeo mono y principalmente a partir de los cambios de escala de los cuadros de objetos, sin necesidad de determinar distancias, velocidades y aceleraciones relativas.
Otro indicador de colisión es el valor de"Constant Bearing"(CB), que proviene originalmente del campo naviero y es un indicador de si está en curso de colisión con un objeto 52 con movimiento propio constante y con movimiento constante del objeto. El CB también se puede calcular basándose únicamente en datos de vídeo mono, es decir, en una base de datos bidimensional.
El estado del arte para los cálculos de criticidad es el uso de un sistema de coordenadas mundial basado en 3D.
La base de este enfoque es el uso de datos tridimensionales o datos 3D, por ejemplo, en el sentido de distancias, velocidades relativas y aceleraciones relativas, que sólo pueden determinarse con una cámara mono o una cámara monocular con calidad limitada y mediante estimación.
El concepto CB es difícil de entender, difícil de parametrizar, no permite predecir el futuro y no permite el uso de modelos de movimiento de peatones.
Los conceptos TTC/TTB por sí solos no son suficientes para tomar una decisión de frenado, ya que sólo se tiene en cuenta el aspecto temporal, pero no si un objeto se encuentra en curso de colisión. Los conceptos TTC y TTB, por ejemplo, no permiten afirmar si se está pasando por delante de un objeto.
El nuevo e inventivo enfoque bidimensional o basado en 2D para el cálculo de la criticidad se basa pura o esencialmente en datos o señales medidos en dos dimensiones o 2D y en particular en la determinación de las llamadas coordenadas de cuadro para cuadros de objetos, así como los parámetros. del cambio de escala, la traslación del cuadro, las posiciones angulares y/o las velocidades angulares, que describen un cambio de escala o tamaño o un movimiento o desplazamiento de un cuadro de objeto respectivo en una imagen o marco o en la sección respectiva de la imagen o marco y que, junto con las coordenadas del cuadro, existen o pueden determinarse con alta calidad de señal.
El enfoque según la invención también incluye una previsión, un pronóstico o una predicción para el futuro con respecto a la posición de un cuadro de objetos 54 respectiva y su tamaño/ancho o cambio de tamaño/cambio de ancho y, por lo tanto, según la invención permite el uso de modelos de movimiento de peatones.
Por lo tanto, se pueden utilizar modelos de movimiento de peatones para predecir el área de ubicación de un peatón 52'. Se utilizan modelos sobre la capacidad de aceleración de un peatón 52' en diversos estados de movimiento, por ejemplo, de pie, caminando, marchando, corriendo para hacer una declaración sobre dónde podría estar el peatón 52' en el futuro. El valor de la criticidad se calcula a partir de la superposición del área de ubicación propia prevista o pronosticada y el área de ubicación posible prevista o pronosticada 56 del peatón 52'.
El enfoque según la invención es más fácil de entender y parametrizar que el concepto CB puro y una evaluación experimental muestra que el enfoque según la invención ofrece mejores resultados que los que son posibles con implementaciones CB y métodos convencionales con base en 3D basados en datos de estimaciones 3D con una cámara mono.
Se puede realizar, y generalmente se realiza, una predicción para cada imagen o fotograma capturado. Se establece un período de tiempo objetivo, por ejemplo 2 segundos, para cada imagen o fotograma grabado. Por lo tanto, la predicción se realiza para el período objetivo en el futuro. El período de tiempo objetivo se divide en una pluralidad de, por ejemplo, incrementos de tiempo iguales. Sin embargo, el período de tiempo objetivo y/o los incrementos de tiempo también pueden diseñarse de manera variable y dependiente, seleccionados y determinados por otros parámetros operativos.
Se llevan a cabo los siguientes procesos para cada imagen 51 o fotograma grabado:
- Detectar las coordenadas del cuadro lateral de un cuadro de objeto respectiva 54 de un objeto dado 52 en el campo de visión 50.
- Detectar el cambio de escala del cuadro de objetos 54 de un objeto 52 con respecto a una o más imágenes o fotogramas anteriores.
- Detectar el movimiento del cuadro, el desplazamiento del cuadro o la traslación del cuadro (unidad de píxeles), las posiciones angulares y/o las velocidades angulares de los bordes del cuadro de un cuadro de objetos 54 de un objeto dado 52 en el campo de visión 50 en la dirección lateral con relación a la imagen o fotograma anterior o una parte o sección de este.
- Para la predicción o pronóstico concreto se utiliza el procedimiento ya descrito anteriormente con los métodos S e I se utiliza como período de pronóstico para n incrementos de tiempo hasta el período objetivo.
- En cada uno de los n ciclos - es decir, para cada incremento de tiempo hasta el período de tiempo objetivo predeterminado alcanzado - el ancho del cuadro prevista se compara con el ancho de la imagen de la cámara 51 o con el ancho de una parte o sección predeterminada o anticipada 51' de eso.
- La relación entre el ancho del cuadro en la imagen y el ancho de la imagen o el ancho de la sección se puede utilizar como base para determinar una medida de criticidad. Tan pronto como el ancho del cuadro 55b ocupa un determinado ancho 51b de la imagen 51 o de la sección 51' y por tanto supera un valor umbral - por ejemplo, el 35% - se supone y se ajusta una criticidad del 100%.
- Por otra parte, si la casilla predicha o anticipada 55 se encuentra, por ejemplo, parcial o completamente fuera de la imagen 51 o de la sección 51', la situación no es crítica, el valor de la criticidad se fija en 0%.
- Dependiendo de la posición y/o velocidad del peatón 52', un modelo de peatón puede determinar la capacidad de aceleración. Una segunda caja de objetos 56 más ancha se puede extender a un peatón 52' como un objeto 52 con el área de ubicación lateral posible del peatón 52' dentro de la imagen 51 o la sección 51' de la imagen 51, teniendo en cuenta su capacidad de acelerar.
- Para determinar la velocidad del peatón 52' como objeto 52 y convertir la capacidad de aceleración en píxeles o coordenadas angulares, se pueden hacer suposiciones sobre el tamaño del peatón 52' como objeto 52. Por ejemplo, se puede utilizar como base una altura normal de 1,75 m.
- El valor de criticidad previamente calculado también puede reducirse o minimizarse mediante la proporción del último cuadro 55 previsto o anticipado, que se encuentra fuera de la imagen 51 o fotograma y la sección 51' respectiva o parte de esta. Por ejemplo, si el 50% del ancho del cuadro 55b -es decir, si los cuadros de objetos 55 representan la posible zona de estancia teniendo en cuenta el modelo de peatón- se encuentra fuera de la imagen 51 o fotogramas con referencia a la pieza o sección dada 51', la criticidad se reduce en consecuencia. Cuanto más futura sea la predicción, más se reduce la criticidad porque hay potencialmente un área mayor fuera de la imagen 51 o de la sección 51'. Este comportamiento puede ser deseable porque al aumentar la predicción temporal hacia el futuro, crece la incertidumbre sobre el comportamiento del peatón 52'.
- Si el cuadro de objeto previsto 55 de un peatón como objeto 52 alcanza un tamaño crítico - por ejemplo, un valor umbral del 35% del ancho del marco o de la imagen - la predicción se cancela en este ciclo de la iteración I, ya que ya se habría producido una posible colisión ya habría ocurrido en este momento.
Claims (11)
1. Método de asistencia operativa (S) para un dispositivo en funcionamiento (1), en el que
(51) cuadros de objetos (54) en relación con un objeto (52) en un campo de visión del dispositivo de trabajo (1) en momentos sucesivos o se obtienen datos que caracterizan dichos cuadros de objetos (54),
(52) a partir de cuadros de objetos (54) de un objeto determinado (52) para imágenes grabadas en sucesión o en sucesión directa, un cambio instantáneo de escala o tamaños, derivado del, de un cuadro de objetos (54) en relación con el objeto respectivo (52) y se determina un cambio de posición lateral instantáneo del cuadro de objeto en la imagen (54) en relación con el objeto (52) respectivo,
(53) a partir del cambio de escala instantáneo o tamaños derivados del mismo y el cambio de posición lateral instantáneo en la imagen para un caja de objeto (54) en relación con un objeto respectivo (52), se determina un caja de objeto (55) predicho en el futuro, en donde un caja de objeto (55) predicho en el futuro se determina al menos para un último imagen capturada determinando y actualizando iterativamente, a lo largo de una pluralidad de incrementos de tiempo hasta un lapso de tiempo de predicción, valores para la escala de un caja de objeto respectivo (54), para las coordenadas de un caja de objeto respectivo (54), para la traducción de un cuadro de objetos respectiva (54) y para el ancho lateral de un cuadro de objetos respectiva (54),
(54) la posición del cuadro de objeto predicha (55) y/o la relación de una extensión lateral del cuadro de objeto predicha (55) se determina y evalúa una extensión lateral de un campo de visión capturado (50) y/o las imágenes grabadas o una sección de estas, y
(S5) dependiendo del resultado de la evaluación, (i) se determina si un objeto (52) en el que se basa el cuadro de objetos previstos (55) es o no crítico con respecto a una posible colisión, y (ii) se controla o regula un estado de funcionamiento del dispositivo de trabajo (1),
en el que un objeto (52) en el que se basa un cuadro de objetos predichos (55) se determina como crítico con respecto a una posible colisión, en particular con una criticidad con un valor del 100%, si la proporción del ancho del predicho del cuadro de objeto (55) en relación con el ancho de la imagen subyacente o de la sección especificada de la misma excede un primer valor umbral predeterminado.
2. Método de asistencia operativa (S) según la reivindicación 1, en el que en o para el paso (S1) de obtención de los cuadros de objetos (54) y/o los datos que caracterizan los cuadros de objetos (54).
(S1a) un campo de visión (50) del dispositivo de trabajo subyacente (1) mientras se registra en el tiempo las imágenes sucesivas que se capturan ópticamente en dos dimensiones y/o monocularmente y
(S1b) al menos un objeto (52) y un cuadro de objetos (54) asignada al objeto (52) se determinan en imágenes grabadas sucesivas.
3. Método de asistencia operativa (S) según la reivindicación 3, en el que para cada incremento de tiempo se llevan a cabo los siguientes pasos, en particular en el orden especificado:
(11) Restablecer o preestablecer los valores a calcular de acuerdo con la normativa de asignación
Escalado<viejo>:_ Escalado<nuevo>
BoxTranslationXv iep:=BoxTranslationXnuevo
AnchodeBoX<viejo>:= AnchodeBoX<nuevo>
BoxPositionIzquierda<viejo>:= BoxPositionIzquierda<nuevo>
BoxPositionDerecha<viejo>:= BoxPositionDerecho<nuevo>,
(12) Actualizar el escalado según la siguiente regla de asignación
Escalado<nuevo>:= 1 / (2-Escalado<viejo>)
(13) Actualizar la traducción delObjektboxtranslationhorizontal de acuerdo con la siguiente regla de asignaciónBoxTranslationXnuevo:=BoxTranslationXv jx Escalado<viejo>
(14) Actualizar el ancho delObjectboxhorizontal de acuerdo con la siguiente regla de asignación AnchodeBox<nuevo>:= BoxPositionDerecha<viejo>- BoxPositionIzquierda<viejo>
(I5) Predecir las posiciones de los cuadros horizontales de acuerdo con las siguientes reglas de asignación
BoxPos/t/onIzquierda<nuevo>:= BoxPos/t/onIzquierda<viejo>+BoxTranslationXnuevo- 0.5 x AnchodeBoX<nuevo>x (Escalado<nuevo>-1 ) / Escalado<nuevo>
BoxPos/t/onDerecho<nuevo>:= BoxPos/t/onDerecha<viejo>+BoxTranslationXnuevo- 0,5 x AnchodeBox<nuevo>x (Escalado<uevo>-1) / Escalado<nuevo>,
donde Escalado<viejo>, Escalado<nuevo>son el escalado viejo o nuevo de un cuadro de objeto (54), BoxTranslationX<viejo>,BoxTranslationXnuevo,el desplazamiento viejo y nuevo respectivamente de un cuadro objeto (54), AnchodeBox<viejo>, AnchodeBox<nuevo>el viejo o el nuevo ancho de un cuadro de objeto (54), BoxPos/t/onIzquierda<viejo>, BoxPos/t/onIzquierda<nuevo>la posición vieja o nueva de la esquina inferior izquierda de un cuadro de objeto (54) como primera coordenada x de la respectiva caja de objeto (54) así como BoxPos/t/onDerecha<viejo>, BoxPos/t/onDerecha<nuevo>la posición vieja o nueva de la esquina inferior derecha de un cuadro de objeto (54) como segunda coordenada x de la respectiva caja de objeto (54) o sus valores.
4. Método de asistencia operativa (S) según una de las reivindicaciones anteriores, en el que para determinar una nueva posición de caja se realiza la siguiente regla de cálculo:
BoxPos/t/onIzquierda<nuevo :=>(BoxPos/t/onIzquierda<actual>+ VelocidadBoxIzquierda<actual>* T<Predicción>) / (1 VelocidadNormalizada<actual>* T<Predicción>
BoxPos/t/onDerecha<nuevo :=>(BoxPos/t/onDerecha<actual>+ VelocidadBoxDerecha<actual>* T<Predicción>) / (1 VelocidadNormalizada<actual>* T<Predicción>
donde BoxPositionIzquierda<nueva>y BoxPositionIzquierda<actual>o BoxPositionDerecha<nueva>y BoxPositionDerecha<actuai>es la posición nueva o la posición actual del borde izquierdo o derecho del cuadro respectivamente y VelocidadBoxIzquierda<actual>y VelocidadBoxSpeed<actual>es la velocidad angular medida actualmente del borde izquierdo o derecho del cuadro y VelocidadNormalizada<actual>es la llamada velocidad de caja normalizada medida actualmente y T<Predicción>es el tiempo de predicción asociado con el paso de tiempo de predicción, por lo que VelocidadNormalizada<actual>se deriva del cambio de escala calculado del cuadro de objetos.
5. Método de asistencia operativa (S) según una de las reivindicaciones anteriores, en el que el valor de una criticidad determinada para un objeto (52) se reduce en la proporción con la que el ancho del cuadro de objetos (55) prevista para el objeto (52) se encuentra fuera de la imagen base o se encuentra la sección especificada.
6. Método de asistencia operativa (S) según una de las reivindicaciones anteriores, en el que un objeto (52), en el que se basa un cuadro de objetos previstos (55), se determina que no es crítico con respecto a una posible colisión, en particular con una criticidad con un valor del 0%, si el cuadro de objeto previsto (55) se encuentra completamente fuera de una imagen subyacente o de una sección predeterminada de la misma.
7. Procedimiento de asistencia operativa (S) según una de las reivindicaciones anteriores, en el que como objeto (52) se determina un peatón (52'), la posición y el movimiento del peatón (52') como objeto (52) se examinan y evalúan sobre la base de un modelo de peatón, se determina la capacidad de aceleración del peatón (52') como objeto (52) basándose en una velocidad determinada para el peatón (52') y la criticidad para el peatón (52') cuando se determina un objeto (52) en base a la velocidad y se determina la capacidad de aceleración, generándose un cuadro de objeto (56) que envuelve el cuadro de objeto prevista (55) o que la rodea al menos lateral u horizontalmente, en particular en la base de la capacidad de aceleración, y se utiliza como base para evaluar la criticidad.
8. Unidad de control (10) para un sistema de asistencia operativa (100) de un dispositivo de trabajo (1) y en particular de un vehículo, que está configurada para controlar, ejecutar y/o basar un método de asistencia operativa (S) según una de las reivindicaciones anteriores para operar un sistema de asistencia operativa (100) según un método de asistencia operativa (S) según una de las reivindicaciones anteriores.
9. Sistema de asistencia operativa (100) para un dispositivo de trabajo (1) y en particular para un vehículo, que está configurado para llevar a cabo un método de asistencia operativa (S) según una de las reivindicaciones anteriores y que tiene una unidad de control (10) según la reivindicación 8 para este fin.
10. Dispositivo de trabajo (1), que presenta un sistema de asistencia al funcionamiento (100) según la reivindicación 9 y que está diseñado en particular como vehículo, automóvil o vehículo de pasajeros.
11. Uso del método de asistencia operativa (S) según una de las reivindicaciones 1 a 7, la unidad de control (10) según la reivindicación 8, el sistema de asistencia operativa (100) según la reivindicación 9 y/o los dispositivos de funcionamiento (1) según la reivindicación 10 para protección de peatones, protección de ciclistas, para ACC y/o sistemas o procedimientos de evasión.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018208278.2A DE102018208278A1 (de) | 2018-05-25 | 2018-05-25 | Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung |
| PCT/EP2019/059280 WO2019223933A1 (de) | 2018-05-25 | 2019-04-11 | Betriebsassistenzverfahren, steuereinheit, betriebsassistenzsystem und arbeitsvorrichtung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2989125T3 true ES2989125T3 (es) | 2024-11-25 |
Family
ID=66182567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES19717859T Active ES2989125T3 (es) | 2018-05-25 | 2019-04-11 | Método de asistencia operativa, unidad de control, sistema de asistencia operativa y dispositivo de trabajo |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11403854B2 (es) |
| EP (1) | EP3803679B1 (es) |
| JP (1) | JP7244546B2 (es) |
| CN (1) | CN112166434B (es) |
| DE (1) | DE102018208278A1 (es) |
| ES (1) | ES2989125T3 (es) |
| WO (1) | WO2019223933A1 (es) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG11202104136YA (en) | 2018-10-23 | 2021-05-28 | Dragonfly Therapeutics Inc | Heterodimeric fc-fused proteins |
| US10885775B2 (en) * | 2019-06-06 | 2021-01-05 | Verizon Patent And Licensing Inc. | Monitoring a scene to analyze an event using a plurality of image streams |
| JP7308089B2 (ja) * | 2019-07-18 | 2023-07-13 | 株式会社小松製作所 | 作業車両の表示システムおよび作業車両の表示方法 |
| KR20220094416A (ko) * | 2020-12-29 | 2022-07-06 | (주)에이아이매틱스 | 근미래 객체 위치 예측 시스템 |
| KR102828342B1 (ko) * | 2023-02-03 | 2025-07-04 | 한국도로공사 | 교통사고 위험 구간 선정 시스템 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4267171B2 (ja) | 1999-05-10 | 2009-05-27 | 本田技研工業株式会社 | 歩行者検知装置 |
| EP1709568A4 (en) * | 2003-12-15 | 2009-07-29 | Sarnoff Corp | METHOD AND APPARATUS FOR TRACKING OBJECTS BEFORE THE IMMINENT DETECTION OF A COLLISION |
| JP4267657B2 (ja) | 2006-10-31 | 2009-05-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2008186170A (ja) | 2007-01-29 | 2008-08-14 | Fujitsu Ten Ltd | 運転支援装置および運転支援方法 |
| JP5421072B2 (ja) | 2008-11-19 | 2014-02-19 | クラリオン株式会社 | 接近物体検知システム |
| US9251708B2 (en) | 2010-12-07 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Forward collision warning trap and pedestrian advanced warning system |
| US8498444B2 (en) * | 2010-12-13 | 2013-07-30 | Texas Instruments Incorporated | Blob representation in video processing |
| JP2013097480A (ja) * | 2011-10-31 | 2013-05-20 | Hitachi Consumer Electronics Co Ltd | 車両用衝突危険予測装置及び車両用衝突危険予測システム |
| EP2589979A1 (en) * | 2011-11-03 | 2013-05-08 | Thales Nederland B.V. | System for characterizing motion of an individual, notably a human individual |
| JP5930806B2 (ja) * | 2012-03-30 | 2016-06-08 | 富士通テン株式会社 | 検知装置、及び検知方法 |
| DE102013018543A1 (de) * | 2013-11-05 | 2015-05-07 | Mekra Lang Gmbh & Co. Kg | Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge |
| WO2015152304A1 (ja) | 2014-03-31 | 2015-10-08 | エイディシーテクノロジー株式会社 | 運転支援装置、及び運転支援システム |
| EP3172589B1 (en) * | 2014-07-25 | 2019-03-27 | Robert Bosch GmbH | Method for mitigating radar sensor limitations with video camera input for active braking for pedestrians |
| JP6520740B2 (ja) | 2016-02-01 | 2019-05-29 | トヨタ自動車株式会社 | 物体検出方法、物体検出装置、およびプログラム |
| CN106156725A (zh) * | 2016-06-16 | 2016-11-23 | 江苏大学 | 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法 |
| US10248872B2 (en) | 2016-10-19 | 2019-04-02 | Texas Instruments Incorporated | Estimation of time to collision in a computer vision system |
| WO2019028761A1 (en) * | 2017-08-10 | 2019-02-14 | Beijing Airlango Technology, Co., Ltd. | TRACKING OBJECT USING DEPTH INFORMATION |
-
2018
- 2018-05-25 DE DE102018208278.2A patent/DE102018208278A1/de active Granted
-
2019
- 2019-04-11 JP JP2020565882A patent/JP7244546B2/ja active Active
- 2019-04-11 EP EP19717859.3A patent/EP3803679B1/de active Active
- 2019-04-11 ES ES19717859T patent/ES2989125T3/es active Active
- 2019-04-11 WO PCT/EP2019/059280 patent/WO2019223933A1/de not_active Ceased
- 2019-04-11 CN CN201980035337.7A patent/CN112166434B/zh active Active
- 2019-04-11 US US16/977,803 patent/US11403854B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3803679B1 (de) | 2024-07-24 |
| US20200401821A1 (en) | 2020-12-24 |
| US11403854B2 (en) | 2022-08-02 |
| CN112166434A (zh) | 2021-01-01 |
| EP3803679A1 (de) | 2021-04-14 |
| WO2019223933A1 (de) | 2019-11-28 |
| DE102018208278A1 (de) | 2019-11-28 |
| JP2021525423A (ja) | 2021-09-24 |
| JP7244546B2 (ja) | 2023-03-22 |
| CN112166434B (zh) | 2025-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2989125T3 (es) | Método de asistencia operativa, unidad de control, sistema de asistencia operativa y dispositivo de trabajo | |
| US12008824B2 (en) | Target positioning method and device, and unmanned aerial vehicle | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| JP6830936B2 (ja) | ダイクロイックミラーを使用する、自律走行車のための３ｄ−ｌｉｄａｒシステム | |
| US10491885B1 (en) | Post-processing by lidar system guided by camera information | |
| JP6317230B2 (ja) | 交差点における画像及び地図に基づく車両の検出法 | |
| EP3637313A1 (en) | Distance estimating method and apparatus | |
| US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
| CN112347829A (zh) | 利用障碍物和车道检测来确定环境中对象的车道分配 | |
| US9633266B2 (en) | Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings | |
| EP3825980B1 (en) | Method for calculating collision time of object and vehicle, calculation device and vehicle | |
| US20180330547A1 (en) | Method of Ground Adjustment for In-Vehicle Augmented Reality Systems | |
| KR102555374B1 (ko) | 전자 장치 및 그 제어 방법 | |
| US11662741B2 (en) | Vehicle visual odometry | |
| JP2021524026A (ja) | 姿勢判断システムおよび方法 | |
| CN111986128A (zh) | 偏心图像融合 | |
| US11521494B2 (en) | Vehicle eccentricity mapping | |
| US9440651B2 (en) | Method and device for monitoring a setpoint trajectory of a vehicle | |
| US10134182B1 (en) | Large scale dense mapping | |
| JP2020204525A (ja) | 障害物検知装置 | |
| JP2022091474A (ja) | 情報処理装置、情報処理方法、プログラムおよび車両制御システム | |
| JP2021047744A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| US20240208488A1 (en) | Information processing device, control method, and recording medium | |
| US11294385B2 (en) | System and method for generating a representation of an environment | |
| JP7353239B2 (ja) | 動き予測装置、及び動き予測プログラム |