ES2762867T3

ES2762867T3 - Procedimiento y aparato para la compensación de distorsiones de imágenes estáticas introducidas por un parabrisas en una cámara ADAS

Info

Publication number: ES2762867T3
Application number: ES16187553T
Authority: ES
Inventors: Aless Lasaruk; Neralla David Franklin
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Aumovio Microelectronic GmbH
Priority date: 2016-09-07
Filing date: 2016-09-07
Publication date: 2020-05-26
Anticipated expiration: 2036-09-07
Also published as: EP3293701B1; EP3293701A1

Abstract

Procedimiento para la calibración de un sistema basado en cámara de un vehículo con una luna de parabrisas, donde el procedimiento comprende las etapas de colocar un blanco de formación de imágenes en forma de un tablero con un patrón conocido en el campo de visión de una cámara del sistema basado en cámara, de modo que la cámara pueda adquirir una imagen de calibración del tablero a través de la luna de parabrisas, adquirir exactamente una imagen de calibración del tablero con la cámara, comparar la imagen de calibración con el patrón conocido, calcular una distorsión de parabrisas que es introducida por la luna de parabrisas, usando un modelo de cámara que comprende parámetros que representan propiedades de distorsión de parabrisas, donde se conocen los parámetros intrínsecos de la cámara, y almacenar la distorsión de parabrisas en el sistema basado en cámara.

Description

DESCRIPCIÓN

Procedimiento y aparato para la compensación de distorsiones de imágenes estáticas introducidas por un parabrisas en una cámara ADAS

Área técnica

La invención se refiere a la calibración de una cámara ADAS. Específicamente, la invención se refiere a un nuevo modelo de cámara y a un procedimiento para la calibración de una cámara situada detrás del parabrisas de un vehículo. El modelo de cámara extiende el modelo de cámara estenopeica generalizada mediante una componente paramétrica no trivial adicional, que explica los efectos del parabrisas visto como parte del sistema óptico de la cámara. El nuevo procedimiento se centra en la compensación de los efectos estáticos de un parabrisas en las imágenes de un sistema de cámara ADAS. Aquí, la palabra "estático" se refiere al hecho de que, una vez calibrados, los parámetros relacionados con parabrisas del modelo de cámara propuesto son válidos para múltiples parabrisas no medidos del mismo tipo. Se presenta un nuevo procedimiento de calibración, que utiliza un patrón de tablero de ajedrez plano para estimar los parámetros relevantes de parabrisas del nuevo modelo. La calibración se puede aplicar en el laboratorio o directamente en el vehículo montando el blanco sobre el capó del motor. La aplicación del modelo en la práctica muestra que mejora significativamente la rectificación de imágenes y el cálculo de disparidad de una cámara estereoscópica. Se puede lograr una ganancia análoga en el rendimiento de las monocámaras.

Antecedentes de la técnica

En la visión por ordenador, un dispositivo de cámara física se modela esencialmente por sus propiedades de proyección geométrica. Dado un punto de un objeto en el espacio, tal proyección explica formalmente donde aparecerá el punto en la imagen. En los sistemas avanzados de asistencia a la conducción (ADAS), las estimaciones precisas de la proyección de la cámara son esenciales para estimar con precisión la distancia a los objetos delante del vehículo. Esto último, a su vez, es crucial para las aplicaciones de seguridad de tráfico basadas en cámaras como, por ejemplo, el frenado automático o el control automático de velocidad.

Para los fines de ADAS en un vehículo, la cámara se monta típicamente detrás del parabrisas en la cubierta del espejo retrovisor. Evidentemente, esto resuelve el problema de bloquear la lente de la cámara por la suciedad o la lluvia. Desafortunadamente, la ubicación particular de la cámara introduce las propiedades ópticas del parabrisas en la geometría de proyección del sistema óptico completo. La influencia del parabrisas puede introducir un comportamiento sustancialmente diferente de las trayectorias ópticas en comparación con el de la lente ordenada coaxialmente dentro de la óptica de la cámara. En consecuencia, el sistema óptico de la cámara junto con el parabrisas puede producir desviaciones de imagen significativas en comparación con la misma cámara sin el parabrisas delante de la misma. La anterior clase de distorsiones ópticas se denominan distorsiones de parabrisas de la imagen de cámara.

El problema de estimación de las propiedades de proyección de un sistema óptico que incluye cualquier tipo de distorsión emergente se denomina calibración de cámara. Típicamente, este último proceso tiene un carácter paramétrico. Es decir, hay una familia de funciones (un modelo de cámara) personalizada por un vector de parámetros, que para cada vector fijo de parámetros describe un dispositivo de cámara física, es decir, cómo los puntos en el espacio se proyectan sobre la imagen mediante esta cámara en particular. El vector anterior se denomina entonces parámetros de cámara.

La aplicación de un modelo de cámara en ADAS generalmente aborda el problema inverso a la proyección. Es decir, dada una ubicación de píxeles en la imagen, el objetivo es estimar el conjunto de puntos en el espacio de los que se generan imágenes con respecto a esta ubicación de píxeles en particular. La calibración de cámara se utiliza entonces como una herramienta para eliminar las influencias no deseadas de la óptica con el fin de describir el sistema óptico mediante un modelo computacionalmente simple. Este modelo simple es una cámara estenopeica que, a su vez, es esencialmente la proyección central. El fin último del modelo de distorsión de parabrisas es deformar el plano del generador de imágenes, o equivalente a la imagen, de modo que después de esta deformación la cámara se comporte como si no hubiera parabrisas entre ella y la escena observada. El proceso anterior de eliminar las deformaciones de imagen no deseadas se denomina rectificación de imagen. En particular, para la generación de imágenes estereoscópicas, la rectificación es una herramienta importante para estimar correlaciones de distancia densas de una escena de manera eficiente. La rectificación estereoscópica modifica las imágenes de un sistema de dos cámaras diferentes para que provengan de un sistema paralelo de dos cámaras estenopeicas ópticamente idénticas. En dicho sistema, los puntos de objeto correspondientes se pueden encontrar en la misma línea de imagen horizontal, lo que simplifica significativamente la búsqueda de puntos correspondientes y, en consecuencia, el cálculo de disparidad. La última función de un modelo de cámara es una medida de calidad central y es un objetivo de la invención.

Ignorar el impacto de la distorsión de parabrisas puede afectar gravemente la estimación de la distancia a los objetos, en particular en distancias cortas, delante del vehículo. En consecuencia, es esencial modelar y estimar las distorsiones de parabrisas junto con otros parámetros del sistema de cámara. Desafortunadamente, algunas propiedades de las distorsiones de cámara no se pueden estimar con precisión observando escenas de tráfico naturales durante la conducción. Por lo tanto, resulta obvia la introducción de un modelo de distorsión que se aplique aproximadamente a una clase particular de parabrisas de vehículos comerciales. Dicho modelo se denomina modelo de parabrisas estático. La invención introduce un nuevo modelo de cámara y un procedimiento para la estimación de parámetros estáticos relevantes de parabrisas para este modelo.

El nuevo modelo de cámara es una extensión del modelo de cámara estenopeica generalizada ampliamente usado. En particular, la proyección central se modifica pasando a ser una proyección paramétrica generalizada, que introduce propiedades de distorsión del parabrisas. La invención introduce un nuevo procedimiento general para obtener dichos modelos de distorsión de forma sistemática. Este procedimiento se puede aplicar para obtener una subclase concreta de modelos de distorsión, que describe parabrisas con curvatura pequeña, es decir, parabrisas que son esencialmente planos. Esta última clase se aplica de forma adecuada a los parabrisas de vehículos comerciales personales.

Además, la invención permite modificar un procedimiento clásico de calibración de cámara convirtiéndolo en un procedimiento de calibración de parabrisas. Se supone que los parámetros intrínsecos de la cámara, como la distancia focal o la oblicuidad, no cambian durante la vida útil del sistema físico. Por lo tanto, se supone que se conocen los parámetros intrínsecos del modelo de cámara sin el parabrisas. El enfoque de calibración se basa en la observación de que conforme a los parámetros intrínsecos fijos conocidos, el enfoque de calibración de cámara estándar con planos de tablero de ajedrez se convierte en un procedimiento para estimar las distorsiones de parabrisas junto con los parámetros extrínsecos de la cámara.

El nuevo modelo de cámara de parabrisas no permite la rectificación de imágenes, ya que las correcciones a realizar para llegar a la imagen de modelo de cámara estenopeica asociada dependen de la distancia a los objetos en la escena. Sin embargo, cuando se enfoca para rendir bien a una distancia particular, el modelo se simplifica a un modelo de deformación de imagen.

Un modelo de cámara en este documento describe una correlación paramétrica, que explica la propiedad de un dispositivo de cámara física de correlacionar puntos en el espacio con ubicaciones de píxel en la imagen. En el estado de la técnica, se puede utilizar un denominado modelo de cámara estenopeica generalizada en el software ADAS para cámaras de vista frontal.

Un modelo de cámara estenopeica generalizada, denominado simplemente modelo de cámara, se define mediante una correlación k : K 3 * Rd M 2 (con un número natural d) de la forma

k(s, 0) = p(d(n(m{s, 0)), 0), 0 ) . ^{(Ecuación 1)}

La acción de una instancia de este modelo viene dada mediante la fijación de un conjunto de parámetros de cámara 0 G R d . Para dicho 0 fijo, el punto s £ R 3 en el espacio se correlaciona con la ubicación de píxel k{s, 9) en la imagen.

Cada función de componente, por ejemplo m, p, etc., del modelo de cámara propuesto utiliza una parte particular del vector de parámetros 9. Las funciones de componente vienen dadas de la siguiente manera. La posición de cámara m : R 3 x _> R 3 es un movimiento en el espacio, o m(s, 9) = R(s-t), donde R se parametriza típicamente mediante tres ángulos (guiñada, basculación y balanceo) y t £ M d es la posición de la cámara en un sistema de coordenadas de referencia. Esto último se denomina simplemente sistema de coordenadas mundial. Los parámetros de la posición se denominan parámetros extrínsecos. Los parámetros de cámara restantes se denominan parámetros intrínsecos. Se dice que el punto m(s, G) se encuentra en el sistema de coordenadas local de la cámara. La proyección central n • R 3 \ {z - 0 } -» R 2 viene dada por

Esta función correlaciona puntos espaciales en el sistema de coordenadas local de la cámara con puntos de planos. Puede observarse que el intervalo de pse encuentra en el denominado plano z = 1 (o el plano más conveniente ópticamente z = -1 dividiendo alternativamente por -z).

La figura 1 muestra un esquema de la propiedad de proyección central de la cámara en la dirección x con la adición de un plano de parabrisas 1, que se analizará más adelante. Para simplificar, todas las figuras se presentan en el sistema de coordenadas de una cámara local. Dado que la proyección central divide metros por metros por definición, las coordenadas del plano z = 1 son unitarias.

El plano z = 1 refleja los píxeles del generador de imágenes en el dispositivo de cámara física. La óptica de primer orden p : R 2 x R 2 - R 2 con

p c m ) = ( „ " £ > ( : ) (Ecuación 3)

define la relación entre las coordenadas en el plano z= 1 y las coordenadas de imagen. Los parámetros 0 < a, /? € R se denominan parámetros focales. Dado que son positivos, la óptica de primer orden es una correlación invertible. Se puede observar fácilmente que el origen del plano z = 1 se correlaciona con el punto (u, v) de la imagen. Este punto se denomina punto principal. Tampoco es difícil observar que (u, v) es la imagen del eje z del sistema de coordenadas local de la cámara. La línea de puntos espaciales generados hasta el punto principal se denomina eje principal (o eje óptico) del modelo de cámara.

Finalmente, la distorsión d ; R 2 x R 11 R 2 es una deformación invertible del plano z= 1, que se asemeja a las distorsiones ópticas de la cámara. La función de distorsión c/típicamente se divide adicionalmente en funciones de componente d = r + t, que implementan el modelo de distorsión de Brown. Aquí, r refleja las distorsiones radialmente simétricas y t las tangenciales.

Las distorsiones radiales r vienen dadas por la función

Típicamente, el número de parámetros de distorsión r¡ (que son parte de 0) es k = 2 o k = 3.

Las distorsiones tangenciales t vienen dadas por la fórmula

(Ecuación 5|

donde p = (x, y). Típicamente, 1= 2, lo que significa que el factor en el lado izquierdo del lado de definición de expresión

de distorsión es trivial (es decir, igual a 1). Cabe señalar que a partir de ps) el punto solo se puede reconstruir a escala As para un X e IR . desconocido. Es decir, cualquier punto de ese rayo que pasa a través del centro de la cámara se correlaciona en el mismo píxel. Puesto que la función de distorsión toma solamente p s) como entrada, no tiene acceso a la distancia de s en el rayo. Por lo tanto, las distorsiones de la cámara estenopeica generalizada se pueden considerar independientes de la distancia.

Crucial para las observaciones analizadas hasta ahora es el apunte de que la trayectoria óptica directa (no ilustrada) sin desplazamiento por un plano de parabrisas 1 desde un punto espacial s hasta su punto de generador de imágenes viene dada por un rayo de s que pasa a través del origen del sistema de coordenadas local de la cámara e interseca el plano z = 1. Esto último es un desplazamiento dentro del plano dado por la función de distorsión d. A partir del resultado del desplazamiento, la óptica de primer orden se correlaciona desde el plano hasta las coordenadas de píxel en la imagen.

Cabe recordar que la calibración de cámara se refiere al problema de estimar los parámetros de cámara mediante la observación de imágenes de objetos en el mundo. El estado de la técnica comprende procedimientos de calibración de cámara que se basan en la detección de características de punto de un objeto con geometría conocida, por ejemplo, un tablero de ajedrez con esquinas de tablero de ajedrez. El objeto observado se denomina blanco de calibración. Un procedimiento de calibración de cámara se denomina calibración de volumen si el blanco de calibración se extiende en las tres direcciones en el espacio. Si el blanco de calibración solo comprende un plano, el procedimiento se denomina calibración de plano.

Se considera un modelo de cámara k : R 2 x R ’ ^ R 2. A efectos de calibración, un blanco con n puntos conocidos con precisión s -],..., sn e R 3 se coloca en una posición de referencia. Los puntos de imagen pi,...,pn son las proyecciones del Si respectivamente. En otras palabras, hay un Q R ' de modo que el modelo funcional

P í = f c ( S í , 0 ) (Ecuación 6)

se satisface. Es decir, si el modelo es correcto y no hay ruido, la proyección de los puntos espaciales se describe perfectamente por el modelo de cámara.

En la práctica, no se observarán los puntos de característica perfectos pe, ya que la detección de las características está sujeta a ruido. Se supone que en lugar de pe, se observan los puntos

(Ecuación 7)

donde Ai son variables aleatorias gaussianas distribuidas de forma idéntica e independiente con media cero y matriz de covarianza

(Ecuación 8)

Aquí, 0 < o E I se denomina nivel de ruido del detector de características. Es decir, cada punto de característica se detecta de forma ligeramente incorrecta pero, en total, de forma precisa en promedio y con las mismas propiedades estadísticas que las otras características.

Sustituyendo la ecuación (6) en la ecuación (7), el modelo estadístico emerge para

C£ = k (S i, 0 ) á ¿ . (Ecuación 9)

La tarea de calibración de cámara se puede observar en la estimación 8 y las desviaciones de A i de los puntos observados a los verdaderos. Cuando se apilan todos los puntos de característica observados Ci uno por uno en un vector c = (c i,...,cn), la función de densidad de probabilidad de c viene dada por

donde c e R es una constante de normalización adecuada. Un estimador de probabilidad máxima de 8 maximiza la probabilidad de tener los parámetros 8 dadas las observaciones c. Dichos estimadores se dan como minimizadores de la función de probabilidad logarítmica

El problema de minimización no lineal anterior se resuelve mediante herramientas estándar en la práctica, como el procedimiento de Levenberg-Marquardt.

Se dice que cualquier minimizador de la ecuación (11) es el resultado del procedimiento de calibración de cámara. Las configuraciones de calibración se eligen típicamente de manera que exista una conjetura inicial de 8, que se encuentra en un entorno circundante suficientemente pequeño de la solución verdadera. Además, típicamente no se producen múltiples minimizadores en ese entorno circundante de la solución verdadera. Cualquier valor de 8, incluidos los minimizadores de la ecuación (11), da implícitamente los residuos de error A i como

A¡ = c¿ - k($i, 8) (Ecuación 12)

La calidad del minimizador 8 y, por lo tanto, del resultado de calibración, se evalúa típicamente por la bondad de la medida de ajuste 1(8). Además, la raíz del error cuadrático medio (RMSE)

R M S £ (0 ) = ^ l ( B ) / 2 n (Ecuación 13)

es un estimador del nivel de ruido a. Dado que, a su vez, esto último se puede medir por diferentes medios, por ejemplo observando desviaciones de esquinas detectadas en imágenes posteriores de la misma configuración, se puede probar la exactitud del procedimiento de calibración comparando la RMSE(8) y el nivel de ruido a previamente estimado.

El enfoque actual aplicado con más frecuencia para tratar parabrisas para aplicaciones ADAS es simplemente ignorar el parabrisas. Se han demostrado valores RMSE bajos al calibrar una cámara sin y a través de un parabrisas. En dichos experimentos, la cámara se acopla típicamente de forma no rígida al parabrisas. Es decir, el parabrisas se inserta manualmente entre el blanco y la cámara durante el experimento en condiciones de laboratorio. Sin embargo, la cámara se puede calibrar directamente detrás del parabrisas del vehículo, así como para los enfoques esbozados anteriormente. Los valores RMSE bajos se toman como argumento para ignorar el parabrisas por completo. Además, los efectos de las distorsiones de parabrisas pueden disminuir con la distancia a los objetos en la escena. Los argumentos anteriores parecen proporcionar una base sólida para ignorar los efectos del parabrisas.

Para abordar la estimación de distorsión de parabrisas en algoritmos de rectificación estereoscópica, se han propuesto algunos procedimientos. Una suposición básica introducida por estos procedimientos es que existe una transformación de imagen que compensa la distorsión de parabrisas. Si esta transformación se supone adicionalmente lo suficientemente suave, la transformación puede representarse, en una primera aproximación, mediante un polinomio en relación con las imágenes de la cámara. Los parámetros de las correlaciones de distorsión se pueden estimar estáticamente, por ejemplo mediante una medición de alfombrilla en el plano del suelo, o dinámicamente durante la conducción.

Sin embargo, los efectos del parabrisas dependen de la distancia, incluso en una primera aproximación. De manera más precisa, sigue siendo cierto que para un píxel de imagen fijo los puntos espaciales proyectados sobre ese píxel se encuentran en un rayo en el sistema de coordenadas mundial en una primera aproximación. Sin embargo, la totalidad de dichos rayos para todos los píxeles no intersecan o atraviesan el centro de la cámara en general. Es decir, para un píxel de imagen fijo, la cantidad de corrección de distorsión en la imagen depende de la distancia al objeto correlacionado con este píxel.

Resumiendo lo anterior, los supuestos básicos de los enfoques anteriores no se cumplen: Simplemente no hay transformación de imagen, lo que rectifica perfectamente las distorsiones de parabrisas. A su vez, cualquier enfoque que utilice esta suposición es simplemente una aproximación. Además, no hay parametrización del modelo de cámara estenopeica generalizada que adoptar con respecto al parabrisas. En consecuencia, hay una necesidad de una solución más profunda, si se imponen requisitos de alta precisión en la aplicación del modelo de cámara.

Sin embargo, en los últimos cinco años, se detectó un mal rendimiento de los algoritmos de rectificación estereoscópica para una amplia clase de parabrisas de vehículos comerciales. Los algoritmos de rectificación estereoscópica típicamente implican una minimización basada en características de la restricción epipolar. Las principales causas del mal rendimiento se deben a la influencia de los parabrisas en las características de los objetos en distancias cortas. En otras palabras, mientras que las distorsiones de parabrisas pueden no afectar a las características de los objetos en largas distancias (por lo tanto, no contradicen los argumentos anteriores) pueden afectar seriamente a los procesos que involucran objetos cercanos, como la superficie de una calle.

Se ha demostrado que esto último es la causa de la total paralización de los sistemas ADAS en la práctica. Por lo tanto, es de esperar que suceda lo mismo en el futuro en aplicaciones mono o multicámara con requisitos de alta precisión, como estructura densa del movimiento. Un objetivo de la presente invención es proporcionar un procedimiento y un aparato que minimice o elimine estos efectos destructivos.

El documento WO 2015/133414 A1 está relacionado con un procedimiento de calibración para un dispositivo fotográfico que fotografía un objeto a través de un cuerpo transparente. El procedimiento de calibración incluye: adquirir una primera imagen fotográfica fotografiando el objeto sin interponer el cuerpo transparente y adquirir una segunda imagen fotográfica fotografiando el objeto a través del cuerpo transparente.

Sumario de la invención

La presente invención resuelve el problema mediante los procedimientos según las reivindicaciones 1 y 14 y el sistema ADAS según la reivindicación 11. Las reivindicaciones dependientes se refieren a mejoras que también son parte de la invención.

Un aspecto de la invención se refiere a un procedimiento para la calibración de un sistema basado en cámara de un vehículo que incluye una luna de parabrisas, donde el procedimiento comprende las etapas de colocar un blanco de formación de imágenes en forma de tablero con un patrón conocido en el campo de visión de una cámara del sistema basado en cámara, de modo que la cámara pueda adquirir una imagen de calibración del tablero a través de la luna de parabrisas, adquirir una imagen de calibración del tablero con la cámara, comparar la imagen de calibración con el patrón conocido, calcular una distorsión de parabrisas que es introducida por la luna de parabrisas y almacenar la distorsión de parabrisas en el sistema basado en cámara.

De manera ventajosa, este procedimiento no requiere la adquisición de una imagen del blanco de calibración sin la luna de parabrisas en su sitio. En cambio, debido al marco matemático recientemente desarrollado que se presenta a continuación, con conocer el patrón, preferentemente un patrón de tablero de ajedrez, es suficiente para permitir el cálculo de la distorsión de parabrisas, es decir, la distorsión introducida por el parabrisas. Posteriormente, mediante la inversión de la distorsión de parabrisas y mediante la triangulación de múltiples imágenes, se puede reconstruir la ubicación de los puntos en el espacio proyectados sobre la imagen. Esto se explicará con más detalle en el contexto de las formas de realización a modo de ejemplo.

En particular, el procedimiento solo se basa en la comparación de la imagen adquirida con el patrón conocido y no se basa en una segunda imagen que se tomó sin la luna de parabrisas en su sitio. Además, la distorsión de parabrisas, que puede denominarse componente de distorsión de parabrisas h, es una transformación biyectiva y, por lo tanto, invertible, que permite la aplicación del procedimiento inverso a la proyección. Con una cámara calibrada de esta manera, es posible una aproximación de los rayos ópticos que se proyectan a un píxel, es decir, una ubicación en la imagen.

El cálculo se basa en un nuevo modelo de cámara motivado físicamente y un procedimiento de calibración para la compensación de distorsiones de parabrisas. El ajuste de los parámetros para la compensación de distorsión se realiza estáticamente, a diferencia de una compensación dinámica durante la vida útil del vehículo. Por lo tanto, el nuevo modelo se denomina modelo para la compensación de distorsiones de parabrisas estáticas.

El procedimiento puede basarse en un modelo que representa una aproximación independiente de la distancia de la distorsión de parabrisas. La distorsión puede representarse mediante las ecuaciones descritas a continuación, por ejemplo, la ecuación (30) o la ecuación (43), o por sus respectivas inversiones.

Un aspecto de la invención se refiere a un procedimiento para calcular la distorsión total del sistema basado en cámara aproximadamente como la suma de la distorsión radial y la distorsión tangencial y la distorsión de parabrisas, y para almacenar la distorsión total del sistema basado en cámara en el sistema basado en cámara.

Por tanto, la distorsión se considera una aproximación independiente de la distancia. De esta manera, es posible integrar fácilmente el nuevo modelo en las soluciones existentes de software para automóviles.

Un aspecto de la invención se refiere a un nuevo procedimiento de calibración, que utiliza una configuración simple de tablero de ajedrez para estimar los parámetros de parabrisas estáticos en un laboratorio y en el vehículo a partir de un pequeño conjunto de muestras de parabrisas.

Como parte de la invención, se introduce un nuevo enfoque teórico para abordar nuevos tipos de parabrisas u óptica en el futuro.

Otro aspecto de la invención se refiere a un aparato que proporciona una configuración mecánica para la calibración de los parámetros del parabrisas. Los parámetros físicos son, preferentemente, la inclinación y/o el índice de refracción y/o el espesor del parabrisas, de manera especialmente preferente todos estos parámetros combinados.

Preferentemente, solo una imagen es adquirida por la cámara, lo que es menos exigente en lo que respecta al tiempo y esfuerzo invertidos por el fabricante del sistema basado en cámara.

El nuevo modelo extiende significativamente modelos de cámara más antiguos del estado de la técnica y se centra en explicar los efectos del parabrisas. En contraste con el estado de la técnica, el enfoque de acuerdo con la invención comprende una extensión del modelo de cámara estenopeica generalizada, que está motivado físicamente. En particular, como un ejemplo del nuevo enfoque, se obtienen parámetros de parabrisas físicos, como inclinación, espesor e índice de refracción en el nuevo modelo. Por otro lado, el nuevo modelo especial, por ejemplo para parabrisas de baja curvatura, especializa significativamente los trabajos existentes. El nuevo modelo puede introducir dependencia de proyección en la distancia de los puntos de escena.

Para una mejor comprensión, se obtendrá un modelo motivado físicamente de la trayectoria óptica desde un punto espacial hasta su ubicación de píxel en el generador de imágenes, lo que se entenderá como una forma de realización a modo de ejemplo de la presente invención. Con este fin, se introducen varios supuestos adicionales.

La trayectoria óptica de la dispersión de la luz se modela con polígonos de rayos. Además, se imponen varias suposiciones básicas para la dispersión de la luz. Además del plano z = 1, se introduce un plano fijo adicional en el sistema de coordenadas local de la cámara. Este plano se denomina plano de parabrisas. Cabe señalar, sin embargo, que esto último es sólo por conveniencia; se pueden introducir más planos dependiendo del problema. Además, no se requiere que el plano introducido represente necesariamente el parabrisas en ningún sentido.

A continuación se especificará cómo pasan las trayectorias de luz por los planos y cómo se modifican durante este proceso. En el modelo que motivó la presente invención, se permite que un segmento de polígono que interseca un plano cambie de posición a lo largo del plano. La trayectoria de la luz desde un punto espacial hasta la imagen cambia de esta manera desde un rayo hasta un polígono. Una trayectoria de luz que comienza en un punto espacial pasa primero por el plano de parabrisas 1. Se requiere, como suposición adicional, que el segmento de polígono final que pasa a través del plano z = 1 tiene que incidir en el centro de la cámara. Con eso, la óptica de primer orden y las distorsiones se dejan sin cambios, como con el modelo de cámara estenopeica generalizada.

La Figura 1 muestra un esquema del enfoque para dos planos. La luna de parabrisas se indica con el número de referencia 1. Los sistemas de lentes pueden modelarse mediante cadenas de planos en simulaciones de sistemas ópticos comerciales. En el estado de la técnica, estos planos son paralelos entre sí y al plano del generador de imágenes. A efectos de la invención, sin embargo, esta regla no se sigue. Como se explicó, el modelo de cámara generalizada introducido anteriormente es una simple instancia de tal enfoque. Para observar esto, como caso especial no se considerará ningún desplazamiento en el plano de parabrisas 1. El propósito del modelo de cámara es, como se mencionó anteriormente, explicar cómo un punto en el espacio se correlaciona con un punto en la imagen. A este respecto, se introduce un nuevo modelo de cámara w : R 3 X Rm R 2 ■ Para ello se considera un punto espacial fijo r e M 3. Considérese además s = (sx,Sy, sz)e R 3 con

S = m ( r J0 ) {Ecuación 14)

en el sistema de coordenadas local de una cámara. La trayectoria óptica correspondiente cruza el plano z = 1 en el punto u = (u x,u y , l ) = (p, 1) e R 3 con p = (ux, uy). Este texto corresponde perfectamente a la Figura 1. Como la dirección de la trayectoria de la luz no es modificada por el plano adicional, la ecuación de trayectoria se puede escribir como

S A u 5 ( s ,u ) /?U - 0 , (Ecuación 15)

donde 5 : M 3 x R 3 _ M 3 es el desplazamiento del punto a lo largo del plano de parabrisas 1. El desplazamiento a lo largo del plano depende de s y u. La tarea del modelo de cámara es resolver la ecuación (15) para u (y A y fi) en función de s. Una vez resuelta, el píxel correspondiente se puede definir como

w ( r , 0 ) = p (d (p , 6 ) , 6 ) . (Ecuación 16)

En la generalidad anterior, no se puede esperar que la ecuación (15) tenga una solución de forma cerrada. De hecho, no se puede esperar que la ecuación (15) tenga una solución que satisfaga todos los requisitos. A continuación, se analiza cómo las ecuaciones de cámara estenopeica generalizada se pueden adaptar en el caso positivo. A continuación se analiza un caso particular donde se puede demostrar la existencia.

Supóngase una función u : R 3 —. R 3 , que resuelve la ecuación (15) en el siguiente sentido. Para cada elección de r, s e R 3 , como se analizó anteriormente, existen A , / ? e R 3 con

s A u (s ) ¿ > (s ,u (s )) ¡f?u(s) = 0. (Ecuación 17)

Dado que la última componente de u(s) = (ux(s), uy(s), 1) es constantemente 1, ahora es fácil ver que

A + /? = — sz — 5z ( s ,u ( s ) ) . (Ecuación 18)

Esto último significa que las dos ecuaciones implícitas

tienen que resolverse.

Cabe destacar que estas son ecuaciones similares al enfoque de transformación lineal directa (DLT) para la calibración de cámara. Las ecuaciones (19) se pueden escribir de una forma más conveniente como

(Ecuaciones 20)

Esta última forma no aporta ningún indicio para resolver las ecuaciones (19). Sin embargo, se puede observar que al ser el desplazamiento Renteramente el vector cero, las ecuaciones (20) se simplifican pasando a ser las ecuaciones de proyección central dadas por p En otras palabras, a pesar de que Rparece un caso particular, este modelo es una generalización de la proyección central.

Con los preparativos anteriores se introduce la proyección central generalizada

<p(s,9) ⁼(ux(s),Uy(s)) ^(Ecuación21) Todavía no se ha demostrado que tal u exista en absoluto. La proyección fe s inherentemente paramétrica, ya que introduce propiedades del parabrisas en la propiedad de proyección de la cámara. El modelo de cámara de parabrisas generalizada equivale entonces a

w(s, 8 ) = p(d(4>(Tn(sI 8 ) , 8), 8), 8 ) . (Ecuación 22)

Los nuevos parámetros de f se denominan parámetros de parabrisas.

Queda por mostrar cómo definir la nueva función de proyección f en la práctica. Sin embargo, antes de hacer esto, a continuación se explica la dependencia de la distancia.

Ya con las herramientas introducidas hasta ahora, la noción de dependencia de la distancia del modelo puede ser corroborada. Para ello se fija un s e R 3 y el correspondiente U = u (s ) E M 3. Para X E M , se considerarán los puntos

s(A) = S Au (Ecuación 23)

introducidos por la Figura 1. Se puede observar que cada s(Á) se proyecta hasta el punto p en el plano z = 1. Como se explicó, la rectificación esencialmente intenta encontrar una deformación de la imagen o del plano z = 1 de generador de imágenes para tratar el sistema óptico como una cámara estenopeica. De manera más precisa, se requiere que todos los puntos en el espacio (que forman un conjunto de puntos en el espacio que se encuentran en una línea virtual), que se proyectan hacia p, se proyecten al mismo punto q £ IR3 mediante la proyección central. Si ahora se intenta obtener dicho punto rectificado q de p en el plano z = 1, cualquiera de dichos q implicaría para un A t 0 adecuado que

q .. /r (s (0 ) ) = ^it( ^s) .. n (s (A )) = n {s Au) . (Ecuación 24)

Observando la parte p (s) = p (s + Au), puede observarse que

(Ecuaciones 25)

Es fácil observar que las últimas ecuaciones implican

. (Ecuaciones 26)

Cabe recordar que u = (p, 1). Es decir, la existencia de un punto de rectificación implica p = q. Esto último puede ocurrir para todos los píxeles sólo si el parabrisas no afecta en el sentido de que la proyección f recién introducida es exactamente la proyección central p En consecuencia, los inventores descubrieron que la rectificación de imágenes en el sentido común a una cámara estenopeica no es posible para los efectos de parabrisas dentro del nuevo modelo en el sentido anterior.

Como se reconoce fácilmente a partir de lo anterior, los procedimientos de calibración de cámara simplemente utilizan la propiedad de proyección de la cámara. En otras palabras, la dependencia de profundidad como se describió anteriormente no es un problema para dichos procedimientos. Sin embargo, como se mencionó en la introducción, el software de aplicación ADAS aplica el procedimiento inverso a la proyección. La dependencia de profundidad en el sentido anterior plantea a primera vista un desafío, cuando se trata de extender las soluciones de software existentes con el nuevo modelo. Afortunadamente, hay una aproximación del modelo general, que aproxima una transformación de imagen introducida por la escena y, por lo tanto, admite proyección inversa.

Por consiguiente, un aspecto de la invención se refiere a un procedimiento para calibrar un sistema basado en cámara de un vehículo (preferentemente un sistema ADAS) que comprende las etapas de adquirir una imagen con la cámara y después calcular, usando la distorsión de parabrisas, el conjunto de puntos en el espacio que se proyecta a una ubicación en la imagen. Esto puede verse como el procedimiento inverso a la proyección.

Lo siguiente es una transformación de ecuaciones (20) basada en la descomposición fraccionaria parcial:

(Ecuación 27) Se puede introducir una ecuación análoga para la componente Uy(s). El lado derecho del término resultante muestra una vez más que el modelo es una generalización de la proyección central. Una vez más, a partir de y — el

punto espacial s sólo se puede reconstruir a escala. Sin embargo, en su rol para la distorsión de parabrisas, basta aproximar s mediante un punto en la misma dirección a una cierta distancia. Para este fin, se fija z E IR . Con las preparaciones anteriores, la ecuación (27) se puede aproximar como

u ^ sx vzSx(v,u(v))-vx6z(v,u(v))

(Ecuación 28) x sz vz(vz+Sz(v,u(v))) '

donde v = (vx, vy, vz) denota

V = z ( ^ , l ) . (Ecuación 29)

_{\s z} _{% J}

Se obtiene una expresión análoga para el componente uy(s). En particular, la expresión del lado derecho de la ecuación (28) simplemente depende de p=^(s). En otras palabras, es una aproximación independiente de la profundidad al modelo general. Es decir, con la aproximación anterior, es posible cambiar todo el lado derecho a la función de distorsión. Con la notación anterior, se puede introducir una nueva componente de distorsión de parabrisas h : R 2 >2 con

(Ecuación 30)

donde v = z(p, 1), como anteriormente. Con la ecuación (30), el modelo aproximado de cámara de parabrisas se escribe como

w '(s , 0 ) = p (d ' (u (m (s , 0 ) ) , 0 ), 0 ) , (Ecuación 31)

donde d ’ = r+t+h con distorsiones radiales r y distorsiones tangenciales t, tal como se describió anteriormente. Cabe destacar que el modelo aproximado anterior es meramente una restricción del modelo completo, que funciona perfectamente para objetos a la distancia z y se degrada gradualmente, cuando la coordenada real sz se aleja de z.

En particular, la distorsión total del sistema basado en cámara se produce como composición (preferentemente una suma) de una distorsión radial de la cámara y una distorsión tangencial de la cámara y la distorsión de parabrisas introducida por el parabrisas.

De esta manera, la componente de distorsión de parabrisas h recientemente desarrollada puede introducirse fácilmente en los sistemas ADAS disponibles actualmente.

Por consiguiente, un aspecto de la invención se refiere a un modelo para la calibración de un sistema basado en cámara, donde cada conjunto de puntos que se correlacionan en una única ubicación de imagen se encuentra en una línea recta (virtual), donde todas las líneas rectas se intersecan en un solo punto, donde el estenopo de la cámara se ajusta al modelo estenopeico. Aquí, el conjunto de puntos puede referirse a los puntos v de acuerdo con la ecuación 29.

Por consiguiente, un aspecto adicional de la invención se refiere a un procedimiento para la rectificación de imágenes, donde el conjunto de puntos que se proyecta en una única ubicación en la imagen se calcula aplicando la distorsión de parabrisas (que se introdujo en una imagen adquirida de un blanco en una distancia fija z) en todos los puntos v en cualquier distancia sz.

A efectos de rectificación, la ubicación 3D completa de un objeto se puede determinar mediante triangulación utilizando al menos dos imágenes adquiridas en diferentes ubicaciones. Estas imágenes se pueden adquirir mediante una sola cámara en movimiento, o mediante un sistema de cámara estereoscópico que comprende dos cámaras que, preferentemente, están orientadas de manera paralela entre sí.

A continuación, como etapa adicional, se hacen suposiciones realistas adicionales con las que se pueden modelar parabrisas con baja curvatura. Esto permite resolver las ecuaciones (17) y especificar la función u en forma cerrada. Esto último es otra contribución importante de la presente invención. El conjunto de suposiciones correspondiente se denomina parabrisas de baja curvatura. De manera práctica, se supone que el parabrisas consiste en dos superficies paralelas con aire exterior y un medio, normalmente vidrio, interior. Este modelo también se puede llamar modelo de vidrio plano.

Un esquema de este modelo se presenta en la Figura 2, que muestra un modelo de parabrisas de baja curvatura motivado físicamente, donde el rayo óptico se desplaza a lo largo de la superficie de vidrio. La refracción en este modelo se rige por la ley de Snell. v con 0 < v e 1 es el índice de refracción del medio. 9, y £ R. son los ángulos de incidencia del rayo entrante y emergente, y el ángulo del rayo refractado dentro del medio, respectivamente. Todos los ángulos se miden con respecto a la normal de superficie, que se define de forma única hasta el signo. Por tanto, los ángulos en el punto de primera refracción se relacionan con

sen(0 ) = v sén (y ) . (Ecuación 32)

La segunda refracción introduce

s e n (y )v = s e n ( 0 ) . (Ecuación 33)

En otras palabras, la transmisión de un rayo de luz a través del parabrisas no cambia la dirección del rayo. El rayo simplemente se desplaza a lo largo de la superficie del parabrisas. Es decir, la suposición de un desplazamiento a lo largo del plano está totalmente motivada por la óptica. De manera equivalente al modelo físico, el desplazamiento se realiza solo en una de las superficies, en particular en la superficie incidente.

A partir de la Figura 2 se puede observar que r/t = tan(y) y

h+r h , r h , , ^

ta n (a ) = — = - - = tan (y ) . (Ecuación 34)

Esto último da la longitud del desplazamiento en función del ángulo de incidencia G y el ángulo de refracción y como

h = t ( t a n (0 ) — t a n ( y ) ) . (Ecuación 35)

A continuación se tratan los detalles técnicos de la obtención de una fórmula explícita para la proyección central generalizada en la ecuación (21). De aquí en adelante hay múltiples formas de proceder, cada una de las cuales genera un resultado ligeramente diferente.

En aplicaciones ADAS, el parabrisas está basculado típicamente con respecto a la dirección de visualización de la cámara. Otros ángulos parecen insignificantes en comparación con la basculación. Las trayectorias ópticas entran en el parabrisas en diferentes direcciones u . Sin embargo, la Figura 2 muestra solo una sección transversal del desplazamiento correspondiente a lo largo de u. Cuando se modela con precisión, el desplazamiento ocurre en la dirección de proyección ortogonal de u con respecto a la superficie del parabrisas. Este último comportamiento se puede aproximar suponiendo que el desplazamiento solo se produce en la dirección paralela al eje óptico de la cámara. De manera más precisa, se supone que

¡5(s, u ) « (0 , s e n (r ) , c o s (r )) . (Ecuación 36)

En otras palabras, el plano de parabrisas modela la física de un modelo de vidrio plano basculado con respecto al sistema de coordenadas de una cámara local mediante t.

Por consiguiente, un aspecto de la invención se refiere a un procedimiento para calibrar un sistema basado en cámara, donde la distorsión de parabrisas se calcula aproximando que la distorsión de los rayos a través del parabrisas ocurre solo en el plano construido por el eje óptico de la cámara y el eje vertical. "Vertical" significa la dirección de gravedad.

Esto permite soluciones analíticas para la distorsión que de otro modo no estarían disponibles.

Resumiendo lo anterior, las ecuaciones (20) pasan a ser lo siguiente

%

Ux

S^z+?1’COS(^t) r

Sy+h-senfr)

t l y

sz+/i -cos(t) (Ecuaciones 37) ■

La siguiente etapa es aplicar aproximaciones de ángulo estrecho para eliminar las funciones trigonométricas en la definición de h y G. Por lo tanto, sen(x), tan(x) y tan-1(x) se aproximan por x, siempre que sea necesario. En particular, a partir de la ecuación (32) con la aproximación anterior se obtiene que

y « 9/v. ^{(Ecuación 38)} Además:

(Ecuación 39)

Por consiguiente, un aspecto de la invención se refiere a un procedimiento para calibrar un sistema basado en cámara, donde la distorsión de parabrisas se calcula aproximando el seno de un ángulo G entre un rayo desde un punto en el blanco de calibración hasta un punto en la luna de parabrisas y la normal en ese punto con respecto a la luna de parabrisas con ese ángulo G. Esto permite un procedimiento de calibración y rectificación que de otro modo no estaría disponible, como se muestra a continuación.

Finalmente, se aproxima el ángulo de incidencia. Una descripción precisa da

~ = T 4- 9 + ta n - 1 (íty ) . (Ecuación 40)

Esto último da aproximadamente

6 = - - t - tan-1 (uy) « - — ^t—u. _{(Ecuación 41)}

La sustitución de esto último en la segunda ecuación (37) da lugar a

n(x) . (Ecuación 42)

Se observa fácilmente que la ecuación (42) admite dos soluciones de forma cerrada para uy, a saber:

^{Uy =} (b ^± V ^{¿ 2 -} 4ac)/(2a), ^{(Ecuación 43)}

sujeto a a t 0 y - 4ac > 0 o a = 0 y b t 0, donde

(Ecuaciones 44)

Una vez que se encuentra una solución para uy, la sustitución de uy en la primera ecuación (37) produce la solución explícita para ux y Uy que se estaba buscando.

Por lo tanto, un aspecto de la invención se refiere a un procedimiento para almacenar en el sistema basado en cámara una correlación de un punto en el espacio y de parámetros físicos de la luna de parabrisas con ubicaciones en una imagen de calibración adquirida con la cámara.

También se puede almacenar la inversión de dicha correlación, es decir, una correlación de ubicaciones en una imagen adquirida con la cámara y de parámetros físicos del parabrisas con un conjunto de puntos en el espacio, donde esta transformación depende de la distorsión calculada del parabrisas. Esta correlación viene dada por una inversión de las ecuaciones anteriores, que puede o debe llevarse a cabo numéricamente en la práctica.

De manera ventajosa, esto permite un modelado analíticamente preciso y la rectificación de la distorsión introducida por una luna de parabrisas con los parámetros físicos respectivos.

De las ecuaciones anteriores se puede observar lo siguiente: A partir de las propiedades físicas del vidrio, se puede suponer que 110, v t 1, y p/2, por lo que a t 0. Sujeto a eso, la ecuación (43) muestra que tiene dos soluciones en la práctica, de las cuale _s una siempre parece ser inviable. Finalmente, en caso de que t= 0 o v = 1, las ecuaciones S y

tienen la solución u y — ~ • Esto último significa que la aproximación es correcta en el sentido de que produce el resultado esperado de la proyección central en caso de que no haya parabrisas.

La invención también se refiere a un aparato para la compensación de distorsiones de imágenes estáticas introducidas por un parabrisas para una cámara ADAS. A continuación se mostrará cómo se pueden estimar y aplicar los nuevos parámetros del parabrisas, además de las formas de realización a modo de ejemplo descritas anteriormente, en la práctica. Una configuración para la calibración de plano se puede transformar en un procedimiento para la calibración de parabrisas.

Una suposición puede ser que se proporciona una cámara que está intrínsecamente calibrada en otra parte. Además, se proporcionan múltiples parabrisas a los que la cámara particular se puede acoplar posteriormente. Los parabrisas se pueden colocar en un bastidor o directamente en el vehículo.

La Figura 3 muestra una forma de realización de la invención, donde un blanco de plano único 2 se coloca delante de la cámara (no ilustrada). El blanco contiene un patrón regular, por ejemplo un tablero de ajedrez, en el cual una sección central 5 tiene una forma especial para ser fácilmente reconocida. El blanco se coloca de manera que el patrón cubra toda la imagen de la cámara.

Se ilustra un aparato para la calibración de un sistema basado en cámara (no se muestra en detalle) de un vehículo 3 que incluye una luna de parabrisas (no ilustrada). En este caso, el aparato comprende un vehículo con una luna de parabrisas que está instalada en el bastidor del parabrisas del vehículo. Una cámara (no mostrada explícitamente) que está montada preferentemente en la parte trasera de un espejo retrovisor interior (no ilustrado) está orientada hacia la luna de parabrisas desde un primer lado, que se encuentra dentro del vehículo 3, y un blanco 2 en forma de tablero con un patrón conocido 4 está montado a una distancia fija z (no marcada explícitamente) en el otro lado (fuera del vehículo) del parabrisas dentro de un campo de visión de la cámara, de modo que la cámara puede adquirir una imagen del blanco 2 a través del parabrisas. El vehículo también incluye una unidad informática (no mostrada) que comprende código de programa que, cuando es ejecutado por la unidad informática, ejecuta un procedimiento tal como el descrito anteriormente.

De manera ventajosa, esto permite por primera vez la calibración de una cámara dentro del vehículo 3 en lugar de dentro de una configuración óptica dedicada, es decir, dentro de un laboratorio.

El procedimiento de calibración se puede llevar a cabo de forma estándar con el nuevo modelo en la ecuación (22), como se explicó anteriormente. Aquí, sin embargo, los parámetros intrínsecos de la cámara se pueden tratar como constantes para mantener la ambigüedad. En particular, los parámetros del parabrisas se estiman junto con los parámetros extrínsecos.

Al estimar los parámetros de parabrisas para un conjunto suficientemente grande de cámaras y parabrisas, un análisis estadístico muestra si el promedio de los parámetros de parabrisas se puede utilizar para el lote completo de parabrisas del mismo modelo.

Cabe destacar que la calibración se puede realizar a distancias relativamente cortas. En tales distancias, los efectos de las distorsiones de parabrisas son más pronunciados. En consecuencia, la calibración de los parámetros de parabrisas también puede aplicarse en este caso.

La configuración propuesta se puede aplicar para estimar los parámetros de parabrisas promedio para un conjunto de una pluralidad de parabrisas similares para un vehículo. Por ejemplo, se puede utilizar una cámara estereoscópica, y los parámetros de parabrisas para los módulos ópticos izquierdo y derecho de la cámara se pueden estimar por separado. Los parámetros de parabrisas promedio estimados para cada módulo óptico por separado se pueden aplicar entonces para compensar las distorsiones de parabrisas en una secuencia de conducción de prueba registrada.

Para ello, se puede aplicar una implementación del modelo presentado anteriormente. Tal como se muestra en la Figura 3, el parabrisas se puede mantener en un bastidor a aproximadamente 30 grados con respecto al blanco. La cámara se puede montar en el parabrisas en el soporte para vehículos en el parabrisas. El eje óptico de la cámara se puede orientar aproximadamente perpendicular al blanco. Con la configuración anterior, se pueden obtener los parámetros de calibración de parabrisas para uno de los módulos ópticos. Estos parámetros pueden ser preferentemente, pero sin limitarse a, la inclinación t el espesor t y/o el índice de refracción v de la luna de parabrisas.

Por lo tanto, la invención también comprende un procedimiento para determinar parámetros físicos de la luna de parabrisas mediante la interpretación de la distorsión de parabrisas.

A partir de las mediciones aproximadas correspondientes, se puede concluir que los parámetros promediados se pueden utilizar aproximadamente para cualquiera de los parabrisas con la misma forma. Además, se podría comprobar que las lunas de parabrisas no difieren en sus parámetros.

Sorprendentemente, se descubrió que los valores de inclinación, espesor e índice de refracción que se determinan de esta manera a menudo están cerca de los valores medibles físicamente para la clase particular de parabrisas. Dado que se han utilizado aproximaciones para desarrollar las fórmulas analizadas anteriormente, de ninguna manera se espera ni se requiere que esto sea el caso para el nuevo modelo.

Claims

REIVINDICACIONES

1. Procedimiento para la calibración de un sistema basado en cámara de un vehículo con una luna de parabrisas, donde el procedimiento comprende las etapas de

colocar un blanco de formación de imágenes en forma de un tablero con un patrón conocido en el campo de visión de una cámara del sistema basado en cámara, de modo que la cámara pueda adquirir una imagen de calibración del tablero a través de la luna de parabrisas,

adquirir exactamente una imagen de calibración del tablero con la cámara,

comparar la imagen de calibración con el patrón conocido,

calcular una distorsión de parabrisas que es introducida por la luna de parabrisas, usando un modelo de cámara que comprende parámetros que representan propiedades de distorsión de parabrisas, donde se conocen los parámetros intrínsecos de la cámara, y

almacenar la distorsión de parabrisas en el sistema basado en cámara.

2. Procedimiento según la reivindicación 1, que comprende las etapas de

calcular una distorsión total del sistema basado en cámara como composición de una distorsión radial de la cámara y una distorsión tangencial de la cámara y la distorsión de parabrisas, y

almacenar la distorsión total del sistema basado en cámara en el sistema basado en cámara.

3. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que calcular la distorsión de parabrisas comprende aproximar un seno de un ángulo entre un rayo desde un punto en el blanco de calibración hasta un punto en la luna de parabrisas y una normal en ese punto con respecto a la luna de parabrisas con ese ángulo.

4. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que calcular la distorsión de parabrisas comprende aproximar que la distorsión de los rayos a través de la luna de parabrisas solo se produce dentro de un plano que está construido por un eje óptico de la cámara y un eje vertical.

5. Procedimiento según cualquiera de las reivindicaciones anteriores, donde la distorsión de parabrisas viene dada por h = (hx, hy) = (vz(vz + Sz(v,u(v))))-1 (VzS(v,u(v)) - vSz(v ,u(v)), vzZy(v ,u(v)) - vydz(v , u(v))) con un desplazamiento a lo largo de un plano de parabrisas S = (Sx, Sy, Sz), donde el plano de parabrisas es un plano fijo adicional en el sistema de coordenadas local, una ubicación proyectada en la imagen u(v) = (ux, uy, 1), un punto en el espacio s = (sx, sy, sz) y un vector v = z(sx/sz, sy/sz, 1) y una distancia fija z = vz, donde la distancia z es aproximadamente sz.

6. Procedimiento según la reivindicación 1, que comprende la etapa de determinar y/o estimar parámetros físicos de la luna de parabrisas interpretando la distorsión de parabrisas.

7. Procedimiento según la reivindicación 6, donde los parámetros físicos son una inclinación y/o un índice de refracción y/o un espesor de la luna de parabrisas.

8. Procedimiento según cualquiera de las reivindicaciones 6 y 7, que comprende la etapa de

almacenar en el sistema basado en cámara una correlación de un punto en el espacio y de parámetros físicos de la luna de parabrisas con ubicaciones en una imagen adquirida con la cámara.

9. Procedimiento según la reivindicación 8, donde la correlación incluye una transformación = (b V b¿ — 4 ac) / (2a) con tsin(r) ((1 - v)tr ( -v -~ )t ) cos(t) + ^vs2,

( O —l ) t r ( f — f v ) t)sin(

_{ubicación de imagen uy, una coordenada de}punto espacial (sx, sy, sz), y un índice refractivo v, una inclinación t y un espesor t de la luna de parabrisas.

10. Sistema basado en cámara para un vehículo que comprende una cámara y una unidad informática, que comprende código de programa que, cuando es ejecutado por la unidad informática, ejecuta un procedimiento para la calibración del sistema basado en cámara adquiriendo exactamente una imagen de calibración de un tablero con un patrón conocido con la cámara, comparando la imagen de calibración con el patrón conocido, calculando una distorsión de parabrisas que es introducida por una luna de parabrisas entre la cámara y el tablero usando un modelo de cámara que comprende parámetros que representan propiedades de distorsión del parabrisas, donde se conocen los parámetros intrínsecos de la cámara, y almacenando la distorsión de parabrisas en el sistema basado en cámara.

11. Aparato para la calibración de un sistema basado en cámara de un vehículo con una luna de parabrisas, que comprende un sistema basado en cámara según la reivindicación 10, donde la cámara está orientada hacia la luna de parabrisas desde un primer lado de la luna de parabrisas, donde el aparato comprende un tablero con un patrón conocido que se monta a una distancia fija z en un segundo lado de la luna de parabrisas dentro de un campo de visión de la cámara, de modo que la cámara pueda adquirir una imagen de calibración del tablero a través de la luna de parabrisas.

12. Aparato según la reivindicación 11 que comprende un vehículo con un marco de parabrisas, donde la luna de parabrisas se instala en el marco de parabrisas del vehículo y la cámara se monta dentro del vehículo.

13. Procedimiento para la rectificación de imágenes adquiridas por al menos una cámara de un sistema basado en cámara de un vehículo con una luna de parabrisas, comprendiendo el procedimiento las etapas de

calibrar el sistema basado en cámara usando un procedimiento de acuerdo con una de las reivindicaciones 1-9, adquirir una imagen con la cámara, y

calcular, usando la distorsión de parabrisas almacenada en el sistema basado en cámara, un conjunto de puntos en el espacio que se proyecta en una ubicación en la imagen.

14. Procedimiento según la reivindicación 13, donde una ubicación 3D de un objeto se determina mediante triangulación usando al menos dos imágenes adquiridas en diferentes ubicaciones.

15. Sistema basado en cámara que comprende una unidad informática que comprende código de programa que, cuando es ejecutado por la unidad informática, ejecuta un procedimiento según cualquiera de las reivindicaciones 13 y 14.