ES2367776T3

ES2367776T3 - Procedimiento de medición de un objeto tridimensional, o de un conjunto de objetos.

Info

Publication number: ES2367776T3
Application number: ES01929709T
Authority: ES
Inventors: Marc Viala; Sylvie Naudet; Patrick Sayd; Laurent Cohen; Arnauld Dumont; Frédéric Jallon
Original assignee: Areva NC SA; Commissariat a lEnergie Atomique CEA; Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Current assignee: Commissariat a lEnergie Atomique et aux Energies Alternatives CEA; Orano Demantelement SAS
Priority date: 2000-04-27
Filing date: 2001-04-26
Publication date: 2011-11-08
Anticipated expiration: 2021-04-26
Also published as: WO2001081858A1; FR2808326A1; CA2376786C; FR2808326B1; US7092562B2; EP1190208B1; US20050063581A1; EP1190208A1; JP2003532061A; CA2376786A1

Abstract

Procedimiento de medición de un objeto tridimensional en un entorno tridimensional, que comprende las etapas de: - tomar al menos una imagen del entorno por medio de al menos una cámara; - detectar las discontinuidades del aspecto de la imagen; - asociar las discontinuidades a los contornos geométricos, teniendo los contornos posiciones y formas sobre la imagen que están definidos por parámetros que incluyen números; - ajustar los contornos geométricos a las discontinuidades haciendo que varíen los parámetros, caracterizado por las etapas de: o asociar numéricamente los contornos geométricos a objetos geométricos del entorno tridimensional, estando definidas una posición tridimensional y una forma volúmica de los objetos geométricos en el entorno por parámetros tridimensionales que incluyen números; o estimar las posiciones tridimensionales y las formas volúmicas de los objetos geométricos en el entorno tridimensional calculando las proyecciones geométricas de los objetos geométricos sobre la citada al menos una imagen mediante un ajuste entre las proyecciones y los contornos geométricos; o y crear una representación del entorno tridimensional, comprendiendo esta representación los objetos geométricos, según los parámetros que definen las posiciones y las formas de los objetos geométricos.

Description

La invención consiste en un procedimiento que permite determinar la geometría, la posición y la orientación de uno o de varios objetos en un entorno. El objetivo es el de proporcionar informaciones dimensionales o de medición sobre primitivas tridimensionales (puntos, rectas, círculos, cilindros, ...) que representan a estos objetos aprovechando una proyección sobre imágenes adquiridas por medio de uno o de varios sensores. Estos datos dimensionales son aprovechados para el control dimensional de objetos manufacturados (prototipo o serie), para la medición de deformación estructural, o para la modelización de entornos industriales.

Existen varias grandes familias de procedimientos para llevar a cabo este tipo de mediciones. Algunas implican una medición directa de los objetos del entorno mediante la punta de un palpador, pero este procedimiento no es siempre posible de aplicar y resulta muy largo cuando el entorno es voluminoso, de grandes dimensiones o de forma complicada; también es impensable cuando tiene las dimensiones de un local entero. Otros procedimientos recurren a la telemetría, es decir, que se miden las distancias a diferentes puntos del entorno sin contacto material; un láser es dirigido sucesivamente hacia esos puntos y la medición es el tiempo de vuelo o el desfasaje de la onda. Se utiliza un espejo o un sistema mecánico para dirigir incesantemente el rayo del láser hacia otros puntos, lo que permite mediciones rápidas del entorno, pero se observa que este procedimiento no es siempre muy preciso (aunque la resolución no esté limitada más que por el sistema de barrido del láser) y va acompañado de errores cuando el haz toca objetos reflectantes, y también se necesita asegurar la estabilidad del sistema mecánico durante el barrido y vigilar la seguridad de las personas susceptibles de encontrarse en el volumen de medición.

Otros procedimientos son procedimientos ópticos en los que una cámara es desplazada por delante del entorno que se va a medir y toma una sucesión de imágenes. Los detalles del entorno son identificados sobre las diferentes imágenes y su posición, y se calculan mediante triangulaciones según su posición sobre las imágenes respectivas y las posiciones conocidas por anticipado de la cámara, en función de los parámetros de toma de imagen por la misma. A veces, se identifica una red de puntos del entorno, que han sido iluminados por un láser o por un proyector de un haz de rayos; se puede añadir una luz adicional para iluminar mejor los alrededores de la red de puntos y hacerlos resaltar respecto al resto del entorno. La utilización de un medio de iluminación recurre a los procedimientos de telemetría y entraña inconvenientes análogos de imprecisión y de inseguridad, que no compensan siempre la rapidez y la facilidad de identificación, ni los cálculos que con frecuencia se pueden conseguir.

En otros procedimientos, los puntos a medir son fuentes luminosas, marcas reflectantes o coloreadas dispuestas con anterioridad en el entorno. Estos procedimientos dan buenos resultados si las marcas y su posición han sido elegidas convenientemente, pero no son aplicables en todos los casos y en particular para entornos complicados y de gran tamaño: las mismas se muestran sobre todo interesantes para seguir la posición de un objeto determinado y móvil en el entorno más que para medir el entorno en sí mismo.

Por último, otros procedimientos ópticos están fundamentados en la ausencia de marcas en el entorno y en la medición de ciertos puntos de interés de las imágenes. Los puntos de interés se eligen automáticamente o a través del operador en el caso de procedimientos interactivos. Estos procedimientos tienen la ventaja de ser universales o aplicables teóricamente a cualquier entorno, pero no resulta siempre fácil disponer de puntos de interés suficientemente numerosos, y que sean comunes a todas las imágenes; la etapa de aparición de los puntos homólogos en imágenes diferentes puede ser delicada; además, una descripción de un entorno por medio de puntos, incluso aunque sean numerosos, es poco evocadora.

La invención constituye un procedimiento que forma parte de los procedimientos puramente ópticos y, de manera más precisa, de los que incluyen un análisis de imagen. Este nuevo procedimiento puede incluir triangulaciones, pero se distingue fundamentalmente de los procedimientos anteriores por el hecho de que interesa en este caso distinguir los detalles del entorno más que trazar una cartografía de esos puntos. Con frecuencia, resulta en efecto más fácil y fructífero discernir un elemento preciso del entorno y distinguirlo del resto, que disponer de un conocimiento completo pero indistinto de ese entorno. En el caso, frecuente en la práctica, de medición de locales industriales, esta consideración será por tanto más importante de lo que lo son los elementos y obstáculos, con frecuencia numerosos pero de forma simple, de modo que se superponen y crean un relieve muy complicado, pero que el aprovechamiento de la representación realizada es mucho más fácil cuando se han distinguido estos elementos y se les ha caracterizado por medio de algunos parámetros de posición y de forma.

Las ventajas ofrecidas por el procedimiento son múltiples: no hay necesidad de llenar el entorno con marcas específicas; se aprovecha una porción mucho más importante de la información de las imágenes que si se ocupa de puntos de interés, lo que debe dar una mayor precisión de la representación que se obtiene; el procedimiento es eficaz incluso con superficies variables, difusoras o reflectantes; es aplicable a volúmenes variados, eventualmente muy grandes; la duración de adquisición es extremadamente rápida, de algunas decenas de milisegundos; resulta posible una automatización completa del procedimiento; la representación puede ser concluida posteriormente añadiendo nuevas entidades, que hayan sido omitidas con anterioridad, o corrigiéndolas por medio de actualizaciones o de otras operaciones; y como la misma encuentra inmediatamente un modelo concreto del entorno, ésta puede ser aprovechada de forma inmediata, mientras que una cartografía de puntos necesita ser interpretada.

El procedimiento está fundamentado en un sistema compuesto por cinco módulos principales de acuerdo con la siguiente lista:

-: un módulo de tratamiento de imágenes que asegura la localización precisa de los contornos naturales de

los objetos que se han de reconstruir;

-: un módulo de reconstrucción y localización que determina los parámetros geométricos de los objetos y la

situación de un sistema de captura de imágenes;

-: un módulo de identificación que realiza la búsqueda automática de los contornos naturales de los objetos ya

reconstruidos;

-: un módulo de emparejamiento de puntos de interés, para ayudar a reemplazar estos contornos de objetos

reconstruidos sobre una nueva imagen;

-: y un módulo de reconstrucción en bloque, que realiza un cálculo de conjunto (recapitulativo) en vista de

todas las informaciones disponibles y que mejora considerablemente la precisión.

La puesta en práctica de este procedimiento necesita una o varias videocámaras calibradas con anterioridad (aunque el calibrado no sea necesario si se limita a primitivas de tipo puntual), con el fin de disponer de la relación entre cualquier punto de la imagen y la posición del rayo luminoso asociado. Los calibrados previos ya han sido descritos por diferentes autores; se puede citar el artículo de Viala, Chevillot, Guérin y Lavest “Puesta en práctica de un procedimiento de calibrado preciso de cámara CCD”, presentado en el 11º congreso de Reconocimiento de formas e Inteligencia Artificial (Clermont-Ferrand, 20 a 22 de Enero de 1998). Cuando se emplean varias cámaras, se habla de un sistema estereoscópico apto para proporcionar automáticamente un modelo tridimensional del entorno mediante una búsqueda de puntos homólogos sobre las imágenes y triangulaciones. Si se emplea una sola cámara, se puede obtener el mismo resultado por medio de imágenes sucesivas desplazando la cámara una cantidad determinada. Esta cantidad puede ser determinada igualmente, a posteriori, mediante cálculo si se dispone en el entorno de un metro graduado.

Para resumir, la invención es relativa a un procedimiento de medición de objetos tridimensionales en un entorno tridimensional, conforme a la reivindicación 1. El documento IEEE Transactions on Pattern Analysis and Machine Intelligence, Volumen 21, Issue 9 (September 1999), “Part-Based 3D Descriptions of Complex Objects from a Single Image”, páginas 835 – 848, describe un procedimiento para describir objetos complejos en una escena a partir de una imagen descomponiendo los objetos 3D en partes volúmicas, detectando las discontinuidades del aspecto de la imagen y asociando las discontinuidades a contornos geométricos. Se debe apreciar que el documento US-5 537 494 describe un procedimiento de codificación y de compresión de imagen en el que la intensidad luminosa está modelizada por medio de polinomios a lo largo de líneas paralelas, estando los polinomios definidos sobre segmentos que se interrumpen en las intersecciones de las líneas con los contornos de los objetos sobre la imagen. Son posibles correlaciones entre imágenes buscando segmentos idénticos. El carácter plano o curvo de las superficies de los objetos sobre la imagen se supone en base a que los polinomios sean de primer grado o de un grado superior.

La representación del entorno se completa en cada nueva imagen tomada o mediante informaciones suplementarias. El procedimiento puede así comprender estimaciones iniciales de posición de los objetos o de la cámara a partir de informaciones especificadas manualmente o a través de un fichero informático de descripción.

De una manera general, el procedimiento puede ser llevado a cabo tanto con variantes como por la flexibilidad conforme a la situación encontrada. Una posibilidad ofrecida por algunas de las mejores realizaciones consiste en una corrección de posición de los objetos estimando las posiciones de proyección de los objetos sobre las imágenes en función de las posiciones respectivas de la cámara cuando las imágenes fueron tomadas, y ajustando las posiciones de proyección estimadas según las posiciones de proyección medidas sobre las imágenes.

Esta corrección se realiza generalmente en el curso de un cálculo final recapitulativo en el que el error total de la representación se estima que es mínimo; se puede también rectificar la estimación de los parámetros de las cámaras.

Ahora se va a realizar la descripción de una realización concreta de la invención por medio de las figuras siguientes:

La Figura 1A es un esquema de un sistema de examen en un entorno típico;

La Figura 1B ilustra cómo es percibido el entorno sobre una imagen;

La Figura 2 esquematiza los módulos de tratamiento del sistema de examen;

5

10

15

20

25

30

35

40

45

50

55

60

Las Figuras 3, 4, 5 y 6 ilustran modelizaciones de contornos, y

Las Figuras 7 y 8 explican determinadas indicaciones utilizadas en la descripción.

Los módulos enumerados en lo que antecede llevan las referencias 20 a 24 en la Figura 2; éstos van a ser ahora descritos sucesivamente de acuerdo con el ejemplo de la Figura 1A, en la que el entorno que se va a reconocer comprende un tubo 1 doblemente acodado en 2 y 3, que acaba en una abertura 4, una caja 5 y una lámpara 6. El aparato de visualización, denominado sensor 7, comprende dos videocámaras 8 y 9 montadas rígidamente (aunque de forma regulable si es necesario) sobre un soporte común 10 y que están conectadas a un sistema operativo 11 que comprende en particular una memoria 12 en la que se conservan las imágenes de las cámaras 8 y 9, y una unidad de tratamiento 13. El procedimiento conforme a la invención consiste en aprovechar las imágenes, unas tras otras, creando una representación del entorno que se completa y precisa aprovechando cada nueva imagen. Este trabajo es en esencia automático, aunque un operador debe aún, en la práctica, aplicar su capacidad de entendimiento para completar o corregir la representación de ciertas circunstancias.

Por representación del entorno se entiende la medición de características geométricas o dimensionales de uno o varios objetos, la medición de características geométricas o dimensionales de elementos u objetos que constituyan una escena o un entorno. Este término se referirá igualmente a la medición de la posición y de la orientación de uno

o de varios objetos.

Una imagen de cámara consiste en una red de puntos que tienen niveles de grises diferentes, que son convertidos en valores digitales para su conservación en la memoria 12. La Figura 1B muestra que los contornos del tubo 1, de su abertura 4, de la caja 5 y de la lámpara 6 pueden estar representados respectivamente por tres pares de segmentos 14, 15, 16 (denominados limbos en la presente memoria) paralelos o sensiblemente paralelos, una elipse 17, nueve segmentos de recta 18, y un punto 19. En la práctica, estos contornos separan porciones de matices de coloraciones diferentes en la imagen y son por tanto discontinuidades, lo que se aprovecha para medirlas; ésta es la tarea del módulo de localización 20.

La localización de los contornos naturales sobre una imagen se apoya en modelos denominados deformables o contornos activos (véase el artículo de Kass, Witkin y Terzopoulos: “Snake; Active contour models” en el International Journal of Computer Vision, 1(4), p. 321 a 331, Enero de 1988, y la tesis de Bascle en la universidad de Nice-Sophia Antipolis (Enero de 1994), “Contribuciones y aplicaciones de los modelos deformables en visión por ordenador”). Éstos consisten en hacer evolucionar digitalmente a partir de una posición inicial, un modelo deformable de contorno, todo ello calculando su energía después de cada deformación. Esta energía incluye tradicionalmente dos términos de los que el primero expresa la regularidad geométrica del modelo y refleja propiedades físicas eventuales, y el segundo refleja la adecuación entre el modelo y la imagen experimental obtenida. Concretamente, este tratamiento tiene por objeto regularizar el modelo reduciendo sus irregularidades locales, generalmente imputables al ruido, sin apartarse demasiado de las informaciones de la imagen; pero no funciona bien más que sobre imágenes poco complejas, lo que no es el caso en la presente memoria. Además, se propone aquí una mejora describiendo determinados elementos de la imagen por medio de parámetros geométricos globales. Se podrá así decir que los modelos del entorno que se obtendrán serán a la vez deformables y paramétricos.

Los contornos en los que se tiene interés en la presente memoria, tienen formas simples y pertenecen a algunos tipos privilegiados que se encuentran muy frecuentemente en la realidad: éstos son, según se ilustra en la Figura 1B, cualquier punto, una recta, una doble recta y una elipse. Un punto será modelizado por medio de sus coordenadas cartesianas x e y sobre la imagen. Como las imágenes son finitas, las rectas serán modelizadas por medio de los segmentos y sus parámetros sobre la imagen serán un número de cuatro: las coordenadas x0 e y0 del medio del segmento, la longitud L del segmento y el ángulo θ que forma con la horizontal sobre la imagen, como se resume en la Figura 3. Cualquier punto del segmento obedecerá a las ecuaciones:

imagen1

con u comprendida entre -1 y +1, y θ comprendida entre 0 y π.

Un cilindro estará comprendido por sus contornos o limbos. Se tratará de dos segmentos paralelos, salvo que se admita el efecto de la perspectiva. Un modelo ventajoso ha sido resumido mediante la Figura 4, y comprende cinco parámetros: las coordenadas x0 e y0 del isobaricentro del sistema formado por los dos segmentos, la longitud común L de los dos segmentos, el ángulo θ formado por los dos segmentos con la horizontal y la distancia d que separa los

dos segmentos. Las coordenadas de los puntos de los dos segmentos vienen dadas por las ecuaciones:

imagen1

y

imagen1

con u (parámetro de recorrido) comprendido entre -1 y +1.

10 Pero si se desea tener en cuenta un efecto de perspectiva, el modelo precedente puede ser enriquecido con parámetros δθ que expresan variaciones en sentidos opuestos y convergentes de los dos segmentos, como expresa la Figura 5; los puntos seleccionados por el operador son entonces un número de 4. Las ecuaciones:

imagen1

15 y

imagen1

reemplazarán a las ecuaciones (2) y (3).

20 La proyección de un círculo en el espacio sobre una imagen bidimensional es una elipse cuyo parametraje posible puede ser leído en la Figura 6: los parámetros son las coordenadas x0 e y0 del centro, las longitudes l1 y l2 de eje grande y pequeño, y la orientación θ de eje grande con respecto a la horizontal. Las ecuaciones:

imagen1

25 proporcionan las coordenadas de los puntos de la elipse, en las que u es un parámetro de abscisa curvilínea comprendida entre 0 y 2π.

El procedimiento comienza mediante una inicialización de la representación del entorno, en general manual, en la que un operador examina una de las imágenes sobre una pantalla de ordenador y marca los contornos que se van a 30 modelizar. Tras haber elegido el tipo de contorno adaptado, éste destaca sobre la pantalla un número suficiente de puntos para definir este contorno y permitir un primer cálculo de los parámetros.

Estos puntos están reseñados mediante estrellas en las Figuras 3 y 4: se trata de los extremos del segmento y de los extremos de un limbo de cilindro y de un punto del otro limbo. Una elipse está definida por cinco puntos.

35

La etapa siguiente consiste en una adecuación del contorno seleccionado, a través del operador o de forma automática, a la imagen gracias a una función potencial por medio de cálculos realizados por el módulo de localización 20. En general, la mejora de un modelo sobre una imagen viene dada por la disminución sucesiva de

5

15

25

35

45

una función Pe denominada de potencial, que comprende varios términos. Un solo término de energía es aquí suficiente en la mayor parte de los casos. La imagen es tratada calculando las diferencias de niveles de grises digitalizados de puntos contiguos, para asociar a cada uno de los puntos de la imagen una intensidad elevada de potencial si el punto está en una zona de coloración uniforme, y una intensidad baja de potencial si está en una zona de transición o de discontinuidad de coloración. Si una imagen de potencial estuviera representada, ésta representaría zonas oscuras en los contornos de los objetos y, en general, un fondo claro también. La suma del potencial de un contorno se calcula sobre todos sus puntos, y después se utiliza un algoritmo de análisis digital por disminución de gradiente para calcular las variaciones del potencial en función de la variación de los parámetros del contorno. En el presente caso, éste es más bien la suma cuadrática ε del potencial Pe a lo largo del contorno C que se pretende minimizar según la ecuación:

imagen1

en la que a es el vector de los parámetros del modelo y x, y son las abscisas y las ordenadas de los puntos del contorno. Además de su rapidez de convergencia, esta herramienta digital presenta la ventaja de proporcionar una evaluación de la matriz de covarianza sobre el modelo estimado, indicado como Δa. Esta información será aprovechada por el módulo de reconstrucción y de localización tridimensionales.

Se utiliza una distancia especial dada por la ecuación:

imagen1

para calcular el potencial Pe de los puntos de la imagen. Esta distancia especial posee las ventajas de ser cuadrática en las proximidades de cero, es decir del contorno, y de ser un poco más constante cuando la distancia euclidea d entre puntos de la imagen resulta ser importante, siendo σ un coeficiente fijo. Esta distancia es comparable a un coeficiente de ponderación que atenúe la influencia de los puntos lejanos en el cálculo del potencial Pe.

Sin embargo, se utiliza un término de potencial suplementario además del término Pe anterior para los contornos de cilindro. En efecto, es frecuente que estos elementos estén sujetos a variaciones de iluminación que crean bandas muy reflectantes de especularidad hacia las que podría converger el modelo deformable confundiéndolas con los contornos. La utilización de este término suplementario evita este peligro: se trata de un término de potencial convencionalmente muy elevado para los puntos fuertemente iluminados; el potencial total así modificado resulta elevado alrededor de las bandas reflectantes, lo que empuja los contornos modelizados hacia los contornos reales del cilindro.

Todavía es necesario señalar la influencia de las aberraciones geométricas introducidas por las lentes de un objetivo: una recta en el espacio se proyecta como segmento de curva, más que como segmento rectilíneo, sobre la imagen. Los modelos deformables no permiten en este caso aproximar perfectamente tales partes deformadas, pero se puede utilizar un procedimiento de corrección de las aberraciones geométricas para aplicar el procedimiento de la invención a imágenes rectificadas, obtenidas sin distorsión. Este procedimiento de corrección se realiza a la vez para todos los puntos de la imagen por anticipado, y es la imagen rectificada la que se conserva en la memoria 12.

Las aberraciones geométricas están compuestas por dos términos, de los que un término de distorsión radial desplaza un punto radialmente con relación al centro óptico de la imagen y se expresa como un polinomio de ecuación:

(9) imagen2 r(r) = K1r3 + K2r5 + K3r7

en función de la distancia radial r= imagen3 x2 + y2 ; y un término de distorsión tangencial que integra una componente tangencial y una componente radial de acuerdo con las ecuaciones:

imagen1

Los coeficientes K1, K2, K3 y P1 y P2 son coeficientes de distorsión estimados durante el calibrado de la cámara.

6

La distorsión radial se estima mediante un cálculo preliminar de una tabla de aberración en función de la distancia radial. Esta tabla hace corresponder, para cada distancia radial rD desde el centro de la imagen de calibrado distorsionada, la distancia correspondiente rND de un mismo lugar en la imagen no distorsionada. La separación

5 entre los valores sucesivos de las distancias rD ubicados en la tabla se elige de manera que se respete la precisión mínima Δ entre valores sucesivos de la distancia corregida rND. Este procedimiento permite obtener una precisión que puede alcanzar una décima parte del paso entre dos puntos sucesivos de la imagen.

No se prevé proceder de la misma forma para tener en cuenta la distorsión tangencial, puesto que las tablas que

10 proporcionan las correcciones en función de las coordenadas x e y deberían afectar a todos los puntos de la imagen y ocuparían un espacio excesivo en la memoria. A esto se debe que, en caso de que sea necesario tener en cuenta estas distorsiones tangenciales, se aconseje utilizar un algoritmo de búsqueda de raíz de ecuación basada en las ecuaciones (10), tal como el algoritmo de Powell bien conocido en el estado de la técnica.

15 Ahora se va a realizar la descripción del segundo módulo 21 del sistema operativo, el cual es un módulo de reconstrucción y de localización que aprovecha las posiciones de los contornos de objetos detectados anteriormente sobre las imágenes para estimar la posición de estos objetos en el entorno, es decir, para construir la representación tridimensional de los mismos, todo ello calculando la posición del sensor 7 de imagen para una etapa de localización. El procedimiento es recurrente, es decir, que las imágenes son aprovechadas sucesivamente, siendo la

20 representación del entorno cada vez completada y corregida para hacerla más precisa. Se trata de una aplicación del filtro de Kalman. En la presente memoria se describe la utilización de un sensor 7 estereoscópico de dos cámaras, pero el procedimiento sería aplicable a un sensor de una sola cámara: la reconstrucción y la localización no podrían ser apreciadas más que a un factor de escala cercana, que se podría proporcionar inyectando una información suplementaria en el sistema, tal como una distancia entre dos puntos o el radio de un cilindro.

25 En lo que antecede hemos proporcionado las fórmulas que relacionan, para una cámara de índice i del sensor que ha tomado una imagen en el instante k, el vector xk de los parámetros del objeto detectado en un punto de referencia absoluto, y el vector zki de sus coordenadas de observaciones en esta imagen. La cámara tendrá su posición indicada por medio de una matriz de rotación Rki y un vector de traslación tki en el punto de referencia absoluto. Las

30 fórmulas de transición están indicadas mediante la letra h.

En el caso de un punto, se respetan las ecuaciones

imagen4

donde (xk, yk, zk)t = Rxi(x, y, z))t + txi , con xk = (x, y, z), zki = (u, v).

En el caso de una recta, xk y zki se definen mediante los vectores (13) xk = (x, y, z, β, ϕ)t, zki = (u, v, imagen5 ), donde β y ϕ 40 son las coordenadas esféricas del vector director de la recta, y θ es el ángulo que forma su proyección sobre la imagen; las fórmulas

imagen1

45 en las que x es el producto vectorial, proporcionan las condiciones a satisfacer, donde (mk, vk) son los parámetros de la recta (las coordenadas de uno de los puntos mk y de su vector director), de acuerdo con las ecuaciones:

(15) mk = Rkim + tki, vk = Rkiv,

50 mp representa las coordenadas de la proyección del punto mk sobre la imagen, mi es el medio del segmento detectado sobre la imagen y vi es el vector director del segmento, conforme a la Figura 7, y mi y vi son deducidos a partir de Zk.

Un cilindro infinito se define mediante el vector:

55

(16) xk=(x,y,z, imagen6 , imagen7 , r)t,

en la que x, y, z son las coordenadas (indicadas como m) de un punto de su eje, β y ϕ son las coordenadas esféricas (indicadas como v) del vector director de su eje, y r es su radio. Las ecuaciones

5 (17) mk=Rkim+tki y vk=Rkiv

expresan la posición del eje del cilindro en el punto de referencia de la cámara i en el instante k. Se calculan además (m1, v1) y (m2, v2), las coordenadas de sus limbos, y mp1 y mp2, las proyecciones de los puntos m1 y m2 sobre la imagen. A partir de los parámetros medidos sobre la imagen,

(18) (u, v, imagen5 , imagen8 , d),

se deduce el vector de observación zk = (u1, v1, θ1, u2, v2, θ2) correspondiente a los puntos medios y a las orientaciones de los dos limbos observados, y se obtiene la ecuación de medición:

15

imagen1

La Figura 8 representa estos parámetros. De acuerdo con el caso de la recta, VI1 y mI1, vI2 y mI2 son deducidos a partir de zk.

En cuanto al círculo, se define mediante un vector de estado conforme a la fórmula:

(20) xk=(x,y,z, imagen6 , imagen9 , r)t,

en la que x, y, z designan las coordenadas de su centro, β y ϕ las coordenadas esféricas del vector director de su 25 normal y r su radio. Además, se aplican las fórmulas

(21) mk=Rkim+tki y vk=Rkiv

Si las coordenadas de observación están representadas por la función

(22) zki = (u, v, l1, l2, imagen5 ),

las ecuaciones

35

imagen1

222

con Q=a2(xk +yk +zk –r 2)+1–2bxk expresan la transición entre el vector de estado y las observaciones, donde q0, ..., q4 son procedentes de una conversión de los parámetros (22) para obtener una representación de la elipse bajo una forma implícita tal que u2 + q0v2 + q1uv + q2u + q3v + q4 = 0.

Ahora vamos a pasar a la descripción del procedimiento de reconstrucción en el caso particular de un sensor formado por dos cámaras que son fijas cada una con relación a la otra, indicadas mediante sus índices l y r, y que toman simultáneamente una imagen. Para un punto, el vector de observación puede expresarse mediante:

(24) zk = (ul, vl, ur, vr, imagen10 k, imagen6 k, imagen11 k, txk, tyk, tzk)

lr r

en la que ul, v , u y v son las coordenadas del punto sobre las dos imágenes, y los otros parámetros son los vectores de orientación y de traslación del sensor en el punto de referencia absoluto. La función de observación del punto viene dada entonces por la ecuación:

imagen1

cuya solución (en la que se habrá indicado que se trata de una duplicación de la ecuación (11) para las dos cámaras) da una evaluación del vector de estado xk del punto, compuesta por las coordenadas x, y, z en el punto de referencia absoluto.

La localización de una recta está condicionada por la obtención de un vector de observación

l, imagen5 lrr, imagen5 r (26) zk=(ul,v,u,v, imagen10 k, imagen6 k, imagen11 k, txk, tyk, tzk)t

y por la resolución de las ecuaciones

imagen1

15 de forma análoga; recordemos que los parámetros θ son los ángulos de las proyecciones de la recta sobre las imágenes l y r con relación a la horizontal. Hay que observar, sin embargo, que tal y como se observa a partir de los segmentos de recta más que por las propias rectas, el vector de estado de una recta viene dado por la fórmula:

(28) xk = (a, b, p, q)t,

más que por las coordenadas de un punto de la recta y el vector director de esta recta. En cada adquisición, la recta estimada por los parámetros del vector de estado a, b, p y q viene expresada en forma de una recta finita de parámetros x, y, z, β, ϕ y l, donde la longitud del segmento está designada por l y el centro de este segmento por las coordenadas x, y, z. Estas últimas coordenadas son evaluadas mediante una re-proyección en la imagen. La

25 definición de los parámetros a, b, p, q va a ser dada a continuación:

-la recta tiene un vector director (1, a, b) y un vector de posición (0, p, q) salvo que la misma sea perpendicular al eje Ox; -ésta puede estar definida por el vector director (a, 1, b) y un vector de posición (p, 0, q) salvo que la misma sea perpendicular al eje Oy;

-y por un vector director (a, b, 1) y un vector de posición (p, q, 0) salvo que la misma sea perpendicular al eje Oz. Una convención preferente permite definir una prioridad cuando son posibles varias de estas representaciones.

35 En lo que se refiere al cilindro, el mismo está aún definido en la representación por los parámetros a, b, p, y q, de su eje, y por su radio, según la fórmula:

(29) xk = (a, b, p, q, r)t.

El vector de observación está definido por la fórmula:

llllllrrrrr

(30) zk=(u1,v1, imagen5 1,u2, v2, imagen5 3, u1, v1, imagen5 1, u2, v2, imagen5 2rimagen10 k, imagen6 kimagen11 k, txk, tyk,tzk)t.

El sistema

45

imagen1

debe ser resuelto. Por último, el círculo de vector de estado está definido por la fórmula:

(32) xk=(x,y,z, imagen6 , imagen7 , r)t,

El vector de observación definido por la fórmula:

(33) zk = (ul, vl, l1l, l2l, imagen5 l, ur, vr, l1r, l2r, imagen5 r, imagen11 k, imagen6 k, imagen10 k, txk, tyk, tzk) t,

y el sistema:

imagen1

deben ser resueltos.

10 En cada nueva adquisición, se afina la estimación de la posición del objeto. Cuando un objeto aparece por primera vez en un par de imágenes, esta estimación se inicializa por medio de una reconstrucción preliminar por triangulación. Se han propuesto procedimientos en el estado de la técnica. Una inicialización conveniente permite hacer converger la estimación de posición del objeto rápidamente en cada nueva imagen.

15 La reconstrucción del entorno tridimensional implica una localización del sensor, cuya posición no es en general conocida, o solamente se conoce con una precisión insuficiente. En cada nueva adquisición, se utilizan los puntos ya reconstruidos en el entorno y su vector de observación para efectuar una pre-localización del sensor buscando

imagen1

20 es decir, los valores χk, βk, αk, txk, tyk, tzk que proporcionan la mejor concordancia entre la representación del entorno y su imagen en las cámaras (h próxima a 0), para todos los puntos j del modelo. A continuación, se resuelven de manera recurrente las ecuaciones:

(37) hp(xk, zk) = 0, hd(xk, zk) = 0, hcy(xk, zk) = 0, 25 o hc(xk, zk) = 0

(una por objeto ya reconstituido, según la categoría del objeto), en las que los vectores de observación zk vienen dados por la fórmula:

30 (38) zk = (ul, vl, ur, vr, x, y, z)t,

zk = (ul, vl, imagen5 l, ur, vr, imagen5 r,x,y, z, imagen6 , imagen9 )t,

llllllrrrrrr

zk =(u1, v1, imagen5 1, u2,v2, imagen5 2, u1, v1, imagen5 1, u2, v2, imagen5 2,x,y, z, imagen6 , imagen9 , r)t,

35

o

zk = (ul, vl, l1l, l2l, imagen5 l, ur, vr, l1l, l2l, imagen5 r,x,y, z, imagen6 , imagen9 , r)t

40 apropiada: se trata de otra aplicación del filtro de Kalman en la que el vector de estado estimado es en este caso (χk, βk, αk, txk, tyk, tzk). El módulo 22 lleva a cabo esta localización.

El módulo de identificación 23 del sistema permite identificar automáticamente al menos una parte de los contornos que constituyen el objeto de los cálculos anteriores, cada vez que se toma una imagen. Se propone actuar de la

45 siguiente manera:

-seleccionar una imagen precedente k0, con preferencia próxima a la imagen actual k en lo que se refiere a las posiciones y las orientaciones de toma de vista, -seleccionar puntos de interés l0 sobre esta imagen precedente k0, lo que puede hacerse de forma

50 automática, teniendo los puntos de interés como propiedad general el hecho de presentar un importante gradiente de luminosidad en sus proximidades, poco sensible en general a los cambios de condiciones de toma de la vista (iluminación, zoom, exposición de la vista). Un punto característico ya identificado en una imagen k0 será por tanto identificado más frecuentemente de nuevo sobre una imagen siguiente k, salvo que esté en ese momento oculto por otro punto del entorno;

-cuando los puntos de interés l0 y lk de las dos imágenes han sido encontrados, se pone en correspondencia los de una imagen con los de la otra; se puede utilizar para ello la información de luminancia en las proximidades de cada una de ellas, que es susceptible de caracterizarlas en el medio; ésta se codifica en forma vectorial utilizando diferentes filtros. El módulo busca, para cada punto de interés lk de la nueva imagen k, aquél de los puntos de interés l0 de la imagen anterior k0 que sea más similar calculando un índice de correlación o una distancia vectorial (véanse, por ejemplo, los trabajos de C. Schmid, “Emparejamiento de imágenes por invariantes locales de niveles de grises”, Tesis de doctorado INPG, 1996);

-Cuando las correspondencias entre pares de puntos de interés, que se supone que provienen de las proyecciones respectivas sobre las dos imágenes de un mismo punto del entorno, han sido determinadas, se obtiene de ese modo una matriz de correspondencia entre las dos imágenes. Entonces resulta posible proyectar el modelo tridimensional estimado con anterioridad sobre la imagen actual por medio de esta matriz. Los contornos así obtenidos sirven de estimación preliminar de contornos de objetos para la nueva imagen k, y son utilizados aplicando sobre los mismos el procedimiento explicado en lo que antecede del módulo 20, utilizando modelos deformables. El operador no tiene así que recomenzar completamente la selección de los contornos sobre la nueva imagen k. Este puede, evidentemente, rectificar los contornos que aparezcan como incorrectos o eliminar los contornos ocultos por otros objetos del entorno. Como el programa está concebido para eliminar por sí mismo los contornos ocultados por los objetos ya incorporados al modelo, el operador solamente tendrá que eliminar los contornos ocultados por objetos que no hayan sido aún identificados. Éste debe introducir, sin embargo, los contornos que aparezcan por primera vez sobre la imagen k.

Un último módulo consiste en un cálculo tridimensional en bloque. Esto se lleva a cabo mediante el módulo 24 cuando todas las imágenes del entorno han sido aprovechadas de la manera que se ha descrito, y se ha completado una representación del entorno. El cálculo se realiza, en sí mismo, de la forma siguiente:

ii

-A partir de los parámetros Rk y tk a priori para cada imagen k, se calculan las proyecciones de los contornos de la representación sobre los planos de imagen de la cámara; -se calculan las separaciones entre las posiciones de los contornos proyectados y las posiciones de los mismos contornos evaluadas con anterioridad sobre las mismas imágenes; -se evalúan de nuevo las posiciones de los contornos en la representación con el fin de minimizar las separaciones.

Se sigue adelante utilizando un procedimiento de mínimos cuadrados que minimiza el error global. Se puede definir un vector x = (xG1, ..., xGn, xM1, ..., xMp)T, donde los xG reagrupan los parámetros de la totalidad de los n objetos de la representación y los xM reagrupan los parámetros de las p tomas de vistas (α, β, χ, tx, ty, tz)T, así como un vector z de medición que reagrupa el conjunto de observaciones realizadas para cada objeto y para cada imagen. El ajuste efectuado por el módulo 24 equivale a reducir al mínimo la funcionalidad de error F(x, z, a) en la que a comprende informaciones conocidas sobre los medios de captación de imagen (por ejemplo, sus parámetros intrínsecos, centro óptico, distancia focal, coeficientes de escala y de distorsión), o sobre la representación (por ejemplo, los parámetros del vector x que se ha supuesto que están bien determinados o que son conocidos). Se pueden introducir ponderaciones de los diferentes parámetros. Este módulo 24 permite por tanto evaluar las incertidumbres de la representación del entorno y reducirlas modificando los parámetros estimados de toma de vista.

Es posible corregir determinados parámetros o bloquearlos. Los parámetros utilizados son u y v para el punto, θ yd (distancia al origen desde el punto de referencia de imagen) para la recta y cada limbo de cilindro. Además, se utilizan aún las coordenadas u y v de los extremos de los segmentos de recta y de cilindro.

El cálculo en bloque es utilizable igualmente para efectuar la medición de la posición y de la orientación de uno o más objetos por medio de una sola imagen y de una cámara. Será necesario para ello disponer de informaciones complementarias sobre los objetos: las características geométricas de cada objeto deben ser conocidas e inyectadas en el cálculo en bloque. La medición de las proyecciones en una sola imagen de estas características citadas es suficiente entonces para determinar la posición y la orientación del objeto. Será necesario vigilar que se disponga de características en número suficiente para evaluar todos los parámetros de posición y de orientación.

Claims

REIVINDICACIONES

1.-Procedimiento de medición de un objeto tridimensional en un entorno tridimensional, que comprende las etapas de:

- tomar al menos una imagen del entorno por medio de al menos una cámara;

- detectar las discontinuidades del aspecto de la imagen;

- asociar las discontinuidades a los contornos geométricos, teniendo los contornos posiciones y formas sobre

la imagen que están definidos por parámetros que incluyen números;

- ajustar los contornos geométricos a las discontinuidades haciendo que varíen los parámetros, caracterizado

por las etapas de:

o asociar numéricamente los contornos geométricos a objetos geométricos del entorno tridimensional, estando definidas una posición tridimensional y una forma volúmica de los objetos geométricos en el entorno por parámetros tridimensionales que incluyen números;

o estimar las posiciones tridimensionales y las formas volúmicas de los objetos geométricos en el entorno tridimensional calculando las proyecciones geométricas de los objetos geométricos sobre la citada al menos una imagen mediante un ajuste entre las proyecciones y los contornos geométricos;

o y crear una representación del entorno tridimensional, comprendiendo esta representación los objetos geométricos, según los parámetros que definen las posiciones y las formas de los objetos geométricos.
2.-Procedimiento según la reivindicación 1, caracterizado porque los contornos geométricos comprenden el punto, la línea recta y los objetos comprenden el círculo, el cilindro, la recta y el punto.
3.-Procedimiento según la reivindicación 2, caracterizado porque los parámetros comprenden las coordenadas cartesianas planas, los ángulos y las longitudes.
4.-Procedimiento según una cualquiera de las reivindicaciones 1, 2 y 3, caracterizado porque la citada al menos una imagen es convertida en una imagen de una función de potencial (Pe) calculada sobre los puntos de la imagen, proporcionando la función de potencial valores extremos en las discontinuidades.
5.-Procedimiento según la reivindicación 4, caracterizado porque la función de potencial comprende un término que tiene en cuenta zonas de muy baja intensidad de nivel de grises de la imagen.
6.-Procedimiento según la reivindicación 1, caracterizado porque la representación comprende una posición de la al menos una cámara (8, 9).
7.-Procedimiento según la reivindicación 6, caracterizado porque las proyecciones geométricas (z) se determinan por medio de relaciones (h) que utilizan posiciones las estimadas (x) de los objetos geométricos en la representación, y los parámetros (Rkl, tkl) de posición de la cámara.
8.-Procedimiento según la reivindicación 1, caracterizado porque la representación comprende estimaciones iniciales sobre las posiciones de los objetos geométricos, que son especificadas manualmente o a través de un fichero informático de descripción, y la representación se crea ajustando progresivamente las estimaciones de tal modo que se mejora el ajuste entre las proyecciones de los objetos geométricos y los contornos geométricos de la al menos una imagen.
9.-Procedimiento según la reivindicación 1, caracterizado porque se toma una pluralidad de imágenes sucesivamente mediante adquisiciones de nuevas imágenes, y las estimaciones de posición de los objetos de la representación son afinadas re-proyectando los objetos geométricos de la representación sobre cada nueva imagen.
10.-Procedimiento según la reivindicación 9, caracterizado porque incluye, para cada nueva imagen, una estimación de localización de la cámara correspondiente a la mejor concordancia entre la representación del entorno y la citada nueva imagen, y porque la representación es afinada utilizando la citada estimación de localización.
11.-Procedimiento según la reivindicación 9, caracterizado porque los objetos geométricos son proyectados sobre cada nueva imagen con anterioridad a detectar las discontinuidades de aspecto de la citada nueva imagen, de manera que se proporcionan los contornos que sirven de estimaciones preliminares en las citadas discontinuidades de aspecto de la nueva imagen.
12.-Procedimiento según la reivindicación 11, caracterizado porque las estimaciones de la posición de los objetos en la representación son afinadas ajustando las proyecciones de los objetos en las discontinuidades de aspecto de la nueva imagen, sin asociar las citadas discontinuidades a los contornos geométricos.
13.-Procedimiento según una cualquiera de las reivindicaciones anteriores, caracterizado porque comprende una etapa final de ajuste de la representación del entorno calculando, y después minimizando, una funcionalidad de error (F), que expresa las separaciones de las proyecciones de los objetos de la representación sobre las imágenes y los contornos geométricos sobre las citadas imágenes, en función de parámetros específicos de las cámaras (xM) y de parámetros de los objetos (xG), haciendo que varíen algunos al menos de los citados parámetros (x).