ES2209453T3 - Procedimiento de modelizacion de objetos o de escenas en 3d. - Google Patents

Abstract

Procedimiento de modelización de objeto o de escena tridimensional a partir de N imágenes (IM(t), IM¿(t), espacial o temporalmente diferentes, que representan dicho objeto o dicha escena, N>=2, destinado a producir un modelo del mencionado objeto o de la citada escena, que consiste en una pluralidad de puntos característicos (PC1, PC2, PC3) y una pluralidad de polígonos (POL1) definidos a partir de los citados puntos característicos y que constituyen las diversas facetas de dicho objeto o de la mencionada escena, caracterizado porque comprende las etapas siguientes, - detectar en cada imagen unos pixels característicos, relativos a los puntos característicos del mencionado objeto o de la citada escena, - asociar los pixels característicos de las N imágenes que se refieren al mismo punto característico del citado objeto o de la citada escena, - medir la disparidad espacial entre las N imágenes, a partir de la diferencia de cada punto característico en las N imágenes y deducir de ello las coordenadas espaciales de los puntos característicos de dicho objeto o de dicha escena, - efectuar una etapa de encadenado (malla) de los puntos característicos para formar los polígonos que constituyen las diversas facetas del citado objeto o de la mencionada escena.

Description

Procedimiento de modelización de objetos o de escenas en 3D.

La presente invención se sitúa en el ámbito de la representación virtual de objetos o de escenas en tres dimensiones. Se refiere más particularmente a un procedimiento de modelización de objetos tridimensionales y a su aplicación a la visualización en tiempo real.

En la actualidad, se van utilizando cada vez más procedimientos de este tipo en el tratamiento de imágenes. En particular, pueden utilizarse para el análisis de escenas tridimensionales (3D), con extracción de la geometría y de la dinámica de los objetos presentes en la escena. Como campos de aplicación, se puede mencionar por lo tanto la robótica, el pilotaje automático, la numerización automática de objetos o la búsqueda semántica para archivar imágenes.

Los procedimientos de modelización existentes se reagrupan esencialmente en tres categorías:

- los procedimientos de modelización que utilizan programas informáticos específicos;

- los procedimientos de modelización por exploración por láser, sonido o mecánica de los objetos en las tres dimensiones;

- los procedimientos de modelización que se basan en las técnicas de fotomodelización.

Los procedimientos de modelización que utilizan un programa informático específico son, por lo general, los más sencillos. Estos procedimientos son interactivos, en el sentido de que necesitan a un operador para dialogar con el programa informático. El programa informático de modelización pone a disposición del operador toda una gama de formas geométricas tridimensionales sencillas (cubos, esferas...) y complejas (superficies de revolución...), así como operaciones booleanas (unión, intersección, diferencia...), que permiten combinar las formas entre si. El principal inconveniente de este procedimiento es que necesita un operador muy experimentado, capaz de analizar la estructura de los objetos en términos de primitivas y de funciones geométricas conocidas del programa informático.

En cuanto a los sistemas de modelización por exploración por láser, sonido, magnética o mecánica, consisten en barrer el objeto que se va a modelizar con una radiación adecuada. El proceso de barrido es automático, aunque las ventanas de exploración tienen que ser precisadas, sin embargo, por un operador. Este método permite obtener una definición muy precisa del objeto que se va a modelizar, aunque no tiene en cuenta las características topológicas del objeto. En efecto, el número de puntos obtenidos para representar el objeto que se va a modelizar, sólo depende del paso de exploración en x, en y, y en z definido, por el operador. Por consiguiente, con este procedimiento, un objeto de forma sencilla, como por ejemplo un cubo, y un objeto de forma más compleja, de mismo tamaño, se representan con un mismo número de puntos, algunos centenares e incluso algunos millares de puntos, mientras que esta abundancia de puntos sólo se justifica para el objeto de forma compleja. Esta técnica de modelización se utiliza particularmente en CAO (Concepción Asistida por Ordenador) para controlar máquinas herramientas, encargadas de reproducir un objeto físico existente. En efecto, en este caso, la precisión de las superficies que se quiere reproducir es fundamental, mientras que el número de puntos obtenidos es secundario. Algo muy diferente ocurre en la representación virtual 3D multimedia (por ejemplo en televisión o en el cine), donde el número de puntos, de vértices o de polígonos es fundamental para conservar un realismo suficiente. En este caso, la imagen que representa el objeto o la escena es el resultado final, mientras que en CAO, la imagen que representa el objeto es una herramienta para realizar físicamente el objeto. La imagen no es el resultado final.

Finalmente, la técnica de fotomodelización se basa en el análisis de pares de imágenes estereoscópicas o multi-vistas. Esta modelización se realiza manualmente. Un operador determina los vértices de los polígonos que constituyen el objeto a modelizar en una primera vista. Determina asimismo, en las demás vistas, los puntos correspondientes a estos vértices y establece relaciones entre los puntos de una misma imagen, con el fin de definir los polígonos que constituyen el objeto a modelizar. El programa informático calcula después la disparidad estereoscópica entre las diferentes vistas para deducir de la misma las coordenadas x, y, z de cada uno de los vértices de los polígonos con respecto a un punto de referencia. Este método manual es muy lento y es parecido a la técnica de modelización por programa informático descrita anteriormente. Por consiguiente, no se puede utilizar a escala industrial.

La presente invención pretende paliar los inconvenientes antes citados del estado anterior de la técnica, proponiendo un procedimiento de modelización de objetos o de escenas en 3D que sea automático, rápido y se pueda utilizar a escala industrial. Para ello, se prevé utilizar técnicas de análisis de imagen, basadas en las características psicovisuales del córtex visual humano.

Por consiguiente, la invención tiene como objeto un procedimiento de modelización de objeto o de escena tridimensional a partir de N imágenes, espacial o temporalmente diferentes, que representan dicho objeto o dicha escena, N\geq2, destinado a producir un modelo del mencionado objeto o de la citada escena, que consiste en una pluralidad de puntos característicos y una pluralidad de polígonos definidos a partir de los citados puntos característicos y que constituyen las diversas facetas de dicho objeto o de la mencionada escena, caracterizado porque comprende las etapas siguientes,

- detectar en cada imagen unos pixels característicos, relativos a los puntos característicos del mencionado objeto o de la citada escena,

- asociar los pixels característicos de las N imágenes que se refieren al mismo punto característico del citado objeto o de la citada escena,

- medir la disparidad espacial entre las N imágenes, a partir de la diferencia de cada punto característico en las N imágenes y deducir de ello las coordenadas espaciales de los puntos característicos de dicho objeto o de dicha escena,

- efectuar una etapa de encadenado (enmallado) de los puntos característicos para formar los polígonos que constituyen las diversas facetas del citado objeto o de la mencionada escena.

Para detectar los pixels característicos en las N imágenes, se realiza, para cada imagen IM(t), compuesta por I.J. pixels P(i, j), que tienen coordenadas tales que 0<i<I-1 y 0<j<J-1 e intensidades luminosas L(i,j,t) y para cada pixels P(i,j) de la imagen, las siguientes etapas:

- efectuar para cada pixels P(i,j) de la imagen, D dobles filtrados direccionales para D direcciones predeterminadas, definidos para cada uno por las dos relaciones siguientes:

A[(\partial G(i,j)/\partial \rho)_{a},t]=\sum\limits_{m=- k}^{m=k} \ \sum\limits_{n=-k}^{n=k} \ L(i+m,j+n,t)n,t)\cdot (\partial G(i+m,j+n)/\partial \rho)_{a}

y

A[(\partial^{2} G(i,j)/\partial \rho^{2})_{a},t]=\sum\limits_{m=- k}^{m=k} \ \sum\limits_{n=-k}^{n=k} \ L(i+m,j+n,t)\cdot (\partial^{2}G(i+m,j+n)/\partial \rho^{2})_{a}

en las cuales k es un entero predeterminado, por lo menos igual a 1, L(i+m,j+n,t) es la intensidad luminosa, con un píxel P(i+m,j+n) cercano al píxel P(i,j), y (\partialG(i+m,j+n,t)/\partial\rho)_{a} y (\partialG^{2}(i+m,j+n,t)/\partial\rho^{2})_{a} son derivadas direccionales de primer orden y de segundo orden, según la dirección predeterminada respectiva (\alpha) de una función bidimensional predeterminada G, de manera que forman I.J vectores columnas de pixels compuestas por 2D componentes vectoriales,

- calcular una función de curvatura según la relación: CG(i+j,t) =

\sum\limits_{m=-k}^{m=k} \ \sum\limits_{n=-k}^{n=k} \ L(i+m,j+n,t)\cdot \left[\frac{\partial^{2}G(i+m,j+n)}{\partial x^{2}}\cdot\frac{\partial^{2}G(i+m,j+n)}{\partial y^{2}}- \frac{\partial^{2}G(i+m,j+n)}{\partial x\cdot\partial y}\right]

- detectar la dirección que presenta la mayor actividad seleccionando la mayor derivada direccional de primer orden para el píxel P(i,j),

- calcular una función de iso-intensidad (CI) dependiente de la derivada direccional de segundo orden para una dirección perpendicular a la dirección que presenta la mayor actividad, y

- comparar las funciones de curvatura y las funciones de iso-intensidad respecto de umbrales predeterminados, presentando los pixels característicos por lo menos una de las funciones de curvatura o de isoluminancia superior a uno de los dos umbrales predeterminados respectivos.

Para asociar los pixels característicos de las N imágenes referidas al mismo punto característico de dicho objeto o de la citada escena, se efectúan las etapas siguientes:

- determinación de una matriz fundamental a partir de pixels característicos primarios que tienen vectores columnas idénticos en las N imágenes, estableciendo dicha matriz una correspondencia entre los pixels de las N imágenes,

- asociación de los pixels característicos de las N imágenes referidos al mismo punto característico con la ayuda de la matriz fundamental.

Según una variante del modo de realización, el procedimiento de la invención de comprende además una etapa de reagrupación perceptiva, para reagrupar los pixels de cada imagen pertenecientes a una zona perceptualmente homogénea de la imagen, realizando, para cada imagen y para cada pixel, Q iteraciones de una función tal que:

\newpage

A_{q}[f(i,j),t] = \beta\cdot A_{q-1}[f(i,j),t]

+\sum\limits^{m=k}_{m=-k} \ \sum\limits^{n=k}_{n=- k} \ \phi(P(i,j),P(i+m,j+n)\cdot A_{q-1}[f(i+m,j+n),t]

\hskip4cmcon
(m,n) \neq (0,0)

donde

A_{q}[f(i,j),t] representa la actividad del píxel corriente P(i,j) en la imagen IM(t), asociada a la función característica f en la iteración q,

A_{q-1}[f(i+m,j+n) t] representa la actividad de un píxel P (i+m,j+n) próximo al píxel P(i,j), asociada a la misma función característica f pero en la iteración precedente q-1, es decir la actividad del píxel vecino es relativa a la iteración precedente,

\beta es una constante notablemente inferior a 1,

q es un entero comprendido entre 0 y Q,

y

\phi(P(i,j), P(i+m,j+n)) es un coeficiente de acoplamiento entre los pixels P(i,j) y

P(i+m,j+n) inferior a 1,

y reagrupando en una tabla todos los pixels vecinos entre si, cuya actividad converge después de Q iteraciones hacia el mismo valor límite.

La invención se refiere también a la aplicación de este procedimiento a la visualización en tiempo real de un objeto o de una escena. Esta visualización en tiempo real se caracteriza porque el objeto o la escena se modelizan previamente según E escalas y porque el modelo de objeto o de escena que se visualiza se eligen entre los E modelos resultantes de las E escalas, siendo dicha elección función de la distancia de observación del objeto o de la escena.

Otras características y ventajas de la invención se podrán apreciar leyendo la descripción detallada siguiente, que se hace con referencia a las figuras adjuntas, donde:

- la figura 1 representa un organigrama de las etapas del procedimiento de modelización de la invención según un primer modo de realización,

- la figura 2 representa un esquema de una imagen inicial, en la que se aplica el procedimiento de modelización de la invención,

- la figura 3 ilustra la etapa de emparejamiento del procedimiento de la invención, y

- la figura 4 representa un organigrama de las etapas del procedimiento de modelización según un segundo modo de realización.

Con referencia a la figura 1, el procedimiento de modelización de objeto o de escena 3D según la invención, comprende, en su versión más sencilla, cinco etapas El, E2, E3, E4 y E5 para producir un modelo que caracterice el citado objeto o la citada escena. El modelo obtenido al final del procedimiento se presenta bajo la forma de una pluralidad de puntos característicos (PC1, PC2, PEC3...) del objeto o de la escena definidos por sus coordenadas x, y, z y de una pluralidad de polígonos (POL1...), que representan las diferentes facetas del objeto o de la escena. Los puntos característicos determinan los vértices de los polígonos que constituyen el objeto. Ventajosamente, este modelo puede comprender además datos sobre la textura de cada polígono así como información sobre la cinemática de estos puntos, por ejemplo, en forma de vector rotación y de un vector translación, asociados a cada polígono del modelo.

El procedimiento de modelización requiere por lo menos dos imágenes. Para simplificar y aclarar la presente exposición, el procedimiento descrito a continuación y las figuras correspondientes ilustran un ejemplo de procedimiento que realiza una modelización a partir de dos imágenes, IM(t) e IM'(t), recibidas y memorizadas en un instante t, en una etapa inicial EO previa a las del procedimiento de la invención. Las imágenes IM(t) e IM'(t) son vistas del objeto, espacial o temporalmente diferentes. Corresponden pues a imágenes fijas de una escena, tomadas desde ángulos de vista diferentes, o a imágenes extraídas de una secuencia de imágenes IM(t-\Deltat), IM(t), IM(t+\Deltat), que muestra la escena (\Deltat designa el período de imagen). En toda la exposición, se supone que cada imagen está constituida por I.J. pixels determinados por una abscisa i a lo largo de un eje Ox y una ordenada j, a lo largo de un eje Oy, estando i comprendida entre 0 e I-1 y j comprendida entre 0 y J-1, tal como se representa en la figura 2.

Las etapas del procedimiento de modelización según la invención se realizan por ejemplo en un analizador de imagen numérica de procesadores, que recibe, convierte numéricamente si es preciso, y extrae las imágenes IM(t) e IM'(t). Estas imágenes son analizadas y tratadas ulteriormente con el objeto de modelizar en tres dimensiones la escena o el objeto representado en estas dos imágenes.

Las etapas del procedimiento de modelización son, en la práctica, aplicaciones en varias capas de una red neuronal que recibe sucesivamente en la entrada las intensidades luminosas L (i, j, t) de los pixels de las dos imágenes IM(t) e IM'(t) a analizar así como las coordenadas i, j de los pixels correspondientes. Un analizador de este tipo está configurado por ejemplo como el sistema de tratamiento de señales de operadores neuronales descrito en la solicitud de patente FR-A-2704669.

Las dos primeras etapas El y E2 del procedimiento de modelización se realizan por separado sobre cada una de las imágenes IM(t) e IM'(t). Estas etapas son etapas de análisis de imagen que corresponden a tratamientos cada vez más finos en las capas celulares del córtex visual humano. Su objeto es detectar, en las imágenes IM(t) e IM'(t), puntos característicos del objeto o de la escena a modelizar (por ejemplo, los vértices de un poliedro).

La primera etapa El tiene como objeto realizar filtrados direccionales no ortogonales de las dos imágenes, IM(t) e IM'(t), según varias escalas, con el objeto de generar para cada una un vector columna denominado hiperpixel.

La segunda etapa E2 tiene como objeto detectar en estas dos imágenes, unos pixels característicos relativos a puntos característicos del objeto o de la escena a modelizar.

Estos dos etapas de análisis han sido objeto de una solicitud de patente FR-A-2744786, depositada a nombre del presente solicitante y cuyos pasajes importantes para la comprensión de la presente invención se incorporan a la presente exposición.

La tercera etapa, E3, del procedimiento de la invención consiste en emparejar los pixels característicos de las imágenes IM(t) e IM'(t), referidos al mismo punto característico del objeto.

La cuarta etapa, E4, consiste en medir la disparidad estereoscópica entre las dos imágenes IM(t) e IM'(t) y en deducir de la misma las coordenadas x, y, z de los puntos característicos del objeto.

Finalmente, la quinta etapa, E5, consiste en realizar un encadenado/enmallado entre los puntos característicos del objeto con el fin de generar los polígonos constitutivos del objeto o de la escena a modelizar.

Además, el sistema de modelización de objeto o de escena tridimensional a partir de imágenes suministradas por pares de cámaras del documento US-A-5714997 divulga la asociación de cada uno de los pixels de las imágenes de cada una de las dos cámaras y la medida de la disparidad espacial entre las imágenes proporcionadas por las cámaras a partir de la diferencia de posición de cada pixel.

La primera etapa El del procedimiento de la invención consiste en filtrar las imágenes IM(t) e IM'(t) según varias direcciones y sobre varias escalas con el objeto de generar para cada píxel P(i, j) de la imagen un vector columna denominado hiperpixel. Para no recargar la exposición, las etapas El y E2 sólo se describen para la imagen IM(t).

Durante esta etapa, la imagen IM(t) es tratada por escala. Una escala se define mediante un motivo cuadrado
s - por - s que tiene un lado s = (2k)u y centrado en un píxel corriente P (i, j), donde u es el módulo de vector unitario que separa dos pixels consecutivos y k es un número entero positivo que determina la escala. Por ejemplo, en la figura 2, k es igual a 2, y el motivo cuadrado en torno al punto P (i, j) comprende los (2k+1)^{2} = 25 pixels P (i-j, j-k) a P(i+k, j+k). En la práctica, no se asocia ningún motivo a los pixels sobre las líneas de la imagen que tienen como ordenadas 0 a k-1, y (I-1)-(k-1) a (I-1) y sobre las columnas de la imagen que tienen como abscisas 0 a k-1 y (J-1)-(k-1) a (J-1). El tamaño de la escala s = 2k puede elegirse por ejemplo entre 2 y 16.

En la etapa El, para una escala. dada s = 2k, la invención asocia varias funciones que dependen de una función de Gauss bidimensional como:

G(x,y)=\frac{e\frac{(x^{2}+y^{2})}{2s^{2}}}{\surd 2\pi\cdot s}

donde x e y son las coordenadas en un punto de referencia centrado entre el píxel corriente P(i, j) en el motivo [(i-k,
j-k), (i+k, j+k)].

Para cada píxel P(i, j) con un motivo a una escala dada s, la derivada direccional de primer orden y la derivada direccional de segundo orden se calculan para cada una de D direcciones en el ámbito espacial del motivo asociado de la siguiente forma. Estas derivadas constituyen las funciones de transferencia elementales de filtros direccionales que simulan tratamientos producidos por células sencillas del córtex visual humano.

La derivada direccional de primer orden (\partialG(x,y)/\partial\rho)_{\alpha} de la función de Gauss G(x,y) según una dirección dada \rho, que forma un ángulo \alpha con el eje Ox es la siguiente:

\left(\frac{\partial G(x,y)}{\partial \rho}\right)\alpha=\frac{\partial G}{\partial x}cos\alpha+\frac{\partial G}{\partial y}sen\alpha

con \frac{\partial G(x,y)}{\partial x}=-\frac{x}{s^{2}}\cdot G(x,y)

y \frac{\partial G(x,y)}{\partial y}=-\frac{y}{s^{2}}\cdot G(x,y)

Esta derivada direccional de primer orden se expresa en función del gradiente \nablaG (x, y) y más precisamente del módulo |\nablaG (x, y)| y argumento \theta_{1} del gradiente:

|\nabla G (x, y)| = \sqrt{(\partial G/\partial x)^{2}+(\partial G/\partial y)^{2}}

cos(\theta_{1}) = (\partial G/\partial x) \ / \ |\nabla G(x,y)|

sen(\theta_{1}) = (\partial G/\partial y) \ / \ |\nabla G(x,y)|

o sea \left(\frac{\partial G}{\partial \rho}\right)\alpha \ |\nabla G|\frac{\partial G/\partial x}{|\nabla G|}cos\alpha+|\nabla G|\frac{\partial G/\partial y}{|\nabla G|}sen\alpha

\left(\frac{\partial G}{\partial \rho}\right)\alpha=|\nabla G|cos (\theta_{1}-\alpha)

La derivada direccional de segundo orden (\partialG^{2}(x,y)/\partial\rho^{2})_{\alpha} de la función de Gauss G(x, y) según la dirección dada \rho es la siguiente:

\left(\frac{\partial^{2}G(x,y)}{\partial^{2} \rho}\right)\alpha=\frac{\partial^{2}G}{\partial x^{2}}cos^{2}\alpha+\frac{\partial^{2}G}{\partial y^{2}}sen^{2}\alpha+2\frac{\partial^{2}G}{\partial x\cdot\partial y}sen\alpha\cdot cos\alpha

con \frac{\partial G^{2}(x,y)}{\partial x^{2}} = -\left(\frac{x}{s^{4}}- \frac{1}{s^{2}}\right)\cdot G(x,y)

\frac{\partial^{2}G(x,y)}{\partial y^{2}}=-\left(\frac{y^{2}}{s^{4}}- \frac{1}{s^{2}}\right)\cdot G(x,y)

\frac{\partial^{2}G(x,y)}{\partial x\cdot\partial y}=- \left(\frac{x^{2}}{s^{4}}-\frac{1}{s^{2}}\right)\cdot G(x,y)

Esta derivada direccional de segundo orden se expresa en función del Laplaciano \nabla^{2}G(x, y) y un segundo argumento \theta_{2}, tales que:

\newpage

\nabla^{2}G(x, y)=\left(\frac{\partial^{2}G}{\partial x^{2}}+\frac{\partial^{2}G}{\partial y^{2}}\right)

cos(2\cdot\theta_{2}) = K/R

sen(2\cdot\theta_{2}) = (\partial^{2}G/\partial x\cdot\partial y) \ / \ R,

con \ K=\frac{1}{2}\frac{(\partial^{2}G)}{\partial x^{2}}- \frac{(\partial^{2}G)}{\partial y^{2}}

R=\sqrt{K^{2}+(\partial^{2}G/\partial x\partial y)}

o sea \left(\frac{\partial^{2}G}{\partial \rho^{2}}\right)\alpha= \frac{\partial^{2}G}{\partial x^{2}}\left(\frac{1+cos2\alpha}{2}\right)+ \frac{\partial^{2}G}{\partial y^{2}}\left(\frac{1+cos2\alpha}{2}\right)+ \frac{\partial^{2}G}{\partial x\cdot\partial y}sen2\alpha

\left(\frac{\partial^{2}G}{\partial \rho^{2}}\right)\alpha = \frac{1}{2} \left(\frac{\partial^{2}G}{\partial x^{2}}+\frac{\partial^{2}G}{\partial y^{2}}\right)+ \left[\frac{1}{2R}\left(\frac{\partial^{2}G}{\partial x^{2}}- \frac{\partial^{2}G}{\partial y^{2}}\right)\right]Rcos2\alpha+ R\left[\frac{\partial^{2}G}{\partial x\cdot\partial x}\frac{1}{R}\right] sen2\alpha

(\partial^{2}G/\partial \rho^{2})_{\alpha}=\nabla^{2}G/2+R\cdot cos(2\theta_{2}-2\alpha)

Las derivadas direccionales de primero y segundo orden (\partialG/\partial\rho)_{\alpha} y (\partial^{2}G/\partial\rho^{2})_{\alpha} pueden calcularse entonces, ya que dependen de las derivadas siguientes:

\partial G/\partial x, \ \partial G/\partial y, \ \partial^{2}G/\partial x^{2}, \ \partial^{2}G/\partial y^{2} \ y \ \partial^{2}G/\partial x\cdot\partial y

De este modo, para cada píxel corriente P(i,j), se realizan filtrados no ortogonales para las funciones precedentes y para una escala dada s = 2k según el producto escalar siguiente, que representa una media ponderada por las intensidades luminosas en el motivo de la escala en torno al píxel corriente:

A[(i,j),t]=\sum\limits_{m=-K}^{m=K} \ \sum\limits_{m=- K}^{m=K} \ L(i+m,j+n,t)\cdot f(i+m,j+n)

donde L (i, j, t) es la intensidad luminosa en el píxel P(i, j), en la imagen IM(t) y f(i, j) es una de las funciones
(\partialG/\partial\rho)_{\alpha} y (\partial^{2}G/\partial\rho^{2})_{\alpha} a tomando \alpha D valores predeterminados. El entero D es por lo menos igual a 2.

Por lo general, D es igual a 8 y corresponde a ocho direcciones principales desfasadas \pi/D = \pi/8, a partir del eje 0x. De este modo, se asocia un vector columna V(i, j, t), denominado hiperpixel y que comprende F = 2D = 16 componentes A[f(i, j), t] a cada píxel P(i, j) de la imagen IM(t), tomando f(i, j) sucesivamente los valores
((\partialG/\partial\rho)_{0}, (\partial^{2}G/\partial\rho^{2})_{0} ... ((\partialG/\partial\rho)_{7\pi/8} (\partial^{2}G/\rho^{2})_{7\pi/8}). Si, por ejemplo se consideran E=5 escalas s = 2k = 2, 4, 8, 16 y 32, cada vector columna V(, i, j, t) comprende E.F. = 80 componentes.

Las (E.F.) operaciones de filtrado son realizadas de preferencia por una primera capa de red de neuronas, en la que cada célula neuronal en el analizador de imagen realiza un producto escalar respectivo, análogo al precedente. Los valores de intensidad luminosa y las coordenadas de los pixels son suministrados por una capa de entrada a las células neuronales en la primera capa. Los valores de las funciones f constituyen coeficientes sinápticos. Se asocian de este modo (E.F) células neuronales al píxel corriente P(i, j) para establecer E.F componentes vectoriales del hiperpixel correspondiente. El valor A[f(i, j), t] representa la actividad de la célula neuronal sensible a la función característica f, en un instante dado t. La imagen inicial IM(t) se filtra de este modo en E.F. imágenes direccionales constituidas cada por I.J. componentes vectoriales, asociadas respectivamente a los pixels.

La segunda etapa E2 del procedimiento de la invención consiste en detectar en la imagen IM(t), unos pixels característicos referidos a puntos característicos del objeto o de la escena. Para ello, se detecta primeramente, mediante dos funciones que modelizan funciones biológicas del sistema visual humano, unos pixels atencionales en la imagen IM(t). Los pixels atencionales detectados por estas dos funciones coinciden con los puntos de neurofocalización efectivamente detectados por el par ojo-cerebro. La nube de puntos atencionales que señalan por ejemplo la presencia de un vértice de una cara del objeto a modelizar es tratada ulteriormente mediante un algoritmo de gradiente con el objeto de definir, para esta nube de pixels atencionales, un pixel característico.

Las dos funciones utilizadas para esta etapa se denominan Curvatura Gaussiana CG y Curvatura de Isointensidad luminosa CI. La primera función denominada Curvatura Gaussiana se define del siguiente modo:

CG(x, y) = (\nabla^{2}G+R)(\nabla^{2}G-R) o sea CG(i,j,t)=

\sum\limits_{m=-k}^{m=k} \ \sum\limits_{n=-k}^{n=k} \ L(i+m,j+n,t)\left[\frac{\partial^{2}G(i+m,j+n)}{\partial x^{2}}\cdot\frac{\partial^{2}G(i+m,j+n)}{\partial y^{2}}\cdot\frac{\partial^{2}G(i+m,j+n)}{\partial x\cdot\partial y}\right]

La segunda función, denominada Curvatura de Isointensidad luminosa CI, que corresponde por ejemplo a una curvatura de Isoluminancia e Isocrominancia, depende de la mayor componente de las derivadas direccionales de primer orden para el píxel corriente P(i, j), es decir de la dirección que presenta la mayor actividad. Esta función CI se obtiene comparando los D=8 componentes siguientes:

A[\partial G(i,j)/\partial \rho)_{\alpha},t] = \sum\limits_{m=-k}^{m=k} \ \sum\limits_{n=-k}^{n=k} L(i+m,j+n,t)\cdot(\partial G(i+m,j+n)/\partial \rho)_{\alpha}

Para seleccionar la mayor componente A[\partialG(i,j)/\partial\rho)_{\alpha}, t]_{max} que corresponde a una dirección \alpha_{max}, es decir, la mayor pendiente en el píxel corriente. Luego se calcula, o más bien se selecciona la componente correspondiente a la derivada direccional de segundo orden para la dirección \alpha\perp perpendicular a la dirección \alpha_{max}, normalizada en el módulo del gradiente, o sea:

CI(i,j,t)=[A[\partial^{2}G(i,j)/\partial \rho^{2})_{\alpha\perp}t]] \ / \ |\nabla A[G(i,j),t]|

Se obtiene de este modo, para cada píxel P(i, j) y para cada escala, un valor CG (i, j, t) y CI (i, j, t). Estos valores se comparan luego con unos valores de umbral predeterminados, respectivamente SCG y SCI. Todo píxel que presenta, para una escala dada, uno de los valores CG(i, j, t) y CI(i, j, t) superiores a uno de los dos umbrales respectivos, corresponde entonces a un pixel atencional de la imagen. El número de pixels atencionales es función, no solamente del valor de los umbrales SCG y SCI, sino también de la escala s considerada. La aplicación de un algoritmo de aprendizaje, por ejemplo de retropropagación del gradiente, a una zona de pixels atencionales permite definir posteriormente un píxel característico. La experiencia muestra que las magnitudes CG y CI permiten detectar directamente, sin aprendizaje previo del contenido de la imagen, unos elementos importantes en una imagen, tales como el ojo, la boca, la nariz, las orejas, etc., sobre un rostro, o bien las crestas y los vértices en un poliedro, por ejemplo. Como el conjunto ojo-cerebro reacciona de forma similar, las funciones CG y CI constituyen de hecho una modelización de este conjunto funcional biológico.

Como es natural, se podrán prever otros algoritmos de aprendizaje para modificar la determinación de los pixels característicos en las imágenes, por ejemplo, para reconocer la topología de los objetos o, de forma más compleja, el estilo de un mueble.

Como variante, se podrá utilizar también un detector de Harris para determinar los puntos atencionales de la imagen IM(t) o cualquier algoritmo de detección de puntos atencionales, en particular, unos filtros aprendidos no definidos al comienzo.

La etapa siguiente E3, consiste en emparejar o asociar los pixels característicos de las imágenes IM(t) e IM'(t) referidos al mismo punto del objeto o de la escena. Se habla de emparejamiento cuando el análisis se refiere a dos imágenes, por ejemplo IM(t) e IM'(t). Si el análisis se refiere a N imágenes, se habla, de forma más general; de asociación. Por ejemplo, en el caso de una escena filmada en estereoscopia, la etapa E3 consiste en emparejar los pixels característicos P(i, j) y P' (i', j') pertenecientes respectivamente a la imagen izquierda IM(t) y a la imagen derecha IM'(t) y relativos al mismo punto material del objeto. Esta etapa se ilustra mediante un ejemplo en la figura 3. En este ejemplo, el objeto a modelizar es una casa, cuyos vértices característicos están representados por medio de puntos negros. Se visualizan en dos pantallas el y e'1 dos imágenes IM(t) e IM'(t) que representan dos vistas diferentes de la casa. Un vértice S1 de la casa se representa sobre la imagen IM(t) mediante el píxel característico P_{1} (i, j) y sobre la imagen IM'(t) mediante el píxel P'_{1}(i', j'). Al y A'1 designan la posición de las cámaras que producen respectivamente las imágenes IM(t) e IM'(t). La etapa E4 tiene como objeto emparejar todos los pixels característicos de las imágenes IM(t) e IM'(t) relativos a un mismo punto característico del objeto, y, en particular, emparejar P_{1}(i, j) con P'_{1}(i', j'), ambos relativos al vértice S1.

El emparejamiento se realiza en dos tiempos. En un primer tiempo, se determina la matriz fundamental que define la geometría del sistema de observación, es decir la posición de las cámaras que generan las imágenes IM(t) e IM'(t) con respecto al objeto filmado. En un segundo tiempo, se calcula, mediante la matriz fundamental, todos los emparejados de los pixels característicos de la imagen IM(t).

La matriz fundamental se determina a partir de algunos pixels característicos de las imágenes IM(t) e IM'(t), relativos a puntos característicos primarios del objeto. Estos puntos característicos primarios son los puntos, cuyos hiperpixels asociados en cada imagen son idénticos. En la práctica, bastan para esta determinación 8 puntos característicos primarios. La matriz fundamental permite realizar la correspondencia entre los pixels de la imagen IM(t) y los de la imagen IM'(t). En la figura 3, la intersección entre el plano (S1, A1, A'1) y las pantallas el y e'1 define dos rectas epipolares, D1 y D'1, respectivamente en IM(t) e IM'(t). La matriz fundamental permite entonces obtener los coeficientes directores de D'1 a partir de los de D1. De este modo, sabiendo que "para todo pixel P(i, j) perteneciente a la recta epipolar D1, el píxel asociado o emparejado P'(i', j') pertenece a la recta D'1", es posible entonces emparejar todos los pixels característicos P(i, j) de IM(t) con los pixels característicos P'(i', j') de IM'(t) por técnica epipolar.

Se puede calcular luego, en la etapa E4, medir la disparidad espacial (disparidad estereoscópica) entre las imágenes IM(t) e IM'(t) a partir de la diferencia de posición de cada punto característico en estas dos imágenes y deducir de ello las coordenadas espaciales x, y, z para el conjunto de los puntos característicos del objeto.

Una vez definida la posición espacial de los puntos característicos del objeto, estos puntos se "encadenan/enmallan" entre si, con el objeto de reconstituir los polígonos que componen el objeto o la escena. Esta etapa de enmallado/encadenado correspondiente a la etapa E5 del procedimiento de modelización de la invención consiste en enlazar los puntos característicos del objeto para formar polígonos. Para ello, existen métodos conocidos de encadenado/enmallado de una nube de puntos, basados en algoritmos de triangulación automática de tipo Voronoï o Delaunay. Estos métodos son bien conocidos en el tratamiento de la imagen.

Según un modo de realización, como variante, el procedimiento de modelización comprende una etapa suplementaria E'2, denominada etapa de reagrupación perceptiva cooperativa, que permite reagrupar los pixels pertenecientes a una zona perceptualmente homogénea de la imagen. Esta etapa tiene como objeto mejorar la etapa de enmallado/encadenado del procedimiento de la invención. Esta etapa de reagrupación perceptiva se realiza sobre cada imagen después de la etapa E2. Esta variante se ilustra en la figura 4.

En la etapa E'2 implementada en una capa de células neuronales, se reagrupan de modo fino unos pixels pertenecientes a zonas perceptualmente homogéneas en la imagen. Estas zonas pueden ser zonas en una imagen que presentan una textura, que se repite de modo uniforme.

La reagrupación cooperativa perceptiva consiste en realizar, para cada píxel P(i, j), y para cada función A[f(i, j), t] que caracteriza una actividad de una célula neuronal, un función de base iterativa del siguiente tipo:

A_{q}[f(i,j),t] = \beta\cdot A_{q-1}[f(i,j),t]

+\sum\limits^{m=k}_{m=-k} \ \sum\limits^{n=k}_{n=-k} \ \phi(P(i,j),P(i+m,j+n)\cdot A_{q-1}[f(i+m,j+n),t]

\hskip4cm

con (m,n)\neq(0,0)

donde

A_{q}[f(i,j),t] representa la actividad del píxel corriente P(i,j) en la imagen IM(t), asociada a la función característica f en la iteración q,

A_{q-1}[f(i+m,j+n) t] representa la actividad de un píxel P (i+m,j+n) próximo al píxel P(i,j), asociada a la misma función característica f pero en la iteración precedente q-1, es decir la actividad del píxel vecino es relativa a la iteración precedente,

\beta es una constante notablemente inferior a 1,

q es un entero comprendido entre 0 y Q,

y

\phi(P(i,j), P(i+m,j+n)) es un coeficiente de acoplamiento entre los pixels P(i,j) y

P(i+m,j+n) inferior a 1,

Por lo general, la suma se refiere a los B=4 pixels próximos al píxel corriente P(i, j), o sea los pixels P(i-1, j), P(i+1, j), P(i, j-1) y P(i, j+1), correspondientes a h = B/4 = 1, o sea m = \pm 1 y n = \pm 1, con respecto a la actividad
de la iteración precedente. En la patente FR-A-2744786, se dan ejemplos de función de acoplamiento \phi.

Esta función de reagrupación perceptiva se realiza en paralelo para cada función (\partialG/\partial\rho)_{\alpha} y (\partial^{2}G/\partial\rho^{2})_{\alpha} en las E escalas y para cada pixels P(i, j). Las funciones A_{q}[f(i, j), t] referidas a un mismo píxel P(i, j) constituyen entonces las componentes de un vector columna. A_{0}[f(i, j), t] es igual a la actividad A[f(i,j), t] definida en la etapa de detección. Tras un número predeterminado de iteraciones, los vectores columnas de los pixels pertenecientes a una zona homogénea de la imagen convergen hacia el mismo valor límite, con un pequeña incertidumbre. Los pixels P(i, j) pertenecientes a la misma zona homogénea de la imagen se reagrupan por lo tanto.

El resultado de la reagrupación perceptiva puede contribuir entonces a mejorar el resultado de la etapa de enmallado/encadenado del procedimiento, añadiendo una condición suplementaria: los puntos enmallados para formar un polígono, deben pertenecer a una misma zona homogénea. Esto quiere decir que en el modelo dado a modo de ejemplo en la figura 4, los puntos característicos PC1, PC2 y PC3, que forman el polígono PL1, pertenecen a la misma zona homogénea de la imagen. El modelo obtenido al final del procedimiento podrá completarse ventajosamente con un plano de textura, que indica la textura de cada polígono.

El número de polígonos obtenidos al final del procedimiento es función de la escala retenida en la etapa E2 de detección de los pixels característicos. Cuanto menor es el motivo cuadrado s por s, mayor es el número de polígonos. Se puede modificar el nivel del detalle del objeto actuando sobre la escala retenida para la etapa de detección E2.

La principal aplicación de los procedimientos de modelización es la visualización en tiempo real de un objeto. La visualización de un objeto sobre una pantalla depende de su distancia de observación y de su ángulo de observación. Si la distancia de observación es importante, el nivel de detalle de la visualización es reducido. Además, según el ángulo de observación, ciertas partes del objeto no se pueden ver y por lo tanto no se tienen que visualizar.

Según la invención, se propone visualizar el objeto habiendo modelizado previamente este objeto bajo varias escalas, correspondiendo cada escala a un nivel de detalle particular. La distancia de observación retenida en el momento de la visualización del objeto va a condicionar la elección de un nivel de detalle y por consiguiente de una escala. En un ejemplo, se considera un objeto modelizado según tres escalas El, E2 y E3. Según la E1, el modelo obtenido al final del procedimiento de modelización comprende 2000 polígonos. Según E2, comprende 1000 polígonos y según E3 comprende 500 polígonos. A la hora de la visualización se elige un modelo en función de la distancia de observación retenida. De este modo, más allá de 100 metros, el objeto se visualiza con 500 polígonos. Entre 50 y 100 metros, se visualiza con 1000 polígonos y más acá de 50 metros se visualiza con 2000 polígonos.

Las técnicas de visualización habituales utilizan por lo general un modelo definido de modo muy fino, al que se aplica un algoritmo geométrico de reducción de los puntos y de los polígonos. Los resultados obtenidos son buenos cuando el porcentaje de reducción no es muy elevado y todas las partes del objeto están fuertemente enmalladas (caso de modelización por exploración por láser). En los demás casos, los resultados son mediocres, e incluso catastróficos.

La visualización que se muestra en la presente descripción tiene en cuenta el contenido semántico del objeto, independientemente del nivel de detalle deseado. Independientemente del modelo retenido para visualizar el objeto, éste ha sido generado basándose en los puntos atencionales del objeto a una escala dada y no se ha sometido a ninguna simplificación geométrica.

Si se considera un sistema de visualización automático de objeto, que comprende un servidor en el que se guardan los modelos de los objetos a escalas diferentes, terminales de visualización, el servidor únicamente transmite al terminal de visualización respectivo el modelo correspondiente a la distancia de observación elegida. Según la distancia de observación elegida, el terminal de visualización selecciona el modelo que quiere recibir. Asimismo, según el ángulo de vista elegido, el servidor sólo transmite los elementos del modelos que aparecen en esta vista. Esta técnica de visualización permite, de este modo, reducir el tiempo y el coste de transmisión de los objetos y otra consecuencia consiste en mejorar los rendimientos, en tiempo real, en los terminales de visualización.

En un sistema de visualización en tiempo real optimizado, se podrá prever asimismo modelizar una escena a partir de N imágenes originales, calcular las imágenes de síntesis correspondientes, analizar seguidamente las imágenes de síntesis según el procedimiento de modelización de la invención y luego comparar las imágenes originales con las imágenes de síntesis, con el objeto de afinar los filtros utilizados en el procedimiento de la invención. Se puede utilizar un aprendizaje de los coeficientes de los filtros para hacer converger las imágenes de síntesis hacia las imágenes originales.

Claims (8)

1. Procedimiento de modelización de objeto o de escena tridimensional a partir de N imágenes (IM(t), IM'(t), espacial o temporalmente diferentes, que representan dicho objeto o dicha escena, N\geq2, destinado a producir un modelo del mencionado objeto o de la citada escena, que consiste en una pluralidad de puntos característicos (PC1, PC2, PC3) y una pluralidad de polígonos (POL1) definidos a partir de los citados puntos característicos y que constituyen las diversas facetas de dicho objeto o de la mencionada escena, caracterizado porque comprende las etapas siguientes,

- detectar en cada imagen unos pixels característicos, relativos a los puntos característicos del mencionado objeto o de la citada escena,

- asociar los pixels característicos de las N imágenes que se refieren al mismo punto característico del citado objeto o de la citada escena,

- medir la disparidad espacial entre las N imágenes, a partir de la diferencia de cada punto característico en las N imágenes y deducir de ello las coordenadas espaciales de los puntos característicos de dicho objeto o de dicha escena,

- efectuar una etapa de encadenado (malla) de los puntos característicos para formar los polígonos que constituyen las diversas facetas del citado objeto o de la mencionada escena.

2. Procedimiento de modelización según la reivindicación 1, caracterizado porque, para detectar los pixels característicos en las N imágenes, se realiza, para cada imagen IM(t), compuesta por I.J. pixels P(i, j), que tienen coordenadas tales que 0<i<1-1 y 0<j<J-1 e intensidades luminosas L(i,j,t) y para cada pixels P(i,j) de la imagen, las siguientes etapas:

- efectuar para cada pixels P(i,j) de la imagen, D dobles filtrados direccionales para D direcciones predeterminadas, definidos para cada uno por las dos relaciones siguientes:

A[(\partial G(i,j)/\partial \rho)_{a},t]=\sum\limits_{m=- k}^{m=k} \ \sum\limits_{n=-k}^{n=k} \ L(i+m,j+n,t)n,t)\cdot (\partial G(i+m,j+n)/\partial \rho)_{a}

y

A[(\partial^{2} G(i,j)/\partial \rho^{2})_{a},t]=\sum\limits_{m=- k}^{m=k} \ \sum\limits_{n=-k}^{n=k} \ L(i+m,j+n,t)\cdot (\partial^{2}G(i+m,j+n)/\partial \rho^{2})_{a}

en las cuales k es un entero predeterminado, por lo menos igual a 1, L(i+m,j+n,t) es la intensidad luminosa, con un píxel P(i+m,j+n) cercano al pixel P(i,j), y (\partialG(i+m,j+n,t)/\partial\rho)_{a} y (\partialG^{2}(i+m,j+n,t)/\partial\rho^{2})_{a} son derivadas direccionales de primer orden y de segundo orden, según la dirección predeterminada respectiva (\alpha) de una función bidimensional predeterminada G, de manera que forman I.J vectores columnas de pixels compuestas por 2D componentes vectoriales,

- calcular una función de curvatura según la relación: CG(i+j,t)=

\sum\limits_{m=-k}^{m=k} \ \sum\limits_{n=-k}^{n=k} \ L(i+m,j+n,t)\cdot \left[\frac{\partial^{2}G(i+m,j+n)}{\partial x^{2}}\cdot\frac{\partial^{2}G(i+m,j+n)}{\partial y^{2}}- \frac{\partial^{2}G(i+m,j+n)}{\partial x\cdot\partial y}\right]

- detectar la dirección que presenta la mayor actividad seleccionando la mayor derivada direccional de primer orden para el píxel P(i,j),

- calcular una función de iso-intensidad (CI) dependiente de la derivada direccional de segundo orden para una dirección perpendicular a la dirección que presenta la mayor actividad, y

- comparar las funciones de curvatura y las funciones de iso-intensidad respecto de umbrales predeterminados, presentando los pixels característicos por lo menos una de las funciones de curvatura o de isoluminancia superior a uno de los dos umbrales predeterminados respectivos.

3. Procedimiento de modelización según la reivindicación 2, caracterizado porque la función predeterminada G es gaussiana.

4. Procedimiento de modelización según una de las reivindicaciones 1 a 3, caracterizado porque, para asociar los pixels característicos de las N imágenes referidas al mismo punto característico de dicho objeto o de la citada escena, se efectúan las etapas siguientes:

\newpage

- determinación de una matriz fundamental a partir de pixels característicos primarios que tienen vectores columnas idénticos en las N imágenes, estableciendo dicha matriz una correspondencia entre los pixels de las N imágenes,

- asociación de los pixels característicos de las N imágenes referidos al mismo punto característico con la ayuda de la matriz fundamental.

5. Procedimiento de modelización según una de las reivindicaciones 1 a 4, caracterizado porque para encadenar en malla los puntos característicos del citado objeto o de la mencionada escena, se aplica un algoritmo de triangulación automática.

6. Procedimiento de modelización según la reivindicación 5, caracterizado porque comprende además una etapa de reagrupación perceptiva, para reagrupar los pixels de cada imagen pertenecientes a una zona perceptualmente homogénea de la imagen, realizando, para cada imagen y para cada pixel, Q iteraciones de una función tal que:

A_{q}[f(i,j),t] = \beta\cdot A_{q-1}[f(i,j),t]

+\sum\limits^{m=k}_{m=-k} \ \sum\limits^{n=k}_{n=-k} \ \phi(P(i,j),P(i+m,j+n)\cdot A_{q-1}[f(i+m,j+n),t]

\hskip4cm

con (m,n)\neq(0,0)

donde

A_{q}[f(i,j),t] representa la actividad del píxel corriente P(i,j) en la imagen IM(t), asociada a la función característica f en la iteración q,

A_{q-1}[f(i+m, j+n) t] representa la actividad de un píxel P (i+m,j+n) próximo al píxel P(i,j), asociada a la misma función característica f pero en la iteración precedente q-1, es decir la actividad del píxel vecino es relativa a la iteración precedente,

\beta es una constante notablemente inferior a 1,

q es un entero comprendido entre 0 y Q,

y

\phi(P(i,j), P(i+m, j+n)) es un coeficiente de acoplamiento entre los pixels P(i,j) y

P(i+m,j+n) inferior a 1,

y reagrupando en una tabla todos los pixels vecinos entre si, cuya actividad converge después de Q iteraciones hacia el mismo valor límite.

7. Procedimiento de modelización según la reivindicación 6, caracterizado porque, durante la etapa de encadenado/enmallado, se verifica que los puntos característicos de los polígonos definidos por el método de triangulación automática pertenecen a la misma zona homogénea.

8. Aplicación del procedimiento de modelización según una de las reivindicaciones anteriores para la visualización en tiempo real de un objeto o de una escena, caracterizada porque el objeto o la escena se modeliza previamente según E escalas y porque el modelo de objeto o de escena que se visualiza se elige entre los E modelos resultantes de las E escalas, siendo esta elección función de la distancia de observación del objeto o de la escena.