ES2996508T3 - Apparatus and method of texture mapping for dental 3d scanner - Google Patents

Abstract

Un método para la obtención de imágenes de texturas en color de dientes con una matriz de sensores monocromáticos obtiene una malla 3D que representa una imagen de contorno de superficie según datos de imagen de vistas de los dientes. Para cada vista, el registro de datos de imagen genera conjuntos de al menos tres imágenes de sombreado monocromático. Cada conjunto de imágenes de sombreado monocromático se combina para generar imágenes de sombreado de color 2D, correspondientes a una de las vistas. Cada superficie poligonal en la malla se asigna a una de un subconjunto de las vistas. Las superficies poligonales asignadas a la misma vista se agrupan en un fragmento de textura. Las coordenadas de imagen para las superficies de malla 3D en cada fragmento de textura se determinan a partir de la proyección de vértices sobre la vista asociada con el fragmento de textura. La malla 3D se renderiza con valores de textura en las imágenes de sombreado de color 2D correspondientes a cada fragmento de textura para generar una imagen de contorno de superficie de textura en color. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Aparato y método de mapeo de texturas para escáner 3D dental

Campo de la invención

La invención se refiere en general al campo de la obtención de imágenes de formas de superficies y más particularmente se refiere a la obtención de imágenes de superficies y la visualización de imágenes en color en 3-D en aplicaciones intraorales.

Antecedentes

La información del contorno de superficie puede ser particularmente útil para la evaluación de la condición dental y es útil para diversos tipos de procedimientos dentales, tales como para odontología restauradora. Se han desarrollado una serie de técnicas para obtener información de contorno de superficie de diversos tipos de objetos en aplicaciones médicas, industriales y otras. Los métodos de medición ópticos tridimensionales (3-D) proporcionan información de forma y profundidad usando luz dirigida sobre una superficie de diversas maneras. Entre los tipos de métodos de obtención de imágenes utilizados para la obtención de imágenes de contornos se encuentran aquellos que generan una serie de patrones de luz y utilizan el enfoque o la triangulación para detectar cambios en la forma de la superficie sobre el área iluminada.

La formación de imágenes por proyección de franjas usa luz en patrones o estructurada y triangulación para obtener información de contorno de superficie para estructuras de diversos tipos. En la formación de imágenes por proyección de franjas, un patrón de líneas se proyecta hacia la superficie de un objeto desde un ángulo dado. A continuación, el patrón proyectado desde la superficie se ve desde otro ángulo como una imagen de contorno, aprovechando la triangulación para analizar la información de la superficie en función de la apariencia de las líneas de contorno. El desplazamiento de fase, en el que el patrón proyectado se desplaza espacialmente de forma incremental para obtener mediciones adicionales en las nuevas ubicaciones, se aplica normalmente como parte de la formación de imágenes por proyección de franjas y se usa para completar el mapeo del contorno de la superficie y aumentar la resolución general en la imagen de contorno.

Las matrices de sensores de color son más costosas y complejas que las matrices de sensores monocromáticos. Además, las matrices de sensores que generan datos RGB directamente son inherentemente menos eficientes y menos sensibles a condiciones de bajo nivel de luz, como las comunes en la formación de imágenes intraorales.

A pesar del coste, se puede apreciar que sería valioso proporcionar imágenes de contorno de superficie en 3-D en color para fines tanto de diagnóstico como estéticos. Los enfoques conocidos para este problema de formación de imágenes proporcionan formas de asociar el color a áreas de la imagen de volumen. Sin embargo, estos enfoques no alcanzan a cubrir lo necesario para proporcionar imágenes de volumen de color que reproduzcan fielmente la textura del color. En general, la textura de una superficie se refiere a la estructura detallada de la superficie y, en un contexto de formación de imágenes, proporciona una representación más precisa de cómo se refleja la luz desde la superficie. La textura del color también incluye la disposición espacial y la intensidad del color en la imagen. Los atributos de la textura del color pueden basarse en la distribución direccional de la luz reflejada o transmitida, normalmente descrita por atributos como lustroso, brillante frente a opaco, mate, transparente, turbio, visible o relacionado con la estructura de la microsuperficie, como rugosidad o suavidad, sombreado y otros atributos. La representación de la textura del color está relacionada con una definición mejorada de los bordes, por ejemplo, y permite visualizar con mayor claridad las características dentro de la boca y de la anatomía en general.

Entre las soluciones propuestas para proporcionar una medida de información de color para imágenes 3-D se encuentra la descrita, por ejemplo, en la divulgación de patente EP 0837659 titulada "Process and Device for Computer-Assisted Restoration of Teeth" de Franetzki, que obtiene datos de color de una manera convencional utilizando un detector de color y luego superpone la imagen de color 2-D Rojo (R), Verde (G) y Azul (B) o RGB sobre la imagen de volumen 3-D cuando se muestra. Sin embargo, este tipo de solución de color simulado no proporciona datos de imágenes 3-D en color reales. Siempre que se pueda escalar y registrar correctamente en los datos de la imagen de volumen cuando se superpone a la imagen de superficie 3-D, el contenido de color superpuesto y mostrado simultáneamente como se describe en EP 0837659 B1, sería preciso solo en un único ángulo de visión. Cualquier otra vista de la superficie 3-D no tendría el contenido de la imagen en color superpuesta.

Además, se hace referencia a EP 2786722 A1 que divulga un método para capturar una imagen 3-D en color con un sensor de imagen monocromático. El método para formar una imagen del contorno de la superficie en color de uno o más dientes proyecta cada uno de una pluralidad de patrones estructurados sobre uno o más dientes y registra datos de imagen del patrón estructurado sobre una matriz de sensores monocromáticos. Los datos de la imagen del contorno de la superficie se generan de acuerdo con los datos de la imagen registrada a partir de la proyección del patrón estructurado. Se proyecta luz de tres bandas espectrales sobre el uno o más dientes y los datos de imagen de los tres componentes de color respectivos se registran en la matriz de sensores monocromáticos. Los datos se combinan con datos de calibración de color para generar un conjunto de valores de color para cada píxel de la imagen que se asigna al píxel correspondiente en los datos de imagen de contorno de superficie generados para generar la imagen de contorno de superficie de color.

Por lo tanto, se puede apreciar que existe una necesidad de un método de procesamiento de imágenes que proporcione datos de imágenes en 3-D de los dientes que muestren el color así como el contenido de textura del color, utilizando un único aparato de captura de imágenes que emplea una matriz de sensores monocromáticos.

Compendio

De acuerdo con la presente invención, se proporciona un método para el mapeo de textura de color y un método para proporcionar una imagen de color de contorno de superficie en 3-D como se establece en la reivindicación 1. Las realizaciones adicionales de la invención se definen entre otras por las reivindicaciones dependientes. Un objetivo de esta solicitud es avanzar en la técnica de la detección del contorno de la superficie de los dientes y estructuras intraorales relacionadas.

Las realizaciones de métodos y/o aparatos de esta solicitud pueden abordar la necesidad de una representación mejorada de la textura del color que se relaciona con la imagen de volumen adquirida de un paciente.

Otro aspecto de esta solicitud es abordar, total o parcialmente, al menos lo anterior y otras deficiencias en la técnica relacionada.

Otro aspecto de esta solicitud es proporcionar, total o parcialmente, al menos las ventajas descritas en la presente memoria.

Estos aspectos se proporcionan únicamente a modo de ejemplo ilustrativo, y tales objetos pueden ser un ejemplo de una o más realizaciones del aparato y/o método de la invención. Otros objetivos y ventajas deseables inherentemente logrados por la invención divulgada pueden tener lugar o resultar evidentes para los expertos en la técnica. La invención está definida por las reivindicaciones adjuntas.

Breve descripción de los dibujos

Los objetos, características y ventajas anteriores y otros de la invención resultarán evidentes a partir de la siguiente descripción más particular de las realizaciones de la invención, como se ilustra en los dibujos adjuntos.

Puede ser necesario algo de exageración para enfatizar las relaciones estructurales básicas o los principios de operación. Algunos componentes convencionales que serían necesarios para la implementación de las realizaciones descritas, tales como componentes de soporte utilizados para proporcionar energía, para empaquetar y para montar y proteger la óptica del sistema, por ejemplo, no se muestran en los dibujos para simplificar la descripción.

La FIG. 1 es un diagrama esquemático que muestra un aparato de formación de imágenes para obtener información 3-D en color de los dientes de un paciente.

La FIG. 2 es un diagrama esquemático que muestra la proyección de un patrón estructurado sobre la superficie de un diente.

La FIG. 3 es un diagrama esquemático que muestra los componentes de una cámara para la formación de imágenes intraorales que obtiene una imagen del contorno de la superficie en color de un diente utilizando una matriz de sensores monocromáticos.

La FIG. 4A es un diagrama esquemático que muestra cómo se utiliza la luz en patrones para obtener información del contorno de la superficie.

La FIG. 4B es una vista en planta de un patrón de luz estructurado que tiene múltiples líneas de luz separadas entre sí.

La FIG. 5 es una vista en planta que muestra la proyección de un patrón de luz estructurado sobre un diente.

Las FIGS. 6A, 6B y 6C muestran imágenes de dientes obtenidas en una matriz de sensores de imágenes monocromáticos utilizando luz de diferentes bandas espectrales.

La FIG. 7A es un diagrama que muestra una malla provista sin mapeo de textura.

La FIG. 7B es un diagrama que muestra una malla provista con mapeo de textura.

La FIG. 8A es un diagrama de flujo lógico que muestra el procesamiento para formar imágenes de sombreado de color compuestas.

La FIG. 8B es un diagrama de flujo lógico que muestra el procesamiento para generar y utilizar información de malla.

La FIG. 8C es una vista en perspectiva que muestra una porción de una malla con caras planas generada de acuerdo con una realización ilustrativa de la solicitud.

La FIG. 8D es un diagrama de flujo lógico que muestra el procesamiento para generar un mapa de textura global.

La FIG. 9 es un diagrama que muestra una vista de la asignación de caras.

La FIG. 10A es un diagrama que muestra la proyección de vértices.

La FIG. 10B es un diagrama que muestra la proyección de vértices después del procesamiento 2-D.

La FIG. 11 es un diagrama que muestra las mallas representadas por fragmentos de textura.

La FIG. 12A es un diagrama que muestra una malla texturizada sin mezcla de colores.

La FIG. 12B es un diagrama que muestra la malla texturizada final después de la mezcla de colores.

La FIG. 13 es un diagrama que muestra la ilustración binaria del mapa de textura global.

Descripción de las realizaciones ilustrativas

Lo que sigue es una descripción detallada de las realizaciones ilustrativas, haciendo referencia a los dibujos en los que los mismos números de referencia identifican los mismos elementos de estructura en cada una de las diversas figuras.

En el contexto de la presente divulgación, los términos "banda espectral" o "banda de longitud de onda" indican un rango definido, continuo de longitudes de onda para iluminación y formación de imágenes y se usan indistintamente con el término "color". Por ejemplo, la frase "banda espectral roja" se utiliza para indicar la luz visible que generalmente está dentro del rango de longitud de onda roja que se extiende continuamente desde aproximadamente 620 nm a aproximadamente 700 nm. En un contexto de imágenes, se considera que la luz de dos bandas espectrales no se superpone sustancialmente cuando no hay una diafonía visualmente perceptible entre bandas.

En el contexto de la presente divulgación, el término "imagen de componente de color", equivalente a datos en un solo plano de color, se refiere a los datos de imagen que se adquieren utilizando una imagen capturada con luz de una sola banda espectral. Así, por ejemplo, una imagen RGB a todo color convencional se forma a partir de componentes rojo, verde y azul, en donde cada imagen individual se denomina una imagen de componente de color.

El término "conjunto", como se usa en la presente memoria, se refiere a un conjunto no vacío, ya que el concepto de una colección de elementos o miembros de un conjunto se entiende ampliamente en las matemáticas elementales. El término "subconjunto", a menos que se indique explícitamente lo contrario, se utiliza en la presente memoria para referirse a un subconjunto propio no vacío, es decir, a un subconjunto del conjunto más grande, que tiene uno o más miembros. Para un conjunto S, un subconjunto puede comprender el conjunto S completo. Sin embargo, un "subconjunto propio" del conjunto S está estrictamente contenido en el conjunto S y excluye al menos un miembro del conjunto S.

Un "conjunto ordenado" tiene su significado convencional tal como se utiliza en la teoría de conjuntos, relacionado con un conjunto cuyos elementos tienen un ordenamiento no ambiguo, tal como el conjunto de números naturales que están ordenados en una secuencia ascendente, por ejemplo.

El diagrama esquemático de la FIG. 1 muestra un aparato 70 de obtención de imágenes para la obtención de imágenes combinadas de volumen y color de los dientes. Para la obtención de imágenes de volumen, una cámara 40 proyecta patrones 46 de formación de imágenes estructuradas sobre la superficie 20 de los dientes 22 para obtener una imagen 48 de contorno según una realización ilustrativa de la solicitud. Un procesador 80 lógico de control u otro tipo de ordenador controla el funcionamiento de una matriz 10 de iluminación y adquiere datos de imágenes digitales obtenidos de una matriz 30 de sensores de formación de imágenes monocromáticas. Durante la formación de imágenes de volumen, la matriz 10 de iluminación proyecta luz en patrones sobre un área 54 del diente, que normalmente incluye patrones estructurados con múltiples líneas de luz (por ejemplo, con una separación predeterminada entre líneas). Los datos de imagen de la superficie 20 se obtienen a partir de la luz en patrones detectada por la matriz 30 de sensores de formación de imágenes. El procesador 80 lógico de control procesa los datos de imagen recbidos y almacena el mapeado en la memoria 72. La imagen de la superficie 3-D reconstruida de la memoria 72 se representa entonces opcionalmente en un dispositivo 74 de visualización. La memoria 72 también puede incluir un búfer de visualización.

La vista esquemática de la FIG. 2 muestra, en un recuadro etiquetado como B, una porción de un patrón 46 de franjas típico que se dirige sobre el área 54 de la superficie 20 desde la matriz 10 de iluminación. El patrón estructurado que se proyecta puede tener el mismo nivel de potencia en cada posición desplazada. Alternativamente, se pueden utilizar diferentes niveles de potencia para proyectar el patrón estructurado.

Según algunas realizaciones ilustrativas para la obtención de imágenes de contornos de color, la cámara 40 se utiliza en modo fijo, mantenida en la misma posición fija para obtener imágenes de componentes de color que la utilizada para la proyección y obtención de imágenes de patrones de luz estructurada. En otras realizaciones ilustrativas para la obtención de imágenes de contornos de color, la cámara 40 puede moverse mientras obtiene imágenes de componentes de color y/o puede moverse cuando se utiliza para la proyección y obtención de imágenes de patrones de luz estructurada.

La matriz 10 de iluminación proyecta luz de diferentes longitudes de onda de componentes de color, típicamente roja (R), verde (G) y azul (B), una cada vez, y captura una imagen separada en la matriz 30 de sensores monocromáticos en cada banda de longitud de onda. Sin embargo, se pueden utilizar otras combinaciones de componentes de color. Las imágenes capturadas también son procesadas y almacenadas por el procesador 80 de lógica de control (FIG. 1).

El diagrama esquemático de la FIG. 3 muestra los componentes internos de la cámara 40 para obtener datos de color y contorno de superficie en 3-D de acuerdo con una realización ilustrativa de la solicitud. Un generador de patrón de franjas 12 se puede activar para formar la luz estructurada a partir de la matriz 10 de iluminación como un tipo de iluminación estructurada o iluminación de patrón de franjas, y para proyectar la luz estructurada así formada como luz incidente hacia el diente 22 a través de un polarizador opcional 14 y a través de una lente de proyección 16. La luz reflejada y dispersada desde el diente 22 se puede proporcionar a un conjunto a matriz 30 de sensores a través de una óptica de formación de imágenes (por ejemplo, una lente 17 de formación de imágenes y un analizador 28 opcional). La matriz 30 de sensores está dispuesta a lo largo de una trayectoria 88 de detección en el plano de imagen de la lente 17 de formación de imágenes. Un procesador 34 en la cámara 40 acepta el contenido de la imagen y otra información de retroalimentación de la matriz 30 de sensores y, en respuesta a estos y otros datos, puede activarse para efectuar el funcionamiento del generador 12 de patrones, como se describe con más detalle posteriormente.

Una función del procesador 34 para la formación de imágenes de proyección de franjas es desplazar de manera incremental la posición de la franja y activar la matriz 30 de sensores para tomar imágenes que después se utilizan para calcular información tridimensional de la superficie del diente. Para el método de proyección de franjas de desplazamiento de fase, normalmente se necesitan al menos tres imágenes para proporcionar suficiente información para calcular la información tridimensional del objeto. Cuando sólo se obtienen tres imágenes de franjas, las posiciones relativas de las franjas para cada una de estas tres imágenes proyectadas normalmente se desplazan en un tercio u otra fracción del período de franjas. El procesador 34 puede ser un ordenador, un microprocesador u otro aparato de procesamiento lógico dedicado que ejecuta instrucciones programadas y está en comunicación con el procesador 80 de lógica de control que proporciona funciones del sistema de formación de imágenes como se ha descrito anteriormente con respecto a la FIG. 1.

La cámara 40 intraoral de la FIG. 3 utiliza opcionalmente luz polarizada para la formación de imágenes del contorno de la superficie del diente 22. El polarizador 14 proporciona la iluminación del patrón de franjas del generador 12 de patrón de franjas como luz linealmente polarizada. En una realización, el eje de transmisión del analizador 28 es paralelo al eje de transmisión del polarizador 14. Con esta disposición, sólo se proporciona a la matriz 30 de sensores luz con la misma polarización que el patrón de franjas. En otra realización, el analizador 28, en la trayectoria de la luz reflejada a la matriz 30 de sensores, puede ser rotado por un actuador 18 hacia una orientación que coincida con el eje de transmisión de polarización del polarizador 14 y obtener luz especular de porciones superficiales del diente o una orientación ortogonal al eje de transmisión de polarización del polarizador 14 para un contenido especular reducido, obteniendo más de la luz dispersa de partes internas del diente. En algunas realizaciones ilustrativas descritas en la presente memoria, se pueden utilizar combinaciones de luz polarizada y no polarizada.

También se muestra en la FIG. 3 una fuente de luz roja 32r, una fuente de luz verde 32g y una fuente de luz azul 32b para proporcionar luz de color para capturar tres imágenes en escala de grises, también llamadas imágenes de sombreado monocromático necesarias para la construcción de una imagen a todo color. Cada una de estas fuentes de luz puede incluir un solo elemento emisor de luz, como un diodo emisor de luz (LED), o múltiples elementos emisores de luz. En la realización mostrada, la trayectoria de iluminación para la luz de patrón estructurado desde el generador de franjas y la luz RGB es la misma; la trayectoria de detección de la luz hacia la matriz 30 de sensores también es la misma tanto para el patrón estructurado como para el contenido de imagen RGB. La cámara 40 tiene un punto focal o plano focal F.

El diagrama esquemático de la FIG. 4A muestra, con el ejemplo de una única línea de luz L, cómo se utiliza la luz con patrón del generador 12 de patrón para obtener información de contorno de superficie. Se obtiene un mapeo a medida que una matriz 10 de iluminación dirige un patrón de luz sobre una superficie 20 y se forma una imagen correspondiente de una línea L' en una matriz 30 de sensores de formación de imágenes. Cada píxel 38 del patrón proyectado en la matriz 30 de sensores de formación de imágenes se mapea a un píxel 13 correspondiente en la matriz 10 de iluminación según la modulación por la superficie 20. Los desplazamientos en la posición de píxel, como se representa en la FIG. 4A, proporcionan información útil alrededor del contorno de la superficie 20. Se puede apreciar que el patrón básico mostrado en la FIG. 4A se puede implementar de varias maneras, utilizando una variedad de fuentes y secuencias de iluminación y utilizando uno o más tipos diferentes de matrices 30 de sensores.

La vista en planta de la FIG. 4B muestra un patrón 56 de luz estructurado que tiene múltiples líneas de luz 84 separadas entre sí. Según una realización ilustrativa de la solicitud, el patrón 56 se dirige a la superficie del diente en una secuencia o serie de imágenes proyectadas en la que las líneas 84 se desplazan incrementalmente hacia la derecha o, alternativamente, hacia la izquierda, en imágenes sucesivas de la serie proyectada.

La matriz 10 de iluminación (FIG. 3) puede utilizar cualquiera de un número de tipos de matrices utilizadas para la modulación de luz y formación de patrones de luz, tales como una matriz de cristal líquido o una matriz de microespejos digitales, tales como los proporcionados utilizando el Procesador de Luz Digital o dispositivo DLP de Texas Instruments, Dallas, TX. Este tipo de modulador de luz espacial se utiliza en la trayectoria de iluminación para cambiar el patrón de luz según sea necesario para la secuencia de mapeo.

La vista en planta de la FIG. 5 muestra una imagen 48 de contorno típica con un patrón 46 proyectado sobre una superficie 20 de diente. Como muestra la FIG. 5, las líneas de contorno pueden ser indistintas en diversas partes de la superficie. Para ayudar a compensar este problema y reducir ambigüedades e incertidumbres en la detección de patrones, el generador 12 de patrones de franjas (FIG. 3) normalmente proporciona una secuencia de imágenes con patrones, con las líneas claras y oscuras desplazadas a diferentes posiciones como se describe con referencia a la FIG. 4B y, alternativamente, con diferentes espesores de línea o distancias entre líneas de luz. Se pueden utilizar diversas secuencias y patrones. Cabe señalar que son posibles varias variaciones para proporcionar un conjunto ordenado de patrones de luz estructurados dentro del alcance de la presente divulgación. De acuerdo con realizaciones ilustrativas, el número de imágenes con patrones estructuradas en el conjunto ordenado que se proyecta supera las 20 imágenes, sin embargo, también se podrían utilizar secuencias que utilicen más de 20 imágenes o menos de 20 imágenes.

Se proporciona calibración para el contenido de la imagen, ajustando los datos de imagen obtenidos para generar un color preciso para cada píxel de la imagen. Las FIGs .6A, 6B y 6C muestran imágenes en escala de grises o monocromáticas de componentes 90r, 90g y 90b de dientes obtenidas en la matriz 30 de sensores monocromáticos utilizando luz roja, verde y azul de las fuentes de luz 32r, 32g y 32b (FIG. 3) respectivamente. Se puede formar una representación en escala de grises de una imagen en color combinando contenido de datos de imagen calibrados para la iluminación roja, verde y azul. Los datos de calibración de color, como el uso de una matriz de calibración lineal u otro mecanismo de calibración, pueden ser de particular valor cuando se utiliza un sensor monocromático para obtener datos de color y ayudan a compensar las características de respuesta inherentes de la matriz de sensores para diferentes longitudes de onda.

Ha habido una serie de aparatos y métodos de reconstrucción 3-D para capturar modelos 3-D de dientes, algunos de los cuales en realidad recogen la información geométrica 3-D de la superficie del diente. También se han divulgado varios aparatos para capturar fotografías de la superficie de los dientes, por ejemplo, imágenes en color, que realmente reflejan las propiedades del espectro de las superficies de los dientes para fuentes de iluminación dadas. Las realizaciones de métodos y/o aparatos de la solicitud descrita en la presente memoria pueden ayudar a mejorar la experiencia del usuario y/o proporcionar una mejora de los detalles de la superficie y/o la textura del color al combinar la información geométrica 3-D y el contenido de la imagen en color.

Las realizaciones de aparatos y/o métodos descritos en la presente memoria pueden capturar imágenes de sombreado y/o realizar mapeo de textura para modelado 3-D de dientes. Las realizaciones de aparatos ilustrativas pueden utilizar únicamente sensores monocromáticos y una o más fuentes de iluminación para componer las imágenes de sombreado de color, combinadas a partir de imágenes de sombreado monocromático. Una coincidencia de puntos característicos puede registrar imágenes seleccionadas/todas sombreadas y emplear un método de mapeo de textura para hacer que el modelo de dientes 3-D mostrado sea vivido para el observador y/o útil para ayudar en el proceso de diagnóstico y tratamiento.

Actualmente, algunos de los escáneres dentales 3-D convencionales utilizan un esquema de mapeo de color que asigna un valor de color a cada vértice en el modelo de diente 3-D. Sin embargo, este tipo de asignación de vértice/color puede ser un compromiso deficiente y a menudo proporciona una aproximación del color que es decepcionante, lo que dificulta la observación de información más compleja sobre los detalles de la superficie y la textura del color. En la FIG. 7A se muestra un ejemplo de los resultados de los escáneres dentales 3-D existentes. A diferencia de la FIG. 7A, en la FIG. 7B se muestra un ejemplo de resultados de mapeo de textura en dientes de acuerdo con realizaciones de métodos y/o aparatos ilustrativos de la solicitud. Como lo sugieren las FIGS. 7A y 7B, y se nota particularmente cuando se presentan en color, los métodos y/o aparatos de mapeo de textura ilustrativos de la solicitud proporcionan una representación más precisa y/o más realista de la apariencia de la superficie de las estructuras dentales que las técnicas de mapeo de vértices.

Descripción general de las secuencias de procesamiento

Según realizaciones ilustrativas de aparatos y/o métodos, se pueden capturar varias vistas de dientes y estructuras circundantes. Estos pueden incluir un grupo de patrones de luz estructurada para cada vista, proyectados sobre las superficies de los dientes en secuencia, con un conjunto correspondiente de imágenes de franjas adquiridas. Basándose en la correspondencia entre los patrones proyectados y las imágenes de franjas capturadas, se realiza una triangulación para generar una nube de puntos 3-D de los dientes, utilizando técnicas familiares para aquellos expertos en el arte de la formación de imágenes de contornos. Para cada vista, se utilizan LED u otras fuentes de luz con bandas de espectro de color o longitud de onda específicas para iluminar los dientes a través de una trayectoria óptica en una secuencia ordenada. Además, un conjunto de imágenes de sombreado de componentes monocromáticos se capturan mediante un sensor monocromático en secuencia. Los puntos característicos 2-D se extraen de las imágenes monocromáticas. Se calculan transformaciones entre las imágenes sombreadas, mediante las cuales las imágenes sombreadas de componentes monocromáticos se registran entre sí, por ejemplo utilizando los puntos característicos extraídos. En una realización, utilizando una matriz de calibración lineal de color preestablecida, el valor de color de cada píxel se recupera a partir de los valores de píxeles combinados y registrados tomados de las imágenes sombreadas. De esta forma, para cada vista también se genera una imagen con sombreado de color.

Después de la generación de la malla, la coincidencia, la fusión y la supresión del ruido de la malla 3-D, las nubes de puntos 3-D generadas en todas las vistas se pueden combinar para generar las superficies de malla 3-D finales para los dientes del sujeto. Esta malla 3-D final define un número de caras, cada cara definida por sus vértices 3-D más cercanos, de modo que cada cara es plana y tiene una construcción triangular, aunque de manera más general, cada cara es plana y tiene una forma poligonal formada por tres o más lados. Una nube de puntos de una superficie se puede utilizar para definir una malla triangular y, opcionalmente, una malla que tenga otras formas poligonales. La malla triangular es la malla geométricamente más primitiva y generalmente permite el cálculo más directo de formas poligonales. Las múltiples caras combinadas se extienden a través de la superficie de los dientes y las estructuras relacionadas y, por lo tanto, sección plana por sección plana, definen el contorno de la superficie. Como parte de este procesamiento, se determina la visibilidad de cada cara en la malla y se adapta a la vista particular que proporciona la mejor observación de las caras en todas las vistas. El conjunto completo de vistas que corresponden a todas las caras de la malla sirve como marco de vista clave. El término "clave" se refiere al uso de una vista de imagen particular como un tipo de "clave de color", un recurso utilizado para el mapeo de colores, tal como lo utilizan los expertos en la técnica de la formación de imágenes en color. Una vista clave es una imagen almacenada tomada en un aspecto particular y utilizada para el mapeo de texturas, como se describe con más detalle más adelante.

Utilizando técnicas de posprocesamiento de malla, las caras de la malla 3-D se separan en grupos llamados "fragmentos de textura", en donde las caras en un fragmento de textura particular se conectan geométricamente con otras caras en el mismo fragmento y se asignan a la misma vista clave. De acuerdo con una realización ilustrativa de la presente divulgación, se pueden utilizar métodos de posprocesamiento para mejorar la suavidad de los límites entre cada fragmento de textura. Este procesamiento se puede realizar fragmento por fragmento, uno cada vez. Al procesar cada fragmento, los vértices que definen el fragmento se proyectan en su vista (por ejemplo, su vista clave) utilizando una rutina de proyección estándar, empleando técnicas bien conocidas para mapear puntos 3-D a un plano 2-D. Esta proyección también puede utilizar los parámetros intrínsecos de la cámara extraídos como parte de la calibración de la cámara.

Las coordenadas de la imagen proyectada de los vértices se utilizan como sus coordenadas de textura. En una realización ilustrativa, todos los límites entre los fragmentos de textura también se proyectan en las vistas de la vista clave. Utilizando los datos de color correspondientes de cada vista clave, se puede realizar un método de combinación de colores en el límite proyectado para reducir las discrepancias de color y/o corregir cualquier discrepancia de color entre vistas debida al mapeo.

A partir de este proceso de mapeo y mezcla, se pueden extraer regiones en imágenes de sombreado de color correspondientes a los fragmentos de textura proyectados para cada una de las vistas y empaquetarlas en una única imagen de textura, denominada "mapa de textura global". En una realización ilustrativa, se puede utilizar una estrategia de empaquetamiento para hacer que la imagen de textura empaquetada sea más compacta y/o más eficiente. Las coordenadas de textura de todos los vértices también se pueden ajustar para que se alineen con el origen del mapa de textura global.

Para algunas realizaciones ilustrativas, todos los vértices con coordenadas 3-D y coordenadas de textura 2-D y el mapa de textura global se pueden enviar a un motor de procesamiento 3-D para su visualización, utilizando técnicas familiares para aquellos expertos en representación de imágenes de volumen. Los resultados también pueden almacenarse en la memoria o transmitirse entre procesadores.

Las secuencias utilizadas en algunas realizaciones de aparatos y/o métodos ilustrativos se describen con más detalle en las etapas ilustrativas que siguen.

Parte 1. Formar las imágenes de sombreado de color

Esta primera parte de este procedimiento adquiere las imágenes monocromáticas componentes (por ejemplo, utilizando la cámara 40 (FIG. 1)) y puede combinarlas para generar las imágenes de sombreado de color compuestas para una vista particular de los dientes.

La FIG. 8A es un diagrama de flujo lógico que muestra un procesamiento ilustrativo para formar imágenes de sombreado de color compuestas{Is1, Is2,...Isk}.Este procesamiento se puede ejecutar para cada una de las K vistas del diente obtenidas a partir de imágenes de reflectancia que obtienen tanto imágenes de contorno como contenido de imágenes en color. El proceso de generación de un conjunto de imágenes de sombreado de color compuesto, etapa S100, puede comenzar con un conjunto de vistas V:

cada vista en una pose de vista diferente, en donde la pose para una vista particular se relaciona con su aspecto de vista; la frase "pose de vista" o "aspecto de vista" se refiere a la alineación de orientación y características posicionales tales como las cantidades relativas de giro, desvío e inclinación del sujeto en relación con un sistema de coordenadas que tiene su origen en un punto focal de la cámara, e incluye características tales como la distancia de vista y el ángulo de la cámara. Un método ilustrativo ejecuta a continuación una secuencia que genera un conjunto de K imágenes de sombreado de color de componente correspondientes:

{Isl,Is2,...Isk}.

Las subetapas de la Parte 1, ejecutados para cada vista, pueden ser como se indica a continuación:

1) En una etapa S110 de adquisición de imágenes, adquirir cada una de las imágenes monocromáticas componente,Ir, Ig, Ib,capturándolas utilizando diferentes iluminaciones de color (por ejemplo, rojo, verde y azul), respectivamente.

2) Extraer puntos característicos de las imágenes monocromáticas de componente capturadas en una etapa S120 de extracción de puntos característicos. La etapa 5120 de extracción de puntos característicos puede utilizar, por ejemplo, la detección de esquinas de Harris & Stephens u otra técnica de detección de características conocida por aquellos expertos en las técnicas de detección de características de imágenes. Se pueden extraer puntos característicos de cada una de las imágenes monocromas componenteIr, Ig, Ib,para generar tres conjuntos correspondientes de puntos característicos:

Fr = {Prl,Pr2,...PrN};

Fg = {PgJ,Pg2....PgM/;

y

Fb={Pbl, Pb2, ...,PbL}.

3) En una etapa S130 de coincidencia, se pueden utilizar técnicas de búsqueda y coincidencia seleccionadas para hacer coincidir los tres conjuntos de puntos característicos. Un método, por ejemplo, primero hace coincidir el conjunto de puntos característicos Fr con el conjunto Fg, y después hace coincidir el conjunto Fr con Fb, empleando la Correlación Cruzada Normalizada de la región local en las imágenes monocromas componente Ir, Ig, Ib alrededor de cada punto característico extraído. Según una realización, se puede adoptar RANSAC (un algoritmo de consenso de muestra aleatoria bien conocido) para reducir la influencia de valores atípicos en la correspondencia introducida en la etapa S130.

4) En una etapa S140 de generación de transformación, utilizando la estimación de homógrafos u otras herramientas adecuadas, calcule al menos dos transformadas lineales robustas Hrg para el mapeo Ir-Ig y Hrb para el mapeo Ir-Ib.

5) Utilizando las transformaciones calculadas Hrg y Hrb de la etapa S140, realizar una deformación de imagen en las imágenes monocromáticas Ig e Ib en una etapa S150 de deformación de imagen. La etapa S150 de deformación de imagen puede alinear las imágenes componente, como por ejemplo alinear Ig e Ib con Ir.

6) Combinar Ir e Ig alineado e Ib alineado en una etapa S160 de combinación para formar una imagen de sombreado de color compuesta.

Una etapa S170 de decisión puede determinar si cada vista ha sido procesada o no utilizando los procedimientos de la etapa S100 de generación del conjunto de imágenes de sombreado de color compuesto. El procesamiento se repite para cada vista.

La combinación de un conjunto de al menos tres imágenes de sombreado monocromático puede generar una imagen de sombreado de color 2-D compuesta, en donde cada imagen de sombreado de color 2-D tiene información de textura de color o información de estructura de imagen que incluye color y atributos de apariencia adicionales, y una pose de vista asociada.

Parte 2. Generación y procesamiento de mallas

Se pueden utilizar procedimientos de procesamiento de malla para generar la malla y hacer coincidir, fusionar y proporcionar supresión de ruido para adquirir la malla de salida final, Mo. La FIG. 8B es un diagrama de flujo lógico que muestra un procesamiento lustrativo para generar y utilizar información de malla en una etapa S200 de generación de malla.

En una etapa S210 de adquisición de imágenes, se obtienen imágenes de luz estructuradas para la formación de imágenes de contorno. A continuación, una etapa S220 de generación de nube de puntos genera una nube de puntos 3-D a partir de imágenes de luz estructurada. La información de la malla se combina para generar la malla de salida final Mo en una etapa S230 de generación de malla. La FIG. 8C muestra una malla M con caras Fc planas individuales. Cada cara Fc es triangular en el ejemplo mostrado. La FIG. 8C también muestra la pose relativa a la malla M.

Cada cara Fc triangular (plana) en la malla se define utilizando tres vértices Vt. La malla Mo tiene un total de J caras Fc planas e I vértices Vt:

Fc={Fci,Fc2,... FcJ¡

Vt= {VtJ,Vt2,...VtIj.

Para cada vista en V={V1,V2,...,Vk}, en una etapa S240 de generación de matriz de transformación, este procesamiento también genera su matriz M de transformación relativa a Mo:

M={Ml,M2,...,MkJ

Utilizando la matriz de transformación correspondiente de este conjunto, cada una de las caras Fc y vértices Vt se pueden transformar en el sistema de coordenadas de cada vista V.

La FIG. 8D es un diagrama de flujo lógico que muestra el procesamiento posterior en una etapa S300 de generación de mapa de textura global ilustrativa, con procedimientos ilustrativos para formar un marco de vista clave (Parte 3), asignación de vista de caras (Parte 4), generación de un mapa de textura global, suavizado de contornos (Parte 5) y configuración de fragmentos de textura (Parte 6).

Parte 3. Configuración de un marco de vista clave ilustrativa

En este punto del procesamiento, el marco de vista clave se puede identificar, utilizando la siguiente secuencia ilustrativa, mostrada como la etapa S310 de vista visible de forma y la etapa S320 de configuración de marco clave en el diagrama de flujo lógico de la FIG. 8D:

1) Para cada cara Fci en la malla Mo de salida final, determinar en qué vistas V es visible la cara Fci. En la etapa S310 de vista visible de forma, formar el conjunto de vista visible VS_i de Fci:

esta determinación puede utilizar criterios de visibilidad como los siguientes:

a) la normal de la cara Fci debe estar más cerca de la dirección de visión de VS_i que un umbral predefinido, Th_n;

b) la cara Fci debe estar en el campo de visión (FOV) del conjunto VS_i de visión visible;

c) Fci debe estar más cerca del plano de enfoque del conjunto VS_i de visión visible que un umbral predefinido, Th_f;

Sin embargo, se pueden aplicar criterios de visibilidad alternativos.

2) Utilizando el conjunto VS_i de vistas visibles para Fc, identificar y eliminar las vistas que se superponen excesivamente. Por ejemplo, si dos vistas contienen una cantidad excesiva de caras idénticas, una de las vistas es redundante y se puede eliminar. En la etapa S320 de configuración de marco clave ilustrativa, las vistas V restantes se pueden usar para formar el marco de vista clave como se establece:

este conjunto puede contener vistas V Vkn que se superponen ligeramente entre sí.

3) Si algunas vistas V contienen exclusivamente ciertas caras, estas vistas se pueden añadir preferiblemente al marco Vk de vista clave.

4) Reducir el conjunto Vk para garantizar preferiblemente que no exista ninguna vista V redundante en Vk. Por ejemplo, verificar cada vista Vkn en Vk. Si, sin un Vkn en particular, todas las caras aún pueden ser visibles para las vistas restantes en Vk, entonces eliminar ese Vkn.

Parte 4. Asignación de vistas de caras ilustrativa

La Parte 4 describe porciones de la etapa S330 de asignación de vista ilustrativa del procedimiento de la FIG.

8D. La FIG. 9 muestra un ejemplo de asignación de vista deseada/seleccionada de caras obtenidas de esta Parte.

1) Para cada cara Fci en la malla Mo de salida final, determinar en qué vistas V es visible la cara Fci utilizando los criterios que se indican a continuación. Estas vistas forman el conjunto de vistas visibles VS de Fci:

los criterios y parámetros ilustrativos para determinar la visibilidad pueden incluir lo siguiente:

d) Puntuación normal: la normal de la cara Fci debe estar más cerca de la dirección de visión de VS_i que un umbral predefinido, Th_n1;

e) FOV: Fci debe estar en el FOV de VS_i;

f) Puntuación de enfoque: Fci debe estar más cerca del plano de enfoque de VS_i que un umbral predefinido, Th_f2.

Se puede apreciar que se pueden utilizar criterios de visibilidad alternativos.

2) Combinar la puntuación normal y la puntuación de enfoque para todos los VS_i como puntuación de asignación;

3) Seleccionar una vista con la mejor puntuación de asignación (por ejemplo, la vista óptima) como la vista asignada de Fci.

Por ejemplo, los resultados de la asignación de vista aparecen como se muestra en el ejemplo de la FIG. 9. En la presente memoria, las mallas en el mismo color (o tono, escala de grises, textura, marcado o patrón, etc.) representan las caras asignadas a la misma vista.

Parte 5. Refinamiento de contorno ilustrativo para la asignación de vistas de caras en la malla Mo de salida final

Esta siguiente secuencia de etapas realiza el suavizado de contornos y límites en una etapa S340 de suavizado de contorno ilustrativa (FIG. 8D) para la asignación de vista de caras.

1) Para cada vista Vj en el marco de vista clave, proyectar todos los vértices de las caras asignadas a Vk sobre el plano de imagen Isj de Vj para adquirir una imagen binaria, Isbj, en donde los vértices proyectados en 2-D están marcados como VERDADEROS (brillantes) y los píxeles de antecedentes están marcados como FALSO (negro), como se muestra en la FIG. 10A. A continuación se pueden ejecutar operaciones morfológicas matemáticas en la imagen Isbj para adquirir la imagen binaria, Imsbj, como se muestra en la FIG. 10B. A continuación, para cada vértice, se verifica la visibilidad de Vj, como se hizo en la Parte 3. Todos los vértices visibles para Vj se proyectan en la imagen Imsbj. Para cualquier vértice Vto que sea visible para Vj, en donde su punto 2-D proyectado en la imagen Imsbj es VERDADERO, el vértice Vto se asigna a la vista Vj. En algunas realizaciones, la proyección de vértices 3-D a sus coordenadas 2-D correspondientes se basa en parámetros intrínsecos estimados de antemano y/o en parámetros extrínsecos establecidos en la Parte 2.

2) Para cada cara Fci, el procesamiento puede verificar la asignación de vista de sus tres caras vecinas o adyacentes, es decir, cada cara que comparte un borde en común con Fci. Si las tres caras vecinas están asignadas a la misma vista que Fci, no se realiza ninguna acción. De lo contrario, se identifica la asignación de vista Vk que está en la mayoría de los tres vecinos y se asigna la cara Fci a la vista Vk en el marco de vista clave.

Parte 6. Configuración ilustrativa de fragmentos de textura

La siguiente parte de este procedimiento configura fragmentos de textura que agrupan un conjunto de caras en la misma vista clave como parte de una etapa S350 de configuración de fragmentos de textura ilustrativa en la FIG. 8D.

1) Para cada vista Vj, proyectar todos los vértices asignados a Vj sobre el plano de imagen asociado con Vj para adquirir una imagen binaria, Isbj, como se muestra en la FIG. 10A.

2) Adquirir componentes conectados, como se muestra en la FIG. 10B, utilizando procesamiento como dilación de imagen binaria y erosión de imagen binaria en Isbj. Los parámetros de dilación y erosión, incluidos el tamaño de los elementos estructurales, los umbrales y otros parámetros que afectan el desempeño de la dilación y erosión, pueden diferir de los utilizados en la Parte 4. A continuación, usar el etiquetado de componente conectado a imagen para extraer todos los componentes en la imagen Isbj. Por ejemplo, las caras y los vértices proyectados en el mismo componente se organizan como el mismo fragmento de textura. De esta manera, se pueden establecer fragmentos de textura, y la malla Mo completa puede corresponder a un conjunto de fragmentos de textura,Fg={Fg1 ,Fg2,...,Fgw}.La FIG. 11 muestra elementos de malla representados por fragmentos de textura, donde cada color o tono de escala de grises indica un fragmento de textura particular.

En una realización, cada fragmento de textura contiene las caras Fci y los vértices Vt asignados a la misma vista en el marco de vista clave y que comparten la misma región en la imagen de sombreado de color. Las coordenadas de textura de cada vértice Vt que se proyecta en la vista y el cuadro delimitador de la proyección también están contenidas en el fragmento de textura.

Parte 7. Generación ilustrativa de coordenadas de textura de vértice

Para cada fragmento Fgi de textura en el conjunto Fg, sus caras y vértices se proyectan sobre su vista asignada, registrando las coordenadas de la imagen proyectada (por ejemplo, esto se realiza de manera similar a la Parte 5).

Parte 8. Mezcla de color ilustrativa para fragmentos de textura

En una realización, el procesamiento extrae las caras límite de todos los fragmentos de textura utilizando la siguiente estrategia ilustrativa:

1) para cada cara Fci en todos los fragmentos de textura, verifique la asignación de vista de sus tres caras vecinas que comparten un borde común con la cara Fci. Si todas las caras vecinas están asignadas a la misma vista que Fci, no hacer nada. De lo contrario, etiquetar o marcar la cara Fci como una cara límite.

2) Identificar los bordes en las caras límite que unen dos caras asignadas a diferentes fragmentos de textura. Esto define un grupo de bordes:

cada borde contiene los dos vértices finales.

3) Identificar las coordenadas del vértice UV en dos vistas en dos lados de los bordes:

Egk = {Egidk, Vkl, UVJkE UV2kl, Vk2, UVJk2, UV2k2}en donde:

Egidk es el índice de un borde en el conjunto Eg;

Vk1 y Vk2 son índices de dos vistas unidas por Egk en el marco de vista clave;

UV1k1 y UV2k1 son las coordenadas de textura de dos vértices finales de Egk.

4) Para cada borde y cada fragmento (como el fragmento actual), ejecutar una combinación de colores ilustrativa de la siguiente manera:

4a) Obtener el valor C1k1 y C2k1 de color en la posición de coordenadas UV1k1 y UV2k1 en la imagen Isk1 de sombreado de color y el valor C1K2 y C2k2 de color en UV1k2 y UV2k2 en la imagen Isk2 de sombreado de color. Supongamos que el fragmento actual está asignado a Isk1.

4b) Establecer los valores de color objetivo en UV1k1 y UV2k1 con el promedio ponderado de C1 k1 y C1k2; y C2k1 y C2k2, respectivamente. Al mismo tiempo, calcular también la diferencia entre el valor del color actual y el valor del color objetivo.

4c) Para todos los píxeles de la línea 2d que une las coordenadas de textura UV1k1 y UV2k1, calcular una diferencia de color utilizando interpolación bilineal y la diferencia de color en las coordenadas UV1k1 y UV2k1 calculada en 4b). Los píxeles en las líneas de todos los bordes proyectados del fragmento actual definen un contorno cerrado, denominado un contorno de borde, de los fragmentos actuales en las imágenes. Los valores de píxeles se utilizan como condición límite para la sub-etapa siguiente.

4d) En base a la condición de límite anterior, se puede realizar una interpolación para calcular el valor de píxel para todos los píxeles delimitados por el contorno del borde. El valor del píxel interpolado es la diferencia de color suavizada para cada píxel limitado dentro del contorno del borde.

4e) Para cada píxel dentro del fragmento actual, aplicar la diferencia de color interpolada al valor de color original del píxel en la imagen Isk1 de sombreado de color para generar la versión de mezcla de colores Isk_adj_1 como la imagen de sombreado final para el fragmento actual. Los resultados antes y después de la mezcla de colores aparecen como se muestra en los ejemplos de la FIG. 12A y la FIG. 12B.

Parte 9. Extracción y empaquetamiento ilustrativos de regiones de fragmentos de textura en imágenes con sombreado de color mezclado de vistas clave.

El procedimiento dado en la presente memoria puede completar una etapa S360 de configuración de mapa de textura global ilustrativa en el proceso de la FIG. 8D.

Para algunas realizaciones, se puede utilizar una estrategia de listas duales para empaquetar todos los fragmentos de textura:

1) Inicializar una imagen en blanco como mapa de textura global, Itm, con el ancho de Wtm y la altura de Htm; 2) Ordenar todos los fragmentos de textura según el tamaño relativo de su cuadro limitador, como se registró en la Parte 6.

3) Para cada fragmento de textura, realizar lo siguiente:

Si, en la posición actual, incluidas las coordenadas de columna y fila en Itm, hay espacio disponible, incluido el ancho y la altura, para el cuadro limitador del fragmento de textura actual, copiar, en la posición actual en el mapa de textura global Itm, la región en la imagen de sombreado de color mezclado del fragmento de textura especificada por el cuadro limitador. Registrar las coordenadas de la columna y fila derecha de la región copiada en la siguiente lista. De lo contrario, si no hay espacio disponible, buscar una nueva posición de fila en la ubicación de escaneo actual utilizando la lista actual para evitar superposiciones.

Si en la posición de escaneo actual no hay suficiente ancho para el cuadro limitador del fragmento actual, ir a la siguiente posición de escaneo en el mapa Itm de textura global. Cambiar la lista siguiente y la lista actual. Determinar la posición disponible actual. Ajustar las coordenadas de textura de todos los vértices para alinearlos con el mapa de textura global.

Los resultados ilustrativos de la Parte 9 proporcionan un mapeo como se muestra en la FIG. 13. Este ejemplo muestra una imagen binaria Itm de un mapa de textura global que ilustra los parches de todos los fragmentos de textura.

Uso de un Mapa de Textura Global

Una vez que se genera el mapa de textura global, el mapa de textura global se puede utilizar para ayudar a acelerar la generación de imágenes y proporcionar contenido de textura para una vista dada de un diente y estructuras relacionadas. Se especifica un mapa de textura global según la vista deseada para la visualización de la imagen del diente en la etapa S370 (FIG. 8D). A continuación, para rellenar cada cara visible en la vista con contenido de textura, el mapa de textura global proporciona una referencia rápida a la vista clave adecuada para la apariencia de esa cara.

El mapa de textura global puede considerarse una representación a escala o tamaño reducido que muestra porciones de las imágenes de sombreado de textura 2-D correlacionadas con los fragmentos de textura. El mapa de textura se utiliza para proporcionar la imagen del contorno de la superficie en 3-D con textura de color de los dientes.

Durante el procesamiento, el mapa de textura global puede proporcionar efectivamente un tipo de tabla de búsqueda bidimensional para caras visibles en una vista dada. Proporcionar una referencia rápida al contenido de la imagen de esta manera permite la recreación de una vista particular para proceder rápidamente sin necesidad de re-cálculos considerables cuando se cambia el ángulo de vista o la perspectiva, como con otros esquemas de mapeo de texturas de la técnica relacionados. De este modo, en algunas realizaciones ilustrativas, la rotación o el movimiento de la imagen pueden parecer realizados en tiempo real, sin requerir grandes recursos informáticos.

Consistente con realizaciones ilustrativas de la solicitud, un ordenador ejecuta un programa con instrucciones almacenadas que se ejecutan en datos de imagen a los que se accede desde una memoria electrónica. Como pueden apreciar los expertos en las técnicas de procesamiento de imágenes, un programa informático de una realización ilustrativa de la solicitud puede utilizarse mediante un sistema informático adecuado de uso general, tal como un ordenador personal o una estación de trabajo, así como mediante un microprocesador u otro procesador dedicado o dispositivo lógico programable. Sin embargo, pueden usarse muchos otros tipos de sistemas informáticos para ejecutar el programa informático de la solicitud, incluidos procesadores en red. El programa informático para realizar el método de la solicitud puede almacenarse en un medio de almacenamiento legible por ordenador. Este medio puede comprender, por ejemplo; medios de almacenamiento magnético, tal como un disco magnético (tal como un disco duro) o una cinta magnética u otro tipo portátil de disco magnético; medios de almacenamiento óptico tal como un disco óptico, cinta óptica o código de barras legible por máquina; dispositivos de almacenamiento electrónico de estado sólido tales como memoria de acceso aleatorio (RAM) o memoria de solo lectura (ROM); o cualquier otro dispositivo físico o medio empleado para almacenar un programa informático. El programa informático para llevar a cabo realizaciones del método ilustrativo de la solicitud también se pueden almacenar en un medio de almacenamiento legible por ordenador que se conecta al procesador de imágenes a través de internet u otro medio de comunicación. Los expertos en la técnica reconocerán fácilmente que el equivalente de tal producto de programa informático también puede construirse en hardware.

Se entenderá que el producto de programa informático de la solicitud pueden hacer uso de diversos algoritmos y procesos de manipulación de imágenes que son bien conocidos. Se entenderá además que las realizaciones del producto de programa informático ilustrativas de la solicitud pueden incorporar algoritmos y procesos no mostrados o descritos específicamente en la presente memoria que son útiles para la implementación. Tales algoritmos y procesos pueden incluir utilidades convencionales que están dentro de los conocimientos habituales de las técnicas de procesamiento de imágenes. Los aspectos adicionales de tales algoritmos y sistemas y hardware y/o software para producir y de otro modo procesar las imágenes o cooperar con productos de programa informático de la solicitud, no se muestran o se describen específicamente en la presente memoria y se pueden seleccionar de tales algoritmos, sistemas, hardware, componentes y elementos conocidos en la técnica.

En el contexto de la presente divulgación, el acto de "grabar" imágenes significa almacenar datos de imagen en algún tipo de circuito de memoria para utilizar estos datos de imagen para un procesamiento posterior. Los propios datos de la imagen grabada pueden almacenarse de forma más permanente o descartarse una vez que ya no sean necesarios para su procesamiento posterior.

Debería señalarse que el término "memoria", equivalente a "memoria accesible por ordenador" en el contexto de la presente divulgación, puede referirse a cualquier tipo de espacio de trabajo de almacenamiento de datos temporal o más duradero usado para almacenar y operar sobre datos de imagen y accesibles a un sistema informático. La memoria podría ser no volátil, que usa, por ejemplo, un medio de almacenamiento a largo plazo tal como almacenamiento magnético u óptico. Alternativamente, la memoria podría ser de una naturaleza más volátil, utilizando un circuito electrónico, tal como una memoria de acceso aleatorio (RAM) que se utiliza como una memoria intermedia temporal o espacio de trabajo por un microprocesador u otro dispositivo procesador lógico de control. Los datos de visualización, por ejemplo, normalmente se almacenan en una memoria intermedia de almacenamiento temporal que directamente se asocia con un dispositivo de visualización y se actualiza periódicamente según sea necesario para proporcionar los datos visualizados. Esta memoria intermedia de almacenamiento temporal también puede considerarse una memoria, como se utiliza el término en la presente descripción. La memoria también se utiliza como espacio de trabajo de datos para ejecutar y almacenar resultados intermedios y finales de cálculos y otros procesamientos. La memoria accesible por ordenador puede ser volátil, no volátil o una combinación híbrida de tipos volátiles y no volátiles. Se proporciona memoria accesible por ordenador de diversos tipos en diferentes componentes en todo el sistema para almacenar, procesar, transferir y mostrar datos y para otras funciones.

En este documento, los términos "un/una" o "unos/unas" se usan, como es común en los documentos de patente, para incluir uno o más de uno, independientemente de cualquier otro caso o usos de "al menos uno" o "uno o más". En este documento, el término "o" se usa para referirse a un o no exclusivo, de manera que "A o B" incluye "A pero no B", "B pero no A" y "A y B", a menos que se indique lo contrario. En este documento, los términos "que incluye" y "en el que" se usan como los equivalentes en inglés de los términos respectivos "que comprende" y "en donde". También, en las siguientes reivindicaciones, los términos "que incluye" y "que comprende" son de extremo abierto, es decir, un sistema, dispositivo, artículo o proceso que incluye elementos además de los enumerados después de tal término en una reivindicación todavía se considera que caen dentro del alcance de esa reivindicación.

En las siguientes reivindicaciones, los términos "primero", "segundo" y "tercero", y similares, se utilizan simplemente como etiquetas y no pretenden imponer requisitos numéricos sobre sus objetos.

Las realizaciones de métodos y/o aparatos según la solicitud pueden proporcionar un mapeo de textura a todo color en un escáner 3-D intraoral con un sensor monocromático.

Aunque se han descrito realizaciones ilustrativas que utilizan caras triangulares de malla 3-D, se pueden utilizar otras formas poligonales para las caras planas. Aunque se han descrito realizaciones ilustrativas para el sistema de escáner IO 3-D basado en métodos de triangulación para formar la malla 3-D, esta solicitud no pretende estar limitada de esa manera, por ejemplo, la malla 3-D se puede generar a partir de cualquier método de escaneo 3-D convencional (por ejemplo, métodos de formación de imágenes confocales o métodos de formación de imágenes estereoscópicas o de múltiples vistas). Las realizaciones ilustrativas según la solicitud pueden incluir diversas características descritas en la presente memoria (individualmente o en combinación).

En una realización, un método para formar un mapeo de textura de color a una imagen de contorno 3-D de uno o más dientes a partir de datos de imagen registrados utilizando una cámara intraoral con una matriz de sensores monocromáticos, puede incluir obtener una malla 3-D que representa una imagen de contorno de superficie 3-D de uno o más dientes de acuerdo con los datos de imagen registrados; generar una pluralidad de conjuntos de al menos tres imágenes de sombreado monocromático proyectando luz de al menos tres bandas espectrales diferentes sobre el uno o más dientes y registrar al menos tres datos de imagen de componente de color correspondientes en la matriz de sensores monocromáticos; combinar conjuntos seleccionados de las al menos tres imágenes de sombreado monocromático para generar una pluralidad de imágenes de sombreado de textura de color 2-D correspondientes, donde cada una de la pluralidad de imágenes de sombreado de textura de color tiene una vista de uno o más dientes; asignar cada superficie poligonal de malla 3-D en la malla 3-D que representa la imagen de contorno de superficie 3-D del uno o más dientes a una de un subconjunto de las imágenes de sombreado de textura de color 2-D; agrupar superficies poligonales de malla 3-D asignadas a la misma imagen de sombreado de textura de color 2-D en una superficie de fragmento de malla 3-D; determinar coordenadas representativas para cada una de las superficies de fragmento de malla 3-D en la imagen de sombreado de textura de color 2-D asignada; y proporcionar las superficies poligonales de malla 3-D con los valores de textura de color de las superficies de fragmento de malla 3-D de acuerdo con las coordenadas determinadas en la imagen de sombreado de textura de color 2-D asignada para generar una imagen de contorno de superficie 3-D de textura de color de uno o más dientes. En una realización, la asignación de cada superficie poligonal de malla 3-D que forma la imagen de contorno de superficie 3-D del uno o más dientes a dichas imágenes de sombreado de textura de color 2-D puede incluir la identificación de superficies poligonales de malla 3-D (por ejemplo, triangulares) que forman la imagen de contorno de superficie 3-D del uno o más dientes; la coincidencia de un primer subconjunto de imágenes de sombreado de textura de color 2-D mediante alineación de orientación con una sola de las superficies poligonales de malla 3-D; y la determinar superficies de fragmentos de malla 3-D mediante la agrupación de las superficies poligonales de malla 3-D restantes con una sola de las superficies poligonales de malla 3-D coincidentes. En una realización, la determinación de coordenadas representativas para cada una de las superficies de los fragmentos de malla 3-D puede incluir la proyección de las coordenadas de la superficie del fragmento de malla 3-D en la imagen de sombreado de textura de color 2-D asignada.

Si bien la invención se ha ilustrado con respecto a una o más implementaciones, pueden realizarse alteraciones y/o modificaciones a los ejemplos ilustrados sin apartarse del alcance de las reivindicaciones adjuntas. Además, si bien una característica particular de la invención puede haber sido divulgada con respecto a una de varias implementaciones, tal característica se puede combinar con una o más otras características de las otras implementaciones como puede se pueda desear y puede ser ventajoso para cualquier función dada o particular. El término "al menos uno de" se usa para significar que se puede seleccionar uno o más de los ítems enumerados. El término "aproximadamente" indica que el valor enumerado puede alterarse en cierta medida, siempre que la alteración no provoque la no conformidad del proceso o estructura con la realización ilustrada. Finalmente, “ ilustrativo” indica que la descripción se utiliza como un ejemplo, en lugar de implicar que es un ideal.

Otras realizaciones de la invención serán evidentes para los expertos en la técnica a partir de la consideración de la memoria descriptiva y la puesta en práctica de la invención divulgada en la presente memoria. Se pretende que la memoria descriptiva y los ejemplos se consideren solo ejemplares, indicándose un alcance verdadero de la invención por las reivindicaciones adjuntas, y se pretende que todos los cambios que entran dentro del significado e intervalo de equivalentes de las mismas estén comprendidos en ellas.

Claims (14)

REIVINDICACIONES

1. Un método implementado por ordenador para el mapeo de textura de color a una imagen de contorno de superficie en 3-D de uno o más dientes a partir de datos de imágenes registrados utilizando una cámara intraoral con una matriz de sensores monocromáticos, que comprende:

obtener (S100-S150; S210-S230) una malla 3-D que representa una imagen de contorno de superficie 3-D de uno o más dientes como una pluralidad de superficies poligonales de acuerdo con los datos de imagen registrados a partir de una pluralidad de vistas del uno o más dientes, en donde para cada una de la pluralidad de vistas, registrar datos de imagen comprende generar un conjunto de al menos tres imágenes de sombreado monocromático proyectando luz de al menos tres bandas espectrales diferentes sobre el uno o más dientes y registrando los datos de imagen correspondientes en la matriz de sensores monocromáticos;

combinar (S160) cada conjunto de al menos tres imágenes de sombreado monocromático para generar una pluralidad de imágenes de sombreado de color 2-D, en donde cada una de la pluralidad de imágenes de sombreado de color 2-D corresponde a una de la pluralidad de vistas;

asignar (S350) cada superficie poligonal en la malla 3-D que representa la imagen del contorno de la superficie 3-D del uno o más dientes a una vista de un subconjunto de la pluralidad de vistas, proporcionando la vista la mejor observación sobre la superficie poligonal;

agrupar (S350) las superficies poligonales de malla 3-D asignadas a la misma vista en un fragmento de textura; determinar las coordenadas de la imagen para los vértices de las superficies poligonales de malla 3-D en cada fragmento de textura a partir de la proyección de los vértices sobre la vista asociada con el fragmento de textura; y

proporcionar la malla 3-D con valores de textura en las imágenes de sombreado de color 2-D correspondientes a cada fragmento de textura de acuerdo con las coordenadas de imagen determinadas para generar una imagen de contorno de superficie 3-D de textura de color del uno o más dientes.

2. El método de la reivindicación 1, en donde asignar (S350) cada superficie poligonal de malla 3-D que forma la imagen de contorno de superficie 3-D del uno o más dientes a dicha vista de un subconjunto de la pluralidad de vistas comprende:

identificar superficies poligonales de malla 3-D que forman la imagen del contorno de la superficie 3-D del uno o más dientes; y

hacer coincidir cada superficie poligonal de malla 3-D con una vista con la alineación de orientación más cercana.

3. El método de la reivindicación 1, que comprende además almacenar, transmitir o mostrar (S370) la imagen de contorno de superficie en 3-D de textura de color generada del uno o más dientes.

4. El método de la reivindicación 1, que comprende además generar (S300, S310-S360) un mapa de textura global para todas las regiones en las imágenes de sombreado de color 2-D correspondientes a cada fragmento de textura; y almacenar, transmitir o mostrar (S370) cualquiera de:

(i) la malla 3-D que representa la imagen del contorno de la superficie en 3-D del uno o más dientes, (ii) las coordenadas de la imagen asociadas con los vértices de las superficies poligonales de la malla 3-D en cada fragmento de textura, y

(iii) el mapa de textura global.

5. El método de la reivindicación 4, en donde el mapa de textura global es una representación de tamaño reducido de porciones de las imágenes de sombreado de textura 2-D correlacionadas con los fragmentos de textura, y se utiliza para proporcionar la imagen de contorno de superficie 3-D de textura de color del uno o más dientes.

6. El método de la reivindicación 1, en donde la combinación (S160) de cada conjunto de las al menos tres imágenes de sombreado monocromático comprende:

registrar entre sí imágenes individuales de cada conjunto de las al menos tres imágenes sombreadas monocromáticas; y

combinar datos del conjunto registrado del al menos tres imágenes de sombreado monocromático para generar una imagen de sombreado de color que tenga una única vista de uno o más dientes.

7. El método de la reivindicación 6, en donde dicho registro de las al menos tres imágenes de sombreado monocromático entre sí comprende la extracción de características 2-D y transformaciones entre las al menos tres imágenes de sombreado monocromático.

8. El método de la reivindicación 1, en donde la obtención (S100-S150; S210-S230) de la malla 3-D que representa la imagen del contorno de la superficie 3-D del uno o más dientes comprende:

generar (S220) la malla 3-D de acuerdo con los datos de imagen registrados a partir de la proyección de un patrón estructurado sobre el uno o más dientes.

9. El método de la reivindicación 8, en donde la generación (S220) de la imagen del contorno de la superficie comprende, para cada uno de una pluralidad de patrones estructurados:

proyectar el patrón estructurado sobre el uno o más dientes y registrar datos de imagen del patrón estructurado sobre una matriz de sensores monocromáticos, en donde dicha proyección del patrón estructurado se realiza cuando la cámara intraoral está en movimiento o quieta,

en donde la pluralidad de patrones estructurados incluye versiones desplazadas de un patrón que tiene múltiples líneas de luz, y

en donde la proyección del patrón estructurado comprende energizar una matriz de microespejos digitales o energizar un dispositivo de cristal líquido.

10. El método de la reivindicación 1, en donde generar al menos tres imágenes de sombreado monocromático comprende:

proyectar luz de una primera banda espectral sobre el uno o más dientes y registrar datos de imagen de un primer componente de color en la matriz de sensores monocromáticos;

proyectar luz de una segunda banda espectral sobre el uno o más dientes y registrar datos de imagen de un segundo componente de color en la matriz de sensores monocromáticos; y

proyectar luz de una tercera banda espectral sobre el uno o más dientes y registrar datos de imagen de un tercer componente de color en la matriz de sensores monocromáticos,

en donde dicha proyección de la luz proyectada y la grabación de los datos de la imagen del componente de color se realizan cuando la cámara intraoral está en movimiento o quieta.

11. El método de la reivindicación 1 que comprende además mezclar valores de color en las imágenes de sombreado de color 2-D correspondientes a cada fragmento de textura.

12. El método de la reivindicación 11, que comprende además calcular una diferencia de color a lo largo de todos los bordes de cada fragmento de textura como una condición límite y calcular una diferencia de color interpolada para todos los píxeles dentro de cada fragmento de textura, y aplicar la diferencia de color interpolada a los píxeles dentro de cada fragmento de textura como una versión mezclada de la imagen de sombreado de color original.

13. El método de una cualquiera de las reivindicaciones anteriores, en donde proporcionar la imagen de contorno de superficie 3-D comprende además, para cada superficie poligonal de la malla 3-D, mapear una porción de la imagen de sombreado de color 2-D a la superficie poligonal correspondiente que se define mapeando puntos característicos que definen la superficie poligonal en la malla 3-D a píxeles correspondientes en la imagen de sombreado de color 2-D asociada.

14. El método de una cualquiera de las reivindicaciones anteriores, en donde las superficies poligonales adyacentes primera y segunda de la malla 3-D están asociadas respectivamente con dos miembros diferentes del conjunto de imágenes de sombreado de color 2-D.