ES2882585T3 - Procedimiento para alinear un modelo tridimensional de una dentadura de un paciente sobre una imagen del rostro del paciente grabada por una cámara - Google Patents

Abstract

Procedimiento implementado por ordenador para visualizar unas imágenes bidimensionales obtenidas a partir de un modelo tridimensional de una situación dental en cada imagen del rostro de un paciente grabada por una cámara en una secuencia de vídeo de imágenes subsiguientes, incluyendo cada imagen de la secuencia de vídeo la abertura de la boca del paciente, en el que el modelo tridimensional de la situación dental se basa en un modelo tridimensional de la dentadura del paciente y, en comparación con el modelo tridimensional de la dentadura, incluye unas modificaciones debidas a tratamiento dental o cualquier otra modificación dental, comprendiendo el procedimiento para cada imagen de la secuencia de vídeo las etapas siguientes: alinear el modelo tridimensional de la dentadura del paciente con la imagen del rostro del paciente grabada por la cámara (3) realizando las siguientes etapas: estimar el posicionamiento de la cámara (3) en relación con el rostro del paciente durante la grabación de la imagen, y recuperar el modelo tridimensional (6) de la dentadura del paciente, renderizar una imagen bidimensional (7) de la dentadura del paciente utilizando la cámara virtual (8) que procesa el modelo tridimensional de la dentadura en el posicionamiento estimado, llevar a cabo la detección de características en un área de dentadura en la abertura de la boca de la imagen (1) del paciente grabada por la cámara (3) y en la imagen renderizada (7) realizando una detección de bordes y/o una determinación de probabilidad de diente basada en color en las imágenes respectivas y formando una imagen de características detectadas para la o cada característica detectada, analizar la imagen del rostro para detectar una línea de los labios que rodea la abertura de boca y solo se seleccionan unos elementos de imagen dentro de la línea de los labios para determinar una medida de desviación en la imagen grabada por la cámara, superponiéndose también la línea de los labios en la imagen bidimensional renderizada a partir del modelo tridimensional de la dentadura y utilizándose solo la región dentro de la línea de los labios para determinar una medida de desviación en la siguiente etapa; calcular una medida de desviación entre las imágenes de características detectadas de la imagen tomada por la cámara (3) y la imagen de características detectadas de la imagen renderizada, variar el posicionamiento de la cámara virtual (8) a un nuevo posicionamiento estimado y repetir las cuatro etapas precedentes en un proceso de optimización para minimizar la medida de desviación para determinar el mejor posicionamiento de ajuste de la cámara virtual (8); renderizar una imagen bidimensional (7) de la situación dental a partir del modelo tridimensional de la situación dental utilizando la cámara virtual (8) usando el mejor posicionamiento de ajuste determinado para la cámara virtual; antes de la siguiente etapa de superposición se genera una región de imagen de fondo de la cavidad bucal dentro de la línea de los labios a partir de la imagen que incluye la abertura de la boca en la región entre la arcada inferior y la arcada dental superior, y la región de imagen dentro de la línea de los labios en la imagen del rostro del paciente grabada por la cámara se reemplaza por la región de imagen de fondo de la cavidad bucal generada; y la línea de los labios detectada en la imagen del rostro del paciente grabada por la cámara se transfiere a y se superpone en la imagen renderizada y se excluyen todos los elementos de imagen fuera de la línea de los labios en la imagen renderizada recortando de ese modo el área de la imagen renderizada que corresponde a la abertura de la boca; superponer la imagen bidimensional de la situación dental renderizada utilizando la cámara virtual en la imagen del rostro del paciente grabada por la cámara; y presentar visualmente la imagen del rostro del paciente tomada por la cámara con la imagen bidimensional renderizada superpuesta de la situación dental en una pantalla (2).

Description

DESCRIPCIÓN

Procedimiento para alinear un modelo tridimensional de una dentadura de un paciente sobre una imagen del rostro del paciente grabada por una cámara

La presente invención se refiere a un procedimiento implementado por ordenador para visualizar imágenes bidimensionales obtenidas a partir de un modelo tridimensional de una situación dental en cada imagen del rostro de un paciente grabada por una cámara en una secuencia de vídeo de imágenes subsiguientes, incluyendo cada imagen la abertura de la boca del paciente, en el que el modelo tridimensional de la situación dental se basa en un modelo tridimensional de la dentadura del paciente y la comparación con el modelo tridimensional de la dentadura incluye modificaciones debidas a tratamiento dental o cualquier otra modificación dental.

El modelo tridimensional de una dentadura de un paciente es un modelo tridimensional digital de la dentadura que se genera como una base que representa el estado actual de la dentadura antes de planificar un tratamiento dental o cualquier otra modificación dental. Por tanto, el modelo tridimensional de la dentadura corresponde a la dentadura en la imagen de la abertura de la boca grabada por la cámara. El modelo tridimensional de la dentadura se ha obtenido habitualmente mediante exploración y/o adquisición fototécnica de la cavidad bucal del paciente, o mediante exploración de la forma de la dentadura tomada como impresiones en material compuesto de colada en cubetas de impresión.

La invención puede utilizarse en una aplicación de realidad aumentada dental para obtener una vista previa de una situación dental, que es el resultado de cualquier modificación del estado actual de la dentadura, por ejemplo, después de un tratamiento dental planificado, con dispositivos de corrección de la posición de los dientes en lugar de o incluyendo cualquier otra modificación del estado actual de la dentadura. El estado modificado de la dentadura del paciente (por ejemplo, después del tratamiento dental) se denomina la situación dental en la presente solicitud. El tratamiento dental puede planificarse utilizando herramientas de diseño de tratamientos dentales implementadas por ordenador partiendo del modelo tridimensional de la dentadura y creando un modelo tridimensional modificado de una situación dental después del tratamiento. Otra opción es crear un modelo físico de la dentadura y modificar cualquier alteración dental para obtener un modelo físico de la situación dental planificada que luego se somete a exploración. La situación dental planificada puede incluir una o más prótesis dentales nuevas u otras restauraciones dentales, o una disposición de dientes corregida como resultado de correcciones de las posiciones de los dientes, por ejemplo, mediante la utilización de aparatos de ortodoncia. Las situaciones dentales en el sentido de esta solicitud también incluyen el estado de la dentadura de un paciente durante el tratamiento de corrección de la posición de los dientes cuando los dispositivos de corrección de la posición tales como aparatos de ortodoncia y retenedores están en su sitio sobre los dientes.

Para los dentistas y los pacientes, es de interés obtener una impresión visual del aspecto del rostro con una situación dental modificada, es decir, visualizar la situación dental modificada en una imagen del rostro del paciente. Además, el aspecto durante un tratamiento dental que incluye dispositivos de corrección de la posición de los dientes, tales como aparatos de ortodoncia y retenedores, puede ser importante para el paciente antes de decidir someterse a tal tratamiento. Para este fin, una vista previa virtual (simulador virtual) de la dentadura modificada por el tratamiento dental y/o una vista previa del paciente que lleva los aparatos de ortodoncia/retenedores es útil para el dentista y puede utilizarse también en el transcurso de la modificación interactiva del plan de tratamiento para obtener los resultados estéticos más favorables.

A este respecto ya se ha propuesto en el documento WO 2017/085160 A1 superponer un modelo tridimensional de una situación dental en una imagen tomada por una cámara, en el que en el procedimiento descrito, los puntos de referencia biométricos del rostro se identifican automáticamente en la imagen grabada por la cámara, y se analizan los puntos del rostro reconocidos para determinar la orientación de la cabeza del paciente en la imagen y para identificar el área de la abertura de la boca en la imagen. El modelo tridimensional se orienta entonces y se alinea de manera que se ajuste a la orientación determinada del rostro del paciente en la imagen, y se superpone en la abertura de boca de la imagen. No se divulgan detalles sobre cómo se genera una imagen bidimensional de la situación dental a partir del modelo tridimensional. En la práctica, este procedimiento permite una alineación aproximada, pero la posición de la dentadura virtual no es muy precisa ni robusta.

El documento US 9775 491 B2 divulga un procedimiento implementado por ordenador para alinear un modelo tridimensional de una situación dental con una imagen del rostro del paciente grabada por una cámara. En este procedimiento se obtiene un modelo tridimensional de la cavidad bucal del paciente. Este modelo tridimensional se modifica en una planificación de tratamiento odontológico mediante la aplicación de restauraciones dentales para obtener un modelo tridimensional de la situación dental de la dentadura del paciente después de la aplicación de las restauraciones dentales. Se obtiene una imagen bidimensional del rostro del paciente incluyendo la abertura de la boca. Entonces se estima el posicionamiento de la cámara que registró la imagen en relación con la dentadura del paciente. En el contexto de esta solicitud, “posicionamiento de la cámara” incluye la posición tridimensional x, y, z en el espacio y la orientación angular de la cámara con respecto al rostro del paciente. Una cámara virtual que utiliza el posicionamiento estimado procesa el modelo tridimensional de la situación dental para obtener una imagen bidimensional, y se selecciona una parte del modelo tridimensional de la situación dental que es visible para la cámara virtual. La imagen renderizada por la cámara virtual se superpone y se presenta visualmente en la imagen tomada por la cámara. Se ha encontrado que estimar el posicionamiento de la cámara a menudo no conduce a resultados satisfactorios de la visualización porque ya pequeñas desviaciones en el posicionamiento de la cámara virtual con respecto al posicionamiento de la cámara real dan como resultado efectos poco realistas de la visualización de la dentadura en la abertura de la boca de la imagen grabada por la cámara. Ya pequeñas desviaciones en la orientación de la imagen renderizada de la situación dental con respecto a la orientación de la cavidad bucal en la imagen tomada por la cámara pueden conducir a impresiones estéticas extrañas en la imagen compuesta. Por este motivo, sería deseable poder alinear con precisión un modelo tridimensional de la dentadura del paciente con una imagen del rostro del paciente que muestra parte de la dentadura en la abertura de boca; una alineación de este tipo también podría utilizarse para visualizar una situación dental modificada derivada del modelo tridimensional de la dentadura de una manera posicionada correctamente en una imagen del rostro del paciente.

El documento US 2013/0218530 A1 divulga un procedimiento implementado por ordenador para visualizar una imagen bidimensional obtenida a partir de un modelo tridimensional de una situación dental en cada imagen del rostro de un paciente grabada por una cámara, incluyendo la imagen la abertura de la boca del paciente, en el que el modelo tridimensional de la situación dental se basa en un modelo tridimensional de la dentadura del paciente y la comparación con el modelo tridimensional de la dentadura incluye modificaciones debidas a tratamiento dental o cualquier otra modificación dental, comprendiendo el procedimiento las etapas siguientes:

alinear el modelo tridimensional de la dentadura del paciente con la imagen del rostro del paciente grabada por la cámara realizando las siguientes etapas:

estimar el posicionamiento de la cámara en relación con el rostro del paciente durante la grabación de la imagen, y recuperar el modelo tridimensional de la dentadura del paciente,

renderizar una imagen bidimensional de la dentadura del paciente utilizando la cámara virtual que procesa el modelo tridimensional de la dentadura en el posicionamiento estimado,

llevar a cabo la detección de características en un área de dentadura en la abertura de boca de la imagen del paciente grabada por la cámara y en la imagen renderizada realizando una detección de bordes y/o una determinación de probabilidad de diente basada en color en las imágenes respectivas y formando una imagen de características detectadas para la o cada característica detectada,

analizar la imagen del rostro para detectar una línea de los labios que rodea la abertura de la boca y solo se seleccionan elementos de imagen dentro de la línea de los labios para determinar una medida de desviación en la imagen grabada por la cámara, superponiéndose la línea de los labios también en la imagen bidimensional renderizada a partir del modelo tridimensional de la dentadura y utilizándose solo la región dentro de la línea de los labios para determinar una medida de desviación en la siguiente etapa;

calcular una medida de desviación entre las imágenes de características detectadas de la imagen tomada por la cámara (3) y la imagen de características detectadas de la imagen renderizada,

variar el posicionamiento de la cámara virtual (8) a un nuevo posicionamiento estimado y repetir las cuatro etapas precedentes en un proceso de optimización para minimizar la medida de desviación para determinar el mejor posicionamiento de ajuste de la cámara virtual (8);

renderizar una imagen bidimensional (7) de la situación dental a partir del modelo tridimensional de la situación dental utilizando la cámara virtual (8) utilizando el mejor posicionamiento de ajuste determinado para la cámara virtual;

antes de la siguiente etapa de superposición

se genera una región de imagen de fondo de la cavidad bucal dentro de la línea de los labios a partir de la imagen que incluye la abertura de la boca en la región entre la arcada inferior y la arcada dental superior, y la región de imagen dentro de la línea de los labios en la imagen del rostro del paciente grabada por la cámara se reemplaza por la región de imagen de fondo de la cavidad bucal generada; y

la línea de los labios detectada en la imagen del rostro del paciente grabada por la cámara se transfiere a y se superpone en la imagen renderizada y se excluyen todos los elementos de imagen fuera de la línea de los labios en la imagen renderizada recortando de ese modo el área de la imagen renderizada que corresponde a la abertura de boca;

superponer la imagen bidimensional de la situación dental renderizada utilizando la cámara virtual en la imagen del rostro del paciente grabada por la cámara; y

presentar visualmente la imagen del rostro del paciente tomada por la cámara con la imagen bidimensional renderizada superpuesta de la situación dental en una pantalla.

Un objetivo de la presente invención es proporcionar un procedimiento para visualizar imágenes bidimensionales obtenidas a partir de un modelo tridimensional de una situación dental en cada imagen del rostro de un paciente grabada por una cámara en una secuencia de vídeo de imágenes subsiguientes, incluyendo cada imagen la abertura de boca del paciente, en el que el modelo tridimensional de la situación dental se basa en un modelo tridimensional de la dentadura del paciente y la comparación con el modelo tridimensional de la dentadura incluye modificaciones debidas a tratamiento dental o cualquier otra modificación dental.

Este objetivo se logra mediante el procedimiento implementado por ordenador que comprende las características según la reivindicación 1. Formas de realización preferidas de la invención se exponen en la reivindicación subordinada.

La presente invención proporciona un procedimiento implementado por ordenador para visualizar imágenes bidimensionales obtenidas a partir de un modelo tridimensional de una situación dental en cada imagen del rostro de un paciente grabada por una cámara en una secuencia de vídeo de imágenes subsiguientes, incluyendo cada imagen la abertura de la boca del paciente, en el que el modelo tridimensional de la situación dental se basa en un modelo tridimensional de la dentadura del paciente y la comparación con el modelo tridimensional de la dentadura incluye modificaciones debidas a tratamiento dental o cualquier otra modificación dental, comprendiendo el procedimiento para cada imagen de la secuencia de vídeo las etapas siguientes:

alinear el modelo tridimensional de la dentadura del paciente con la imagen del rostro del paciente grabada por la cámara realizando las siguientes etapas:

estimar el posicionamiento de la cámara en relación con el rostro del paciente durante la grabación de la imagen, y

recuperar el modelo tridimensional de la dentadura del paciente,

renderizar una imagen bidimensional de la dentadura del paciente utilizando la cámara virtual que procesa el modelo tridimensional de la dentadura en el posicionamiento estimado,

llevar a cabo la detección de características en un área de dentadura en la abertura de la boca de la imagen del paciente grabada por la cámara y en la imagen renderizada realizando una detección de bordes y/o una determinación de probabilidad de diente basada en color en las imágenes respectivas y formando una imagen de características detectadas para la o cada característica detectada,

analizar la imagen del rostro para detectar una línea de los labios que rodea la abertura de boca y solo se seleccionan elementos de imagen dentro de la línea de los labios para determinar una medida de desviación en la imagen grabada por la cámara, en el que la línea de los labios también se superpone en la imagen bidimensional renderizada a partir del modelo tridimensional de la dentadura y solo se utiliza la región dentro de la línea de los labios para determinar una medida de desviación en la siguiente etapa;

calcular una medida de desviación entre las imágenes de características detectadas de la imagen tomada por la cámara y la imagen de características detectadas de la imagen renderizada,

variar el posicionamiento de la cámara virtual a un nuevo posicionamiento estimado y repetir las cuatro etapas precedentes en un proceso de optimización para minimizar la medida de desviación para determinar el mejor posicionamiento de ajuste de la cámara virtual;

renderizar una imagen bidimensional de la situación dental a partir del modelo tridimensional de la situación dental utilizando la cámara virtual utilizando el mejor posicionamiento de ajuste determinado para la cámara virtual;

antes de la siguiente etapa de superposición

se genera una región de imagen de fondo de la cavidad bucal dentro de la línea de los labios a partir de la imagen que incluye la abertura de boca en la región entre la arcada inferior y la arcada dental superior, y la región de imagen dentro de la línea de los labios en la imagen del rostro del paciente grabada por la cámara se reemplaza por la región de imagen de fondo de la cavidad bucal generada; y

la línea de los labios detectada en la imagen del rostro del paciente grabada por la cámara se transfiere a y se superpone en la imagen renderizada y se excluyen todos los elementos de imagen fuera de la línea de los labios en la imagen renderizada recortando de ese modo el área de la imagen renderizada que corresponde a la abertura de la boca;

superponer la imagen bidimensional de la situación dental renderizada utilizando la cámara virtual en la imagen del rostro del paciente grabada por la cámara; y

presentar visualmente la imagen del rostro del paciente tomada por la cámara con la imagen bidimensional renderizada superpuesta de la situación dental en una pantalla.

En la etapa de alinear un modelo tridimensional de una dentadura de un paciente con una imagen del rostro del paciente, se recupera un modelo tridimensional de la dentadura del paciente. Este modelo se ha creado antes mediante exploración de la cavidad bucal del paciente o mediante exploración de la impresión de la dentadura tomada mediante cubetas de impresión llenas con material de impresión. Un modelo tridimensional de este tipo de la dentadura del paciente puede estar ya presente en cualquier caso cuando forma la base para desarrollar una planificación de tratamiento dental digital, por ejemplo, añadiendo dientes artificiales u otras restauraciones dentales o modificando la situación dental de otro modo, por ejemplo, mediante la corrección de las posiciones de los dientes.

El modelo tridimensional de la dentadura se renderiza entonces mediante la cámara virtual como una imagen bidimensional de la dentadura, haciéndose funcionar la cámara virtual suponiendo un posicionamiento estimado que se estima que coincide con el posicionamiento de la cámara real cuando se graba la imagen del rostro del paciente.

La imagen del rostro del paciente (la imagen no tiene que incluir todo el rostro, es suficiente la región de la abertura de boca) y la imagen renderizada se procesan entonces por separado llevando a cabo la detección de características en un área de dentadura dentro de la abertura de boca en las imágenes respectivas realizando una detección de bordes y/o una determinación de probabilidad de diente basada en color en las imágenes respectivas. Para la característica detectada (bordes o probabilidad de diente) o para cada una de las características detectadas (bordes y probabilidad de diente), esto da como resultado dos imágenes de características detectadas (una resultante de la imagen de la cámara y una a partir de la imagen renderizada) que entonces se utilizan para calcular una medida de desviación entre las imágenes de características detectadas. De manera ideal, si el posicionamiento estimado ya debe coincidir con el posicionamiento real de la cámara cuando se graba la imagen del rostro, la medida de desviación sería cero o muy pequeña, ya que las características detectadas (patrón de bordes o probabilidad de diente) estarían en posiciones idénticas en las dos imágenes, y, por tanto, no habría desviación de las características detectadas en las dos imágenes. Sin embargo, en la práctica, habrá una determinada desviación al comienzo cuando se utilice un posicionamiento estimado de la cámara virtual. Por este motivo, el procedimiento continúa variando el posicionamiento de la cámara virtual a un nuevo posicionamiento estimado y repite las etapas precedentes de generar una nueva imagen renderizada utilizando la cámara virtual con la nueva posición estimada y calcula la medida de desviación en este nuevo posicionamiento. Estas etapas se repiten de manera iterativa en un proceso de optimización para minimizar la medida de desviación para determinar el mejor posicionamiento de ajuste de la cámara virtual.

Hay muchos algoritmos de optimización numérica iterativa que son adecuados para utilizarse en el procedimiento implementado por ordenador para optimizar el posicionamiento de la cámara virtual para dar el mejor ajuste al posicionamiento de la cámara real cuando graba la imagen del rostro del paciente. Una opción es utilizar un algoritmo de optimización de descenso de gradiente. Dado que el experto en esta área está familiarizado con tales algoritmos de optimización programados, no se especifican detalles adicionales a este respecto en la presente memoria.

También está claro que en lugar de minimizar una medida de desviación, podría maximizarse una cantidad inversa a la medida de desviación, que podría denominarse puntuación de coincidencia. Si se minimiza una medida de desviación (o error) o se maximiza una puntuación de coincidencia es simplemente una designación del mismo proceso con diferentes términos.

La detección de características por medio de la determinación de probabilidad de diente basada en color es la asignación de un valor de probabilidad de diente (comprendido entre 0 y 1, o 0 y 100%) a cada elemento de imagen de la imagen mediante la determinación de lo bien que se ajustan los valores de color reales de un elemento de imagen a una gama de colores esperada para los dientes. Por ejemplo, si el color de un elemento de imagen está dentro de un área central de una distribución de probabilidad esperada para los dientes, se asigna un valor de probabilidad de diente basada en color de 1, y para el resto de valores de color, la probabilidad de diente asignada es menor cuanto más se alejan los valores de color de los valores esperados. Efectivamente, esto asigna un 1 a la inmensa mayoría de elementos de imagen en la imagen que de hecho pertenece a un diente, y valores pequeños o 0 al resto, de modo que la imagen de características detectadas de probabilidad de diente basada en color es efectivamente una imagen de forma de diente en blanco y negro, los elementos de imagen que pertenecen a un diente presentan valores de 1 o próximos a 1, y los elementos de imagen fuera de los dientes son 0 o próximos a cero. La probabilidad de diente también puede asignarse directamente a los valores de color de un elemento de imagen determinando su posición en la distribución de probabilidad de color de los dientes en el espacio de color analizado.

La detección de características en un área de dentadura se limita a la abertura de la boca de la imagen del rostro del paciente detectando la línea interior de los labios (límite del área interna visible de la boca) en la imagen, y analizando adicionalmente solo el área dentro de línea de los labios detectada. La línea de los labios también se superpone en la imagen bidimensional renderizada a partir del modelo tridimensional de la dentadura y solo se analiza la región dentro de la línea de los labios mediante dicha detección de características. Esto garantiza que solo se utilicen características de la dentadura en las imágenes respectivas en el proceso de optimización para encontrar el mejor posicionamiento de ajuste para la cámara virtual, y no cualesquiera otras características del rostro del paciente.

En una forma de realización preferida, la detección de características se lleva a cabo en las dos imágenes realizando solo una detección de bordes. La detección de bordes se conoce como un procedimiento de análisis de imágenes para objetos artificiales que normalmente presentan varios bordes bien definidos y rectos. En relación con la presente invención, se ha encontrado que es posible identificar bordes también en una imagen de una dentadura humana cuyos bordes están presentes entre dientes vecinos, en los bordes incisivos de los dientes, y en los límites entre la encía y los dientes. La detección de bordes puede llevarse a cabo mediante filtros de Sobel o filtros de Laplace conocidos en el campo del procesamiento de imágenes.

En una forma de realización preferida, los bordes detectados se subdividen en bordes horizontales y bordes verticales basándose en sus direcciones promedio, siendo la dirección horizontal y la vertical perpendiculares entre sí y definiendo el sistema de coordenadas de la imagen. Los bordes detectados pueden subdividirse en bordes horizontales y bordes verticales basándose en si sus direcciones promedio están más cerca de la dirección horizontal o de la vertical. En la forma de realización preferida, los bordes verticales y horizontales pueden tratarse en el cálculo de la medida de desviación de los bordes en la imagen tomada por la cámara de los bordes en la imagen renderizada con diferentes pesos. Además, en el cálculo de la medida de desviación, un elemento de imagen que pertenece a un borde horizontal en una imagen, pero que pertenece a un borde vertical en la otra, o viceversa, no deben anularse sino más bien dar como resultado una alta contribución a la medida de desviación. Además, puede haber situaciones e imágenes en las que es ventajoso no confundir la coincidencia de bordes horizontales y verticales.

Alternativamente al procedimiento de detección de bordes puros, la detección de características puede llevarse a cabo en el procedimiento de la presente invención realizando detección de bordes y determinación de probabilidad de diente basada en color, calculándose a partir de las diferencias de las imágenes de bordes detectados y a partir de las diferencias de las imágenes de probabilidad de diente detectada, una medida de desviación combinada que entonces se minimiza en el proceso de minimización iterativo para encontrar el mejor posicionamiento de ajuste. Por ejemplo, para las imágenes de bordes detectados y las imágenes de probabilidad de diente basada en color, pueden determinarse primero dos medidas de desviación por separado que se combinan en una sola medida de desviación.

En una forma de realización preferida, la medida de desviación se calcula formando la imagen de diferencia entre la imagen de características detectadas de la imagen del rostro del paciente grabada por la cámara y la imagen de características detectadas de la imagen renderizada, e integrando los valores absolutos de la imagen de diferencia sobre todos los elementos de imagen de la imagen de diferencia.

Si las características detectadas están en los mismos lugares en las imágenes respectivas, las características detectadas respectivas se anulan entre sí en la imagen de diferencia de manera que en caso de una coincidencia ideal, la suma de los valores absolutos de las intensidades de todos los elementos de imagen en la imagen de diferencia es cero.

La presente invención proporciona un procedimiento implementado por ordenador para visualizar imágenes bidimensionales a partir de un modelo tridimensional de una situación dental, normalmente obtenidas a partir de un modelo tridimensional de la dentadura del paciente mediante modificaciones de un tratamiento dental o cualquier otra modificación dental, en imágenes del rostro del paciente grabadas por una cámara, incluyendo cada imagen la abertura de boca del paciente, alineándose el modelo tridimensional de la situación dental de la dentadura del paciente con las imágenes del rostro del paciente grabadas por la cámara en una secuencia de vídeo de imágenes subsiguientes mediante la realización del procedimiento de alineación descrito anteriormente. Entonces, cada imagen bidimensional de la situación dental se renderiza aplicando la cámara virtual a los datos de modelo tridimensional de la situación dental utilizando el mejor posicionamiento de ajuste de la cámara virtual, y la imagen renderizada se superpone en cada imagen del rostro del paciente tomada por la cámara en la secuencia de vídeo. Entonces, cada imagen resultante del rostro del paciente tomada por la cámara con la imagen bidimensional renderizada superpuesta de la situación dental se presenta visualmente en una pantalla, y esto se realiza para cada imagen de la secuencia de vídeo.

Antes de superponer la imagen bidimensional renderizada de la situación dental, el área dentro de la línea de los labios de la imagen del rostro del paciente tomada por la cámara se reemplaza por un fondo de la cavidad bucal que se genera a partir de elementos de imagen en la región entre las arcadas dentales superior e inferior. Tal generación de un fondo neutro antes de la superposición de la imagen bidimensional renderizada de la situación dental es importante, por ejemplo, si la situación dental incluye dientes acortados, en cuyo caso los dientes “viejos” en la imagen tomada por la cámara todavía serían visibles después de la superposición si la región dentro de la línea de los labios de la imagen de cámara no se ha reemplazado por un fondo de la cavidad bucal antes de la superposición de la imagen bidimensional renderizada de la situación dental.

También se proporciona un sistema para visualizar imágenes bidimensionales de una situación dental de un paciente renderizadas a partir de datos de modelo tridimensional de la situación dental en cada imagen del rostro del paciente grabada por una cámara como una secuencia de vídeo de imágenes subsiguientes, incluyendo cada imagen la abertura de boca, comprendiendo el sistema: una cámara; una pantalla; y un dispositivo informático que está conectado operativamente a la cámara ya la pantalla y que está dispuesto para llevar a cabo un procedimiento según la reivindicación 1 para visualizar una imagen bidimensional obtenida a partir de un modelo tridimensional de una situación dental en imágenes del rostro del paciente grabadas por una cámara.

El procedimiento según la presente invención se lleva a cabo para fotogramas de vídeo posteriores de un vídeo grabado por una cámara. El paciente puede mover la cabeza con respecto a la cámara, mostrándose para cada fotograma de vídeo la imagen bidimensional renderizada de la situación dental en la imagen del rostro del paciente mientras que el rostro está moviéndose (volviéndose), y mostrándose la imagen renderizada de la situación dental para cada imagen en la secuencia de imágenes en el posicionamiento correcto dentro de la abertura de la boca de la imagen del rostro del paciente. Este procedimiento puede llevarse a cabo en tiempo real, de manera que un paciente puede volver el rostro con respecto a la cámara, y al mismo tiempo puede ver su rostro en una pantalla con la imagen renderizada de la situación dental superpuesta en la abertura de boca y posicionada de manera correcta para cada punto de visión.

El procedimiento puede implementarse, por ejemplo, en una tablet que normalmente también está equipada con una cámara de modo que el paciente puede sostener la tablet para permitir que la cámara grabe el rostro, mientras que el paciente puede mirar la imagen de su rostro en la pantalla de la tablet, y puede volver su rostro con respecto a la tablet para visualizar la imagen bidimensional renderizada de la situación dental dentro de la abertura de boca desde todas las direcciones de visión según se desee.

Ahora se describirán las etapas del procedimiento que se llevan a cabo en relación con la realización de la presente invención con referencia a ejemplos en relación con los dibujos en los que:

la figura 1 muestra una ilustración que incluye una imagen de una región de boca de un paciente, una imagen de bordes detectados de la región de abertura de boca de la imagen grabada así como tres iteraciones de imágenes de la región de boca renderizadas por una cámara virtual, los bordes detectados en las imágenes renderizadas y las diferencias de los bordes detectados en la imagen grabada por la cámara y los bordes detectados respectivos en las imágenes renderizadas, así como una medida de desviación correspondiente para las tres iteraciones;

la figura 2 muestra una ilustración similar a la figura 1 e incluye además de las imágenes de bordes detectados, imágenes de probabilidad de diente basada en color, las diferencias de las imágenes de probabilidad de diente de la imagen grabada por la cámara y de las imágenes renderizadas por la cámara virtual; y

la figura 3 muestra una ilustración de un dispositivo informático que incluye una pantalla y una cámara para grabar la región de abertura de la boca de un paciente y una representación esquemática de un modelo tridimensional de la dentadura de un paciente a partir de la cual se renderiza una imagen bidimensional de la situación dental dentro del área de abertura de la boca.

Ahora se describirá, en primer lugar, de manera general la invención con referencia a la figura 3 que muestra una representación esquemática de componentes y elementos que se utilizan cuando se lleva a cabo el procedimiento de la presente invención. La presente invención es un procedimiento implementado por ordenador para alinear un modelo tridimensional de la dentadura de un paciente con una imagen del rostro del paciente grabada por una cámara, en el que el procedimiento se lleva a cabo para cada imagen de una secuencia de vídeo de imágenes subsiguientes. Un primer elemento importante es el modelo tridimensional de la dentadura 6 del paciente. Un modelo tridimensional de este tipo de la dentadura se ha obtenido mediante exploración y/o adquisición fototécnica de la cavidad bucal del paciente, o mediante exploración de la forma de la dentadura tomada como impresiones en material de plástico en cubetas de impresión. En la representación esquemática de la figura 3, el modelo tridimensional de la situación dental del paciente se simboliza por la dentadura 6 del maxilar superior.

Tal como puede observarse en la representación esquemática de la figura 3, una cámara 3 conectada a un dispositivo informático 2, tal como una tablet, graba imágenes del rostro de un paciente que incluyen la abertura de la boca. Se utiliza una cámara virtual 8 en el dispositivo informático y actúa sobre el modelo tridimensional 6 para renderizar una imagen bidimensional 7 de la dentadura del paciente, utilizándose una posición estimada de la cámara real 3 con respecto al rostro del paciente como punto de partida para la posición de la cámara virtual 8. Dado que la posición estimada de la cámara 3 se desviará de la posición correcta de la cámara real 3 con respecto al rostro, habrá una determinada desviación entre cada imagen 1 grabada por la cámara 3 y la imagen 7 renderizada por la cámara virtual 8.

Tal como se explicará en más detalle a continuación, el posicionamiento de la cámara virtual 8 se varía en un proceso de optimización iterativa que utiliza características detectadas de la dentadura en la abertura de boca de la imagen grabada por la cámara por un lado, y características detectadas en la imagen del modelo tridimensional de la dentadura renderizada por la cámara virtual por otro lado. Se calcula una medida de desviación o un error entre las respectivas imágenes de características detectadas y se minimiza sucesivamente en un proceso de optimización iterativa para determinar un mejor posicionamiento de ajuste de la cámara virtual. Este mejor posicionamiento de ajuste de la cámara virtual puede utilizarse entonces en modelos tridimensionales modificados de las dentaduras que se modifican, por ejemplo, mediante un tratamiento dental planificado y que se denominan modelos tridimensionales de una situación dental en la presente solicitud. De este modo, puede visualizarse un modelo tridimensional de una situación dental que se deriva del modelo tridimensional de la dentadura del paciente y que puede incluir dientes artificiales reemplazados, restauraciones dentales o posiciones corregidas de dientes posicionados correctamente en la abertura de boca de una imagen del rostro del paciente presentado visualmente en una pantalla.

En la figura 1 se ilustra un ejemplo de detección de características en las imágenes de la dentadura, en la que se detectan bordes en las imágenes respectivas de la dentadura. En la figura 1 se muestra una imagen que incluye una abertura de boca de un paciente en la primera fila del lado izquierdo. En esta imagen, se detecta la línea de los labios, y se selecciona la región dentro de la línea de los labios como región de abertura de la boca que es la única región analizada adicionalmente en el procedimiento. En esta región de la imagen de la abertura de la boca dentro de la línea de los labios se realiza detección de bordes que da como resultado la imagen de bordes detectados mostrada en el gráfico debajo de la imagen grabada por la cámara en la parte superior en el lado izquierdo en la figura 1. Los bordes detectados son en su mayor parte los límites entre dientes adyacentes, los bordes incisivos y los límites donde se encuentran las bases de los dientes y la encía. La segunda columna de la figura 1 muestra una imagen renderizada en la parte superior que se ha creado aplicando la cámara virtual al modelo tridimensional de la dentadura del paciente en el posicionamiento estimado que presentaba la cámara 3 cuando grababa la imagen de la abertura de boca del paciente en la primera columna en la parte superior. La línea de los labios detectada en la imagen grabada por la cámara se extrae y se transfiere a la imagen renderizada y se superpone en ella para seleccionar la región de abertura de la boca de la dentadura en la imagen renderizada. En esta región de abertura de la boca seleccionada, se realiza detección de bordes de la misma manera que en la imagen grabada por la cámara, lo que da como resultado la imagen de bordes detectados mostrada en la segunda columna en la segunda fila.

Con el fin de determinar una medida de desviación entre los bordes detectados en la segunda fila entre las primera y segunda columnas, se forma una imagen de diferencia entre la imagen de bordes detectados de la imagen grabada por la cámara y la imagen de bordes detectados de la imagen renderizada que se muestra en la segunda columna en la tercera fila. Tal como puede observarse, hay alguna desviación porque los bordes detectados no están colocados exactamente de la misma manera en las dos imágenes de bordes detectados debido a la inexactitud del posicionamiento estimado de la cámara. Se calcula una medida de desviación a partir de la imagen de diferencia. En este ejemplo, la medida de desviación se calcula integrando los valores absolutos de las intensidades de todos los elementos de imagen en la imagen de diferencia. Esta medida de desviación se designa como error en la figura 1 y es un gráfico de barras en la fila más baja de la figura 1.

Un proceso de optimización numérica varía ahora el posicionamiento de la cámara virtual en una primera iteración a un nuevo posicionamiento estimado. Entonces, se repite el proceso de renderización de la imagen correspondiente a partir del modelo tridimensional de la dentadura utilizando el nuevo posicionamiento estimado, de detección de bordes en la imagen renderizada, y de formación de la imagen de diferencia entre los bordes detectados en la imagen grabada por la cámara y los bordes detectados en la imagen renderizada de la primera iteración, tal como se ilustra en la tercera columna de la figura 1. Tal como puede observarse en la tercera línea, la imagen de diferencia entre las imágenes de bordes detectados de la imagen tomada por la cámara y la imagen renderizada muestra intensidades reducidas porque los bordes detectados en las imágenes respectivas ya están en mejor concordancia. Cabe señalar que esta ilustración esquemática es muy simplificada, en realidad esto requeriría un número de iteraciones mucho mayor; si, por ejemplo, se utiliza un algoritmo de optimización de descenso de gradiente, las variables de posicionamiento se varían para determinar numéricamente el gradiente que ya requiere muchas iteraciones, tal como se conoce bien en la técnica.

En la figura 1 se muestra una segunda iteración en la última columna. En la imagen de diferencia en la tercera fila, la intensidad integrada se redujo adicionalmente, lo que significa que la medida de desviación también se reduce y ya es considerablemente más pequeña tal como se indica en la fila inferior en comparación con el error en la posición inicial estimada. Este proceso de optimización numérica se repite hasta que las iteraciones adicionales no reduzcan más la medida de desviación dentro de la exactitud dada o predeterminada del cálculo. El posicionamiento de la cámara virtual correspondiente a la medida de desviación minimizada se almacena como el mejor posicionamiento de ajuste de la cámara virtual.

La figura 2 es una ilustración adicional para un proceso de optimización iterativa que optimiza el posicionamiento de la cámara virtual para que se ajuste al posicionamiento de la cámara que registró la imagen real que incluye la abertura de boca del paciente. Las tres filas superiores muestran las mismas imágenes de detección de bordes e imágenes de diferencia entre los bordes detectados en la imagen grabada por la cámara y en las imágenes renderizadas iterativamente tal como se muestra en la figura 1. Además, la cuarta fila muestra el resultado de una determinación de probabilidad de diente basada en color en las imágenes respectivas en la abertura de boca dentro de la línea de los labios. En esta determinación de probabilidad de diente basada en color se determina para los valores de color de cada elemento de imagen la probabilidad de que pertenezca a un elemento de la superficie de los dientes. Si por ejemplo está disponible una función de densidad de probabilidad normalizada para los valores esperados de color de los dientes, esta probabilidad puede tomarse directamente de la ubicación de los valores de color en la distribución de probabilidad. De este modo, el color de los dientes se diferencia del color de la encía y del fondo de la cavidad bucal. Como resultado, los dientes visibles en las imágenes permanecen como objetos negros o principalmente negros con pocos elementos grises en las imágenes. En la quinta fila, se muestran las imágenes de diferencia entre la imagen de probabilidad de diente basada en color detectada de la imagen grabada por la cámara y la imagen de probabilidad de diente basada en color detectada de las imágenes renderizadas. Además, las diferencias entre las imágenes de probabilidad de diente basada en color se vuelven menos pronunciadas en iteraciones sucesivas del proceso de optimización. La medida de desviación puede formarse entonces como una primera medida de desviación de la diferencia de los bordes detectados, por ejemplo, integrando los valores absolutos de las intensidades sobre todos los elementos de imagen de la imagen de diferencia tal como se describió anteriormente. Puede aplicarse el mismo procedimiento a la imagen de diferencia de las imágenes de probabilidad de diente basada en color para una segunda medida de desviación, pudiendo combinarse entonces las primera y segunda desviaciones de la medida para dar una sola medida de desviación designada como error en la última fila de la figura 2.

De este modo, el posicionamiento de la cámara 3 cuando graba imágenes del rostro del paciente puede aproximarse mediante un posicionamiento correspondiente de la cámara virtual que reproduce el modelo tridimensional de la dentadura del paciente para alcanzar una alineación óptima. Entonces puede utilizarse el mejor posicionamiento de ajuste de la cámara virtual para cada imagen en etapas adicionales. Partiendo del modelo tridimensional de la dentadura que representa el estado actual de la dentadura del paciente, puede utilizarse un modelo tridimensional modificado de la situación dental que difiere del modelo tridimensional de la situación dental, por ejemplo, para reflejar los resultados de un posible tratamiento dental. El modelo tridimensional de la situación dental después de incluir el posible tratamiento dental puede presentar, por ejemplo, uno o más dientes artificiales que reemplacen a los dientes originales respectivos, o cualquier otra restauración dental. Un ejemplo adicional de una situación dental puede ser la dentadura corregida resultante después de un tratamiento de corrección del posicionamiento de los dientes utilizando aparatos de ortodoncia. Un ejemplo adicional de una situación dental puede basarse en la dentadura original, pero incluye dispositivos de corrección de la posición de los dientes tales como aparatos de ortodoncia y retenedores en su sitio en los dientes de la dentadura. El modelo tridimensional de la situación dental que representa el estado original antes de cualquier modificación por un tratamiento dental se mantiene para su utilización adicional en relación con la presente invención, mientras que el modelo tridimensional modificado de la situación dental después del tratamiento se mantiene por separado para su utilización adicional. El modelo tridimensional modificado se denomina el modelo tridimensional de una situación dental para el paciente. La cámara virtual puede aplicarse entonces a este modelo tridimensional de la situación dental utilizando el mejor posicionamiento de ajuste de la cámara determinado previamente para renderizar una imagen de la situación dental. Esta imagen renderizada puede insertarse o superponerse en la región de abertura de la boca de la imagen tomada por la cámara para proporcionar una visualización de la situación dental.

A continuación se facilita un ejemplo de cómo puede calcularse la medida de desviación E a partir de la imagen de diferencia de las imágenes de bordes detectados como los valores absolutos integrados de las intensidades restantes en la imagen de diferencia:

E: error (medida de desviación)

i: píxel

n: número de píxeles

e(X): imagen de borde de la imagen X

P: imagen grabada por la cámara

R: imagen renderizada.

Puede calcularse una medida de desviación mejorada que tiene en cuenta, además de los bordes horizontales y verticales, los valores de probabilidad de diente basada en color, de la siguiente manera:

en la que:

w: pesos

eh(X): imagen de borde horizontal de la imagen X (P o R)

ev(X): imagen de borde vertical de la imagen X (P o R)

t(X): imagen de probabilidad de dientes de la imagen X, puede basarse en segmentación de color. X = imagen grabada por la cámara P; X = imagen renderizada R.

Las imágenes de probabilidad de dientes se ilustran de manera simplificada en la cuarta fila de la figura 2.

Claims (7)

REIVINDICACIONES

1. Procedimiento implementado por ordenador para visualizar unas imágenes bidimensionales obtenidas a partir de un modelo tridimensional de una situación dental en cada imagen del rostro de un paciente grabada por una cámara en una secuencia de vídeo de imágenes subsiguientes, incluyendo cada imagen de la secuencia de vídeo la abertura de la boca del paciente, en el que el modelo tridimensional de la situación dental se basa en un modelo tridimensional de la dentadura del paciente y, en comparación con el modelo tridimensional de la dentadura, incluye unas modificaciones debidas a tratamiento dental o cualquier otra modificación dental, comprendiendo el procedimiento para cada imagen de la secuencia de vídeo las etapas siguientes:

alinear el modelo tridimensional de la dentadura del paciente con la imagen del rostro del paciente grabada por la cámara (3) realizando las siguientes etapas:

estimar el posicionamiento de la cámara (3) en relación con el rostro del paciente durante la grabación de la imagen, y

recuperar el modelo tridimensional (6) de la dentadura del paciente,

renderizar una imagen bidimensional (7) de la dentadura del paciente utilizando la cámara virtual (8) que procesa el modelo tridimensional de la dentadura en el posicionamiento estimado,

llevar a cabo la detección de características en un área de dentadura en la abertura de la boca de la imagen (1) del paciente grabada por la cámara (3) y en la imagen renderizada (7) realizando una detección de bordes y/o una determinación de probabilidad de diente basada en color en las imágenes respectivas y formando una imagen de características detectadas para la o cada característica detectada,

analizar la imagen del rostro para detectar una línea de los labios que rodea la abertura de boca y solo se seleccionan unos elementos de imagen dentro de la línea de los labios para determinar una medida de desviación en la imagen grabada por la cámara, superponiéndose también la línea de los labios en la imagen bidimensional renderizada a partir del modelo tridimensional de la dentadura y utilizándose solo la región dentro de la línea de los labios para determinar una medida de desviación en la siguiente etapa;

calcular una medida de desviación entre las imágenes de características detectadas de la imagen tomada por la cámara (3) y la imagen de características detectadas de la imagen renderizada,

variar el posicionamiento de la cámara virtual (8) a un nuevo posicionamiento estimado y repetir las cuatro etapas precedentes en un proceso de optimización para minimizar la medida de desviación para determinar el mejor posicionamiento de ajuste de la cámara virtual (8);

renderizar una imagen bidimensional (7) de la situación dental a partir del modelo tridimensional de la situación dental utilizando la cámara virtual (8) usando el mejor posicionamiento de ajuste determinado para la cámara virtual;

antes de la siguiente etapa de superposición

se genera una región de imagen de fondo de la cavidad bucal dentro de la línea de los labios a partir de la imagen que incluye la abertura de la boca en la región entre la arcada inferior y la arcada dental superior, y la región de imagen dentro de la línea de los labios en la imagen del rostro del paciente grabada por la cámara se reemplaza por la región de imagen de fondo de la cavidad bucal generada; y

la línea de los labios detectada en la imagen del rostro del paciente grabada por la cámara se transfiere a y se superpone en la imagen renderizada y se excluyen todos los elementos de imagen fuera de la línea de los labios en la imagen renderizada recortando de ese modo el área de la imagen renderizada que corresponde a la abertura de la boca;

superponer la imagen bidimensional de la situación dental renderizada utilizando la cámara virtual en la imagen del rostro del paciente grabada por la cámara; y

presentar visualmente la imagen del rostro del paciente tomada por la cámara con la imagen bidimensional renderizada superpuesta de la situación dental en una pantalla (2).

2. Procedimiento implementado por ordenador según la reivindicación 1, caracterizado por que la detección de características se lleva a cabo realizando solo detección de bordes.

3. Procedimiento implementado por ordenador según la reivindicación 2, caracterizado por que los bordes detectados se subdividen en bordes horizontales y bordes verticales basándose en sus direcciones promedio.

4. Procedimiento implementado por ordenador según la reivindicación 1, caracterizado por que la detección de características se lleva a cabo realizando detección de bordes y determinación de probabilidad de diente basada en color, y por que se calcula una medida de desviación combinada a partir de las imágenes de bordes detectados y las imágenes de probabilidad de diente basada en color detectada.

5. Procedimiento implementado por ordenador según la reivindicación 1, caracterizado por que la detección de características se lleva a cabo realizando solo determinación de probabilidad de diente basada en color.

6. Procedimiento implementado por ordenador según cualquiera de las reivindicaciones anteriores, caracterizado por que la desviación de la medida se calcula formando la imagen de diferencia de la imagen de características detectadas de la imagen del rostro del paciente tomada por la cámara (3) y la imagen de características detectadas de la imagen renderizada, e integrando los valores absolutos de la intensidad de la imagen de diferencia sobre todos los elementos de imagen de la imagen de diferencia.

7. Sistema para visualizar unas imágenes bidimensionales de una situación dental de un paciente renderizadas a partir de unos datos de modelo tridimensional de la situación dental en cada imagen del rostro del paciente en una secuencia de vídeo de imágenes subsiguientes grabadas por una cámara, incluyendo cada imagen la abertura de la boca, comprendiendo el sistema:

una cámara (3);

una pantalla; y

un dispositivo informático (2) que está conectado operativamente a la cámara (3) y a la pantalla, y que está dispuesto para llevar a cabo un procedimiento según la reivindicación 1.