ES2834396T3 - Fotogrametría 3d que usa patrones proyectados - Google Patents

Fotogrametría 3d que usa patrones proyectados Download PDF

Info

Publication number
ES2834396T3
ES2834396T3 ES07854401T ES07854401T ES2834396T3 ES 2834396 T3 ES2834396 T3 ES 2834396T3 ES 07854401 T ES07854401 T ES 07854401T ES 07854401 T ES07854401 T ES 07854401T ES 2834396 T3 ES2834396 T3 ES 2834396T3
Authority
ES
Spain
Prior art keywords
pattern
image
model
pixel
collimated beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES07854401T
Other languages
English (en)
Inventor
Mark S Quadling
Henley S Quadling
Ye Li
Andrei Tchouprakov
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
D4d Tech LLC
D4D Technologies LP
Original Assignee
D4d Tech LLC
D4D Technologies LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39325409&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2834396(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by D4d Tech LLC, D4D Technologies LP filed Critical D4d Tech LLC
Application granted granted Critical
Publication of ES2834396T3 publication Critical patent/ES2834396T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Un método para obtener un modelo 3D de un objeto, que comprende: proyectar un patrón sobre el objeto desde al menos una primera y una segunda posiciones (OM); observar el patrón desde la primera y segunda posiciones capturando una imagen P del patrón incidente sobre el objeto; capturar una imagen de iluminación I del objeto desde cada una de la primera y segunda posiciones; formar un modelo 3D del objeto para cada una de la primera y segunda posiciones analizando las distorsiones observadas en el patrón P provocadas por una superficie 3D del objeto; utilizar el modelo 3D junto con cada imagen de iluminación I para encontrar un píxel (p, q) en la imagen de iluminación I del objeto desde la primera posición que corresponde a un píxel en la imagen de iluminación I del objeto desde la segunda posición, en donde los píxeles correspondientes son un píxel coincidente; y utilizar fotogrametría para determinar las coordenadas 3D de cada píxel coincidente.

Description

DESCRIPCIÓN
Fotogrametría 3d que usa patrones proyectados
Esta solicitud se basa y reivindica la prioridad del número de serie 60/854,336, presentado el 25 de octubre de 2006, y el número de serie 60/888,878, presentado el 8 de febrero de 2007. Antecedentes de la
Campo técnico de la invención
Esta divulgación se refiere en general a técnicas para obtener un modelo tridimensional (3D) de un objeto, como un artículo dental. Antecedentes de la técnica relacionada
La fotogrametría es una técnica de detección remota en la que las propiedades geométricas de un objeto se determinan a partir de imágenes fotográficas. En una aplicación típica, se toman dos o más fotografías o imágenes del objeto desde diferentes posiciones. Al hacer coincidir los elementos entre las dos imágenes, es posible determinar con mucha precisión las coordenadas 3D para cada elemento coincidente.
Aunque la fotogrametría es una técnica bien desarrollado, la coincidencia de píxeles puede resultar muy difícil cuando se trata de un área de la superficie del objeto que tiene pocos elementos. Además, los algoritmos de coincidencia de píxeles son costosos a nivel informático. Como consecuencia, la fotogrametría no se ha adaptado para aplicaciones de imágenes dentales. Los documentos US2001/016063 (Albeck Dan y otros), US5604817 (Robert Massen y otros) y US5372502 Robert Massen y otros) proporcionan ejemplos de métodos y disposiciones anteriores.
Breve resumen de la invención
Un método representativo de aspectos de la presente invención se describe en la reivindicación 1 a continuación y los elementos adicionales se describen en las reivindicaciones dependientes de la misma. Los elementos alternativos de un método de acuerdo con los aspectos de la presente invención se describen en las reivindicaciones 5 y 8 y las reivindicaciones dependientes de las mismas.
Lo anterior ha descrito algunos de los elementos más pertinentes de la invención. Estos elementos deben interpretarse como meramente ilustrativos. Pueden lograrse muchos otros resultados beneficiosos aplicando la invención divulgada de una manera diferente o modificando la invención como se describirá a continuación.
Breve descripción de los dibujos
Para una comprensión más completa de la presente invención y las ventajas de la misma, ahora se hace referencia a las siguientes descripciones tomadas junto con los dibujos adjuntos, en los cuales:
La figura 1 ilustra cómo se orienta un digitalizador con respecto a un objeto que se desea escanear en 3D para obtener una nube de puntos de coordenadas 3D en la superficie del objeto;
La figura 2 ilustra una realización alternativa, donde el digitalizador incluye una parte de proyección y un par de partes de formación de imágenes;
La figura 3 ilustra el digitalizador de la Figura 1 orientado en diferentes posiciones con respecto al objeto que se desea escanear;
La figura 4 ilustra el digitalizador de la figura 2 orientado en diferentes posiciones con respecto al objeto; La figura 5 es un sistema dental en el que se puede implementar la técnica de fotogrametría 3D de esta divulgación; y
La figura 6 es una vista despiezada de un digitalizador intraoral que incluye una parte de proyección y un par de partes de formación de imágenes para su uso en la presente invención. Descripción detallada de una realización ilustrativa
Una técnica de imágenes dentales utiliza un método de digitalización de patrón de luz estructurado combinado con fotogrametría para determinar un modelo 3D de un objeto, tal como un artículo dental. El artículo dental puede ser cualquiera de: una preparación, un implante, un pilar, un puente, un aparato de ortodoncia, un aparato bucal y otros artículos dentales físicos. El método de digitalización de patrones de luz estructurados se puede realizar usando un digitalizador intraoral, tal como el sistema E4D Dentist de D4D Technologies, Richardson, Texas, y descrito por la patente de Estados Unidos Núm. 7,184,150. En un sistema de este tipo, un área preparada y los dientes adyacentes se escanean usando el digitalizador, y se obtiene un modelo 3D del área preparada. También se le puede indicar al paciente que muerda una tira de mordida, y la tira de mordida se escanea posteriormente para obtener un modelo de dentición opuesto. Esta información se puede utilizar para producir un modelo 3D de una restauración deseada. Dicho proceso se puede realizar utilizando un sistema de diseño asistido por ordenador. Por supuesto, la presente invención no se limita a su uso con tales técnicas y sistemas.
En un aspecto del método de esta divulgación, un digitalizador se orienta con relación a un objeto que se desea escanear en 3D para obtener una nube de puntos de coordenadas 3D en la superficie del objeto. Con referencia a la figura 1, el digitalizador comprende una parte de proyección L y una parte de formación de imágenes I. Con referencia a la figura 2, en una realización alternativa, el digitalizador también puede comprender una parte de proyección L y dos partes de formación de imágenes I y J (ver también la Figura 6, descrita abajo). De hecho, en general, no hay límite para el número de porciones de imágenes que pueden incluirse en el sistema. La parte de proyección proyecta un patrón sobre el objeto usando luz, donde el patrón puede variar desde un solo punto hasta una iluminación completa, o cualquier variación entre estos dos extremos. Por ejemplo, el patrón puede ser una serie de segmentos, como se describe en las Patentes de Estados Unidos Núm. 7,142,312 y 7,184,150. El patrón también puede comprender una iluminación completa, por ejemplo, cuando el número de segmentos es tan grande que se unen eficazmente. La una o más partes de formación de imágenes observan el patrón proyectado sobre el objeto y deducen la información 3D sobre el objeto, preferiblemente usando técnicas de triangulación como se describe en las patentes identificadas anteriormente. En el caso de que haya dos porciones de formación de imágenes, ambas se pueden utilizar para generar datos 3D, en cuyo caso los datos 3D son los dados por todos los puntos 3D generados por cada una de las dos porciones de formación de imágenes.
En la siguiente descripción, se supone que la configuración descrita anteriormente se ensambla en un digitalizador (o, más generalmente, un sistema de formación de imágenes) que puede estar orientado en diferentes posiciones con respecto al objeto que se desea escanear. Con referencia a la figura 3 y la Figura 4, el digitalizador puede colocarse entonces con relación al objeto en diferentes posiciones. En particular, la figura 3 corresponde al digitalizador de la Figura 1, donde el digitalizador incluye una porción de proyección y una única porción de imágenes. La figura 4 corresponde al digitalizador de la figura 2, donde el digitalizador incluye una parte de proyección y un par de partes de formación de imágenes. En cada una de estas figuras, el digitalizador se coloca en al menos dos (2) posiciones diferentes (primera y segunda) con respecto al objeto. Sin embargo, esto no es una limitación. Además, se supone que existen N posiciones de este tipo. Como se usa en el presente documento, la letra M se usa para referirse a una de estas posiciones, por lo que M varía entre 1 y N. Obtención de una estimación para los datos 3D
En una posición M, el digitalizador proyecta una serie de patrones utilizando el método descrito, por ejemplo, en la Patente de Estados Unidos Núm. 7,142,312 o 7,184,150. Un patrón comprende típicamente una pluralidad de curvas, cada curva es sustancialmente paralela a la otra. Las imágenes de los patrones se obtienen mediante la parte de formación de imágenes (figura 1) o las partes de formación de imágenes (figura 2); utilizando los métodos conocidos descritos en esas patentes, el sistema determina un conjunto de datos 3D en el espacio de coordenadas del digitalizador para ese objeto que se escanea. Si hay dos partes de formación de imágenes, cada una puede emparejarse con la parte de proyección, y cada una puede generar datos 3D por separado. Luego, el proceso de escaneo sigue al reposicionar el digitalizador para repetir el mismo proceso desde otra ubicación, preferiblemente para cada posición M que va de 1 a N. La figura 3 muestra dos de tales ubicaciones, al igual que la figura 4. Cada posición da como resultado uno o dos (en el caso de un sistema de dos partes de imágenes) conjuntos de coordenadas 3D, cada uno en el espacio de coordenadas del digitalizador en esa ubicación particular. En cada posición M, también se toma una imagen adicional con iluminación completa (o sustancialmente completa) del objeto. En el caso de un digitalizador de una porción de imagen, para cada posición M, el resultado es una nube de puntos CM de coordenadas 3D y una imagen IM. En el caso de un digitalizador de porciones de imagen doble, el resultado es una nube de puntos CM <L> de coordenadas 3D y una imagen IM <L> asociada con una de las unidades de imagen, y otra nube de puntos CM <R> e imagen IM <R> asociada con la otra unidad de generación de imágenes. Estas imágenes se utilizan en una etapa posterior para el cálculo de fotogrametría, como se verá.
Para cada posición M1 del digitalizador, se puede suponer que hay al menos otra posición M2 donde los campos de visión se superponen, de modo que las respectivas imágenes y nubes de puntos comparten al menos una parte en común. En la descripción que sigue, suponga que, de hecho, cada nueva posición que sigue a la primera tiene esta superposición con al menos la posición inmediatamente anterior. Sin embargo, resultará evidente para un experto medio en la materia que la descripción que sigue se puede aplicar fácilmente al caso más general.
Una vez que se ha realizado el proceso anterior, las nubes de puntos múltiples están cada una en el espacio de coordenadas del digitalizador. Suponga ahora que el origen del espacio de coordenadas del digitalizador está en el centro del digitalizador. Por lo general, estos conjuntos de nubes de puntos múltiples no se pueden superponer (porque no están en el mismo espacio de coordenadas), por lo que, preferiblemente, la siguiente etapa del proceso es transformarlos para que todos estén en el mismo espacio de coordenadas. Se puede utilizar cualquier sistema de coordenadas. Por conveniencia, se puede establecer el sistema de coordenadas de la primera posición para que sea un sistema de coordenadas global elegido, aunque esto no es una limitación. De manera equivalente, puede ser deseable determinar matrices TM de 4x4 para cada posición M donde M <> I, de modo que la matriz TM transforme el conjunto CM en el espacio de coordenadas del primer conjunto C1. En particular, se puede utilizar el siguiente algoritmo para determinar estas matrices:
1. Establecer T1 igual a la matriz de identidad.
2. para cada i = 2,..., N a. Realizar una alineación del par más cercano iterativo (ICP) entre C1 y Ci-1 para determinar una matriz Q tal que Q transforme el conjunto C1 en el mismo espacio de coordenadas que el conjunto Ci-1. b. Establecer T1 = QT1-1
Una vez que se ha completado este proceso, la ubicación del digitalizador en cada posición ahora se puede calcular como O1 = T1 <"1> (0, 0, 0) < é taul > para cada I = 1,..., m.
Para cada posición M (donde M va de 1 a N), como parte del cálculo 3D, se puede determinar una función FM (X, y, z) - > (a, b), donde (x, y, z) es una coordenada 3D del mundo real y (a, b) es una coordenada de píxeles. Por tanto, para cada posición, una coordenada 3D puede volver a mapearse en una ubicación de píxel correspondiente en el sensor de imagen. Un ejemplo de tal función es el modelo de cámara estenopeica estándar, que se puede aplicar al sistema de imágenes usando un procedimiento estándar de calibración de lentes para determinar el centro de la imagen (ejemplo, cy) y la distancia focal Talfal:
FM (X, y, z) = (cx+[alfa]x/z, cy+[alfa]y/z) Procesamiento de imágenes mediante fotogrametría
La siguiente etapa es procesar las imágenes IM de iluminación completa (o sustancialmente completa) usando fotogrametría, y las posiciones conocidas OM-Cada IM está compuesto por una matriz de píxeles SM = {(ai, b,) i = I..p, j = I..q}, donde se puede considerar que cada píxel (p, q) tiene un valor numérico asociado, y donde se supone que el sensor de imagen tiene una resolución de p píxeles en la dirección horizontal y q píxeles en la dirección vertical. Este conjunto puede reducirse observando que los puntos útiles en el objeto normalmente solo estarán cerca de las coordenadas contenidas en CM. En consecuencia, para cada posición M, en una realización, esta etapa marca cada punto de imagen en SM como no válido, y luego determina qué puntos son de hecho válidos. En particular, para cada punto (x, y, z) en CM, se calcula la coordenada de píxel correspondiente (p, q) usando FM-Cada ubicación de píxel dentro de cierta vecindad de (p, q) se marca como válida. Por ejemplo, si se elige una vecindad de 5 píxeles, entonces cada píxel con una distancia de menos de 5 píxeles de (p, q) se marca como válido. Una vez que se ha completado este proceso, preferiblemente se descartan todos los pares de píxeles no válidos en SM.
A continuación, se determinan los píxeles coincidentes entre diferentes posiciones (es decir, para diferentes valores de M). Esto se puede hacer examinando cada píxel en el conjunto SM y encontrando los píxeles correspondientes en otro conjunto Sq donde M <> Q. Puede haber más de un conjunto con un píxel coincidente. Se pueden utilizar operaciones de fotogrametría bien conocidas, tal como la correlación cruzada, para determinar los píxeles coincidentes. Para ayudar en el proceso de búsqueda, el sistema puede aprovechar el hecho de que cada píxel en SM también corresponde a una coordenada 3D en CM, y que FM puede aplicarse a esa coordenada para obtener una suposición inicial de una vecindad en SM para la búsqueda. Por ejemplo, si (a, b) es un píxel en SM, una coordenada 3D correspondienteA, y, z) está relacionada con el píxel. FQ (X, y, z) = (c, d) produce un nuevo píxel para la posición Q. Para todas las búsquedas posteriores en SQ para determinar la correspondencia, los cálculos pueden restringirse a una vecindad de (c, d), por lo tanto, reduciendo significativamente la carga informática para determinar la correspondencia.
Puede obtenerse una mejora adicional del rendimiento determinando una línea epipolar en la imagen para la posición Q, y buscando a lo largo de la parte de la línea epipolar contenida en la vecindad de búsqueda determinada anteriormente. La geometría epipolar puede determinarse, por ejemplo, a partir de parámetros intrínsecos de la cámara, así como de los parámetros extrínsecos obtenidos de las matrices de alineación relevantes T1. El artículo "Multiple View Geometry in Computer Vision" de Richard Hartley y Andrew Zisserman, segunda edición, proporciona una descripción detallada de cómo determinar la línea epipolar. Este enfoque (incorporado como referencia) permite una mejora adicional en la búsqueda de coincidencia de elementos que se produce en el tiempo O(n) en comparación con el tiempo O (n<2>).
Una vez que se ha determinado la correspondencia para todos los píxeles, para cualquier píxel que corresponda al menos a otro píxel de otra vista, la siguiente etapa es formar un haz de rayos desde el origen de la cámara hasta la coordenada del píxel, un rayo para cada píxel correspondiente. Un rayo puede determinarse como un vector desde el origen del sistema de cámara a través del píxel en cuestión, y puede determinarse a partir del modelo de la cámara. Luego, cada haz de rayos se convierte en una coordenada 3D intersecando los rayos. Si los rayos no se intersecan, se elige un punto de aproximación más cercana siempre que la aproximación más cercana esté dentro de una tolerancia máxima. El conjunto de coordenadas 3D luego forma la nube de puntos para el objeto.
Debe tenerse en cuenta que en el caso de que solo haya dos sensores, puede ser deseable intersecar solo los rayos de las imágenes y las nubes de puntos asociadas con los dos sensores de imagen. De esta manera, el proceso completo descrito anteriormente se puede utilizar con una sola posición del digitalizador.
Cuando se utilizan para la captura de datos en tiempo real en el caso de un sistema de dos cámaras, los datos 3D mejorados (calculados usando los métodos anteriores) también se pueden utilizar para fotogramas de imágenes posteriores. Debido a la alta velocidad de fotogramas, la diferencia en la ubicación del digitalizador en el espacio será relativamente pequeña entre capturas posteriores. Esto permite que los datos 3D de una o más capturas anteriores se utilicen como punto de partida para el algoritmo de coincidencia. Una vez que se ha calculado la coincidencia, los datos 3D se calculan y alinean luego con los datos 3D existentes como se describió anteriormente, y luego se pueden usar como punto de partida para el siguiente conjunto de imágenes. Método alternativo
Se puede utilizar un método alternativo cuando se emplea un sistema de dos cámaras. En este caso, se proyecta un patrón de láser denso sobre el objeto a digitalizar. Se obtienen dos imágenes desde dos posiciones diferentes, simultáneamente. En este caso, cuanto más denso sea el patrón láser, mejor. El láser también tiene el efecto de producir un patrón moteado de láser, de modo que, además del patrón iluminado previsto en el objeto, son visibles otras manchas de luz reflejada. En el caso de un sistema de dos cámaras en el que las dos imágenes se toman simultáneamente, este patrón moteado de láser tiene el beneficio adicional de proporcionar puntos característicos adicionales en la superficie cuyas imágenes ahora se obtienen de dos cámaras. Estos puntos característicos se pueden usar en un análisis de fotogrametría estándar entre las dos imágenes para realizar el cálculo usando una distancia conocida (y calibrada) entre los dos sensores de la cámara para obtener las coordenadas 3D. El conocimiento de cómo se comporta el patrón moteado de láser en el material también se puede utilizar para ajustar los puntos característicos de moteado medidos antes de realizar el cálculo fotogramétrico.
Los cálculos de fotogrametría 3D descritos anteriormente (para cualquiera de las realizaciones) pueden implementarse en un programa informático, como un conjunto de instrucciones de programa, ejecutables en uno o más procesadores. Un ordenador representativo se muestra en la Figura 5 y comprende hardware 102, almacenamiento adecuado 104 y memoria 105 para almacenar un sistema operativo 106, una o más aplicaciones de software 108 y datos 110, dispositivos de entrada y salida convencionales (una pantalla 112, un teclado 114, un dispositivo de apuntar y hacer clic 116, y similares), otros dispositivos 118 para proporcionar conectividad de red, y similares. Se usa un sistema digitalizador láser 115 para obtener escaneos ópticos de un artículo dental, tal como la anatomía dental de un paciente, como se describió anteriormente. Utilizando una interfaz gráfica de usuario convencional 120, un operador puede ver y manipular modelos a medida que se representan en la pantalla 112.
Como se describe en una realización de la Patente de Estados Unidos Núm. 7,184,150, un digitalizador láser intraoral comprende varios componentes, a saber, una fuente de luz que tiene una óptica de colimación configurada para generar un haz de luz colimado, un escáner acoplado ópticamente a la fuente de luz y configurado para escanear el haz colimado a lo largo de al menos dos ejes, y un primer relé óptico acoplado al escáner y configurado para transmitir el haz de luz colimado escaneado hacia un objeto remoto del que se va a obtener una imagen. Durante un período de escaneo dado, el haz de luz colimado escaneado genera un patrón que comprende un conjunto de segmentos. En particular, el patrón comprende típicamente una pluralidad de curvas, cada curva es sustancialmente paralela a la otra. El digitalizador también incluye típicamente un sensor de imagen, una superficie reflectante configurada para capturar una reflexión del haz colimado escaneado del objeto en un ángulo de triangulación dado, y un segundo relé óptico, colineal al primer relé óptico, en donde el segundo relé óptico está acoplado a la superficie reflectante y configurado para transmitir la reflexión del haz colimado escaneado hacia el sensor de imagen. Durante el período de escaneo dado, la reflexión del haz colimado escaneado sobre el sensor de imagen comprende un patrón modificado. Entonces, un procesador usa el patrón modificado, junto con al menos otro patrón modificado generado como resultado de escanear el haz de luz colimado en un segundo patrón, para generar una representación del objeto remoto.
La figura 6 ilustra una vista despiezada de una realización intraoral de un digitalizador láser que corresponde a la realización de la figura 2. Este aparato comprende numerosos componentes: un primer sistema de lentes de transmisión óptica 200 para la formación de imágenes, un sistema de lentes de transmisión óptica 201 para la proyección, un segundo sistema de lentes de transmisión óptica 202 para la formación de imágenes, un primer espejo de escaneo 203, un segundo espejo de escaneo 204, un sistema de lentes de acoplamiento de proyección 205, un láser u otro sistema de fuente de luz 206, un primer sensor de imagen 207, un primer sistema de lentes de enfoque de imágenes 208, un segundo sistema de lentes de enfoque de imágenes 209 y un segundo sensor de imagen 210. Los componentes 201, 203-205 y 206 corresponden en general al número de referencia P en la Figura 2. Los componentes 200, 207 y 208 corresponden en general al número de referencia I en la Figura 2; los componentes 202, 209 y 210 corresponden en general al número de referencia J en la Figura 2. Durante el funcionamiento, la luz de la fuente láser 206 se refleja en el espejo 203 de alta velocidad (x) y, a su vez, se refleja en el espejo 204 de baja velocidad (y) y se enfoca a través de un conjunto de lentes 205 sobre un prisma conectado a una lente de transmisión de índice de gradiente 201 y proyectada sobre el objeto que se está escaneando. Durante un intervalo de tiempo (1/60 de segundo, por ejemplo, o dentro de un intervalo de fotogramas de una cámara), la luz forma un patrón en el objeto que se está escaneando. La reflexión del patrón en el objeto se recibe a través de una lente de transmisión de índice de gradiente derecha 200 y una lente de transmisión de índice de gradiente izquierda 202. La luz reflejada a través de la lente de transmisión izquierda 202 se enfoca a través del conjunto de lentes 209 sobre un primer sensor de formación de imágenes 210. La luz reflejada a través de la lente de retransmisión derecha 200 es desviada por un prisma en el extremo de la lente de transmisión y enfocada a través de un conjunto de lentes 208 sobre un segundo sensor de imagen 207. El resultado es una imagen izquierda del sensor 210 y una imagen derecha del sensor 207 del patrón proyectado. Estas imágenes simultáneas izquierda y derecha, combinadas con el conocimiento del patrón proyectado, se introducen en los algoritmos para calcular los datos 3D como se describe. La técnica descrita anteriormente puede asociarse con un sistema que se utiliza para diseñar modelos de restauración para su colocación permanente en la boca de un paciente. Como se ha descrito, en una realización representativa, una estación de trabajo informática en la que se implementa la invención comprende hardware, almacenamiento y memoria adecuados para almacenar un sistema operativo, una o más aplicaciones de software y datos, dispositivos de entrada y salida convencionales (una pantalla, un teclado, un dispositivo de apuntar y hacer clic, y similares), otros dispositivos para proporcionar conectividad de red, y similares. Una varilla digitalizadora intraoral está asociada con la estación de trabajo para obtener escaneos ópticos de la anatomía de un paciente. El digitalizador escanea el sitio de restauración con un sistema de escaneo láser y envía imágenes a un monitor en la estación de trabajo. Aunque no se muestra, un aparato de fresado se puede asociar con la estación de trabajo para fresar una pieza de partida dental de acuerdo con un modelo de restauración dental creado por la estación de trabajo.
Si bien ciertos aspectos o elementos de la presente invención se han descrito en el contexto de un método o proceso basado en ordenador, esto no es una limitación de la invención. Además, dichos métodos basados en ordenador pueden implementarse en un aparato o sistema para llevar a cabo las operaciones descritas, o como complemento de otros equipos, dispositivos o sistemas de restauración dental. Este aparato puede construirse especialmente para los fines requeridos, o puede comprender un ordenador de propósito general activado selectivamente o reconfigurado por un programa informático almacenado en el ordenador. Dicho programa informático puede almacenarse en un medio de almacenamiento legible por ordenador, tal como, entre otros, cualquier tipo de disco, incluidos discos ópticos, CD-ROM y discos magnéticos-ópticos, memorias de solo lectura (ROM), memorias de acceso (RAM), tarjetas magnéticas u ópticas, o cualquier tipo de medio adecuado para almacenar instrucciones electrónicas, y cada una de estas acoplada a un bus del sistema informático. La funcionalidad descrita también puede implementarse en firmware, en un ASIC o en cualquier otro dispositivo controlado por procesador conocido o desarrollado.
Si bien lo anterior describe un orden particular de operaciones realizadas por ciertas realizaciones de la invención, debe entenderse que dicho orden es ilustrativo, ya que realizaciones alternativas pueden llevar a cabo las operaciones en un orden diferente, combinar ciertas operaciones, superponer ciertas operaciones, o similares. Las referencias en la memoria descriptiva a una realización dada indican que la realización descrita puede incluir un elemento, estructura o característica particular, pero cada realización puede no incluir necesariamente el elemento, estructura o característica particular. Además, aunque los componentes dados del sistema se han descrito por separado, un experto en la materia apreciará que algunas de las funciones pueden combinarse o compartirse en sistemas, máquinas, dispositivos, procesos, instrucciones, secuencias de programas, partes de código dados, y similares.
Aunque los componentes dados del sistema se han descrito por separado, un experto en la materia apreciará que algunas de las funciones pueden combinarse o compartirse en instrucciones, secuencias de programa, partes de código dadas, y similares.
Habiendo descrito esta invención, lo que se reivindica sigue a continuación.

Claims (11)

REIVINDICACIONES
1. Un método para obtener un modelo 3D de un objeto, que comprende:
proyectar un patrón sobre el objeto desde al menos una primera y una segunda posiciones (OM); observar el patrón desde la primera y segunda posiciones capturando una imagen P del patrón incidente sobre el objeto;
capturar una imagen de iluminación I del objeto desde cada una de la primera y segunda posiciones; formar un modelo 3D del objeto para cada una de la primera y segunda posiciones analizando las distorsiones observadas en el patrón P provocadas por una superficie 3D del objeto;
utilizar el modelo 3D junto con cada imagen de iluminación I para encontrar un píxel (p, q) en la imagen de iluminación I del objeto desde la primera posición que corresponde a un píxel en la imagen de iluminación I del objeto desde la segunda posición, en donde los píxeles correspondientes son un píxel coincidente; y utilizar fotogrametría para determinar las coordenadas 3D de cada píxel coincidente.
2. El método como se describe en la reivindicación 1, en donde el objeto es un artículo dental.
3. El método como se describe en la reivindicación 1, en donde la imagen de iluminación I es una imagen de iluminación completa.
4. El método como se describe en la reivindicación 1, en donde la imagen P se captura usando un sistema de formación imágenes que comprende una parte de proyección (L) y una o más partes de imagen (I, J).
5. Un método para obtener un modelo 3D de un objeto, que comprende:
proyectar un patrón sobre el objeto desde al menos dos posiciones (OM);
observar el patrón desde esas posiciones capturando al menos dos imágenes P1 y P2 desde ubicaciones desplazadas ligeramente diferentes del patrón incidente sobre el objeto;
capturar imágenes de iluminación 11 y 12 del objeto para cada una de las al menos dos posiciones; formar un modelo 3D del objeto para cada posición analizando las distorsiones observadas en el patrón P provocadas por la superficie 3D del objeto;
usar el modelo 3D junto con cada imagen 11 y 12 para encontrar los píxeles correspondientes (p, q) entre la imagen 11 y 12; y
utilizar fotogrametría para determinar las coordenadas 3D de cada píxel coincidente.
6. El método como se describe en la reivindicación 5, en donde el objeto es un artículo dental.
7. El método como se describe en la reivindicación 5, en donde la imagen de iluminación es una imagen de iluminación completa.
8. Un método para obtener un modelo 3D de un objeto, que comprende:
proyectar un patrón láser denso directamente sobre el objeto;
observar cualquier moteado asociado del objeto debido al patrón de láser denso capturando simultáneamente al menos dos imágenes capturadas P1 y P2 del moteado asociado desde diferentes ubicaciones desplazadas del patrón de láser incidente sobre el objeto;
hacer coincidir pares equivalentes de elementos de moteado entre las dos imágenes capturadas de los moteados asociados; y
utilizar fotogrametría para determinar las coordenadas 3D para cada píxel coincidente.
9. Aparato que comprende un procesador, un proyector, al menos una cámara y un medio legible por ordenador, el medio legible por ordenador tiene instrucciones ejecutables por procesador para llevar a cabo las etapas del método de la reivindicación 1.
10. Aparato que comprende un procesador, un proyector, al menos una cámara y un medio legible por ordenador, el medio legible por ordenador tiene instrucciones ejecutables por procesador para llevar a cabo las etapas del método de la reivindicación 8.
11. Un sistema de formación de imágenes (115), que comprende:
un digitalizador intraoral, que comprende:
una fuente de luz (206) que tiene una óptica de colimación (201) configurada para generar un haz de luz colimado;
un escáner acoplado ópticamente a la fuente de luz y configurado para escanear el haz colimado a lo largo de al menos dos ejes;
un primer relé óptico acoplado al escáner y configurado para transmitir el haz de luz colimado escaneado hacia un objeto dental del que se va a tomar la imagen, en donde durante un período de escaneo dado el haz de luz colimado escaneado genera un patrón que comprende un conjunto de segmentos;
un primer sensor de imagen;
un segundo sensor de imagen;
un segundo relé óptico, colineal al primer relé óptico, configurado para transmitir una reflexión del haz colimado escaneado hacia el primer sensor de imagen, en donde durante el período de escaneo dado, la reflexión del haz colimado escaneado en el primer sensor de imagen comprende un primer patrón modificado; y un tercer relé óptico, colineal al primer relé óptico, configurado para transmitir una reflexión del haz colimado escaneado hacia el segundo sensor de imagen, en donde durante el período de escaneo dado, la reflexión del haz colimado escaneado en el primer sensor de imagen comprende un segundo patrón modificado; y una ordenador acoplado al digitalizador intraoral que (a) usa al menos el primer y segundo patrones modificados para generar un modelo 3D de una superficie del objeto dental, (b) usa el modelo 3D junto con al menos la primera y segunda imágenes del objeto dental para encontrar píxeles coincidentes (p, q) entre la primera y la segunda imágenes, y (c) utiliza fotogrametría para determinar las coordenadas 3D para cada píxel coincidente.
ES07854401T 2006-10-25 2007-10-25 Fotogrametría 3d que usa patrones proyectados Active ES2834396T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US85433606P 2006-10-25 2006-10-25
US88887807P 2007-02-08 2007-02-08
PCT/US2007/082468 WO2008052092A2 (en) 2006-10-25 2007-10-25 3d photogrammetry using projected patterns

Publications (1)

Publication Number Publication Date
ES2834396T3 true ES2834396T3 (es) 2021-06-17

Family

ID=39325409

Family Applications (1)

Application Number Title Priority Date Filing Date
ES07854401T Active ES2834396T3 (es) 2006-10-25 2007-10-25 Fotogrametría 3d que usa patrones proyectados

Country Status (4)

Country Link
US (1) US7978892B2 (es)
EP (1) EP2076870B1 (es)
ES (1) ES2834396T3 (es)
WO (1) WO2008052092A2 (es)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530019B2 (ja) * 2007-09-28 2010-08-25 オムロン株式会社 撮像装置の調整方法
DE102007054906B4 (de) * 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
DE102008047816B4 (de) 2008-09-18 2011-08-25 Steinbichler Optotechnik GmbH, 83115 Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
US9767342B2 (en) * 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
CA2762038C (en) * 2009-06-01 2017-04-25 Gerd Haeusler Method and device for three-dimensional surface detection with a dynamic reference frame
CN102725688B (zh) 2009-07-10 2015-04-01 管理前街不同收入阶层的前街投资管理有限公司 使用单成像路径生成三维图像信息的方法和装置
CA2683206C (en) * 2009-10-17 2018-07-03 Hermary Opto Electronics Inc. Enhanced imaging method and apparatus
GB2481459B (en) * 2010-06-25 2017-05-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Capturing a surface structure of an object surface
US9229106B2 (en) 2010-08-13 2016-01-05 Ryan Dotson Enhancement of range measurement resolution using imagery
WO2012074505A1 (en) * 2010-11-29 2012-06-07 Hewlett-Packard Development Company, L.P. System and method for creating a three-dimensional image file
EP2764328A4 (en) * 2011-09-08 2015-05-06 Front Street Invest Man Inc METHOD AND APPARATUS FOR LIGHTING A VISION FIELD OF AN OPTICAL SYSTEM FOR GENERATING THREE DIMENSIONAL IMAGE INFORMATION
US20150085080A1 (en) * 2012-04-18 2015-03-26 3Shape A/S 3d scanner using merged partial images
DE102012207499B3 (de) 2012-05-07 2013-09-05 Sirona Dental Systems Gmbh Verfahren zur Vermessung einer Zahnsituation
US8436853B1 (en) * 2012-07-20 2013-05-07 Google Inc. Methods and systems for acquiring and ranking image sets
CN104457562A (zh) * 2013-09-13 2015-03-25 武汉惟景三维科技有限公司 一种基于面结构光的承载鞍在线检测系统
GB201412060D0 (en) 2014-07-07 2014-08-20 Vito Nv Method and system for photogrammetric processing of images
WO2016195694A1 (en) * 2015-06-04 2016-12-08 Hewlett-Packard Development Company, L.P. Generating three dimensional models
CN104913721B (zh) * 2015-06-17 2018-06-26 上海工程技术大学 一种工业视觉传感器检测的实验装置
US10884127B2 (en) * 2016-08-02 2021-01-05 Samsung Electronics Co., Ltd. System and method for stereo triangulation
US10453252B2 (en) 2017-05-08 2019-10-22 Disney Enterprises, Inc. 3D model construction from 2D assets
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
JP7248680B2 (ja) 2017-08-10 2023-03-29 ディーフォーディー テクノロジーズ エルエルシー 口腔内走査装置
US20200197136A1 (en) * 2017-08-17 2020-06-25 Trophy Stencil for intraoral surface scanning
CN109589179B (zh) * 2017-10-02 2023-01-17 吕孝宇 用于确定牙科器械的空间坐标的混合现实系统和方法
EP3552575B1 (fr) * 2018-04-13 2021-03-10 Dental Monitoring Procédé de génération d'un modèle 3d d'une arcade dentaire
CN110623763B (zh) * 2018-06-22 2023-03-14 阿莱恩技术有限公司 用多个微型摄像头和微型图案投射器的口内3d扫描仪
US11896461B2 (en) * 2018-06-22 2024-02-13 Align Technology, Inc. Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors
US11563929B2 (en) * 2019-06-24 2023-01-24 Align Technology, Inc. Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors
WO2022031022A1 (ko) * 2020-08-05 2022-02-10 주식회사 메디트 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
CN113513987B (zh) * 2021-07-10 2023-04-18 深慧视(深圳)科技有限公司 一种3d点云坐标生成装置
WO2024063560A1 (ko) * 2022-09-21 2024-03-28 주식회사 메디트 스캐너, 데이터 처리 장치 및 데이터 처리 방법
US12539020B2 (en) 2023-08-24 2026-02-03 D4D Technologies, Llc Holographic digitizer illuminator with mutually variant wavelengths

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5372502A (en) * 1988-09-02 1994-12-13 Kaltenbach & Voight Gmbh & Co. Optical probe and method for the three-dimensional surveying of teeth
DE4229466C2 (de) * 1992-09-03 2001-04-26 Kaltenbach & Voigt Zahnvermessung ohne Kalibrationskörper
IL119831A (en) * 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
EP0898245B1 (en) * 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6632089B2 (en) * 1999-11-30 2003-10-14 Orametrix, Inc. Orthodontic treatment planning with user-specified simulation of tooth movement
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
JP2006514739A (ja) * 2002-12-31 2006-05-11 ディースリーディー,エル.ピー. 歯科用レーザデジタイザシステム
EP1606576A4 (en) * 2003-03-24 2006-11-22 D3D L P LASER DIGITIZER SYSTEM FOR DENTAL MEDICAL APPLICATIONS
JP2005308553A (ja) 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
US7819591B2 (en) 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging

Also Published As

Publication number Publication date
EP2076870B1 (en) 2020-09-02
EP2076870A2 (en) 2009-07-08
WO2008052092A3 (en) 2008-08-14
EP2076870A4 (en) 2014-10-22
WO2008052092A2 (en) 2008-05-02
US20080101688A1 (en) 2008-05-01
US7978892B2 (en) 2011-07-12

Similar Documents

Publication Publication Date Title
ES2834396T3 (es) Fotogrametría 3d que usa patrones proyectados
ES2699529T3 (es) Detección de un objeto móvil al escanear en 3D un objeto rígido
CN114828773B (zh) 具有准确的牙弓宽度的牙弓数字3d模型
JP6690041B2 (ja) 三次元物体上の注視点決定方法及び装置
Millett et al. Three-dimensional imaging in orthognathic surgery: the clinical application of a new method
ES2615740T3 (es) Compensación de movimiento en una exploración de tres dimensiones
KR102022748B1 (ko) 치아의 표면 텍스처를 추정하는 방법
JP2018518209A (ja) 物体を光学的に測定するための方法および測定システム
JP2022508372A (ja) 口腔内スキャナを使用して3dデータを取得する混合方法
ES2618403T3 (es) Modelamiento tridimensional de la cavidad oral
Al-Khatib Facial three dimensional surface imaging: an overview
FR2801185A1 (fr) Video endoscope securise a profilometre laser integre pour la chirurgie assistee par ordinateur
ES2782075T5 (es) Detección de un objeto móvil al escanear en 3D un objeto rígido
Adaskevicius et al. Three-dimensional determination of dental occlusion and facial structures using soft tissue cephalometric analysis
Hatcher et al. Three-D Surface Imaging of the Face
Kutilek et al. Non-contact method for measurement of head posture by two cameras and calibration means
ELANGOVAN et al. TRANSFORMING DENTISTRY: THE RISE OF INTRAORAL SCANNERS–A REVIEW
WO2024197426A1 (es) Sistema y método para construir un modelo tridimensional de una dentadura de al menos un usuario
WO2019082452A1 (ja) 歯科用画像取得装置および歯科用画像取得方法