ES2932181B2 - Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la cara - Google Patents
Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la caraInfo
- Publication number
- ES2932181B2 ES2932181B2 ES202130618A ES202130618A ES2932181B2 ES 2932181 B2 ES2932181 B2 ES 2932181B2 ES 202130618 A ES202130618 A ES 202130618A ES 202130618 A ES202130618 A ES 202130618A ES 2932181 B2 ES2932181 B2 ES 2932181B2
- Authority
- ES
- Spain
- Prior art keywords
- skull
- points
- photographs
- facial
- craniometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional [3D] objects
- G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional [3D] objects
- G06V20/653—Three-dimensional [3D] objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Computer Hardware Design (AREA)
- Molecular Biology (AREA)
- Architecture (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Geometry (AREA)
- Fuzzy Systems (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
Description
[0001] DESCRIPCION
[0003] Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la cara
[0005] SECTOR DE LA TÉCNICA
[0007] La presente invención se ubica en los campos de la identificación forense y de la inteligencia artificial, en los ámbitos del aprendizaje automático, la visión artificial y los sistemas de ayuda a la toma de decisiones.
[0009] Más en particular, la invención se enmarca dentro de las técnicas de identificación forense basadas en el esqueleto, y más concretamente en el cráneo. La invención se aplica en la identificación de seres humanos fallecidos cuando se dispone de una o más fotografías antemortem (AM) de la cara y un modelo tridimensional del cráneo, como los obtenidos mediante escaneo 3D, tomografía axial computarizada, resonancia magnética u otros medios.
[0011] ANTECEDENTES DE LA INVENCIÓN
[0013] La identificación de los fallecidos es de gran importancia en nuestra sociedad, tanto por su utilidad en resolver graves problemas legales y sociales, como por su ayuda a las familias afligidas por una pérdida o desaparición. Durante las dos últimas décadas, técnicas como el ADN o las huellas dactilares han sido utilizadas en numerosos escenarios de identificación. Lamentablemente, la aplicación de estos métodos puede fallar por el estado de conservación del cadáver o la falta de una segunda muestra de ADN con la que comparar. A diferencia de los tejidos blandos, el esqueleto generalmente sobrevive a los procesos de descomposición naturales y otros factores como incendios, exposición a sustancias químicas, etc. Por lo tanto, las técnicas de identificación forense basadas en el esqueleto representan la última oportunidad para la identificación de la víctima.
[0015] La superposición craneofacial (SCF) consiste en la superposición de la imagen de un cráneo con fotografías AM de la cara de un individuo, seguida por el análisis de su correspondencia morfológica, con el fin de determinar si el cráneo pertenece al sujeto de las fotografías [YOSHINO M. Craniofacial superimposition. Craniofacial Identification 2012; 238-253]. Para cada fotografía de la cara, se necesita llevar a cabo un solapamiento cráneo-cara (SCC), es decir, obtener una imagen del cráneo con la misma pose y tamaño de la cara en la fotografía.
[0016] Los enfoques para obtener dicha imagen son cuatro [HUETE MI, IBÁÑEZ O, WILKINSON C, et al. Past, present, and future of craniofacial superimposition: Literature and international surveys. Leg Med (Tokyo) 2015; 17: 267-278]:
[0018] ● El primer enfoque se basa en adquirir una fotografía del cráneo físico, colocando el cráneo en un soporte y ajustando su posición, orientación y distancia a la cámara. Esto implica un largo y tedioso proceso de prueba y error hasta conseguir reproducir cuanto más fielmente la pose de la fotografía de la cara. Es importante remarcar que esta valoración es subjetiva y propensas a errores.
[0020] ● En el segundo enfoque, en lugar de una cámara de fotos, se emplea una cámara de video conectada a una pantalla. Esto permite ahorrar el proceso de revelado de las fotografías analógicas.
[0022] ● En el tercer enfoque, el cráneo físico es reemplazado por un modelo 3D obtenido mediante escaneo 3D. Utilizando un programa de ordenador, se coloca el modelo 3D en una escena virtual, ajustando su posición, orientación y tamaño hasta alcanzar la pose de la fotografía de la cara. Si bien este enfoque es más rápido con respecto al anterior, la tarea de colocación del cráneo sigue siendo tediosa y la valoración de haber obtenido el mejor solapamiento posible no pierde su carácter subjetivo.
[0024] ● El cuarto enfoque también utiliza un modelo 3D del cráneo. La tarea de SCC es reducida a un problema de visión artificial y solucionada por medio de un programa de ordenador. En este contexto, se denomina calibración de cámara al problema de estimar posición, orientación y objetivo de la cámara a partir de una fotografía de un objeto conocido. Para solucionar dicho problema se utilizan una serie de puntos de referencia, localizados tanto en el objeto 3D como en la fotografía. En el caso del SCC, se usan una serie de puntos anatómicos situados en el cráneo (puntos craneométricos) y en la cara (puntos cefalométricos). Puntos craneométricos y cefalométricos correspondientes se sitúan en posiciones próximas, siendo separados solo por una capa de tejido blando facial. De esto sigue que, cuando la cara y el cráneo están solapados, cada pareja de puntos anatómicos correspondientes tiene que solaparse exactamente. Este enfoque evita el proceso manual de ensayo y error para la colocación de cráneo, pero requiere la localización de un conjunto de puntos anatómicos tanto en la fotografía de la cara como en el modelo 3D del cráneo, y también la estimación del grosor del tejido blando facial para cada punto anatómico.
[0025] Dicha estimación se puede realizar utilizando valores medios recogidos en estudios poblacionales. La localización de puntos anatómicos es a su vez una tarea tediosa y subjetiva, aunque en una medida inferior al realizar un SCC por medio de uno de los enfoques anteriores.
[0027] Por todos estos motivos, la identificación forense mediante SCF no se considera una técnica de identificación primaria sino una técnica secundaria. Esta clasificación diferencia las técnicas consideradas más fiables, primarias (análisis de huellas dactilares, dientes o ADN), que permiten establecer una identificación positiva, de las técnicas secundarias, que contribuyen a una identificación al limitar las posibles coincidencias con el individuo. Por otro lado, ninguno de los enfoques existentes para las SCF se realiza de manera totalmente automática, lo que limita su aplicación en escenarios de múltiples comparaciones.
[0029] RESUMEN DE LA INVENCIÓN
[0031] La presente invención resuelve el problema técnico de comparar modelos 3D de uno o más cráneos previamente existentes con fotografías faciales de una o más personas de manera totalmente automática, objetiva y precisa. Se dispone para ello de (i) de modelos tridimensionales de dichos cráneos y (ii) de una o más fotografías faciales indubitadas de cada uno de los posibles candidatos. El procedimiento de identificación de la presente invención está basado en la superposición craneofacial implementada en un procesador y no necesita de intervención humana. Este proceso, además de automático, es mucho más rápido, y por lo tanto permite la identificación incluso en escenarios con un gran número de víctimas (comparaciones múltiples). Asimismo, el proceso proporciona un grado de soporte a la identificación objetivo, reproducible y preciso, permitiendo por primera vez la aplicación de la SCF como técnica de identificación primaria.
[0033] La invención permite tanto la comparación de un cráneo contra un gran número de fotografías, como la comparación de distintos cráneos contra una sola fotografía, e incluso la comparación de múltiples cráneos con múltiples fotografías.
[0035] El término “sujeto” se refiere en la presente invención a seres humanos. El término “fotografía facial” comprende fotografías de una persona en las que se aprecia la cara. El término “cráneo dubitado” se refiere, con carácter general, al cráneo de un sujeto de identidad desconocida. El término “fotografía indubitada” se refiere, con carácter general, a una fotografía de un sujeto de identidad conocida. El término “modelo 3D” se refiere a un modelo tridimensional digital
obtenido mediante un escaneo 3D basado en mediciones láser, fotogrametría, luz estructurada, tomografía axial computarizada, resonancia magnética u otros medios.
[0037] El procedimiento de la invención comprende los siguientes pasos, todos realizados mediante un ordenador:
[0039] 1. Detección de puntos craneométricos en los modelos 3D craneales
[0040] 2. Estimación del grosor y la dirección del tejido blando facial
[0041] 3. Detección de puntos cefalométricos en las fotografías faciales
[0042] 4. Estimación de la distancia cámara-sujeto (opcional)
[0043] 5. Filtrado basado en consistencias morfométricas entre cráneo y cara (opcional) 6. Solapamiento cráneo-cara en múltiples fotografías
[0044] 7. Toma de decisiones
[0046] El procedimiento de identificación empieza con la detección de puntos craneométricos en el modelo 3D del cráneo y la estimación del grosor y dirección tejido blando facial. Seguidamente se realiza una detección de puntos cefalométricos y opcionalmente una estimación de la distancia cámara-sujeto en cada una de las fotografías disponibles. Opcionalmente, a continuación se filtran resultados en función de la consistencia morfométrica entre cráneo y cara. Así, ciertas fotografías serán valoradas como no compatibles con el cráneo, y por lo tanto los sujetos relativos a dichas fotografías serán descartados. A continuación, para cada uno de los sujetos se solapa el cráneo a la cara en el conjunto de todas las fotografías de dicho sujeto, es decir, el procedimiento lleva a cabo un SCC para cada fotografía. Finalmente, se lleva a cabo un último paso de toma de decisiones automático, en el que a cada pareja de cráneo-sujeto comparados se le asigna una puntuación del grado de pertenencia y en base a esta una decisión positiva o negativa sobre si son o no la misma persona.
[0048] En los pasos 1, 2 y 3 se obtienen de forma automática, objetiva y precisa la información necesaria para el resto del proceso de SCF. Por lo tanto, dichos pasos permiten que el proceso completo sea automático, prescindiendo de la disponibilidad de un experto forense, ahorrando tiempo y obteniendo resultados objetivos y precisos. El paso 4 (opcional) añade precisión a los SCC al reducir el intervalo de búsqueda para el parámetro de la distancia cámara-sujeto, una aportación secundaria para que la técnica gane en precisión. El paso 5 (opcional) aporta rapidez a la invención, debido a que permite ahorrar el tiempo de llevar a cabo los SCC de los casos descartados. Finalmente, los pasos 6 y 7 terminan el proceso de
SCF de forma automática, precisa y objetiva. Estas últimas dos características son aportaciones clave para que la técnica pueda considerarse primaria
[0050] BREVE DESCRIPCIÓN DE LAS FIGURAS
[0052] Con objeto de ayudar a una mejor comprensión de las características de la invención y para complementar esta descripción, se acompaña como parte integrante de la misma unas figuras, cuyo carácter es ilustrativo y no limitativo.
[0054] La figura 1 muestra el proceso llevado a cabo por la invención, destacando los siete pasos que lo componen. El proceso empieza con la detección de puntos craneométricos en los modelos 3D de cráneos (paso 1) y sigue con la estimación del tejido blando facial (paso 2). A continuación, se lleva a cabo la detección de puntos cefalométricos en cada fotografía (paso 3) y la estimación de la distancia cámara-sujeto (paso 4). El proceso sigue con el emparejamiento de cada cráneo con cada conjunto de fotografías del mismo sujeto. A continuación, se realiza el filtrado de casos basado en correspondencias morfométricas (paso 5), seguido por el solapamiento cráneo-cara (paso 6). El proceso termina con el paso de toma de decisiones (paso 7).
[0056] La figura 2 muestra los parámetros utilizados en el modelado de la incertidumbre sobre el tejido blando facial.
[0058] DESCRIPCIÓN DETALLADA
[0060] 1. Detección de puntos craneométricos en el modelo 3D craneal
[0062] Este proceso consta de dos fases. En la primera fase se emplea una plantilla (un modelo 3D generado a partir de múltiples modelos 3D de cráneos) donde se han localizado los puntos craneométricos. Tanto el proceso de obtención de la plantilla como el de la localización de puntos craneométricos en la misma se ha realizado como paso previo al desarrollo de la invención y no es necesario volver a hacerlo. Mediante un algoritmo, dicha plantilla se adapta en dimensiones y se alinea con el cráneo escaneado, de forma que los dos queden superpuestos. A continuación, otro algoritmo transfiere los puntos craneométricos de la plantilla al cráneo; concretamente, cada punto craneométrico se localiza en el punto más cercano del cráneo, proporcionando así su localización inicial. En la segunda fase, otro algoritmo se encarga de refinar la localización de cada punto craneométrico según un criterio
específico para cada tipo de puntos craneométrico. Dichos criterios se pueden agrupar en cuatro familias:
[0064] a. Simetría. Un algoritmo calcula el plano medio-sagital del cráneo; la posición inicial de un punto craneométrico se reemplaza con la del punto más cercano en el plano mediosagital.
[0065] b. Contornos. Un algoritmo detecta los contornos de las fosas nasales y oculares; la posición inicial de un punto craneométrico se reemplaza con la del punto más cercano dentro de los contornos.
[0066] c. Puntos extremos. Un algoritmo reemplaza la posición inicial de un punto craneométrico con la del punto más superior/inferior, anterior/posterior o lateral en la cercanía del punto inicial.
[0067] d. Suturas. Un algoritmo detecta las suturas del cráneo; la posición inicial de un punto craneométrico se reemplaza con la del punto más cercano dentro de la sutura. e. Cálculos geométricos. Los puntos craneométricos cuya posición se obtiene a partir de un cálculo sobre la posición de otros puntos craneométricos (p. ej. el punto medio entre dos puntos craneométricos) se colocan en el punto más cercano del cráneo a partir de la posición calculada.
[0069] 2. Estimación del grosor y dirección del tejido blando facial
[0071] El tejido blando facial es un elemento clave para SCF. Dado un cráneo y la localización de los puntos craneométricos, el procedimiento estima la posición 3D de los puntos cefalométricos correspondientes. Para hacerlo, se usa un algoritmo capaz de estimar por un lado el grosor del tejido blando facial entre cada par de puntos anatómicos correspondientes, y por el otro la dirección del vector que une el punto craneométrico y cefalométrico. Para desarrollar dicho algoritmo se ha utilizado un modelo de Aprendizaje Automático (AA) que se ha entrenado sobre una base de datos, de creación propia, de modelos 3D craneales y faciales de los mismos sujetos. En dichos modelos 3D se han localizado tanto los puntos cefalométricos como los craneométricos y a continuación se ha calculado longitud y dirección de los vectores entre puntos anatómicos correspondientes. Finalmente, el conjunto de datos incluye información sobre los sujetos, en concreto edad, ascendencia, sexo e índice de masa corporal. Para el modelo de AA se pueden utilizar modelos de regresión como regresión lineal por mínimos cuadrados ordinarios, máquinas de vectores de soporte, random forest o redes neuronales artificiales. En la realización preferente de la invención se utiliza una red neuronal artificial.
[0072] 3. Detección de puntos cefalométricos en las fotografías faciales
[0074] El sistema de detección de puntos anatómicos se encarga de localizar los puntos cefalométricos visibles en una fotografía facial. El sistema es el resultado de un proceso de aprendizaje automático. Para ello se crea un conjunto de datos compuesto de fotografías faciales donde se ha anotado de forma manual la posición de los puntos cefalométricos. Estos datos se utilizan para entrenar una red neuronal profunda, empleando la arquitectura y los pesos iniciales de una red existente. Destacar que el sistema puede clasificar como “no visibles” los puntos anatómicos que no resultan visibles en la fotografía debido a la pose del sujeto.
[0076] El proceso de entrenamiento modifica la red inicial y adapta su funcionamiento a la detección de un conjunto específico de puntos cefalométricos. Distinguimos dos etapas de entrenamiento. En la primera se utilizan fotografías faciales simuladas a partir de modelos 3D de cara, mientras que en la segunda se emplean un conjunto de fotografías reales.
[0078] Como red neuronal se pueden utilizar redes neuronales. En la realización preferente de la invención se utiliza una red neuronal convolucional.
[0080] 4. Estimación de la distancia cámara-sujeto
[0082] La estimación de la distancia entre el sujeto de una fotografía y la cámara que la ha tomado se lleva a cabo mediante un modelo de AA. Para entrenar dicho modelo de AA se ha utilizado una base de datos, de creación propia, de fotografías con diferentes sujetos, de diferentes etnias, edades y sexos, a diferentes distancias, con distintas focales y en distintas poses. El entrenamiento se llevó a cabo en dos fases. En la primera, se utilizó un conjunto de fotografías faciales simuladas a partir de modelos faciales 3D, mientras que en la segunda se emplearon las fotografías reales. Como modelo de AA se pueden emplear redes neuronales artificiales. En la realización preferente de la invención se utiliza una red neuronal convolucional de regresión.
[0084] 5. Filtrado basado en consistencia morfométricas entre cráneo y cara
[0086] El objetivo del sistema de filtrado es poder excluir candidatos sin tener que llevar a cabo un SCC, con el consiguiente ahorro en tiempo de cálculo. En concreto, el sistema de filtrado tarda milésimas de segundo, mientras que una superposición necesita segundos.
[0087] El sistema de filtrado desarrollado es un modelo de AA que aprende dos relaciones de forma separada: 1) la relación entre índices 3D de un cráneo e índices 3D de la cara correspondiente; 2) la relación entre índices faciales 3D e índices faciales 2D. Finalmente, el método integra las dos relaciones, permitiendo la comparación de índices faciales 2D con índices craneales 3D, proporcionando un método de exclusión que permite descartar que el sujeto de un determinado cráneo sea la persona que aparece en una fotografía. Para el modelo de AA se pueden utilizar modelos de regresión como regresión lineal por mínimos cuadrados ordinarios, máquinas de vectores de soporte, random forest o redes neuronales artificiales. En la realización preferente de la invención se utiliza una red neuronal artificial.
[0089] 5.1 Estimación de índices faciales 3D a partir de índices faciales 2D
[0091] Este método de estimación también se obtiene como resultado del diseño, desarrollo y entrenamiento de un modelo de AA. Para ello se utilizan modelos 3D faciales de distintos sujetos donde se han localizado los puntos cefalométricos. Sobre esos modelos se miden los índices faciales 3D. A continuación, para cada modelo facial se simulan fotos en diferentes poses. Sobre cada fotografía simulada se localizan los puntos cefalométricos, se miden los índices faciales 2D y se registra la focal de la cámara, la distancia cámara-sujeto y la pose de la cara. Esto proporciona el conjunto de datos para la tarea de estimación. A continuación, se utiliza un algoritmo de regresión para obtener un método de estimación de los índices faciales 3D a partir de los índices faciales 2D y la información sobre la fotografía. La estimación se lleva a cabo en forma de intervalo de predicción.
[0093] 5.2 Estimación de índices craneales 3D a partir de índices faciales 3D
[0095] Este método de estimación también se obtiene como resultado del diseño, desarrollo y entrenamiento de un modelo de AA. Para ello se utiliza el conjunto de datos del paso 2, que incluye modelos 3D faciales y craneales de distintos sujetos, y se miden los correspondientes índices faciales y craneales 3D. Esto proporciona el conjunto de datos para la tarea de estimación. A continuación, se utiliza un algoritmo de regresión para obtener un método de estimación de los índices craneales 3D a partir de los índices faciales 3D. La estimación se lleva a cabo en forma de intervalo de predicción, en lugar de estimación puntual.
[0096] 5.3 Estimación de índices craneales 3D a partir de índices faciales 2D
[0098] El algoritmo integra los dos modelos de AA anteriores. A partir de índices faciales 2D se estiman los índices faciales 3D, obteniendo una serie de intervalos delimitados por sus valores máximos y mínimos. A continuación, para cada índice se consideran los dos valores extremos y se aplica el método de estimación de índices craneales 3D, lo cual proporciona dos intervalos para cada índice facial. Finalmente, se unen los intervalos correspondientes a cada índice, de manera que al final del proceso tenemos una estimación (en forma de intervalo individual) de cada uno de los índices craneales 3D.
[0100] 5.4 Algoritmo de descarte o filtrado
[0102] El algoritmo de filtrado tiene el objetivo de descartar a los sujetos cuyo cráneo no es compatible con la fotografía. Con ese fin, el algoritmo calcula los índices craneales del cráneo candidato y compara los intervalos estimados con los índices faciales 2D relativos a la fotografía encontrada. Si uno o más índices del cráneo caen fuera de los intervalos predichos con la estimación, el sujeto de la fotografía queda descartado.
[0104] 6. Solapamiento cráneo-cara en múltiples fotografías
[0106] El sistema para el SCC sigue el cuarto enfoque mencionado en la introducción, es decir, reduciendo el problema al solapamiento de puntos craneométricos y faciales, y resolviendo este último como un problema de calibración de una cámara. A continuación, se divide la descripción del algoritmo utilizado en tres etapas que se llevan a cabo de forma consecutiva.
[0108] 6.1 Modelado de la localización de los puntos cefalométricos teniendo en cuenta la incertidumbre sobre el tejido blando facial
[0110] En este paso se modelan las posibles posiciones de los puntos de cefalométricos 3D basándose en la posición de los puntos craneométricos 3D. En primer lugar se utiliza el algoritmo de estimación del grosor y dirección del tejido blando facial para obtener el grosor del tejido blando y la correspondiente dirección entre cada par de puntos anatómicos correspondientes. A continuación, el sistema define una región con forma aproximada de un cono truncado, cuyo ápice coincide con el punto craneométrico y cuyo eje D corresponde a la dirección estimada (figura 2). El ángulo del ápice del cono es A, el cono tiene altura L2 y la altura de la truncadura es L1. De forma equivalente, la región incluye a los puntos X con la
característica que el vector LM-X tiene longitud comprendida entre L1 y L2 y el ángulo entre LM-X y D es inferior a A/2.
[0111] Los valores de L1, L2 y A son específicos de cada tipo de punto anatómico y se establecen a partir de los mismos datos utilizados para entrenar el modelo de AA que estima el grosor y la dirección del tejido blando.
[0113] 6.2 Calibración de la cámara basada en puntos de referencia
[0115] Para resolver el problema de calibración de la cámara basada en puntos de referencia, la invención utiliza un algoritmo de optimización iterativo, que incluye el modelado de la incertidumbre sobre el tejido blando y la localización de los puntos anatómicos, así como el uso de información a priori sobre la fotografía (focal y estimación de la distancia cámara sujeto). Estos tres elementos novedosos permiten mejorar tanto la precisión como la velocidad del sistema. Dicho algoritmo es capaz de estimar la posición y orientación de la cámara junto a su distancia focal, recibiendo como entrada un conjunto de puntos anatómicos localizados tanto en el modelo 3D del cráneo como en la fotografía de la cara.
[0117] 6.3 SCC sobre múltiples fotografías del mismo sujeto de manera simultánea
[0119] El sistema para el SCC realiza un proceso de optimización iterativo. En cada iteración, el sistema lleva a cabo varias operaciones. Primero, se estima el tejido blando, eligiendo de forma aleatoria un punto 3D dentro de la región estimada para cada punto craneométrico. Segundo, se utiliza un algoritmo de calibración de la cámara que coge como entrada los puntos cefalométricos 2D de cada fotografía y los puntos cefalométricos 3D resultado de la estimación del tejido blando. El algoritmo devuelve, para cada fotografía, la posición, orientación y distancia focal de la cámara. Tercero, utilizando la información de salida del algoritmo de calibración, para cada fotografía se calcula la posición de los puntos cefalométricos 3D estimados una vez proyectados en la fotografía. A continuación, para cada fotografía se calcula elerror de superposición, definido como la suma de las distancias euclidianas entre los puntos cefalométricos 2D de la fotografía y los puntos cefalométricos 3D estimados y proyectados en la fotografía. Una vez calculado el error de superposición para cada fotografía, se calcula el valor promedio. Cuarto, el proceso termina si el error de superposición promedio alcanzado es inferior a un umbral predeterminado, o alternativamente se pasa a una nueva iteración. A cada iteración, el proceso de optimización favorece el muestreo de puntos que producen un SCC cuyo error de superposición es más bajo. De esta manera, iteración tras iteración el proceso consigue alcanzar superposiciones con menor error
de superposición, lo cual conlleva que los puntos cefalométricos 3D estimados van acercándose y finalmente solapándose con los puntos cefalométricos 2D de cada fotografía.
[0121] 7. Toma de decisiones
[0123] El algoritmo de toma de decisiones calcula, para cada candidato, un grado de soporte a la identificación y una decisión de identificación, basado en múltiples fuentes de información:
[0125] a. la calidad de las fotografías disponibles, valorada en el paso 2
[0126] b. la consistencia morfométrica entre cráneo y cara, usando la información proporcionada por el paso 5
[0127] c. el error de superposición promedio sobre las fotografías del sujeto, proporcionado por el paso 6
[0128] d. la verosimilitud de la distancia entre pares de puntos anatómicos en cada una de los SCC con respecto al estudio de tejido blando de la población de referencia
[0130] A continuación se detalla el cálculo de todas estas cantidades y su integración final en un único valor para cada sujeto.
[0132] 7.1 Calidad de las fotografías
[0134] La calidad de cada fotografía CF se valora mediante (1) el número NL de puntos cefalométricos detectados como visibles por el paso 2 y (2) el área de la fotografía AF ocupada por puntos cefalométricos, concretamente el área del rectángulo más pequeño entre aquellos que incluyen en su interior a todos los puntos cefalométricos detectados. Se utiliza la siguiente fórmula:
[0136] CF = ( NL AF/1’000’000 ) / 100
[0138] 7.2 Consistencia morfométrica entre cráneo y cara
[0140] Esta cantidad se calcula para cada fotografía estimando los índices faciales 2D a partir del cráneo y comparando los intervalos obtenidos con los índices faciales 2D relativos a la fotografía. Si para un índice el intervalo estimado es [A,B] y el valor asociado a la fotografía es C, se valora la consistencia morfométrica con la cantidad:
[0141] ● 0 si C < A o C > B
[0142] ● 2(C-A) / (B-A) si C < (A+B)/2
[0143] ● 2(B-C) / (B-A)
[0145] A continuación, los valores asociados a cada índice se multiplican entre ellos, dando origen al valor asociado a una fotografía. Finalmente, el valor asociado a un sujeto es el producto de los valores de sus fotografías.
[0147] 7.3 Error de superposición
[0149] El error de superposición asociado a un sujeto es el error de superposición promedio sobre las fotografías de dicho sujeto tras el SCC automático.
[0151] 7.4 Verosimilitud del tejido blando
[0153] Esta cantidad mide la verosimilitud del grosor del tejido blando facial asociado a cada par de puntos anatómicos. Para ello se emplea información derivada de un estudio poblacional proprio, donde se modela la distribución estadística del grosor del tejido blando. El punto de partida es el conjunto de vectores estimados durante solapamiento cráneo-cara. Para cada vector se calcula su longitud y se compara con la distribución del grosor, calculando la probabilidad de dicha longitud dentro de la distribución. Finalmente, el valor de verosimilitud es el producto de dichas probabilidades.
[0155] 7.5 Grado de soporte a la identificación
[0157] El grado de soporte a la identificación (GS) se calcula agregando la información de la calidad la fotografía (CF), consistencia morfométrica (CM), error de superposición (ES) y verosimilitud del tejido blando (VT), según la siguiente fórmula:
[0159] GS = CF * CM * VT / ES
[0161] El grado de soporte a la identificación es utilizado en escenarios de comparaciones múltiples, siendo el individuo con mayor grado de soporte el candidato propuesto por el sistema. Asimismo, el sistema devuelve un ranking de los candidatos, es decir una lista ordenada de los candidatos cuyo orden sigue el grado de soporte.
[0162] Las ventajas de la presente invención frente al estado de la técnica son fundamentalmente:
[0164] ● posibilita llevar a cabo una identificación sin depender de la disponibilidad de un experto forense con experiencia específica en la aplicación de la técnica de superposición;
[0165] ● proporciona una información precisa, objetiva, reproducible y de fácil explicación, evitando la valoración subjetiva de un experto;
[0166] ● permite un ahorro de tiempo de horas a segundos;
[0167] ● hace posible aplicar la técnica de superposición a escenario con un gran número de víctimas, donde se necesita un número aún más grande de SCF, lo cual es completamente inviable con las técnicas no automáticas debido a su largo tiempo de ejecución.
[0169] 7.6 Decisión de la identificación
[0171] En su paso final la invención toma la decisión de identificación utilizando el grado de soporte a la identificación. Concretamente, se establece una identificación positiva cuando se sobrepasa un valor de razón de verosimilitud de 10 considerando una cohorte de referencia.
[0173] A la vista de esta descripción y figuras, el experto en la materia podrá entender que la invención ha sido descrita según la realización preferente de la misma, pero que múltiples variaciones pueden ser introducidas en dicha realización preferente sin exceder el objeto de la invención tal y como ha sido reivindicada.
Claims (5)
1. REIVINDICACIONES
1.- Procedimiento implementado por ordenador para la identificación automática de múltiples cráneos con distintos sujetos, cuando se dispone (i) de un modelo tridimensional de cada cráneo y (ii) de una o más fotografías faciales indubitadas de cada uno de los sujetos candidatos, caracterizado por los siguientes pasos:
- detección automática de puntos craneométricos en los modelos tridimensionales de cada cráneo mediante:
o aplicación de una plantilla donde se han localizado los puntos craneométricos;
o adaptación en dimensiones de dicha plantilla al modelo tridimensional del cráneo;
o alineación de la plantilla con dicho modelo de forma que los dos queden superpuestos,
o transferencia de los puntos craneométricos al modelo tridimensional del cráneo;
o refinamiento de la posición de los puntos craneométricos según criterios específicos para cada punto utilizando información sobre ejes de simetría, contornos de fosas nasales y oculares, puntos extremos de los ejes anatómicos, posición de suturas;
- estimación automática de grosor y dirección del tejido blando facial, mediante el uso de un modelo de aprendizaje automático previamente entrenado con datos reales de ascendencia, edad, género, índice de masa corporal y longitudes y direcciones de vectores correspondientes a puntos craneométricos y cefalométricos equivalentes localizados en modelos 3D craneales y faciales del mismo sujeto.- detección de puntos cefalométricos visibles y no visibles en las fotografías faciales, mediante el uso de un modelo de aprendizaje automático previamente entrenado con miles de fotografías y sus respectivos puntos cefalométricos;
- solapamiento automático cráneo-cara con una o múltiples fotografías al mismo tiempo, mediante:
o uso de información a priori: focal, pose y estimación de la distancia cámarasujeto;
o modelado del error de marcado de puntos cefalométricos y de la incertidumbre del grosor y la dirección del tejido blando;
o estimación del tejido blando compartida entre fotografías en los casos en los que se dispone de varias fotografías del mismo sujeto;
o proyección del modelo del cráneo 3D sobre la o las fotografías faciales 2D basada en la información, modelado y estimación anteriores;
- cálculo de un grado de soporte para cada solapamiento, agregando información de:
o la calidad de las fotografías disponibles, incluyendo la cantidad de puntos visibles detectados en cada fotografía
o la consistencia morfométrica entre cráneo y cara
o el error de superposición promedio sobre las fotografías del sujeto o la verosimilitud del tejido blando con respecto a la población humana; y - toma de decisiones automática, en la que se presenta una lista ordenada en función del grado de soporte calculado de las posibles correspondencias entre el modelo tridimensional de cada cráneo y la o las fotografías faciales con las que éste se compara.
2.- Procedimiento de identificación de múltiples cráneos con distintos sujetos según la reivindicación 1, donde el modelo de aprendizaje automático empleado en el paso de estimación automática de grosor y dirección del tejido blando facial comprende una red neuronal artificial.
3.- Procedimiento de identificación de múltiples cráneos con distintos sujetos según cualquiera de las reivindicaciones 1 o 2, donde el paso de refinamiento de la posición de los puntos craneométricos comprende:
- calcular, mediante el uso de un algoritmo, el plano medio-sagital del cráneo y se reemplazar la posición inicial de un punto craneométrico con la del punto más cercano en dicho plano mediosagital calculado;
- detectar, mediante el uso de un algoritmo, los contornos de las fosas nasales y oculares y se reemplazar la posición inicial de un punto craneométrico con la del punto más cercano dentro de dichos contornos detectados;
- reemplazar, mediante el uso de un algoritmo, la posición inicial de un punto craneométrico con la del punto más superior/inferior, anterior/posterior o lateral en la cercanía del punto inicial;
- detectar, mediante el uso de un algoritmo, las suturas del cráneo y se reemplazar la posición inicial de un punto craneométrico con la del punto más cercano dentro de dicha sutura detectada; y
- colocar aquellos puntos craneométricos cuya posición se obtiene a partir de un cálculo sobre la posición de otros puntos craneométricos en el punto más cercano del cráneo a partir de la posición calculada.
4.- Procedimiento de identificación de múltiples cráneos con distintos sujetos según cualquiera de las reivindicaciones 1-3, que comprende, antes del paso de solapamiento automático cráneo-cara, un paso automático de estimación de la distancia cámara-sujeto de la fotografía facial, basada en la estimación de la posición y orientación de la cámara junto a su distancia focal, caracterizado por que se utiliza un modelo de aprendizaje automático previamente entrenado con miles de fotografías cuya distancia cámara-sujeto es conocida, y donde el paso de solapamiento automático cráneo-cara comprende la utilización de fotografías en las que la cara muestra cualquier pose, obtenidas con cualquier distancia focal.
5.- Procedimiento de identificación de múltiples cráneos con distintos sujetos según cualquiera de las reivindicaciones 1-4, que comprende, antes del paso de solapamiento automático cráneo-cara, un paso automático de descarte de candidatos cuyo cráneo no es compatible con la fotografía, que comprende:
- el uso de un modelo de aprendizaje automático previamente entrenado con miles de fotografías y modelos 3D de cráneos para estimar automáticamente un conjunto de índices craneales 3D a partir de índices faciales 2D;
- la comparación de los índices craneales 3D estimados con los puntos craneométricos detectados en los modelos tridimensionales de cada cráneo; y
- el descarte de las fotografías faciales cuyos índices craneales 3D asociados no entren en un intervalo predeterminado según la comparación anterior.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202130618A ES2932181B2 (es) | 2021-07-02 | 2021-07-02 | Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la cara |
| EP22832249.1A EP4365837A4 (en) | 2021-07-02 | 2022-06-29 | FORENSIC IDENTIFICATION METHOD BY AUTOMATIC COMPARISON OF A 3D MODEL OF THE SKULL AND PHOTOGRAPH(S) OF THE FACE |
| US18/575,992 US12536742B2 (en) | 2021-07-02 | 2022-06-29 | Method for forensic identification by automatically comparing a 3D model of a skull with one or more photos of a face |
| PCT/ES2022/070413 WO2023275420A1 (es) | 2021-07-02 | 2022-06-29 | Procedimiento de identificación forense mediante comparación automática de modelo 3d del cráneo y fotografía(s) de la cara |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202130618A ES2932181B2 (es) | 2021-07-02 | 2021-07-02 | Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la cara |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2932181A1 ES2932181A1 (es) | 2023-01-16 |
| ES2932181B2 true ES2932181B2 (es) | 2026-02-04 |
Family
ID=84690741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES202130618A Active ES2932181B2 (es) | 2021-07-02 | 2021-07-02 | Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la cara |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12536742B2 (es) |
| EP (1) | EP4365837A4 (es) |
| ES (1) | ES2932181B2 (es) |
| WO (1) | WO2023275420A1 (es) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1801213A (zh) * | 2005-09-30 | 2006-07-12 | 铁岭市公安局213研究所 | 三维颅骨身源鉴定方法及设备 |
| ES2353099B1 (es) * | 2009-07-30 | 2012-01-02 | Fundacion Para Progreso Soft Computing | Método y sistema de identificación forense por superposición craneofacial basado en soft computing. |
| US10007988B2 (en) * | 2014-02-28 | 2018-06-26 | The Board Of Regents Of The Nevada System Of Higher Education On Behalf Of The University Of Nevada, Las Vegas | Systems and methods for approximating the soft tissue profile of the skull of an unknown subject |
| GB2543893A (en) * | 2015-08-14 | 2017-05-03 | Metail Ltd | Methods of generating personalized 3D head models or 3D body models |
| CN109146845A (zh) * | 2018-07-16 | 2019-01-04 | 中南大学 | 基于卷积神经网络的头颅影像标志点检测方法 |
| US20220215625A1 (en) * | 2019-04-02 | 2022-07-07 | The Methodist Hospital System | Image-based methods for estimating a patient-specific reference bone model for a patient with a craniomaxillofacial defect and related systems |
| US11403801B2 (en) * | 2020-09-18 | 2022-08-02 | Unity Technologies Sf | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation |
-
2021
- 2021-07-02 ES ES202130618A patent/ES2932181B2/es active Active
-
2022
- 2022-06-29 US US18/575,992 patent/US12536742B2/en active Active
- 2022-06-29 EP EP22832249.1A patent/EP4365837A4/en active Pending
- 2022-06-29 WO PCT/ES2022/070413 patent/WO2023275420A1/es not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP4365837A1 (en) | 2024-05-08 |
| ES2932181A1 (es) | 2023-01-16 |
| US20240320911A1 (en) | 2024-09-26 |
| EP4365837A4 (en) | 2025-04-16 |
| WO2023275420A1 (es) | 2023-01-05 |
| US12536742B2 (en) | 2026-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2785035T3 (es) | Procedimiento de evaluación de un alineador ortodóntico | |
| ES2957958T3 (es) | Procedimiento para analizar una imagen de una arcada dental | |
| US11430203B2 (en) | Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image | |
| ES3052996T3 (en) | Method of tracking motion of a body part using a motion sensor and radiographic images to create a virtual dynamic model | |
| ES3009901T3 (en) | Method for analysing an image of a dental arch | |
| ES2869274T3 (es) | Método de análisis de una imagen de una arcada dental | |
| US10269122B2 (en) | Knowledge-based automatic image segmentation | |
| ES2353099B1 (es) | Método y sistema de identificación forense por superposición craneofacial basado en soft computing. | |
| US20120046543A1 (en) | Patient Breathing Modeling | |
| WO2020136303A1 (es) | Procedimiento de identificación de imágenes óseas | |
| BR112020012480A2 (pt) | sistemas e métodos para estimativa de uma pose tridimensional de um dispositivo de higiene oral com marcadores visuais | |
| CN114557769A (zh) | 一种肺小结节的定位方法 | |
| US20150302603A1 (en) | Knowledge-based automatic image segmentation | |
| Ghasemzadeh et al. | Method for vertical calibration of laser-projection transnasal fiberoptic high-speed videoendoscopy | |
| CN115187606B (zh) | 一种青少年特发性脊柱侧凸pumc分型方法 | |
| JP5493133B2 (ja) | 開曲線フーリエ記述子を用いたx線画像処理方法及びシステム | |
| ES2932181B2 (es) | Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la cara | |
| Tu et al. | Intracranial volume quantification from 3D photography | |
| EP2009613A1 (en) | System for simultaing a manual interventional operation | |
| Serrurier et al. | Robust femur condyle disambiguation on biplanar X-rays | |
| ES3001435T3 (en) | Device and method for intraoperative reconstruction of bone 3d models | |
| CN107408301A (zh) | 使用通道检测对图像数据中的对象的分割 | |
| CN113781453A (zh) | 一种基于x线片的脊柱侧凸进展预测及方法和装置 | |
| ES2957496A1 (es) | Procedimiento para la seleccion entre un grupo de donantes mediante matching facial (pareo facial), a traves de una imagen facial 2d del sujeto donante | |
| CN117694911B (zh) | 术后假体位置和角度的确定方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 2932181 Country of ref document: ES Kind code of ref document: A1 Effective date: 20230116 |
|
| FG2A | Definitive protection |
Ref document number: 2932181 Country of ref document: ES Kind code of ref document: B2 Effective date: 20260204 |