ES2980813T3 - Método y sistema de análisis de imágenes - Google Patents

Abstract

Un método y sistema de análisis de imágenes implementado por computadora. El método comprende: cuantificar una o más características segmentadas e identificadas a partir de una imagen médica de un sujeto; extraer características clínicamente relevantes a partir de datos no relacionados con imágenes pertenecientes al sujeto; evaluar las características segmentadas a partir de la imagen médica y las características extraídas de los datos no relacionados con imágenes con un modelo de aprendizaje automático entrenado; y generar uno o más resultados de la evaluación de las características. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Método y sistema de análisis de imágenes

Solicitud relacionada

Esta solicitud se basa y reivindica prioridad de la solicitud de patente de EE. UU. N.° 16/448.460 presentada el 21 de junio de 2019.

Campo de la invención

La presente invención se refiere a un método y sistema de análisis de imágenes, de aplicación particular, pero no exclusiva, en el diagnóstico por imágenes médicas, tal como para diagnosticar y monitorear enfermedades o afecciones en imágenes (por ejemplo, musculoesqueléticas). La región de interés puede ser una región 2D o un volumen 3D en dichas imágenes médicas. Las posibles aplicaciones del diagnóstico por imágenes médicas incluyen el diagnóstico por imágenes por tomografía computarizada (CT), resonancia magnética (MR), ultrasonido y escáner de patología.

Antecedentes

La morbilidad, mortalidad y los costos asociados con la aparición de enfermedades relacionadas con el sistema musculoesquelético están aumentando, en parte debido a que la longevidad aumenta la proporción de la población anciana. La detección temprana de enfermedades musculoesqueléticas facilita la intervención que puede reducir la progresión de la enfermedad o minimizar las consecuencias negativas (tales como las fracturas óseas).

En el campo del diagnóstico por imágenes musculoesqueléticas, se utilizan diversos enfoques para detectar enfermedades musculoesqueléticas. Por ejemplo, la biopsia ósea se utiliza para detectar cáncer de huesos u otras enfermedades óseas y puede medir con precisión las características de los tejidos. Sin embargo, las biopsias óseas son invasivas y pueden causar dolor y cicatrices.

En otros enfoques, las enfermedades musculoesqueléticas se evalúan mediante el análisis de imágenes musculoesqueléticas para identificar o cuantificar anomalías, las imágenes recopiladas con diversas modalidades de diagnóstico por imágenes, incluida DXA (absorciometría de rayos X de doble energía), CT (tomografía computarizada), MRI (imagen por resonancia magnética) y escáner de rayos X. Cada modalidad tiene ventajas específicas en el cribado y evaluación de enfermedades musculoesqueléticas (tal como fragilidad ósea, osteoartritis, artritis reumatoide, osteomalacia y deformidad ósea).

Por ejemplo, HRpQCT (tomografía computarizada cuantitativa periférica de alta resolución) es de alta resolución, baja radiación y no invasiva; se utiliza para evaluar tres determinantes importantes de la calidad ósea: microarquitectura, mineralización y propiedades biomecánicas.

Existen técnicas manuales, semimanuales y automatizadas para evaluar las enfermedades musculoesqueléticas, involucrando diversas modalidades de diagnóstico por imágenes. Por ejemplo, la puntuación de BMB (carga de médula ósea) es un método de MRI para evaluar manualmente el grado de compromiso medular en la enfermedad de Gaucher. Los radiólogos miden una puntuación de BMB con una imagen por MRI de la columna lumbar y el fémur, utilizando la intensidad y distribución de la señal de acuerdo con los criterios de clasificación. Por ejemplo, una puntuación conocida oscila entre 0 y 8 para la columna lumbar y entre 0 y 8 para los fémures, para una puntuación global de 0 a 16. Una puntuación total de BMB mayor indica un compromiso más grave de la médula ósea.

La medición de la densidad mineral ósea mediante imágenes de DXA se realiza de forma semimanual. La columna o la cadera se escanean mediante DXA. El radiólogo o médico selecciona la región de interés (tal como diferentes secciones de la columna en la exploración de la columna y el cuello femoral en la exploración de la cadera). La densidad mineral ósea de las regiones seleccionadas se determina basándose en una fórmula de calibración de densidad predefinida. El valor de densidad medido se convierte en una puntuación T comparándolo con mediciones de una población de adultos jóvenes del mismo sexo con masa ósea máxima. Una puntuación T de > -1 se considera normal; una puntuación T -2,5 < T < -1 se clasifica como osteopenia; una puntuación T de < -2,5 se define como osteoporosis. El médico considera la puntuación T cuando evalúa el riesgo de desarrollo de fracturas y si se debe recomendar el tratamiento.

Sin embargo, las principales preocupaciones en los análisis manuales o semimanuales de imágenes musculoesqueléticas incluyen la intensidad del trabajo y la reproducibilidad. No se puede garantizar la precisión y reproducibilidad, debido a la subjetividad en las mediciones y su evaluación.

Un método automatizado existente para evaluar las imágenes musculoesqueléticas se divulga en la patente de EE. UU.

N.° 9.064.320, titulada "Method and system for image analysis of selected tissue structures". Este método analiza y evalúa automáticamente una imagen musculoesquelética, tal como una CT de muñeca. El método se puede utilizar automáticamente para extraer el radio de la CT de muñeca, segmentar el radio en microestructuras (concretamente, corteza compacta, zona de transición y región trabecular), y cuantificar la porosidad cortical y la densidad trabecular. Los métodos conocidos se han centrado principalmente en cada medición individual, lo cual no ayuda a comprender si determinados atributos musculoesqueléticos pueden discriminar entre personas con y sin enfermedad. Por ejemplo, la puntuación de BMB evalúa el compromiso de la médula ósea sólo en la enfermedad de Gaucher; la puntuación de BMD evalúa las contribuciones de la densidad mineral ósea sólo al riesgo de fractura; la porosidad cortical mide un atributo importante del hueso, pero no proporciona información completa sobre la microestructura ósea.

El documento US 2019/139641 divulga una red de aprendizaje automático para estimar parámetros fisiológicos, en el que el bucle presión-volumen de un paciente se estima en tiempo real. Los datos sintéticos (tales como los generados por una red generativa adversaria) se utilizan para entrenamiento automático de la red, además de, o en lugar de, los datos reales del paciente.

El documento US 2019/027252 divulga un sistema de análisis médico que incluye un modelo de aprendizaje automático para procesar imágenes de tejido de pacientes para entrenar el modelo de aprendizaje automático o para uso clínico (por ejemplo, para ayudar con el diagnóstico). Una interfaz de usuario permite a los usuarios ayudar a diagnosticar al menos una parte del tejido capturado en la imagen del paciente.

El documento US 2018/247020 divulga un método para evaluar la salud ósea de un sujeto, que incluye la extracción de características de interés (a partir de datos de sujetos no invasivos, imágenes médicas y valores de marcadores de reemplazo óseo específicos del sujeto), y utiliza un modelo sustituto y las características de interés para predecir medidas de interés relacionadas con la salud ósea.

Sumario

De acuerdo con un primer aspecto de la presente invención, se proporciona un método de análisis de imágenes implementado por ordenador de acuerdo con la reivindicación 1.

Por tanto, al combinar una pluralidad de características extraídas de datos de imagen y no imagen utilizando algoritmos de aprendizaje automático (tal como algoritmos de aprendizaje profundo), la presente invención se puede utilizar para diagnosticar y monitorear enfermedades o afecciones en el diagnóstico por imágenes médicas, tales como imágenes musculoesqueléticas.

De acuerdo con un segundo aspecto de la presente invención, se proporciona un sistema de análisis de imágenes de acuerdo con la reivindicación 8.

De acuerdo con un tercer aspecto de la presente invención, se proporciona un código de programa informático que comprende instrucciones configuradas, cuando se ejecuta mediante uno o más dispositivos informáticos, para implementar el método de análisis de imágenes del primer aspecto.

Cabe señalar que cualquiera de las diversas características individuales de cada uno de los aspectos anteriores de la invención, y cualquiera de las diversas características individuales de las realizaciones descritas en el presente documento, incluidas las reivindicaciones, se pueden combinar según convenga y se desee.

Breve descripción de los dibujos

Para que la invención pueda determinarse más claramente, a continuación, se describirán las realizaciones, a modo de ejemplo, haciendo referencia a los dibujos adjuntos, en los que:

La Figura 1 es una vista esquemática de un sistema de análisis de imágenes médicas de acuerdo con una realización de la presente invención;

Las Figuras 2A y 2B son vistas esquemáticas de datos de imagen ilustrativos, almacenados en la memoria del sistema de análisis de imágenes médicas de la Figura 1;

Las Figuras 3A y 3B representan esquemáticamente ejemplos del almacén de datos de no imagen, despoblado y poblado respectivamente, del sistema de análisis de imágenes médicas de la Figura 1;

La Figura 4 es una representación esquemática del funcionamiento del procesador de datos de imagen del sistema de análisis de imágenes médicas de la Figura 1, en una aplicación de fragilidad ósea;

La Figura 5 es una representación esquemática del funcionamiento del procesador de datos de no imagen del sistema de análisis de imágenes médicas de la Figura 1, sobre datos de no imagen ilustrativos que incluyen datos estructurados y no estructurados;

La Figura 6 es una vista esquemática del entrenamiento sin conexión del modelo (o modelos) de aprendizaje automático del evaluador de características del sistema de análisis de imágenes médicas de la Figura 1;

La Figura 7 es una vista esquemática del generador de informes del sistema de análisis de imágenes médicas de la Figura 1;

La Figura 8 ilustra un funcionamiento ilustrativo del sistema de análisis de imágenes médicas de la Figura 1 en una aplicación de fragilidad ósea, con datos de imagen que comprenden una HRpQCT de muñeca y datos de no imagen que comprenden información básica del paciente; y

La Figura 9 es un informe ilustrativo, generado por el generador de informes del sistema de análisis de imágenes médicas de la Figura 1.

Descripción detallada

La Figura 1 es una vista esquemática de un sistema de análisis de imágenes en forma de un sistema de análisis de imágenes médicas 10 de acuerdo con una realización de la presente invención.

Con referencia a la Figura 1, el sistema 10 comprende un controlador de análisis de imágenes 12 y una interfaz de usuario 14 (que incluye una GUI 16). La interfaz de usuario 14 normalmente comprende una o más pantallas (en una o más de las cuales puede visualizarse la GUI 16), un teclado y un ratón, y opcionalmente una impresora. El controlador de análisis de imágenes 12 incluye al menos un procesador 18 y una memoria 20. El sistema 10 puede implementarse, por ejemplo, como una combinación desoftwareyhardwareen un ordenador (tal como un ordenador personal o un dispositivo informático móvil), o como un sistema de segmentación de imágenes dedicado. El sistema 10 puede distribuirse opcionalmente; por ejemplo, algunos o todos los componentes de la memoria 20 pueden estar ubicados de forma remota respecto del procesador 18; la interfaz de usuario 14 puede estar ubicada de forma remota respecto a la memoria 20 y/o el procesador 18 y, ciertamente, puede comprender un navegador web y una aplicación para dispositivo móvil.

La memoria 20 está en comunicación de datos con el procesador 18 y normalmente comprende tanto memoria volátil como no volátil (y puede incluir más de una de cada tipo de memoria), incluyendo una RAM (memoria de acceso aleatorio), ROM y uno o más dispositivos de almacenamiento masivo.

Como se analiza con mayor detalle a continuación, el procesador 18 incluye un procesador de datos de imagen 22 (que incluye un segmentador e identificador 24 y un cuantificador de características 25), un procesador de datos de no imagen 26, un evaluador de características 28 (que incluye un comparador de precedentes 29), un entrenador de modelos de aprendizaje automático 30, un generador de informes 32, una interfaz de E/S 34 y una salida en forma de salida de resultados 36. La memoria 20 incluye el código de programa 38, datos de imagen 40, datos de no imagen 42, datos de entrenamiento 44, modelos de aprendizaje automático entrenados 46 y conocimiento del dominio 48. Se implementa el controlador de análisis de imágenes 12, al menos en parte, por el procesador 18 ejecutando el código de programa 38 desde la memoria 20.

En términos generales, la interfaz de E/S 34 está configurada para leer o recibir datos de imagen y datos de no imagen (tales como en formato DICOM) pertenecientes a sujetos o pacientes en los datos de imagen 40 y datos de no imagen 42 de la memoria 20 para su análisis. El procesador de datos de imagen 22, utilizando el segmentador e identificador 24 y el cuantificador de características 25, segmenta (es decir, extrae) y cuantifica las características de los datos de imagen, el procesador de datos de no imagen 26 extrae características de los datos de no imagen, el evaluador de características 28 procesa las características con uno o más de los modelos de aprendizaje automático 46, a continuación, la interfaz de E/S 34 envía el resultado del análisis a, por ejemplo, a la salida de resultados 36 y/o a la GUI 16.

El Sistema 10 emplea inteligencia artificial (tal como una red neuronal profunda), otros algoritmos de aprendizaje automático y algoritmos de visión por ordenador, para automatizar, de forma precisa y reproducible, la extracción y cuantificación de características de la imagen, de particular valor en el análisis de imágenes musculoesqueléticas. Los resultados son adecuados para su uso posterior en la localización de sitios de enfermedades musculoesqueléticas, para diagnosticar enfermedades musculoesqueléticas y para monitorear la progresión de la enfermedad.

Con referencia a la Figura 1, el sistema 10 está configurado para recibir dos tipos de datos del sujeto o paciente: datos de imagen (por ejemplo, imágenes médicas adquiridas mediante una o más modalidades de imágenes en uno o más sitios anatómicos) y datos de no imagen (datos estructurados del paciente, tales como datos del historial clínico y datos de cuestionarios, y datos no estructurados de pacientes, tales como notas médicas y registros de voz). El sistema 10 almacena estos datos en datos de imagen 40 y datos de no imagen 42, respectivamente. Las diferentes formas y estructuras de datos de los datos de no imagen determinan el funcionamiento del procesador de datos de no imagen 26.

El procesador de datos de imagen 22 comprende dos componentes: el segmentador e identificador 24 configurado para realizar segmentación e identificación, y el cuantificador de características 25 configurado para realizar la cuantificación de características. Los datos de imagen 40 son procesados por el procesador de datos de imagen 22 que, usando el segmentador e identificador 24, segmenta e identifica automáticamente estructuras clínicamente relevantes, características o materiales de, en esta realización, la imagen médica del sujeto o paciente, a continuación, el cuantificador de características 25 cuantifica las estructuras clínicamente relevantes segmentadas e identificadas, las características, los materiales o combinaciones de los mismos. Cabe señalar, sin embargo, que en algunas realizaciones el sistema 10 puede configurarse para recibir imágenes que ya han sido segmentadas (con, opcionalmente, las características segmentadas ya identificadas), de modo que puede omitirse el segmentador e identificador 24, o su uso.

El segmentador e identificador 24 comprende un modelo de identificación y segmentación entrenado con algoritmo de aprendizaje automático configurado para segmentar e identificar las estructuras o características de interés de la imagen. En una aplicación de fragilidad ósea, un modelo de este tipo, entrenado utilizando una red neuronal convolucional profunda, se utiliza para segmentar e identificar el radio a partir de una HRpQCT de muñeca; los datos de entrenamiento pueden anotarse en HRpQCT de muñeca que distinguen los vóxeles del radio, del cúbito y el material circundante.

Los datos de no imagen son procesados por el procesador de datos de no imagen 26, que extrae características clínicamente relevantes de los datos de no imagen.

Las características cuantitativas obtenidas tanto de los datos de imagen como de los datos de no imagen se introducen en un modelo de aprendizaje automático 46 mediante el evaluador de características 28. El modelo de aprendizaje automático 46 está previamente entrenado utilizando datos de entrenamiento con etiquetas, es decir, anotaciones que constituyen el "marco real"(ground truth)para el aprendizaje automático. Por ejemplo, para entrenar un modelo de segmentación ósea, los datos de entrenamiento normalmente comprenden imágenes originales y el correspondiente marco real, por consiguiente, las imágenes en las que se han anotado los huesos. Para entrenar un modelo de clasificación de enfermedades, los datos de entrenamiento normalmente comprenden las características extraídas de los datos del paciente y el correspondiente marco real, que son las etiquetas/anotaciones que indican enfermedad o no enfermedad. (Los términos "etiqueta" y "anotación" son esencialmente intercambiables, pero "etiqueta" generalmente se reserva en el presente documento para una enfermedad o afección, con 'anotación' generalmente reservada para la anotación de imágenes en modelos de aprendizaje automático de segmentación/identificación de imágenes).

En esta realización, el procesador 18 incluye un entrenador de modelo de aprendizaje automático 30, configurado para entrenar modelos de aprendizaje automático 46 (y para volver a entrenar o actualizar modelos de aprendizaje automático 46 entrenados, como se analiza a continuación) utilizando datos de entrenamiento 44 (que pueden incluir nuevos datos de sujeto). En otras realizaciones, sin embargo, el entrenador de modelos de aprendizaje automático 30 puede configurarse o utilizarse solo para volver a entrenar o actualizar modelos de aprendizaje automático 46 entrenados.

Se pueden utilizar diversos algoritmos de aprendizaje automático (que utilizan características de datos tanto de imagen como de no imagen) para entrenar los modelos de aprendizaje automático 46 empleados en esta realización para diagnosticar y monitorear enfermedades musculoesqueléticas, etc., tal como una red neuronal de aprendizaje profundo (que es preferida) u otros algoritmos de aprendizaje automático tal como máquina de vectores de soporte, árbol de decisión y AdaBoost.

En una implementación, un modelo de aprendizaje automático 46 previamente entrenado se actualiza continuamente con datos etiquetados adicionales derivados de datos de paciente recién analizados.

Por tanto, el evaluador de características 28 evalúa y valora las características utilizando un modelo de aprendizaje automático 46 y, a continuación, genera resultados (en forma de, por ejemplo, clasificaciones y probabilidades) al generador de informes 32. El generador de informes 32 genera un informe basándose en estos resultados. El generador de informes 32 también puede extraer información adicional del conocimiento del dominio 48 y combinar esa información con los resultados, presentándose ambos en el informe.

En la aplicación de evaluación de la fragilidad ósea, el evaluador de características 28, utilizando un modelo de aprendizaje automático 46, puede generar un resultado que comprende una puntuación de riesgo de fractura. El generador de informes 32 puede configurarse para extraer información indicada por esta puntuación del conocimiento del dominio 48, tal como información para ayudar en la interpretación de la puntuación. A continuación, el generador de informes 32 puede presentar tanto la puntuación como la información en un informe.

El informe final se genera a través de la salida de resultados 36 y/o la interfaz de usuario 14.

Las Figuras 2A y 2B son vistas esquemáticas de datos de imagen ilustrativos, como se almacena en los datos de imagen 40. Los datos de imagen comprenden imágenes médicas clínicamente relevantes del sujeto o paciente, normalmente imágenes adquiridas mediante una o más modalidades de diagnóstico por imágenes en uno o más sitios anatómicos.

Los datos de imagen de entrada comprenden una HRpQCT de muñeca 50, como se ilustra en la Figura 2A. En otro ejemplo, es posible que se desee analizar tanto el esqueleto periférico como el central para que, como se representa en la Figura 2B, los datos de imagen de entrada puedan comprender una HRpQCT de muñeca 50, una HRpQCT de pierna 52, una DXA de columna 54 y una DXA de cadera 56 (y, si opcionalmente se incorpora información de la médula ósea, una MRI de cadera 58).

Las Figuras 3A y 3B representan esquemáticamente ejemplos de datos de no imagen 42, despoblado y poblado respectivamente. Los datos de no imagen recibidos por el sistema 10 y almacenados en datos de no imagen 42 pueden incluir una cantidad significativa de datos útiles indicativos de enfermedades musculoesqueléticas. Como se muestra en la Figura 3A, los datos de no imagen pueden incluir información del paciente procedente de diversas fuentes de datos estructurados y no estructurados, que se recopilan, por ejemplo, durante las consultas médicas y el tratamiento de un sujeto o patente. Los datos estructurados pueden incluir información básica del paciente, tal como sexo, edad, peso, altura, resultados de pruebas de laboratorio (tales como resultados de análisis de sangre y resultados de pruebas de ADN), datos de tratamiento (tales como tipos de medicamentos y dosis) y datos de cuestionarios (tales como hábitos de fumar y beber e historial de fracturas). Los datos no estructurados pueden incluir documentos de texto de resultados de laboratorio, notas médicas e informes radiológicos.

Como se ilustra en la Figura 3A, los datos de no imagen en los datos de no imagen 42 pueden estar en una diversidad de formatos, tales como video 62, texto 64, números 66 y/o voz 68 estructurados, y vídeo 72, texto 74, números 76 y/o voz 78 no estructurados. La Figura 3B representa un escenario ilustrativo, en el que los datos de no imagen comprenden texto estructurado 64 en forma de información e historial clínico 80, números estructurados 66 en forma de mediciones del paciente 82, vídeo no estructurado 72 en forma de vídeo del paciente mientras camina 84, texto no estructurado 74 en forma de notas médicas 86, y voz no estructurada 78 en forma de entrevistas al paciente 88.

El procesador de datos de no imagen 26 está configurado y emplea diferentes técnicas de procesamiento de datos y extracción de características en el procesamiento de los datos de no imagen, en cada caso de acuerdo con la estructura y forma de cada porción de esos datos.

La Figura 4 es una representación esquemática 90 del funcionamiento del procesador de datos de imagen 22, en una aplicación de fragilidad ósea. El radio se identifica y segmenta 92 a partir de una HRpQCT de muñeca utilizando un modelo de red neuronal profunda previamente entrenado. A continuación, el radio se segmenta e identifica mediante el segmentador e identificador 24, en corteza compacta 94, zona de transición 96 y región trabecular 98. A continuación, los atributos de diferentes estructuras o combinación de estructuras se cuantifican 100 mediante el cuantificador de características 25 en las siguientes características: vBMD (la densidad mineral ósea volumétrica de todo el radio) 102, porosidad cortical (el porcentaje de poros en el volumen óseo) 104, vBMD de la región de transición (la densidad mineral ósea volumétrica de la región de transición) 106, vBMD de la región trabecular (la densidad mineral ósea volumétrica de la región trabecular) 108, nivel de mineralización de la matriz (el porcentaje promedio del material mineralizado) 110, adiposidad de la médula ósea (la densidad de la adiposidad de la médula en la región trabecular) 112, grosor cortical (el grosor promedio de la corteza compacta) 114, y separación del tejido trabecular (la separación promedio de los tejidos trabeculares) 116. Se eligen estas características porque se ha demostrado que son indicativas de fragilidad ósea y riesgo de fractura ósea.

La Figura 5 es una representación esquemática 120 del funcionamiento del procesador de datos de no imagen 26 en datos de no imagen 42 a modo de ejemplo que incluyen datos estructurados y no estructurados. El procesador de datos de no imagen 26 extrae características de los datos de no imagen con una diversidad de herramientas, cada una de ellas adaptada para extraer tipos de datos de no imagen de diferente estructura y forma.

Los datos estructurados 122 normalmente se almacenan y mantienen en un almacenamiento de datos estructurados, tales como tablas de bases de datos, archivos .json, archivos .xml y archivos .csv. El procesador de datos de no imagen 26 extrae características de los datos estructurados consultando 124 los parámetros y atributos requeridos de las fuentes de los datos y extrayendo de este modo la información de interés de las fuentes de datos estructurados. Cabe señalar que, en algunos casos, los datos estructurados pueden ser completos en sí mismos y de interés, de modo que no se requiere ninguna consulta.

Los datos no estructurados 126 pueden comprender notas médicas, registro de voz e informes gráficos, etc. entonces, antes de la extracción de características, el procesador de datos de no imagen 26 normalmente convierte 128 los datos no estructurados 126 en datos estructurados. El método de conversión empleado por el procesador de datos de no imagen 26 es específico de cada fuente o tipo de datos no estructurados. Por ejemplo, para convertir notas médicas en datos estructurados, el procesador de datos de no imagen 26 puede incluir o emplear y emplear un modelo entrenado de reconocimiento óptico de caracteres (OCR) para convertir 128 las notas en texto reconocible por el sistema 10. A continuación, el procesador de datos de no imagen 26 analiza el texto (usando palabras clave tales como "fracturas", "dolor", "caída", etc.).

En otro ejemplo, el procesador de datos de no imagen 26 puede comprender o emplear un modelo entrenado de reconocimiento de voz para convertir 128 la voz grabada de una entrevista en texto reconocible por el sistema 10. A continuación, el procesador de datos de no imagen 26 segmenta y organiza el texto convertido en datos estructurados haciendo referencia a las preguntas de la entrevista original.

En otra realización ilustrativa, los datos de no imagen pueden incluir un vídeo ya que, por ejemplo, los estudios han demostrado que los patrones de andares están asociados con el riesgo de fracturas. El procesador de datos de no imagen 26 procesa el vídeo y extrae 130 características del modo de andar del mismo.

Una vez convertido 128 en datos estructurados, el procesador de datos de no imagen 26 extrae características de los datos estructurados (previamente no estructurados) consultando 124 los parámetros y atributos requeridos de las fuentes de los datos. Como se ha analizado anteriormente, sin embargo, si los datos ahora estructurados son completos en sí mismos y de interés, no será necesario realizar consultas; en el ejemplo anterior de video de marcha, después de convertir el vídeo en características del modo de andar, que constituyen datos estructurados, no se requiere dicha consulta 124.

Por último, el procesador de datos de no imagen 26 extrae características 130 tales como sexo 132, años 134, hábito de fumar 136, historial de fracturas 138, historial de tratamientos 140 y modo de andar 142.

La Figura 6 es una vista esquemática 144 del entrenamiento (sin conexión) del modelo o modelos en modelos de aprendizaje automático 46. En primer lugar, en la etapa 146, se accede a los datos de entrenamiento o se seleccionan para su procesamiento desde una base de datos de datos de entrenamiento 44. Los datos de entrenamiento pueden comprender datos de imagen del sujeto y/o datos de no imagen del sujeto. Se seleccionan datos con diversos atributos para el entrenamiento para representar a la población objetivo. Los datos de entrenamiento son procesados, en la etapa 148, extrayendo características y, en la etapa 150, cuantificando las características extraídas, utilizando los métodos descritos anteriormente. A continuación, los datos de entrenamiento comprenden un conjunto de características cuantitativas.

En la etapa 152, los datos de entrenamiento son anotados (por un operador humano) con los resultados de diagnóstico correctos. En la etapa 154, los datos de entrenamiento representados por las características extraídas combinadas con las etiquetas de diagnóstico se introducen en uno o más algoritmos de aprendizaje automático del entrenador de modelos de aprendizaje automático 30 para entrenar uno o más modelos. Debe apreciarse que diversos algoritmos de aprendizaje automático pueden ser adecuados para entrenar el modelo o los modelos. Puede ser un algoritmo de caja negra (por ejemplo, una red neuronal) de modo que el proceso de toma de decisiones no sea legible por seres humanos. Alternativamente, puede ser un algoritmo de caja blanca, (por ejemplo, un árbol de decisión, máquina de vectores de soporte o análisis discriminante lineal) de modo que un ser humano pueda interpretar el proceso de toma de decisiones del modelo. También puede comprender un algoritmo híbrido que combine algoritmos de caja blanca y de caja negra.

En la etapa 156, el modelo o modelos, ahora entrenados, se implementan para su uso, normalmente almacenándose en modelos de aprendizaje automático 46.

Durante el uso, las características extraídas de los nuevos datos de paciente se introducen en el modelo de aprendizaje automático 46, ahora entrenado. Como se ha descrito anteriormente, un modelo de aprendizaje automático 46 evalúa las características y genera uno o más resultados. Los resultados pueden ser clasificaciones binarias, puntuaciones o probabilidades. En algunas realizaciones, los nuevos datos de paciente pueden agregarse (en la etapa opcional 158) a los datos de entrenamiento 44, para ser utilizado en el reentrenamiento o actualización del modelo 46.

El entrenamiento del modelo y su utilidad es específico del dominio; por consiguiente, también lo son cada uno de los modelos de aprendizaje automático resultantes 46. Cada uno de los modelos 46 depende de los datos y las condiciones específicas (por ejemplo, fragilidad ósea; una enfermedad, tal como la osteoporosis, una infección, tal como una infección bacteriana concreta). En una realización, uno de los modelos 46 está entrenado y utilizado para diagnosticar una o más enfermedades o afecciones, generando una o más puntuaciones de probabilidad de enfermedad. En otra realización, se puede entrenar y utilizar una pluralidad de modelos 46 para diagnosticar respectivas enfermedades. Igualmente, en otra realización, uno de los modelos 46 puede entrenarse para generar una predicción de la probabilidad de la expresión de uno o más síntomas (por ejemplo, fractura ósea), o una pluralidad de modelos 46 puede entrenarse y utilizarse para generar las respectivas predicciones de la probabilidad de la expresión de los respectivos síntomas.

La Figura 7 es una vista esquemática del generador de informes 32, el cual genera informes basados en al menos los resultados 162 obtenidos del modelo de aprendizaje automático 46. El generador de informes 32 también puede, al generar el informe, utilizar la información almacenada en el dominio de conocimiento 48. Esta información puede incluir, por ejemplo, información del valor para un médico al interpretar los resultados generados por el evaluador de características 28 (tales como pautas de diagnóstico y tratamiento). Por ejemplo, en la aplicación del sistema 10 a la evaluación de fracturas óseas, a un médico se le pueden presentar pautas de tratamiento pertinentes a diferentes niveles de riesgo de fractura ósea. El informe puede entonces incluir tanto una pluralidad de resultados generados por el evaluador de características 28 como la caracterización de un hueso de un sujeto o paciente (tal como una puntuación de fragilidad, una puntuación de porosidad y una puntuación trabecular), pero también con información de uso para interpretar esas puntuaciones y seleccionar un tratamiento.

Esta información puede incluir opcionalmente los diagnósticos de una cohorte anterior de sujetos o pacientes (uno o más) con puntuaciones comparables, y/o el tratamiento o terapia prescrito para esa cohorte. Ciertamente, en algunas realizaciones, el evaluador de características 28 incluye un comparador de precedentes opcional 29, configurado para comparar los resultados (en particular resultados numéricos tales como puntuaciones) generados por el modelo de aprendizaje automático 46 con dicha información del conocimiento del dominio 48, para formar automáticamente un diagnóstico (asignando una probabilidad, o las respectivas probabilidades, de que el sujeto tenga la enfermedad o enfermedades) y una recomendación de terapia/tratamiento basándose en esa comparación, y enviarlos al generador de informes 32 para su inclusión en el informe.

El informe también podrá incluir los resultados del monitoreo de la progresión de la enfermedad y de la eficacia del tratamiento. Por ejemplo, la eficacia del tratamiento puede demostrarse si se observa que el riesgo de fractura ósea del sujeto o paciente tratado disminuye en una prueba de seguimiento.

El informe también puede mostrar casos similares u opuestos. Presentar casos similares u opuestos puede ser valioso para un médico a la hora de evaluar el pronóstico y determinar el tratamiento. La presentación de casos similares u opuestos puede ser útil para capacitar a usuarios inexpertos o ayudar a los usuarios a confirmar los resultados generados a partir del modelo 46. Además, estudiando casos similares u opuestos para ver cómo los sujetos o pacientes anteriores respondieron a diferentes opciones de tratamiento, un médico puede evaluar la eficacia de un tratamiento (o la probable eficacia de un tratamiento propuesto) en el paciente actual.

Todos estos resultados e información 164 se incluyen en el informe 166 mediante el generador de informes 32, que, a continuación, entrega el informe 166 (a través de la salida de resultados 36) a la interfaz de usuario 14 (tal como un navegador web, una aplicación para PC o una aplicación para dispositivo móvil) para su lectura por parte de un usuario o usuarios.

La Figura 8 ilustra una operación ilustrativa del sistema 10 en una aplicación de fragilidad ósea. Los datos de imagen comprenden una HRpQCT de muñeca 172 y los datos de no imagen comprenden información básica del paciente 174. Como se muestra en la Figura 8, el segmentador e identificador 24, utilizando un modelo entrenado de segmentación e identificación 46' de modelos de aprendizaje automático 46, identifica y extrae 176 el radio y lo segmenta 178 en estructuras: corteza compacta, zona de transición y región trabecular. A partir de esta segmentación estructural, el cuantificador de características 25 determina la porosidad cortical 180 y la densidad trabecular 182.

El procesador de datos de no imagen 26 emplea una consulta 184 para extraer el sexo 186 y la edad 188 de la información básica del paciente 174 de los datos de no imagen. El evaluador de características 28 recibe las cuatro características: porosidad cortical 180, densidad trabecular 182, sexo 186 y edad 188. El evaluador de características 28 emplea otro modelo entrenado 46" (en forma de, en este ejemplo, un modelo de deterioro óseo) para generar una puntuación de fragilidad estructural 190 mediante la evaluación de las cuatro características mencionadas anteriormente 180, 182, 186, 188. Como alternativa, el modelo de deterioro óseo 46" se puede entrenar utilizando un algoritmo tal como el descrito por Zebazeet al.en "Increased Cortical Porosity and Reduced Trabecular Density Are Not Necessarily Synonymous With Bone Loss and Microstructural Deterioration"(JBMR Plus(2018)), y con datos de entrenamiento 44 que representan las cuatro características mencionadas anteriormente 180, 182, 186, 188 y anotados con el diagnóstico de fragilidad ósea correcto.

La puntuación de fragilidad 190 y otra información son utilizadas por el generador de informes 32 para generar un informe 166, que finalmente se envía a una interfaz de usuario 14 en forma de, en este ejemplo, un navegador web.

La Figura 9 es un informe ilustrativo 200, generado por el generador de informes 32 del sistema 10. El informe 200 incluye diversos registros: un registro de detalles del sujeto/paciente 202, un registro del mapa de fracción de volumen óseo 204, un registro de puntuaciones 206 y un registro de gráficos de puntuaciones 208. El registro de detalles del sujeto/paciente 202 normalmente incluye detalles biográficos (tales como nombre, fecha de nacimiento, sexo y edad), nombre del médico (o nombres de los médicos), la fecha de adquisición de los datos y la fecha del procesamiento de los datos (que también es la fecha del informe 200).

El registro del mapa de fracción de volumen óseo 204 incluye una reconstrucción 3D en color falso 210 de, en este ejemplo, el volumen óseo del radio del paciente, una reconstrucción 3D en color falso 212 de un volumen óseo del radio de referencia correspondiente (y normalmente sano), y una clave de color falso 214. (Cabe destacar que, en la Figura 9, los colores se reproducen en escala de grises.) El color falso se utiliza para indicar "fracción de volumen óseo", que es el volumen de hueso mineralizado por unidad de volumen de la muestra. El informe 200 presenta las reconstrucciones 210, 212 adyacentes entre sí de modo que un médico pueda evaluar fácilmente la extensión y distribución de, en este ejemplo, la pérdida ósea.

El registro de puntuaciones 206 incluye puntuaciones generadas por el evaluador de características 28. En este ejemplo, estas puntuaciones son una puntuación de fragilidad 216, una puntuación de porosidad 218 y una puntuación trabecular 220, expresadas como porcentajes. La puntuación de fragilidad 216 es indicativa del nivel de deterioro cortical y trabecular coexistente. La puntuación de porosidad 218 es indicativa de la porosidad del hueso cortical. La puntuación trabecular 220 es una puntuación indicativa de la densidad de la región trabecular.

Opcionalmente, estas puntuaciones 216, 218, 220 pueden presentarse gráficamente en las respectivas barras 222, 224, 226 con la puntuación representada, por ejemplo, como un control deslizante 228, 230, 232. Cada barra, en este ejemplo, está etiquetada con tres valores: valores bajo y alto que indican las puntuaciones de los extremos de la barra, y un tercer valor que indica una división entre intervalos de riesgo menor y mayor (o normal y anormal). Por ejemplo, estos tres valores son, en el ejemplo ilustrado de la barra 222 de la puntuación de fragilidad 216, respectivamente el 20 %, 90 % y 70 %. En el ejemplo ilustrado de la barra 224 de la puntuación de porosidad 218, respectivamente el 20 %, 60 % y 46 %, y en el ejemplo ilustrado de la barra 226 de la puntuación trabecular 220, respectivamente el 0 %, 10% y 2%.

Estos tres valores (extremo bajo, extremo alto y la división entre riesgo menor y mayor) se determinan a partir de datos precedentes, tal como el contenido en los datos de entrenamiento 44 o el conocimiento del dominio 48. Como alternativa, el sistema 10 puede acceder a algunos o todos los datos precedentes desde una o más bases de datos externas.

Las barras 222, 224, 226 pueden opcionalmente estar coloreadas o sombreadas para indicar las regiones de menor riesgo 234 y mayor riesgo 236, de modo que quede inmediatamente claro visualmente si un respectivo control deslizante 228, 230, 232 (y, por consiguiente, la puntuación 216, 218, 220) corresponde a datos precedentes asociados con sujetos de alto o bajo riesgo. En la Figura 9, se utiliza un sombreado más denso para indicar la región de mayor riesgo.

Por tanto, en el registro de puntuaciones 206, el informe 200 da una puntuación de fragilidad 216 del 75 % (indicado como de mayor riesgo), una puntuación de porosidad del 37 % (que se indica como de menor riesgo) y una puntuación trabecular del 1 % (que se indica como de mayor riesgo). Estas puntuaciones, ni individualmente ni en combinación, constituyen un diagnóstico, ya que no identifican una enfermedad o aflicción específica. Sin embargo, le dan al usuario un indicio útil de los síntomas y de cuán pronunciados son esos síntomas.

El registro de gráficos de puntuación 208 presenta los gráficos 240, 242, 244 de puntuación de fragilidad (PF((%)), puntuación de porosidad (PP((%)) y puntuación trabecular (PT((%)), respectivamente, evolucionando con el tiempo T. En el ejemplo ilustrado, las divisiones del eje de tiempo suelen ser de uno o dos días, pero en general cada división representará el tiempo entre escaneos (lo que también significa que las divisiones en un solo gráfico pueden no representar una diferencia de tiempo constante). En la Figura 9, los gráficos 240, 242, 244 indican primero las puntuaciones del registro de puntuaciones 206, seguido en cada caso de puntuaciones posteriores obtenidas en una serie de consultas de seguimiento; los gráficos 240, 242, 244 permiten de este modo que un médico evalúe rápidamente los cambios en el sujeto, ya sean espontáneos, en respuesta al tratamiento, o de otra manera.

Los expertos en la materia de la invención entenderán que se pueden realizar muchas modificaciones sin salirse del alcance de la invención, en particular, será evidente que determinadas características de las realizaciones de la invención se pueden emplear para formar realizaciones adicionales.

Ha de entenderse que, si en el presente documento se hace referencia a alguna técnica anterior, dicha referencia no constituye una admisión de que el estado de la técnica forma parte del conocimiento general común en la técnica en cualquier país.

En las reivindicaciones que siguen y en la descripción anterior de la invención, excepto cuando el contexto requiera lo contrario debido al lenguaje expreso o la implicación necesaria, la palabra "comprender" o variaciones tales como "comprende" o "que comprende" se usa en un sentido inclusivo, es decir, para especificar la presencia de las características indicadas, pero no para excluir la presencia o adición de características adicionales en diversas realizaciones de la invención.

Claims (14)

REIVINDICACIONES

1. Un método de análisis de imágenes implementado por ordenador, que comprende:

cuantificar (100) atributos de una o más características segmentadas e identificadas (92) a partir de una imagen médica musculoesquelética (40) que incluye el hueso de un sujeto;

extraer datos de no imagen (42) pertenecientes al sujeto de una o más fuentes de datos de no imagen (174); extraer (124) características clínicamente relevantes de los datos de no imagen (42) pertenecientes al sujeto; evaluar la fragilidad ósea, que comprende alimentar los atributos cuantificados de las características segmentadas de la imagen médica (40) en un modelo de aprendizaje automático entrenado (46) y evaluar los atributos cuantificados de las características segmentadas de la imagen médica (40) y las características (130) extraídas de los datos de no imagen (42) con el modelo de aprendizaje automático entrenado (46); y

generar uno o más resultados de la evaluación de la fragilidad ósea;

en donde el modelo de aprendizaje automático entrenado (46) comprende un modelo entrenado usando características extraídas de datos del paciente y etiquetas o anotaciones que indican enfermedad o no enfermedad; y

en donde el hueso es un radio identificado y segmentado (92) de una exploración de muñeca por tomografía computarizada cuantitativa periférica de alta resolución, HRpQCT, utilizando un modelo de red neuronal profunda previamente entrenado; y el radio se segmenta en corteza compacta (94), zona de transición (96) y región trabecular (98) y los atributos de diferentes estructuras o combinación de estructuras se cuantifican (100) en las siguientes características: la densidad mineral ósea volumétrica de todo el hueso del radio (102), los porcentajes de poros en el volumen óseo (104), la densidad mineral ósea volumétrica de la región de transición (106), la densidad mineral ósea volumétrica de la región trabecular (108), el porcentaje promedio del material mineralizado (110), la densidad de la adiposidad de la médula en la región trabecular (112), el grosor promedio de la corteza compacta (114) y la separación promedio de los tejidos trabeculares (116).

2. Un método de acuerdo con la reivindicación 1, en donde las fuentes de datos de no imagen comprenden:

vídeo (62, 72); y/o

vídeo (84) del sujeto mientras camina; y/o

vídeo (84) del sujeto mientras camina en donde el método comprende extraer una o

más características del modo de andar (142).

3. Un método de acuerdo con la reivindicación 1, en donde las fuentes de datos de no imagen comprenden:

voz (68, 78); y/o

voz grabada (88) a partir de datos de la entrevista del sujeto.

4. Un método de acuerdo con la reivindicación 1, en donde extraer datos de no imagen incluye convertir datos no estructurados (72, 74, 76, 78) en datos estructurados (62, 64, 66, 68).

5. Un método de acuerdo con la reivindicación 1, en donde la segmentación y la identificación se implementan con un modelo de segmentación e identificación entrenado con algoritmo de aprendizaje automático (46'), tal como un modelo entrenado de red neuronal convolucional profunda, en donde el modelo de segmentación e identificación entrenado con algoritmo de aprendizaje automático (46') está configurado para segmentar e identificar las características de la imagen (40).

6. Un método de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde el modelo de aprendizaje automático entrenado comprende además uno cualquiera o más de:

(a) un modelo de clasificación de enfermedades;

(b) una red neuronal de aprendizaje profundo u otros algoritmos de aprendizaje automático; y

(c) un modelo entrenado para diagnosticar y/o monitorear una o más enfermedades musculoesqueléticas.

7. Un método de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde los resultados comprenden uno cualquiera o más de: (i) una o más clasificaciones de enfermedades; (ii) una o más probabilidades de enfermedad; (iii) un riesgo de fractura ósea; (iv) una puntuación de fragilidad; (v) una puntuación de porosidad; (vi) una puntuación trabecular; (vii) un gráfico de la puntuación de fragilidad que evoluciona con el tiempo; (viii) un gráfico de la puntuación de porosidad que evoluciona con el tiempo; (ix) un gráfico de la puntuación trabecular que evoluciona con el tiempo; (x) progresión de la enfermedad; (xi) disminución de la fragilidad ósea; y (xii) una o más puntuaciones de riesgo de fractura.

8. Un sistema de análisis de imágenes, que comprende:

un cuantificador de características (25) configurado para cuantificar atributos de una o más características segmentadas e identificadas a partir de una imagen médica (40) que incluye el hueso de un sujeto;

un procesador de datos de no imagen (26) configurado para extraer datos de no imagen (42) pertenecientes al sujeto de una o más fuentes de datos de no imagen y para extraer características clínicamente relevantes de los datos de no imagen pertenecientes al sujeto;

un evaluador de características (28) configurado para evaluar la fragilidad ósea, en donde el evaluador de características (28) está configurado para alimentar los atributos cuantificados de las características segmentadas de la imagen médica (40) a un modelo de aprendizaje automático entrenado (46) y para evaluar los atributos cuantificados de las características segmentadas de la imagen médica (40) y las características extraídas de los datos que no son imágenes (42) con el modelo de aprendizaje automático entrenado; y

una salida (36) configurada para generar uno o más resultados de la evaluación de la fragilidad ósea;

en donde el modelo de aprendizaje automático entrenado (46) comprende un modelo entrenado usando características extraídas de datos del paciente y etiquetas o anotaciones que indican enfermedad o no enfermedad; y

en donde el hueso es un radio identificado y segmentado (92) de una exploración de muñeca por tomografía computarizada cuantitativa periférica de alta resolución, HRpQCT, utilizando un modelo de red neuronal profunda previamente entrenado;

el radio se segmenta en corteza compacta (94), zona de transición (96) y región trabecular (98); y

los atributos de diferentes estructuras o combinación de estructuras se cuantifican (100) mediante el cuantificador de características (25) en las siguientes características: la densidad mineral ósea volumétrica de todo el radio (102), los porcentajes de poros en el volumen óseo (104), la densidad mineral ósea volumétrica de la región de transición (106), la densidad mineral ósea volumétrica de la región trabecular (108), el porcentaje promedio del material mineralizado (110), la densidad de la adiposidad de la médula en la región trabecular (112), el grosor promedio de la corteza compacta (114) y la separación promedio de los tejidos trabeculares (116).

9. Un sistema de acuerdo con la reivindicación 8, en donde las fuentes de datos de no imagen comprenden:

vídeo (62, 72); y/o

vídeo (84) del sujeto mientras camina; y/o

vídeo (84) del sujeto mientras camina, en donde el procesador de datos de no imagen (26) está configurado además para extraer una o más características del modo de andar (142).

10. Un sistema de acuerdo con la reivindicación 8, en donde las fuentes de datos de no imagen comprenden:

voz (68, 78); y/o

voz grabada (88) a partir de datos de la entrevista del sujeto.

11. Un sistema de acuerdo con la reivindicación 8, en donde el procesador de datos de no imagen (26) está configurado además: para convertir datos no estructurados (72, 74, 76, 78) en datos estructurados (62, 64, 66, 68).

12. Un sistema de acuerdo con la reivindicación 8, en donde el modelo de aprendizaje automático entrenado (46) comprende además uno cualquiera o más de:

(a) un modelo de clasificación de enfermedades;

(b) una red neuronal de aprendizaje profundo u otros algoritmos de aprendizaje automático; y

(c) un modelo entrenado para diagnosticar y/o monitorear una o más enfermedades musculoesqueléticas.

13. Un sistema de acuerdo con cualquiera de las reivindicaciones 8 o 12, en donde los resultados comprenden uno cualquiera o más de: (i) una o más clasificaciones de enfermedades; (ii) una o más probabilidades de enfermedad; (iii) un riesgo de fractura ósea; (iv) una puntuación de fragilidad (216); (v) una puntuación de porosidad (218); (vi) una puntuación trabecular (220); (vii) un gráfico (240) de puntuación de fragilidad que evoluciona con el tiempo; (viii) un gráfico (242) de puntuación de porosidad que evoluciona con el tiempo; (ix) un gráfico (244) de puntuación trabecular que evoluciona con el tiempo; (x) progresión de la enfermedad; (xi) disminución de la fragilidad ósea; y (xii) una o más puntuaciones de riesgo de fractura.

14. Código de programa informático (38) que comprende instrucciones configuradas, cuando es ejecutado por uno o más dispositivos informáticos, para implementar el método de análisis de imágenes de una cualquiera de las reivindicaciones 1 a 7.