WO2019132685A1 - Способ и система поддержки принятия врачебных решений - Google Patents

Способ и система поддержки принятия врачебных решений Download PDF

Info

Publication number
WO2019132685A1
WO2019132685A1 PCT/RU2017/000819 RU2017000819W WO2019132685A1 WO 2019132685 A1 WO2019132685 A1 WO 2019132685A1 RU 2017000819 W RU2017000819 W RU 2017000819W WO 2019132685 A1 WO2019132685 A1 WO 2019132685A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
medical
facts
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/RU2017/000819
Other languages
English (en)
French (fr)
Inventor
Иван Сергеевич ДРОКИН
Олег Леонидович БУХВАЛОВ
Сергей Юрьевич СОРОКИН
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Obshchestvo S Ogranichennoj Otvetstvennostyu "intellodzhik"
Original Assignee
Obshchestvo S Ogranichennoj Otvetstvennostyu "intellodzhik"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Obshchestvo S Ogranichennoj Otvetstvennostyu "intellodzhik" filed Critical Obshchestvo S Ogranichennoj Otvetstvennostyu "intellodzhik"
Priority to EP17936316.3A priority Critical patent/EP3734604A4/en
Priority to US16/770,634 priority patent/US20200303072A1/en
Priority to CN201780097565.8A priority patent/CN111492437A/zh
Publication of WO2019132685A1 publication Critical patent/WO2019132685A1/ru
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Definitions

  • this technical solution allows you to simulate the processes and trends in the patient's body, to identify the effect of drugs and prescribed treatment, to determine the patient's mortality after surgery or treatment prescription.
  • Distributive semantics is a field of linguistics, which is engaged in calculating the degree of semantic proximity between linguistic units based on their distribution (distribution) in large arrays of linguistic data (text corpuses).
  • Distributive semantics is based on a distributive hypothesis: linguistic units occurring in similar contexts have similar meanings.
  • Ontology is a comprehensive and detailed formalization of a certain area of knowledge using a conceptual scheme.
  • a scheme consists of a hierarchical data structure containing all the relevant classes of objects, their relationships and rules (theorems, constraints) adopted in this area.
  • Regularization in statistics, machine learning, inverse problem theory is a method of adding some additional information to a condition in order to solve an incorrectly posed problem or prevent retraining. This information often takes the form of a penalty for the complexity of a model, for example, it may be smoothness limitations of the resulting function or restrictions on the norm of a vector space.
  • Electronic patient case history (electronic medical record, patient electronic passport; Engl, electronic medical record - EMR, electronic health record) - a database containing information about the patient: physiological parameters of the patient, history, medical history and their treatment (methods and course of treatment prescribed drugs, etc.).
  • Including an electronic case history of patients contains records of patients, including at least the following data: the date of addition of the record, codes of diagnoses, symptoms, procedures and drugs, textual description of the natural history of the disease, biomedical images associated with the history of the disease, research results and patient analyzes.
  • the medical information system When a patient visits a doctor, undergoes examination, tests or other medical procedures, the medical information system generates (fills in and stores) the data for each such procedure.
  • the data may include records of patient examinations, codes of diagnoses, symptoms, procedures and drugs prescribed and / or taken by the patient, a description of the history of the disease in a natural language, biomedical images, analysis results, studies, observations / measurements of physiological parameters, ECG, EEG, MRI , Ultrasound, biopsy, cytology, x-ray, mammography, but not limited to the specified data.
  • specialized handlers are defined. In the case when no data handler is provided for the data type and / or source, or it is not necessary, then an empty handler is used or a handler is skipped for this data type.
  • the type of data is determined based on the metadata specified for at least one type of data field in an electronic patient record.
  • the server After converting the medical history into a set of medical facts, the server automatically marks the received sequence of medical facts 240 for each patient, using diagnoses taken from the patient's medical history or other facts of interest. If the data is marked up, this step is skipped by the server.
  • the facts of interest are extracted from external sources.
  • facts of interest can be extracted from medical information systems.
  • At least all research methods containing raw data are referred to individual examinations. If only a doctor's report or the fact of passing the study is available, such data are considered as part of the examination.
  • the server After the formation of training samples for each modality, the server provides training for the primary representations 250 independently for each of the modalities.
  • convolutional networks are used for images.
  • one of the examples of the parametric family is a multilayer perceptron, and the parameters will be the number of layers and the number of neurons in the layers.
  • Another example is any neural network with a fixed architecture that generates a parametric family (for example, a family designed for image segmentation, for classifying images, etc.).
  • word2vec takes a large text corpus and matches a vector to each word, producing the coordinates of the words at the output.
  • word2vec takes a large text corpus and matches a vector to each word, producing the coordinates of the words at the output.
  • word2vec takes a large text corpus and matches a vector to each word, producing the coordinates of the words at the output.
  • he creates a dictionary, “learning” on the input text data, and then calculates a vector representation of the words.
  • a vector representation is based on contextual intimacy: words that appear in the text next to identical words (and, therefore, have a similar meaning) will have close coordinates of word vectors in a vector representation.
  • the resulting word vectors (for example, Fig. 9a for bronchitis and Fig. 96 for rheumatitis) can be used for natural language processing and machine learning.
  • the server After learning and receiving the primary representations, the server performs the learning of the joint representations 260 (illustrated in figure 10) (eng. Coordinated multimodal machine learning, more details “Multimodal Machine Learning: A Survey and Taxonomy”, Tadas Baltrusaitis, Chaitanya Ahuja, and Louis-Philippe Morency ).
  • the so-called embedding matrix is used to obtain a compressed representation by which the rarefied vector of the patient's history is multiplied.
  • Embedding with ICD9 tree to obtain a compressed representation, a nonstandard regularization function can be used, which maximizes the distance to far and minimizes the distance to close objects in the tree (and at the same time adjusts the vectors for the parent nodes in the IC 09-code tree).
  • the weights matrix is trained, and already in the trained version it is used for training models. For each of the tasks, several classifiers can be considered:
  • Choi embedding + attention a model with an embedding-matrix built on the basis of the compressed representations of vectors considered in Choi et all “GRAM: Graph-based Attention Model for Healthcare Representation Learning” using the attention mechanism.
  • serial port interface 46 which is connected to the system port. bus, but can be connected via other interfaces, such as the parallel port, game port, or universal serial bus (USB).
  • a monitor 47 or other type of visual display device is also connected to system bus 23 via an interface, for example, video adapter 48.
  • video adapter 48 In addition to monitor 47, personal computers typically include other peripheral output devices (not shown), such as speakers and printers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Bioethics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

Способ поддержки принятия врачебных решений с использованием математических моделей представления пациентов, выполняемая на сервере, включает: формирование обучающей выборки, содержащей электронную историю болезни пациентов, сгруппированных по пациенту; предварительную обработку данных, содержащихся в истории болезней пациентов, выбранных из обучающей выборки; преобразование обработанных данных в последовательность медицинских фактов по каждому пациенту с использованием медицинских онтологий; автоматическую разметку полученной последовательности медицинских фактов по каждому пациенту, используя извлечённые из истории болезни пациента интересующие факты; обучение первичных репрезентаций независимо для каждой из модальностей; обучение совместных репрезентаций; обучение финальных моделей и параметров агрегации; получение истории болезни пациента, не входящего в обучающую выборку; предварительную обработку данных полученной истории болезни пациента; преобразование предварительно обработанных данных в последовательность медицинских фактов с использованием медицинских онтологий; отправку полученных наборов фактов на вход сформированным моделям; определение диагноза, а также проведение анализа и прогноза развития заболеваний пациента с наибольшей вероятностью соответствующий предъявленному набору фактов.

Description

Способ и система поддержки принятия врачебных решений
Область техники
Данное техническое решение относится к области искусственного интеллекта, а именно к системам поддержки принятия решений в медицине.
Уровень техники
Выявление и диагностирование болезней пациента является сложной задачей, которой обычно занимаются врачи. Существует множество факторов, которые могут повлиять на результат диагностирования врачом - опыт врача, внимательность, сложность текущего случая. Для устранения этих недостатков используется различные системы поддержки принятия решений.
В большинстве подходов система поддержки принятия решения позволяет выявить наличие или отсутствие некоторых патологий (болезней), но не могут проводить анализ и прогноз развития заболеваний для конкретного пациента
Сущность
Данное техническое решение позволяет создать математическую модель пациента при помощи которой становится возможно повысить точность диагностирования и осуществлять анализ и прогноз развития заболеваний для конкретного пациента.
Способ поддержки принятия врачебных решений с использованием математических моделей представления пациентов, выполняемая на сервере, включает следующие шаги:
формируют обучающую выборку, содержащую электронную историю болезни пациентов, сгруппированных по пациенту;
производят предварительную обработку данных, содержащихся в истории болезней пациентов, выбранных из обучающей выборки;
преобразовывают обработанные данные в последовательность медицинских фактов по каждому пациенту с использованием медицинских онтологий;
производят автоматическую разметку полученной последовательности медицинских фактов по каждому пациенту, используя извлечённые из истории болезни пациента диагнозы или другие интересующие факты;
производят обучение первичных репрезентаций независимо для каждой из модальностей;
осуществляют обучение совместных репрезентаций;
производят обучение финальных моделей и параметров агрегации;
получают историю болезни пациента, не входящую в обучающую выборку;
производят предварительную обработку данных полученной истории болезни пациента; преобразовывают предварительно обработанные данные в последовательность медицинских фактов с использованием медицинских онтологий;
полученный набор фактов отправляют на вход сформированным моделям;
определяют диагноз, а также проводят анализ и прогноз развития заболеваний пациента с наибольшей вероятностью соответствующий предъявленному набору фактов.
Система поддержки принятия врачебных решений с использованием математических моделей представления пациентов включает, по крайней мере, один процессор, оперативную память, запоминающее устройство, содержащее инструкции, загружаемые в оперативную память и выполняемые, по крайней мере, одним процессором, инструкции содержат следующие шаги:
формирование обучающей выборки, содержащую электронную историю болезни пациентов, сгруппированных по пациенту;
предварительную обработку данных, содержащихся в истории болезней пациентов, выбранных из обучающей выборки;
преобразование обработанных данные в последовательность медицинских фактов по каждому пациенту с использованием медицинских онтологий;
автоматическую разметку полученной последовательности медицинских фактов по каждому пациенту, используя извлечённые из истории болезни пациента диагнозы или другие интересующие факты;
обучение первичных репрезентаций независимо для каждой из модальностей; обучение совместных репрезентаций;
обучение финальных моделей и параметров агрегации;
получение истории болезни пациента, не входящей в обучающую выборку;
предварительную обработку данных полученной истории болезни пациента;
преобразование предварительно обработанных данных в последовательность медицинских фактов с использованием медицинских онтологий;
отправку полученного набор фактов на вход сформированным моделям;
определение диагноза, а также анализа и прогноза развития заболеваний пациента с наибольшей вероятностью соответствующий предъявленному набору фактов.
В одном из своих широких аспектов, данное техническое решение позволяет моделировать процессы и тенденции в организме пациента, выявлять влияние медикаментов и назначенного лечения, определять смертность пациента после операций или назначения лечения.
Подробное описание Ниже перечислены термины и определения, используемые в данном техническом решении.
Векторное представление — общее название для различных подходов к моделированию языка и обучению представлений в обработке естественного языка, направленных на сопоставление словам (и, возможно, фразам) из некоторого словаря векторов из Rn для п, значительно меньшего количества слов в словаре. Теоретической базой для векторных представлений является дистрибутивная семантика. Существует несколько методов для построения такого сопоставления например, используют нейронные сети, методы понижения размерности в применении к матрицам совместных упоминаний слов (англ word co-occurrence matrices) и явные представления, обучающиеся на контекстах упоминаний слов (англ explicit representations).
Векторное представление пациента— математическая модель пациента, на основании физиологических параметров пациента, анамнеза, истории болезней и их лечения (методов и хода лечения, прописанных препараты и т.п.) и т.д., позволяющая прогнозировать развития заболеваний, диагностировать, формировать рекомендации, стратегии лечения и т.д. для конкретного пациента.
Гистология — раздел биологии, изучающий строение, жизнедеятельность и развитие тканей живых организмов.
Г истология человека— раздел медицины, изучающий строение тканей человека.
Дистрибутивная семантика — это область лингвистики, которая занимается вычислением степени семантической близости между лингвистическими единицами на основании их распределения (дистрибуции) в больших массивах лингвистических данных (текстовых корпусах). Дистрибутивная семантика основывается на дистрибутивной гипотезе: лингвистические единицы, встречающиеся в схожих контекстах, имеют близкие значения.
Метаданные— информация о другой информации, или данные, относящиеся к дополнительной информации о содержимом или объекте. Метаданные раскрывают сведения о признаках и свойствах, характеризующих какие-либо сущности, которые позволяют автоматически искать и управлять ими в больших информационных потоках.
Модальность данных— принадлежность данных к некоторому источнику данных, определяющему структуру упомянутых данных, их формат, а также позволяющему соотнести упомянутую структуру с той или иной системой органов и/или нозологий и/или процедур. В качестве источника данных могут выступать как средства, получения данных о пациенте, так и сам пациент.
Онтология — всеобъемлющая и детальная формализация некоторой области знаний с помощью концептуальной схемы. Обычно такая схема состоит из иерархической структуры данных, содержащей все релевантные классы объектов, их связи и правила (теоремы, ограничения), принятые в этой области. Регуляризация (в статистике, машинном обучении, теории обратных задач)— метод добавления некоторой дополнительной информации к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.
Стемминг (англ stemming)— процесс нахождения основы слова для заданного исходного слова. Основа слова необязательно совпадает с морфологическим корнем слова.
Факт (медицинский факт)— данные, описывающие пациента, в том числе способы его лечения и связь упомянутых данных с другими медицинскими фактами.
Электронная история болезней пациентов (электронная медицинская карта, электронный паспорт пациента; англ, electronic medical record - EMR, electronic health record)— база данных, содержащая сведения о пациенте: физиологические параметры пациента, анамнез, истории болезней и их лечение (методы и ход лечения, прописанные препараты и т.п.). В том числе электронная история болезней пациентов содержит записи пациентов, включающих, по меньшей мере, следующие данные: дату добавления записи, коды диагнозов, симптомов, процедур и лекарств, текстовое описание истории болезни на естественном языке, ассоциированные с историей болезни биомедицинские изображения, результаты исследований и анализов пациентов.
Медицинский персонал или другой пользователь медицинской информационной системы загружает на сервер через её интерфейс данные о пациенте, которые содержат историю болезни пациента, сведения о физиологических параметрах пациента, другую информацию.
Ещё в одном из вариантов реализации данные на сервер могут быть загружены автоматически, без участия человека, например, при сборе и исследовании анализов, проведения лечащих процедур и т.д.
При обращении пациента к врачу, прохождении обследования, сдачи анализов или других медицинских процедурах, в медицинской информационной системе формируются (заполняются и сохраняются) данные по каждой такой процедуре. Данные могут включать записи осмотров пациента, коды диагнозов, симптомов, процедур и лекарств, назначаемых и/или принимаемых пациентом, описание истории болезни на естественном языке, биомедицинские изображения, результаты анализов, исследований, результаты наблюдений/измерений физиологических параметров, ЭКГ, ЭЭГ, МРТ, УЗИ, биопсия, цитологические исследования, рентгена, маммографии, но не ограничиваясь указанными данными.
Указанные данные могут быть представлены в текстовом, табличном формате, в виде временных рядов, изображений, видео, геномных данных, сигналов, но не ограничиваясь. Данные также могут быть представлены в структурированном и неструктурированном виде. Дополнительно в качестве данных могут выступать связи между приведёнными выше данными.
Анализы могут включать, но не ограничиваясь, анализ крови, спинномозговой жидкости, мочи, кала, генетические тесты и т.д. В рамках технического решения не накладывает ограничения на типы анализов.
Рассмотрим пример, проиллюстрированного на Фиг.1:
Один пациент 105 приходит на первичный осмотр к профильному врачу. Врач производит необходимые медицинские действия, после чего формирует описание имеющихся у пациента симптомов, даёт назначения на проведение анализов. Далее врач вводит данную информацию в компьютер через интерфейс медицинской информационной системы 110, после чего эти данные сохраняются в электронной истории болезни. Другой пациент 106 приходит на повторный приём к врачу-терапевту. Врач-терапевт производит назначение лекарственных препаратов пациенту, внося эти данные в электронную медицинскую карту. Таким образом, по каждому пациенту формируется необходимый набор записей в электронных историях болезни, который в дальнейшем может использоваться другими врачами или системами поддержки принятия решений.
Для построения систем поддержки принятия решений в области медицины требуется набрать определённый объём данных, позволяющий обучить систему распознавать по полученным медицинским данным диагнозы, группы диагнозов или фактов. Когда необходимый объём данных собирается в медицинской информационной системе, он может быть использован в качестве обучающей выборки. Большинство существующих систем поддержки принятия решений используют в свой составляющей машинное обучение (англ, machine learning) в различных его проявлениях.
Одним из важных компонентов в системе поддержки принятия медицинских решений является векторное представление пациента (математическая модель пациента), позволяющее прогнозировать развития заболеваний, диагностировать, формировать рекомендации, стратегии лечения и др. для конкретного пациента.
В одном из вариантов реализации функционал, позволяющий формировать векторное представление пациента, располагается на отдельном сервере.
В одном из вариантов реализации функционал, позволяющий формировать векторное представление пациента, располагается на том же сервере, где и располагается медицинская информационная система.
В одном из вариантов реализации функционал, позволяющий формировать векторное представление пациента, представляет собой облачный сервис (англ cloud service), использующий облачные вычисления (англ cloud computing) на распределённой системе серверов.
На первом этапе для формирования векторного представления пациента формируют обучающую выборку 210, фиг.2 (англ training dataset), которая в дальнейшем будет использована для обучения алгоритмами машинного обучения, в том числе алгоритмами глубокого обучения (англ deep learning).
В одном из вариантов реализации обучающая выборка формируется пользователем медицинской информационной системы, путём отбора записей пациентов.
В одном из вариантов реализации отбор записей может осуществляться по заданным критериям. При этом в качестве упомянутых критериев могут выступать по меньшей мере:
• правила включения/выключения в обучающую выборку:
о пациентов с анамнезом из заданной совокупности анамнезов (Например, только пациенты с онкологическим анамнезом);
о пациентов, удовлетворяющие заданным гендерным или возрастным параметрами (Например, только мужчины в возрасте от 30 до 45 лет);
о пациентов, связанных с пациентами, уже включёнными в обучающую выборку, при этом связь определяется по меньшей мере схожестью анамнезов, способов лечения и т.д.
• правила включения сформированных ранее обучающих выборок.
В рамках данного технического решения обучающая выборка содержит электронную историю болезни пациентов, сгруппированных по пациенту. Электронная история болезни пациента, используемая для формирования обучающей выборки, содержит записи пациентов, включающих, по меньшей мере, следующие данные: дату добавления записи, коды диагнозов, симптомов, процедур и лекарств, текстовое описание истории болезни на естественном языке, ассоциированные с историей болезни биомедицинские изображения, результаты исследований и анализов пациентов.
В качестве иллюстративного примера приведём следующий фрагмент из истории болезни пациента:
Figure imgf000008_0001
Используемые форматы представления данных могут варьироваться и меняться в зависимости от используемых технологий. Описанные форматы не являются единственно возможными и описаны для лучшего понимания принципов заложенных в данном техническом решении. Электронная история болезни пациента может быть представлена в формате openEHR, HL7 и т.д. Выбор формата и стандарта не влияет на сущность технического решения.
В одном из вариантов реализации запись истории болезни представляет собой набор полей, содержащих по меньшей мере параметрами, описывающие:
• состояние пациента;
• способы лечения пациента (методики, способы их применения, характеристики);
• средствами, используемыми при лечении пациента (препараты, дозировки и т.п.);
• результаты анализов и т.д;
и метаданные, связывающих описанные параметры с параметрами из других записей
В случае, если записи в обучающей выборке не сгруппированы по пациенту, после получения данных производят их группировку используя известные алгоритмы или функции (Например, любые сортировки и выборки, известные из уровня техники, в том числе при выборке данных из баз данных использование команд‘GROUP BY’, ORDER BY’ в SQL-запросах).
Данные истории болезни могут быть представлены в текстовом, табличном формате, в виде временных рядов, изображений, видео, геномных данных, сигналов, но не ограничиваясь. Данные также могут быть представлены в структурированном и не структурированном виде.
Дата добавления записи может хранить только дату, дату и время, временную отметку, при этом упомянутые записи могут содержать указанные временные объекты, как в абсолютном виде, так и в относительном (относительно временных объектов из других записей).
Коды диагнозов, симптомов, процедур, лекарств могут быть представлены в формате МКБ (Например, МКБ-10), SNOMED-CT, CCS (Clinical Classifications Software) или т.д. Выбор формата не влияет на сущность данного технического решения.
Результаты анализов могут быть представлены в табличном виде.
Текстовое описание истории болезни может быть представлено в структурированном и не структурированном виде (описание на естественном языке).
Биомедицинские изображения могут быть представлены в виде изображения (jpg, png, tiff и другие графические форматы), видео (avi, mpg, mov, mkv и другие видео-форматы), 3D фото, 3D видео, 3D моделей (obj, max, dwg и т.д.). В виде биомедицинских изображений могут быть представлены результаты ЭКГ, ЭЭГ, МРТ, УЗИ, биопсии, цитологических исследований, рентгена, маммографии и т.д. Данные РНК-секвенирования могут быть представлены в формате TDF (tiled data format), неиндексированных форматах такие как GFF, BED и WIG, индексированных форматах таких как ВАМ и Goby, а также в форматах bigWig и big Bed.
Описанные выше форматы отражают какое минимум программное обеспечение предназначено для работы с упомянутыми выше данными (создание, модификация и т.д.).
После того, как обучающая выборка сформирована и получена на сервере, сервер производит предварительную обработку данных 220, содержащихся в истории болезней пациентов, выбранных из обучающей выборки.
Предварительная обработка данных доменно-специфична и зависит от типа данных и источника данных.
Для каждого типа данных и/или источника данных задаются специализированные обработчики. В случае, когда для типа данных и/или источника не предусмотрен обработчик или в нем нет необходимости, то применяется пустой обработчик или осуществляется пропуск обработчика для данного типа данных.
В одном из вариантов реализации тип данных определяется на основе метаданных, задаваемых для по меньшей мере одного типа поля данных в электронной записи истории болезни пациента.
Например, в dicom в метаданных указывается модальность данных в явном виде и модальность данных трактуется согласно внутреннему определению dicom стандарта.
В одном из вариантов реализации тип данных может определяться при помощи сигнатур. При этом на сервере или внешнем источнике есть база данных сигнатур при помощи которых происходит определение типа данных в записи.
Например, наличие последовательности байт“GIF89a" в начале данных (поля или файла) обозначает, что это растровое изображение в формате GIF, а наличие байт‘ВМ’ означает, что это растровое изображение в формате BMP.
В одном из вариантов реализации тип данных может определяться на основании информации, содержащейся в записи, с использованием заранее заданных правил.
Например, тип данных изображений (Bitmap, Icon), мультимедиа данных (видео, звук), хранящихся в ресурсах исполнимых файлов (PE-файл, .ехе) определяется на основании анализа структуры секции ресурсов упомянутого исполнимого файла.
В одном из вариантов реализации данные одного типа могут быть конвертированы в данные другого вида (видео - в совокупность изображений и наоборот, 3d объект - в изображение проекций упомянутого объекта и наоборот, и т.д.). Например, для КТ снимков может задаваться обработчик, производящий их трансформацию в серию растровых изображений с возможной нормализацией, если известны параметры устройства, на котором сделан снимок.
Ещё в одном примере для текста может задаваться обработчик, который производит стандартные для NLP трансформации текста (в основном это приведение к нижнему регистру, замена чисел, удаление стоп-слов и предлогов, стэмминг).
Ещё в одном примере для текста на естественном языке может задаваться обработчик, который формирует из текста последовательность медицинских фактов при помощи его отображения (англ mapping - мапинг) на термины медицинской онтологии и/или словаря медицинских терминов.
В одном из вариантов реализации для анализа текста на естественном языке могут применяться известные из уровня техники алгоритмы по меньшей мере лексического анализа и синтаксического анализа на основании которых из текста выделяются лексемы и объединяются в объекты, представляющие собой последовательность медицинских фактов.
В одном из вариантов реализации при отображении текста каждый медицинский факт аннотируется (помечается) датой и/или временем, соответствующей дате и/или времени текущей записи из истории болезни.
Например, если обработчик обрабатывает поле содержащее текст на естественном языке из записи пациента, имеющей дату 20.01.2017, то все медицинские факты будут аннотированы (помечены) датой 20.01.2017.
В одном из вариантов реализации для анализа текста на естественном языке могут применяться известные из уровня техники алгоритмы по меньшей мере лексического анализа и синтаксического анализа на основании которых из текста выделяются лексемы и объединяются в объекты, представляющие собой последовательность медицинских фактов.
Ещё в одном из вариантов реализации для анализа текста используется предварительно обученная (одним из методов машинного обучения) модель распознавания текста, в результате работы которой формируется совокупность медицинских фактов. При этом упомянутая модель может быть переобучена (с использованием методов обучения с учителем), в случае если сформированные медицинские факты не будут удовлетворять заранее заданным критериям (например, при анализе результатов специалистом).
В одном из вариантов реализации обработчика для естественного языка, обработчик ищет каждое слово (после предобработки) из текста в онтологии или словаре. Если слово найдено в онтологии или словаре, то обработчик сохраняет соответствующее ему понятие онтологии или слово из словаря, при этом слова, не найденные в онтологии или словаре, отбрасываются. В одном из вариантов реализации могут использоваться более сложные правила (процедуры) отображения текста на естественном языке в последовательность фактов.
Например, для некоторых понятий могут задаваться дополнительные шаблоны (регулярные выражения), позволяющие извлечь связанные понятия и/или величины.
В одном из вариантов реализации онтологии и/или словари располагаются локально на сервере.
Ещё в одном из вариантов реализации сервер может получать онтологии и словари из внешних источников,
Например, через Ontology Lookup Service, который предоставляет интерфейс веб-сервиса для запроса многих онтологий из одного места с унифицированным форматом вывода данных.
В одном из вариантов реализации в качестве источника знаний, вместо онтологий или словарей может использоваться любой источник медицинских данных из которого можно сформировать лес знаний (множество ацикличных направленных графов знаний). К таким источникам относятся, в частности, медицинские схемы-гайдлайны и т.п.
Ещё в одном из вариантов реализации в качестве источника знаний могут выступать медицинские профильные статьи и/или учебники. При этом предварительно найденные статьи обрабатываются известными из уровня техники методами распознавания текстов (с помощью описанного выше лексического и синтаксического анализов, использования обученных моделей распознавания текстов и т.д.).
Ещё в одном из вариантов реализации в качестве источника знаний используются открытые биомедицинские онтологии (ОБО, англ. Open Biomedical Ontologies).
В одном из вариантов реализации обработчик производит нормализацию данных (под каждый тип данных могут использоваться свои правила нормализации).
Например, значений измерений определённых показателей крови, оформленных в виде таблиц, обработчик может производить нормализацию упомянутых значений (англ feature scaling), при этом параметры такого преобразования рассчитываются на обучающей выборке. В частности, вычисляются выборочные среднее а и дисперсия s2, при этом
х— а
х = - s
Ещё в одном примере для изображения, где значение каждого пикселя соответствует значению измеренной плотности среды для рентгеновского излучения в Хаундсфилдах обработчик может производить отображение шкалы Хаундсфилда в диапазон [-1 , 1] (нормализовать все целочисленные значения в диапазоне [0..255] для чёрно-белых изображений к действительным значениям в диапазоне [-1.0..1.0]). В частности, нормализация может быть описана формулой:
, х ~~ xmin
X = -
Хтах xmin
У— Утт Ί С Утах У min) * х
где
x - нормализуемое значение в пространстве значений {X};
xmin - минимальное значение в пространстве значений { };
Хтах - минимальное значение в пространстве значений {X};
х' - нормализованное значение в пространстве значений {X};
У т - минимальное значение в пространстве значений {У};
утах - минимальное значение в пространстве значений {У};
у' - нормализованное значение в пространстве значений {У};
Ещё в одном примере данные из таблицы, содержащей измерения определённых показателей крови, подвергаются препроцессингу - нормализации данных (приведение каждого из параметров к zero mean unit variance, параметры такого преобразования рассчитываются на обучающей выборке).
Ещё в одном примере данные, представленные в виде изображения в RGB формате, полученные с микроскопа подвергаются постпроцессингу - бинаризации от вероятности к классу. Если вероятность патологии по мнению модели больше заданного порога, то изображение помечается как содержащее патологию, иначе как не содержащее.
В одном из вариантов реализации обработчик производит фильтрацию шума или шумопонижение анализируемых данных (процесс устранения шумов из полезного сигнала с целью повышения его субъективного качества или для уменьшения уровня ошибок в каналах передачи и системах хранения цифровых данных). В частности, при обработке изображений может применяться один из методов пространственного шумоподавления (адаптивная фильтрация, медианная фильтрация, математическая морфология, методы на основе дискретного вейвлет- преобразования и т.д.), для видео - один из методов временного, пространственного или пространственно-временного шумоподавления.
Рассмотрим пример, проиллюстрированный на Фиг.З:
Пусть имеется обучающая выборка 310, состоящая из записей пациентов. Для каждой записи выборки сервер производит предварительную обработку данных, выбранных из полей записи. Так, например, сервер извлекает из обучающей выборки 310 одну запись 301 из истории болезни пациента, определяет состав полей и/или типы данных содержащихся в записи. В данном примере запись 301 содержит дату, описание на естественном языке, снимки КТ, анализ крови. Далее сервер для каждого поля записи производит обработку данных при помощи соответствующего обработчика из пула обработчиков 320 (обработчики 3201..32N). Так, например, дата может быть обработана пустым обработчиком 3201, текст на естественном языке - обработчиком 3202, осуществляющим стандартную для NLP обработку текста, снимки КТ - обработчиком КТ 3203, анализ крови - обработчиком 3204, производящим нормализацию данных. После обработки запись 301 пациента содержит обработанные данные 301*, где символ рядом с полем означает, что в нем содержатся изменённые записи (отличающиеся от первоначальных).
В одном из вариантов реализации обработчик формируется с использованием одном из скриптовых языков (языков сценариев), так и в виде плагинов, библиотек (в том числе, представляющих собой исполнимые файлы, типа РЕ, например, dll).
В одном из вариантов реализации на сервере встроен набор процедур для элементарных действий над типами данных. Комбинирование этих процедур в нужном для пользователя порядке позволяет создавать обработчики самостоятельно. Создание обработчиков в таком случае происходит при помощи встроенной поддержки скриптовых языков или через интерфейс платформы, позволяющий создавать такие обработчики.
После того, как сервер произвёл необходимую предварительную обработку данных, сервер преобразовывает 230 обработанные данные в последовательность медицинских фактов по каждому пациенту с использованием медицинских онтологий.
Вся история болезни преобразуется сервером в последовательность медицинских фактов о пациенте. Факты могут содержать дополнительную информацию, например, биомедицинское изображение, ЭКГ, результаты анализов и т.д.
В качестве иллюстративного примера рассмотрим две записи из электронной истории болезни и их результат преобразования в последовательность медицинских терминов.
Запись до преобразования:
Figure imgf000014_0001
Figure imgf000015_0001
После преобразования истории болезни в набор медицинских фактов, сервер производит автоматическую разметку полученной последовательности медицинских фактов 240 по каждому пациенту, используя извлечённые из истории болезни пациента диагнозы или другие интересующие факты. В случае, если данные размечены, то этот шаг пропускается сервером.
В одном из вариантов реализации интересующие факты задаются пользователем сервера или собираются у пользователей данного технического решения (например, у врача).
Например, в качестве интересующих фактов могут выступать списки включающих и исключающих критериев для клинических испытаний, т.е. списки критериев, которым должен соответствовать человек, чтобы быть включённым в клинику (включающие списки), или наоборот быть исключённым из клиники или не быть допущенным в клинику (исключающие списки).
Ещё в одном примере включающим критерием может быть заболевание раком печени с опухолью размером не больше 5 мм.
Ещё в одном примере исключающим критерием может быть курение, возраст пациента выше 65 лет.
В одном из вариантов реализации интересующие факты извлекаются из внешних источников. Например, интересующие факты могут извлекаться из медицинских информационных систем.
Далее сервер упорядочивает и группирует факты по осмотрам по времени. Такая группировка необходима для того, чтобы рассматривать группу фактов внутри одного осмотра одновременно.
В одном из вариантов реализации анализы могут относится к приёму, на котором они были назначены, или выделяются в отдельную сущность (отдельный осмотр).
В одном из вариантов реализации КТ, МРТ, гистологию относят к отдельному осмотру.
Ещё в одном из вариантов реализации к отдельным осмотрам относят по меньшей мере все методы исследования, содержащие необработанные данные (не отчёт врача, а непосредственный результат в виде изображения, видео, временных меток). Если доступен только отчёт врача или сам факт прохождения исследования, то такие данные рассматриваются как часть осмотра.
Для такой группировки по осмотрам сервер использует информацию о времени и/или дате, связанные с каждым фактом.
Далее сервер формируются пары {множество фактов, диагноз} или {множество фактов, интересующий факт} на основании группировки по осмотрам.
В одном из вариантов реализации пары формируются простым перебором.
Далее сервер подготавливает обучающую выборку для каждой из модальности данных. Как упоминалось ранее, в качестве модальности данных могут выступать данные гистологии, рентгена, КТ, маммографии и т.д.
Например, для формирования обучающей выборки для модальности КТ сервер отбирает записи, содержащие КТ:
Figure imgf000016_0001
Затем, после формирования обучающих выборок для каждой модальности, сервер производит обучение первичных репрезентаций 250 независимо для каждой из модальностей.
Для каждой модальности на сервере задаётся модель (группа моделей), для обучения прогнозирования выявленных в данной обучающей выборке диагнозов, присутствующих в данных модальностях.
В одном из вариантов реализации в качестве модели могут выступать такие алгоритмы машинного обучения, как:
• линейная регрессии;
• логистическая регрессия;
• алгоритм к ближайщих соседей;
• случайный лес;
• градиентный бустинг на деревьях;
• байесовы классификаторы;
• глубокие нейронные сети (полносвязные, свёрточные, рекуррентные, их комбинации).
Ещё в одном из вариантов реализации упомянутая модель удовлетворяет требованию - соответствие модальности, с которым эта модель будет работать.
Например, для изображений используются свёрточные сети.
В одном из вариантов реализации для каждой модальности задаётся несколько моделей.
В одном из вариантов реализации модальности группируют в кластеры (например, вся гистология, рентген, маммография и др.), имеющие общую архитектуру моделей (одно параметрическое семейство) и обучающиеся совместно, при этом, каждая модель из кластера имеет разные комплекты весов.
В одном из вариантов реализации для каждой модальности формируется набор параметрических семейств моделей. Параметрическое семейство означает, что есть общий вид моделей с некоторым набором параметров, определение которых однозначно задаёт модель.
Например, если в качестве модели используется нейронная сеть, то один из примеров параметрического семейства это многослойный перцептрон, а параметрами будут количество слоёв и количество нейронов в слоях. Другой пример - любая нейросеть с фиксированной архитектурой, котая порождает параметрическое семейство (к примеру семейство, предназначенное для сегментации изображений, для классификации изображений и т.д.).
В рамках данного технического решения предполагается использование следующих основных параметрических семейств:
• свёрточные нейронные сети для работы с изображениями, видео, сигналами; • рекуррентные нейронные сети для работы с последовательностями фактов в истории болезни пациента и для построения прогнозных моделей, для обработки неструктурированной текстовой информации;
• Баейсов подход и деревья решений для работы с табличными данными.
Разберём подробней на примере работы с изображениями.
В работе с изображениями встречаются следующие основные задачи: классификация изображения (поставить в соответствие каждому изображению один или несколько классов, или меток), сегментация изображений (поставить одну или несколько меток для каждого пикселя изображения), локализация объектов интереса (построить обрамляющий прямоугольник, внутри которого находится объект интереса, для каждого объекта на изображении). Для каждой из этих задач задаётся архитектура, решающая данную задачу. Отличия у модальностей в основном в размере входного изображения и в количестве целевых меток/объектов интереса. За основу каждой такой модели берётся Dense-net, концепт архитектуры которой представлен на фиг. 5.
Идея данной архитектуры в использовании дополнительных путей для движения информации внутри модели, что позволяет эффективно обучать даже очень большие модели с большим количеством сверточных слоёв. При заданной модальности, размере входного изображения и количества классов, такая модель образует параметрическое семейство, и веса нейронной сети как раз и является параметрами семейства. Они определяются в процессе обучения, во время которого модели предъявляются изображения и целевые метки, и нейронная сеть изменяет свои веса так, чтобы её отклик совпадал с тем, что содержится в разметке обучающей выборки (так называемые целевые значения или целевой отклик).
Далее для каждой модальности сервер производит поиск параметров семейства, дающих оптимальный результат на данной обучающей выборке.
В одном из вариантов реализации для поиска параметров семейства, дающих оптимальный результат, используется по меньшей мере:
• метод Монте-Карло;
• Байесова оптимизация.
В одном из вариантов реализации для оценки моделей использует кросс- валидация (скользящий контроль или кросс-проверка), на основании которой выбирается лучшая по показателям модель для данной обучающей выборки для данной модальности. Процедура скользящего контроля осуществляется следующим образом. Выборка X 1 разбивается N различными способами на две непересекающиеся подвыборки:
XL = X™u Xk,
где
ут
лп — обучающая подвыборка длины т,
л Хпк — контрольная подвыборка длины к = L— m, n = 1.. N — номер разбиения.
Для каждого разбиения п строится алгоритм
On = дОС)
и вычисляется значение функционала качества
Qn = Q С^п 4)
Среднее арифметическое значений Qn по всем разбиениям называется оценкой скользящего контроля :
Figure imgf000019_0001
Именно на основании оценки скользящего контроля и выбирается лучшая модель.
В одном из вариантов реализации модели добавляются по мере сбора данных и добавления новых источников данных о пациентах.
Например, в медицинской информационной системе стал доступен новый тип исследований (например, ЭКГ). Далее для модальности ЭКГ формируется обучающая выборка, затем на этой обучающей выборке обучается нейросетевая (фиг.4) модель (группа моделей), из которой получается репрезентация этой модальности.
После того, как модели обучены, сервер формирует первичные векторные репрезентации для каждой модальности. Для этого на вход каждой модели, обученной для данной модальности, сервер подаёт ранее предобработанные данные пациентов, определяет выходные значения модели и значения весов последнего скрытого слоя данной модели для каждой записи. Значения весов последнего скрытого слоя далее будут использоваться сервером в качестве первичных векторных репрезентаций, которые представляют собой отображение модальности в вектор фиксированного размера, определяемого моделью. В результате сервером формируется новый набор данных, представляющий собой трансформацию исходного.
У каждой модальности есть своя размерность вектора, например, если модальность - m^, а размерность общего пространства - п, то будет строиться отображение:
Ят“ -» Rn
Например, пусть
х е Rmu,y е Rn,
тогда отображение:
у = Ах + Ь,
где
Figure imgf000019_0002
Ещё в одном примере
у = f(Ax + b),
где
/ - нелинейная функция (например, ReLU, sigmoid, и т.д.).
То есть А есть матрица размером п, ти, а b есть вектор размера п
В одном из вариантов реализации векторная репрезентация текста строится в пространстве, в которое отображаются первичные векторные репрезентации всех остальных модальностей, т.е. первичная векторная репрезентация текстовой модальности отображается в пространство общих репрезентаций тождественным отображением.
В случае использование не нейросетевой модели возможны два сценария:
• в качестве репрезентации данных принимается выход модели как таковой;
• нейросетевая модель представляет собой классификатор, отображающий входные данные в некоторый набор фактов, для которых уже есть векторные представления. Поскольку гарантируется, что любая модель будет порождать вектор вероятности наличия факта, то векторная репрезентация будет взвешенная по вероятности сумма вектор-репрезентаций фактов.
Например, строится модель
c, x):C ^ U,
где
X - множество признаков,
У = Уи ΐ = 1» - - п] - множество целевых фактов
x - параметры модели.
Без ограничения общности можно переформулировать задачу следующим образом:
Figure imgf000020_0001
При таких ограничениях на модель pt можно трактовать как вероятность наличия факта yi у пациента (либо другие варианты, в зависимости от решаемой задачи, например, появление факта с горизонтом год и так далее). Имея обучающую выборку [xj, tj},j = 1, ..., N, можно определить параметры модели x. Обозначим найденные в процессе обучения параметры модели как x. Также, поскольку каждый из yt представляет собой медицинский факт, то ему соответствует векторная репрезентация Vt.
Тогда, для нового случая получаем следующее: строим соответствующий этому случаю вектор входных признаков х получаем соответствующий ему вектор вероятностей р =
Figure imgf000021_0001
векторная репрезентация данной модальности в данном случае будет строиться следующим образом:
v = vlvi-
Сервер формирует первичные векторные репрезентации для каждой из модальностей в результате чего получается набор векторных репрезентаций для медицинских фактов и терминов (диагнозов, симптомов, процедур и медикаментов) и модели для отображения первичных векторных репрезентаций в пространство совместных репрезентаций.
В одном из вариантов реализации сервер дополнительно предобучает векторные репрезентации медицинских терминов (концептов), например,
• при наличии дополнительного источника данных в виде большого корпуса медицинской литературы;
• при наличии альтернативного обучающего корпуса, который был собран независимо от текущего.
Сервер осуществляет предобучение медицинских терминов (концептов) с использованием дистрибутивной семантики и векторного представления слов.
Каждому слову присваивается свой контекстный вектор. Множество векторов формирует словесное векторное пространство.
В одном из вариантов реализации предобучение медицинских терминов (концептов) осуществляется при помощи программного инструмента анализа семантики естественных языков Word2vec с использованием онтологии для регуляризации.
Регуляризация в статистике, машинном обучении, теории обратных задач— метод добавления некоторой дополнительной информации к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели.
Например, это могут быть:
• ограничения гладкости результирующей функции;
• ограничения по норме векторного пространства;
• регуляризация на весах и на активациях нейронов;
• известные из уровня техники методы регуляризации. В данной техническом решении используются известные из уровня техники основные и общепринятые для машинного и глубокого обучения способы регуляризации. Допустим, что Е - функция ошибки, минимизируемая в процессе обучения, W - веса модели, А - активация всех нейронов скрытых слоёв (если речь ведётся о нейронной сети). Тогда, одна из наиболее широко используемых техник регуляризации под названием L (L2) регуляризация может быть описан следующим образом: Заместо минимизации Е решается задача минимизации
Е + aL (W ) min (L регуляризация весов),
Figure imgf000022_0002
где
Figure imgf000022_0001
норма.
Возможны также различные варианты приведённых случаев. Данные регуляризующие слагаемые (термы) накладывают дополнительные (нежёсткие) ограничения. Т.е. не заданные в виде явной системы уравнений и/или неравенств, порождающих множество W с Rn допустимых весов модели) ограничения на возможные веса модели, что позволяет избежать переобучения. Также, помимо L L2 регуляризации могут быть использованы:
• ранний останов: суть данного метода в том, чтобы из обучающей выборки выделить небольшую тестовую выборку, которая не участвует явно в процессе обучения, но используется для измерения ошибки модели в процессе обучения. Как только ошибка на этой тестовой выборке начинает расти, обучение прекращается.
• синтетическое увеличение обучающей выборки (англ data augmentation): суть данного подхода в том, что к каждому примеру обучающей выборки с некоторой вероятностью применяется преобразование, не меняющий желаемый отклик или позволяющее, применив аналогичное преобразование, получить новый ожидаемый отклик, который будет корректным. Например, классифицируя рентгеновское изображение грудной клетки на предмет наличия или отсутствия признаков пневмонии, к входному изображению можно применить зеркальное отображение относительно вертикальной оси, т.к. очевидно это не изменит целевую метку. • могут быть явно наложены ограничения на параметры модели через ограничение на значение норм вектора весов модели: Lt(W) < g или L2(V/) < U·
• могут применяться и другие методы регуляризации, широко используемые в машинном и глубоком обучении.
Иллюстративно опишем работу инструмента word2vec: на вход word2vec принимает большой текстовый корпус и сопоставляет каждому слову вектор, выдавая координаты слов на выходе. Сначала он создаёт словарь, «обучаясь» на входных текстовых данных, а затем вычисляет векторное представление слов. Векторное представление основывается на контекстной близости: слова, встречающиеся в тексте рядом с одинаковыми словами (а, следовательно, имеющие схожий смысл), в векторном представлении будут иметь близкие координаты векторов-слов. Полученные векторы-слова (например, фиг. 9а для бронхита и фиг. 96 для ревматита) могут быть использованы для обработки естественного языка и машинного обучения.
В word2vec существуют два основных алгоритма обучения: CBOW (Continuous Bag of Words) и Skip-gram. CBOW («непрерывный мешок со словами») — модельная архитектура, которая предсказывает текущее слово, исходя из окружающего его контекста. Архитектура типа Skip-gram действует иначе: она использует текущее слово, чтобы предугадывать окружающие его слова. Порядок слов контекста не оказывает влияния на результат ни в одном из этих алгоритмов.
Получаемые на выходе координатные представления векторов-слов позволяют вычислять «семантическое расстояние» меиеду словами. Основываясь на контекстной близости этих слов, технология word2vec делает свои предсказания.
В одном из вариантов реализации при использовании онтологии как регуляризации (ограничения на структуру пространства) используется attention.
В одном из вариантов реализации при использовании онтологии для регуляризации (ограничения на структуру пространства) используется многоуровневая (иерархическая) функция ошибки, опирающаяся на соотношения между терминами из онтологии. Онтология используется в частном случае в виде графа знаний, который задаёт иерархию терминов и их категорий. Это позволяет заранее упорядочить пространство векторного представления, так как очевидно, что близость в графе знаний должна означать близость в векторном пространстве между терминами или категориями. Используя это, можно наложить штраф на обучение векторных презентаций. В дальнейшем минимизируется штраф вместе с основной функцией ошибки. Обозначим за с вектор текущего термина. За q обозначим бинарную меру близости между двумя терминами сг и с2 по онтологии. Если = 0, то термины можно считать близкими, если q(c1 c2) = l, то далекими. Тогда функция ошибки на онтологии может быть задана:
Figure imgf000024_0001
Теперь, в процессе обучения векторных репрезентаций O (c) может использоваться по аналогии с L /L2 регуляризацией. Использование регуляризации с помощью онтологии позволяет улучшить качество модели, не прибегая к расширению обучающей выборки. За счёт разумного ограничения на пространство репрезентаций, накладываемые регуляризацией, повышается качество модели, что позволяет в частности избежать переобучения, стать алгоритму более устойчивым по отношению к выбросам и ошибкам в обучающем наборе. Стандартные методы классической регуляризации также накладывают ограничения на пространство репрезентаций, но они только сужают варианты, в отличии от регуляризации на онтологии, которая накладывает ограничения на пространство репрезентаций, основанные на внешней информации о доменной области.
В одном из вариантов реализации онтология, используемая для регуляризации, представляет собой внешний относительно системы параметр, может задаваться заранее и зависеть от соответствующей системы кодов заболеваний (например, Idc9/10, МКБ-10 и т.д.).
Для каждой нейросетевой модели, полученной на данном шаге, извлекается первичная векторная репрезентация как выход скрытого слоя. Упомянутая модель позволяет отобразить входные данные заданной модальности в первичное векторное представление. Это требует простых манипуляций с обученной моделью, по сути сводящейся к удалению из модели выходного слоя.
После обучения и получения первичных репрезентаций сервер осуществляет обучение совместных репрезентаций 260 (проиллюстрировано на фиг.10)(англ. coordinated multimodal machine learning, подробнее“Multimodal Machine Learning: A Survey and Taxonomy”, Tadas Baltrusaitis, Chaitanya Ahuja, and Louis-Philippe Morency).
Для того, чтобы использовать в процессе обучения совместных репрезентаций нетекстовые данные, например, медицинские изображения, необходимо обучить модель отображения из пространства этой модальности в общее векторное пространство. Для этого используется первичная векторизация модальности и обучаемая функция представления из первичной векторной репрезентации в общую, при этом в качестве обучаемой функции может выступать описанная выше модель (модель, обученная для отображения из пространства заданной модальности в общее векторное пространство).
Например, если модель занимается исключительно классификацией изображения, то за последним свёрточным слоем может следовать несколько скрытых полносвязных слоев. В таком случае берётся выход именно последнего скрытого свёрточного, а не полносвязного слоя. Когда же в истории болезни встречается нетекстовая модальность, например, КТ скан, берётся его первичная векторная репрезентация, обрабатывается с использованием многослойного перцептрона, при этом выход этого перцептрона считается вектором-репрезентацией данного изображения и на нем считается косинусное расстояние с его соседями.
Далее используется skip-gram, но, когда дело доходит до нетекстовых модальностей (например, медицинские изображения), в качестве их векторных представлений, и используются выход функции для этой модальности, при этом на вход skip-gram передаётся корпус из последовательностей медицинских фактов, извлечённый из историй болезни или медицинских текстов.
Затем, после обучения совместных репрезентаций сервер производит обучение финальных моделей и параметров агрегации 270.
Агрегация представляет собой получение из набора векторов, где каждый вектор представляет медицинский факт из истории болезни выбранного пациента единого вектора.
Каждому факту присваивается вес, получаемый в процессе обучения. Формируется набор весов, которые используются в процессе получения прогноза/диагноза для конкретного пациента - параметры агрегации. Затем определяют взвешенную сумму - домножая каждый вектор в истории болезни пациента на соответствующий ему вес и полученные вектора суммируются. Обычно, при агрегации вектор-репрезентаций используется прямая сумма векторов
Figure imgf000025_0001
где сад агрегированное представление пациента, q - векторные репрезентации фактов в истории данного пациента. Однако, такой вариант агрегации не всегда может быть оптимальным, так как каждый из фактов может иметь разный вес с точки зрения принятия решения для каждой из нозологии или же для этого пациента. Поэтому предлагается использовать в качества агрегации следующий подход сад = S?=i а{с4, где а4 есть скаляр, Si=i o-i = 1- Каждый их ai может быть как явным параметров модели и определяться в процессе обучения, так и представлять из себя функцию вида af = f(i, clt c2, ..., cfc, i//), где y есть параметры этой функции, которые определяются в процессе обучения со всеми остальными весами модели.
Строится граф вычислений, где веса присутствуют как параметры. Дальше параметры графа оптимизируются под текущий набор данных методом градиентного спуска. Получаемый в результате набор весов является обучаемым, то есть модифицируется вместе с остальными весами модели в процессе обучения. Веса определяют конфетную функцию из параметрического семейства, которая из нескольких входных векторов формирует один выходной.
Все вышесказанное можно резюмировать следующим образом: Обучение классификатора под группу диагнозов осуществляется на основе графов, обучающая выборка генерируется из доступных EHR в автоматическом режиме на базе NLP-техник (извлечение фактов + расположение их во временном порядке, дальше из них генерируются пары «факты»-«диагноз»). Выбор классификатора детерминирован возможностью осуществлять работу с векторными некатегориальными признаками и в данном способе это многослойные полносвязные нейронные сети с остатками.
На Фиг.7 изображены два пайплайна (pipeline) для ЭКГ и биомедицинских изображений, например, КТ грудной клетки. Данные попадают сначала в блок препроцесса. Блок препроцесса доменно-специфичный и преобразует входные данные к виду, который модель ожидает получить. Преобразованные данные отправляются в соответствующую модальности упомянутых данных модель - например, КТ грудного отдела отправляется в нейросеть, которая и анализирует данное исследование. Модель может выдавать результаты в двух видах (два выхода): это собственно желаемый выход модели (вероятность патологии, карты сегментации и т.д.) и векторную репрезентацию данного конкретного примера. Желаемый выход модели отправляется в модуль постпроцесса, который сопряжён с моделью, и выход этого блока показывается человеку-эксперту, например, или отправляется заказчику в виде отчета или в другом, удобном для него виде.
В центральной схеме изображено векторное пространство медицинских концептов, которое строится на основе skip-gram + регуляризация, но онтологии и каждый концепт отображается в определённую точку этого пространства. Для каждой модели также строится отображение в это пространство медицинских концептов из векторной репрезентации, которая порох ена моделью из пайплайна, через функцию отображения.
Дальше из этого общего пространства забираются вектора для конкретного пациента и отправляются в финальную модель, где агрегируются в единую модель пациента и по ней ставится диагноз и/или рекомендуется лечение и т.д.
После того, как все необходимые действия выполнены администратор, врач или ной пользователь добавляет на сервер (отправляют) записи пациента, которые необходимо проанализировать.
Примером такой записи может быть:
Мужчина в возрасте 60 лет обратился с жалобами на боли в груди при ходьбе, отдышку. К истории прикреплено описание ЭКГ исследования: На ЭКГ выявлен синусовый ритм, QRS комплекс в норме, выраженная депрессия ST сегмента (1 мм) в отведениях V4-V6. Лечение не назначен. Дифференциальный диагноз отсутствует.
Затем сервер осуществляет предобработку данных, выделение ключевых фактов и преобразование их в медицинские факты, например:
<Боли в груди>
<Отдышка>
<QRS комплекс в норме>
<депрессия ST сегмента> Далее сервер отправляет полученный набор фактов на вход существующим моделям и определяет диагноз с наибольшей вероятностью соответствующий предъявленному набору фактов.
Затем сервер получает результаты применения модели. В качестве иллюстративного результата на данном примере сервер выдает следующие результаты модели: 75% соответствия диагнозу «стенокардия», рекомендуемы дополнительные исследования: велоэргометрия, суточное ЭКГ мониторирование.
Отображение результатов может быть в виде рекомендаций, выделения регионов интереса на медицинских изображения, в виде отчетов.
В качестве результата применения модели (моделей) может быть анализ и прогноз развития заболеваний.
В некоторых вариантах реализации может быть предсказана смертность пациента.
В некоторых вариантах реализации на сервер поступает список запросов. Например, запрос - это одна серия КТ исследования требующая обработки сервером. Сервер осуществляет обработку и, например, на кт срезе красным кругом обводит (выделяет) потенциальный регион интереса, определенный моделью, при этом, списком приводятся все найденные объемы интереса состоящие из регионов интереса. Регион интереса локализуется на слайсе, объемы интереса строятся как агрегация нескольких регионов интереса в один.
В некоторых вариантах реализации может быть предсказана сердечная недостаточность, заболевания печени и другие болезни (патологии).
Ниже приведены экспериментальные данные по использованию данного технического решения в одном из вариантов его реализации.
Для исследования были взяты данные MIMIC-111 (Medical Information Mart for Intensive Care III) - свободно доступной базы, содержащей обезличенные данные о здоровье, ассоциированные почти с 40 тысячами пациентов, которые пребывали в отделении интенсивной терапии медицинского центра Бет-Изрейел в интервале с 2001 по 2012 годы.
MIMIC-III содержит информацию о демографии, лабораторных измерениях, процедурах, прописанных лекарствах, смертности и жизненных показателях пациентов, зафиксированных во время нахождения пациента в медицинском центре.
Для того, чтобы сравнить между собой разные модели, были обработаны данные с помощью следующего подхода.
Сначала была извлечена из базы информация по диагнозам (в виде ICD9 кодов, которые использовались в исходной базе), прописанным лекарствам (в виде идентификаторов NDC, или, если они отсутствовали, в виде текстового описания лекарства) и назначенным процедурам (в виде ICD9 кодов процедур) для каждого из пациентов с привязкой к конкретному приему, упорядочили по дате приема. Полученная в результате выборка содержала большое количество пациентов с короткой, но малоинформативной историей посещений лечебного заведения. Можно использовать информацию о таких пациентах, чтобы обучать матрицу весов для установления связей между диагнозами. Однако, при обучении моделей такая информация не будет полезна: событие, произошедшее во время следующего обращения к врачу, нельзя точно узнать для пациентов, обратившихся в клинику только 1 раз.
Поэтому для подготовки матриц весов была использована вся информация о пациентах, а для обучения моделей дополнительно обрабатывали данные: проходили по истории пациента скользящим окном длиной в год и рассматривали все посещения клиники, зафиксированные в течение этого года, в качестве независимого набора признаков, при этом исключили из рассмотрения скользящие окна, в которых было меньше 2 посещений.
Из каждой последовательности посещений медицинского центра пациентом в течение года были извлечены все приемы, кроме последнего, и использовали их и связанную с ними информацию для извлечения признаков, передаваемых на вход конкретным моделям. Затем провели разделение всех таких последовательностей на обучающую и тестовую выборки в соотношении 4 к 1.
Дополнительная обработка может зависеть от того, что принимает на вход конкретная модель.
СУБД MIMIC-III спроектирована таким образом, что каждому посещению пациентом медицинского центра может быть сопоставлено несколько диагнозов, лекарств, процедур, при этом их порядок внутри приема неоднозначен. Поэтому если модель принимает на вход упорядоченную последовательность событий, при этом не учитывает время посещения, то при ее обучении диагнозы, лекарства и процедуры внутри одного приема переупорядочивают случайным образом, а затем производят объединение“приемов” в последовательность.
Поскольку такая последовательность событий будет иметь разную длину для разных пациентов, и далекие по времени события будут оказывать меньший вклад в предсказание диагнозов, в некоторых вариантах реализации обучают модели на последних N событиях (при меньшем количестве событий в истории пациента - дополняют их нулями). Только для модели рассматривается вся последовательность посещений для каждого окна длиной в 1 год.
Предобучение матрицы весов
При построении некоторых классификаторов были использованы так называемые embedding матрицы, чтобы получить MCV-вектор, или вектор медицинских концептов - сжатое представление истории болезни пациента, представляющее собой вектор конечной длины, элементы которого - вещественные числа.
Схема получения векторов медицинских концептов для пациента показана на фиг. 6. Для его построения были рассмотрены события в истории пациента, упорядоченные по времени. Если встречалось событие определенного типа, то записываем, "1” в позицию вектора, соответствующую событию. Так получаем вектор большой размерности, состоящий из 1 - в тех позициях, которые соответствуют событиям, произошедшим в истории пациента, и 0 - в позициях, не произошедшим в истории пациента.
В некоторых моделях эта общая схема модифицируется: например, рассматриваются случайно переупорядоченные в рамках одного приема (и одной временной метки) события, в вектор событий записывается фиксированное количество последних событий, либо события, соответствующие одному приему, дополнительно умножаются на вес, который определяется тем, насколько давно по времени произошло событие.
Такое разреженное представление истории пациента занимает много памяти, обучение модели на основе него требует много времени. Для того, чтобы сократить время и сжать данные, на основе разреженного представления истории болезней строят вектор медицинских концептов для пациента.
Для получения сжатого представления в простейшем случае используется так называемая embedding-матрица, на которую домножается разреженный вектор истории пациента. Были рассмотрены несколько матриц:
Word2Vec: в качестве матрицы мы брали матрицу коэффициентов, полученную на основании анализа сопутствующих диагнозов, предписаний и медикаментов, которые встречались в рамках одного посещения пациентом врача. Для обучения мы использовали модель word2vec с механизмом skipgram, чтобы для любого диагноза, медицинской процедуры или прописанного лекарства (соответствующего столбцу embedding-матрицы) получать вектор медицинских концептов определенной длины.
Мы обучали эту весовую матрицу на истории болезни пациента, включающей коды диагнозов, назначенных процедур и прописанных лекарств, чтобы извлечь больше информации о связях между диагнозами.
Ontology embedding: Использовалась информация об онтологии, а именно, для получения сжатых представлений событий использовались коды, которые расположены в вышестоящих узлах дерева диагнозов, выраженного в терминах ICD9-KOflOB.
Embedding with ICD9 tree: для получения сжатого представления может использоваться нестандартную функцию регуляризации, которая максимизирует расстояние до далеких и минимизирует расстояние до близких объектов в дереве (и одновременно с этим корректирует вектора для родительских узлов в дереве IC 09-кодов). В отличие от имеющихся подходов, в которых происходит обучение весов диагнозов и их родителей в дереве под конкретную задачу, предобучается матрица весов, и уже в обученном варианте она используется для обучения моделей. Для каждой из поставленных задач могут быть рассмотрены несколько классификаторов:
Basic 1-hot encoding: эта модель была построена на основе логистической регрессии, на вход которой подавался массив из 0 и 1 - разреженное векторное представление истории болезни пациента. Рассматривались только заболевания.
TFI-DF encoding: эта модель была построена на основе логистической регрессии, на вход которой подавался массив, ячейки которого были сопоставлены заболеваниям пациента. Построение проведено аналогично предыдущей модели, за исключением того, что для заболеваний учитывалось, сколько раз они встретились в истории пациента, а затем входные признаки были обработаны алгоритмом TF-IDF , чтобы сопоставить больший вес редко встречающимся в целом, но часто замеченным у конкретного пациента диагнозам.
Следующие несколько моделей использовали похожую архитектуру нейронной сети для классификации, но разные матрицы весов.
Word2Vec embeddings: модель использовала матрицу весов для получения сжатого представления истории болезни в виде вектора пациента. В качестве матрицы весов использовалась матрица Word2vec, основанная на механизме skip-gram. Полученные сжатые представления использовались в качестве признаков для логистической регрессии.
Word2Vec embedding+attention: в модели использована \Л/о^2\/ес-матрица весов для получения сжатого представления вектора пациента внутри модели. Кроме того, была использована нейросетевая архитектура с механизмом внимания.
Embedding with ICD9 tree: модель с embedding-матрицей, построенной на основе дерева icd9-KOflOB. Сжатые представления пациентов, полученные умножением матрицы на вектора пациентов, были использованы для построения модели на основе логистической регрессии.
Embedding with ICD9 tree+attention: модель с embedding-матрицей, построенной на основе дерева icd9-KOflOB, в которой была использована архитектура нейронной сети с механизмом внимания.
Embedding with ICD9 tree+attention+tfidf: модель, которая отличается от предыдущей тем, что дополнительно на вход ей было передано значение, которое возвращала для заданного пациента модель TFI-DF encoding.
Choi embedding+attention: модель с embedding-матрицей, построенной на основе сжатых представлений векторов, рассмотренных в работе Choi et all «GRAM: Graph- based Attention Model for Healthcare Representation Learning», с использованием механизма внимания.
Time-based model: Воспроизведен способ построения mcv-векторов пациентов.
На Фиг.8 показан пример компьютерной системы общего назначения, на которой может выполняться описываемое техническое решение и которая включает в себя многоцелевое вычислительное устройство в виде компьютера 20 или сервера, включающего в себя процессор 21 , системную память 22 и системную шину 23, которая связывает различные системные компоненты, включая системную память с процессором 21.
Системная шина 23 может быть любого из различных типов структур шин, включающих шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из множества архитектур шин. Системная память включает постоянное запоминающее устройство (ПЗУ) 24 и оперативное запоминающее устройство (ОЗУ) 25. В ПЗУ 24 хранится базовая система ввода/вывода 26 (БИОС), состоящая из основных подпрограмм, которые помогают обмениваться информацией между элементами внутри компьютера 20, например, в момент запуска.
Компьютер 20 также может включать в себя накопитель 27 на жёстком диске для чтения с и записи на жёсткий диск, накопитель 28 на магнитных дисках для чтения с или записи на съёмный диск 29, и накопитель 30 на оптическом диске для чтения с или записи на съёмный оптический диск 31 такой, как компакт-диск, цифровой видео-диск и другие оптические средства. Накопитель 27 на жёстком диске, накопитель 28 на магнитных дисках и накопитель 30 на оптических дисках соединены с системной шиной 23 посредством, соответственно, интерфейса 32 накопителя на жёстком диске, интерфейса 33 накопителя на магнитных дисках и интерфейса 34 оптического накопителя. Накопители и их соответствующие читаемые компьютером средства обеспечивают энергонезависимое хранение читаемых компьютером инструкций, структур данных, программных модулей и других данных для компьютера 20.
Хотя описанная здесь типичная конфигурация использует жёсткий диск, съёмный магнитный диск 29 и съёмный оптический диск 31 , специалист примет во внимание, что в типичной операционной среде могут также быть использованы другие типы читаемых компьютером средств, которые могут хранить данные, которые доступны с помощью компьютера, такие как магнитные кассеты, карты флеш-памяти, цифровые видеодиски, картриджи Бернулли, оперативные запоминающие устройства (ОЗУ), постоянные запоминающие устройства (ПЗУ) и т.п.
Различные программные модули, включая операционную систему 35, могут быть сохранены на жёстком диске, магнитном диске 29, оптическом диске 31 , ПЗУ 24 или ОЗУ 25. Компьютер 20 включает в себя файловую систему 36, связанную с операционной системой 35 или включённую в неё, одно или более программное приложение 37, другие программные модули 38 и программные данные 39. Пользователь может вводить команды и информацию в компьютер 20 при помощи устройств ввода, таких как клавиатура 40 и указательное устройство 42. Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, геймпад, спутниковую антенну, сканер или любое другое.
Эти и другие устройства ввода соединены с процессором 21 часто посредством интерфейса 46 последовательного порта, который связан с системной шиной, но могут быть соединены посредством других интерфейсов, таких как параллельный порт, игровой порт или универсальная последовательная шина (УПШ). Монитор 47 или другой тип устройства визуального отображения также соединён с системной шиной 23 посредством интерфейса, например, видеоадаптера 48. В дополнение к монитору 47, персональные компьютеры обычно включают в себя другие периферийные устройства вывода (не показано), такие как динамики и принтеры.
Компьютер 20 может работать в сетевом окружении посредством логических соединений к одному или нескольким удалённым компьютерам 49. Удалённый компьютер (или компьютеры) 49 может представлять собой другой компьютер, сервер, роутер, сетевой ПК, пиринговое устройство или другой узел единой сети, а также обычно включает в себя большинство или все элементы, описанные выше, в отношении компьютера 20, хотя показано только устройство хранения информации 50. Логические соединения включают в себя локальную сеть (ЛВС) 51 и глобальную компьютерную сеть (ГКС) 52. Такие сетевые окружения обычно распространены в учреждениях, корпоративных компьютерных сетях, Интернете.
Компьютер 20, используемый в сетевом окружении ЛВС, соединяется с локальной сетью 51 посредством сетевого интерфейса или адаптера 53. Компьютер 20, используемый в сетевом окружении ГКС, обычно использует модем 54 или другие средства для установления связи с глобальной компьютерной сетью 52, такой как Интернет.
Модем 54, который может быть внутренним или внешним, соединён с системной шиной 23 посредством интерфейса 46 последовательного порта. В сетевом окружении программные модули или их части, описанные применительно к компьютеру 20, могут храниться на удалённом устройстве хранения информации. Надо принять во внимание, что показанные сетевые соединения являются типичными, и для установления коммуникационной связи между компьютерами могут быть использованы другие средства.
В заключение следует отметить, что приведённые в описании сведения являются примерами, которые не ограничивают объём настоящего технического решения, определённого формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего технического решения, согласующиеся с сущностью и объёмом настоящего технического решения.
Литература:
1. https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512
2. https://medium.eom/@Svnced/a-brief-overview-of-attention-mechanism-
13c578ba9129
3. “Medical Concept Representation Learning from Electronic Health Records and its Application on Heart Failure Prediction”, Edward Choi, Andy Schuetz, Walter F. Stewart, Jimeng Sun, 11/02/2016. “Graph-based atention model for healthcare representation learning”, Edward Choi, Mohammad Taha Bahadori, Le Song, Walter F. Stewart, Jimeng Sun, 2017.

Claims

ФОРМУЛА
1. Способ поддержки принятия врачебных решений с использованием математических моделей представления пациентов, выполняемая на сервере, включает следующие шаги:
• формируют обучающую выборку, содержащую электронную историю болезни пациентов, сгруппированных по пациенту;
• производят предварительную обработку данных, содержащихся в истории болезней пациентов, выбранных из обучающей выборки;
• преобразовывают обработанные данные в последовательность медицинских фактов по каждому пациенту с использованием медицинских онтологий;
• производят автоматическую разметку полученной последовательности медицинских фактов по каждому пациенту, используя извлечённые из истории болезни пациента диагнозы или другие интересующие факты;
• производят обучение первичных репрезентаций независимо для каждой из модальностей;
• осуществляет обучение совместных репрезентаций;
• производят обучение финальных моделей и параметров агрегации;
• получают историю болезни пациента, не входящую в обучающую выборку;
• производят предварительную обработку данных полученной истории болезни пациента;
• преобразовывают предварительно обработанные данные в последовательность медицинских фактов с использованием медицинских онтологий;
• полученный набор фактов отправляют на вход сформированным моделям;
• определяют диагноз, а также проводят анализ и прогноз развития заболеваний пациента с наибольшей вероятностью соответствующий предъявленному набору фактов.
2. Способ по п.1, в котором электронная история болезни пациента включает, по крайней мере, следующие данные: состояние пациента, способы лечения пациента, средствами, используемыми при лечении пациента, результаты анализов;
3. Система поддержки принятия врачебных решений с использованием математических моделей представления пациентов включает, по крайней мере, один процессор, оперативную память, запоминающее устройство, содержащее инструкции, загружаемые в оперативную память и выполняемые, по крайней мере, одним процессором, инструкции содержат следующие шаги:
• формирование обучающей выборки, содержащую электронную историю болезни пациентов, сгруппированных по пациенту;
• предварительную обработку данных, содержащихся в истории болезней пациентов, выбранных из обучающей выборки; • преобразование обработанных данные в последовательность медицинских фактов по каждому пациенту с использованием медицинских онтологий;
• автоматическую разметку полученной последовательности медицинских фактов по каждому пациенту, используя извлечённые из истории болезни пациента диагнозы или другие интересующие факты;
• обучение первичных репрезентаций независимо для каждой из модальностей;
• обучение совместных репрезентаций;
• обучение финальных моделей и параметров агрегации;
• получение истории болезни пациента, не входящей в обучающую выборку;
• предварительную обработку данных полученной истории болезни пациента;
• преобразование предварительно обработанных данных в последовательность медицинских фактов с использованием медицинских онтологий;
• отправки полученного набор фактов на вход сформированным моделям;
• определения диагноз, а также анализа и прогноза развития заболеваний пациента с наибольшей вероятностью соответствующий предъявленному набору фактов.
PCT/RU2017/000819 2017-12-29 2017-12-29 Способ и система поддержки принятия врачебных решений Ceased WO2019132685A1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17936316.3A EP3734604A4 (en) 2017-12-29 2017-12-29 MEDICAL DECISION-MAKING PROCESS AND SYSTEM
US16/770,634 US20200303072A1 (en) 2017-12-29 2017-12-29 Method and system for supporting medical decision making
CN201780097565.8A CN111492437A (zh) 2017-12-29 2017-12-29 支持医学决策的方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2017137802A RU2703679C2 (ru) 2017-12-29 2017-12-29 Способ и система поддержки принятия врачебных решений с использованием математических моделей представления пациентов
RU2017137802 2017-12-29

Publications (1)

Publication Number Publication Date
WO2019132685A1 true WO2019132685A1 (ru) 2019-07-04

Family

ID=67067900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2017/000819 Ceased WO2019132685A1 (ru) 2017-12-29 2017-12-29 Способ и система поддержки принятия врачебных решений

Country Status (5)

Country Link
US (1) US20200303072A1 (ru)
EP (1) EP3734604A4 (ru)
CN (1) CN111492437A (ru)
RU (1) RU2703679C2 (ru)
WO (1) WO2019132685A1 (ru)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599427A (zh) * 2020-05-14 2020-08-28 郑州大学第一附属医院 一种一元化诊断的推荐方法、装置、电子设备及存储介质
CN111785370A (zh) * 2020-07-01 2020-10-16 医渡云（北京）技术有限公司 病历数据处理方法及装置、计算机存储介质、电子设备
US20200381087A1 (en) * 2019-05-31 2020-12-03 Tempus Labs Systems and methods of clinical trial evaluation
US12462911B2 (en) 2018-12-03 2025-11-04 Tempus Ai, Inc. Clinical concept identification, extraction, and prediction system and related methods
RU241560U1 (ru) * 2025-11-25 2026-02-24 Государственное Бюджетное Учреждение Здравоохранения Города Москвы "Московский Многопрофильный Научно-Клинический Центр Имени С.П. Боткина" Департамента Здравоохранения Города Москвы (Гбуз Ммнкц Им. С.П. Боткина Дзм) Устройство для амбулаторного мониторинга мочеиспускания с применением машинного обучения

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235146A (zh) * 2017-02-03 2019-09-13 西门子股份公司 用于检测图像中的感兴趣对象的方法和装置
EP3518245B1 (en) * 2018-01-29 2026-05-06 Siemens Healthineers AG Image generation from a medical text report
US20200097601A1 (en) * 2018-09-26 2020-03-26 Accenture Global Solutions Limited Identification of an entity representation in unstructured data
GB201819434D0 (en) * 2018-11-29 2019-01-16 Kheiron Medical Tech Ltd Domain adaptation
US11176323B2 (en) * 2019-08-20 2021-11-16 International Business Machines Corporation Natural language processing using an ontology-based concept embedding model
RU2723674C1 (ru) * 2019-11-29 2020-06-17 Денис Станиславович Тарасов Способ прогнозирования диагноза на основе обработки данных, содержащих медицинские знания
JP7260119B2 (ja) * 2020-01-03 2023-04-18 ペイジ．エーアイ インコーポレイテッド 一般化疾患検出のために電子画像を処理するためのシステムおよび方法
US20230178199A1 (en) * 2020-01-13 2023-06-08 Knowtions Research Inc. Method and system of using hierarchical vectorisation for representation of healthcare data
TWI775050B (zh) * 2020-02-20 2022-08-21 宏碁股份有限公司 訓練資料處理方法與電子裝置
EP3872584A1 (en) * 2020-02-28 2021-09-01 Deepc GmbH Technique for determining an indication of a medical condition
US11782942B2 (en) * 2020-03-10 2023-10-10 International Business Machines Corporation Auto-generating ground truth on clinical text by leveraging structured electronic health record data
US12070338B2 (en) 2020-04-06 2024-08-27 General Genomics, Inc. Predicting susceptibility of living organisms to medical conditions using machine learning models
CN111753543B (zh) * 2020-06-24 2024-03-12 北京百度网讯科技有限公司 药物推荐方法、装置、电子设备及存储介质
RU2752792C1 (ru) * 2020-07-10 2021-08-05 Общество с ограниченной ответственностью "К-Скай" Система для поддержки принятия врачебных решений
US20220019914A1 (en) * 2020-07-17 2022-01-20 Optum, Inc. Predictive data analysis techniques for cross-temporal anomaly detection
CN111973155B (zh) * 2020-08-23 2023-06-16 吾征智能技术(北京)有限公司 一种基于人体口味异常变化的疾病认知自学习系统
DE102020210998A1 (de) * 2020-09-01 2022-03-03 Siemens Healthcare Gmbh Verwertung medizinischer Daten über Organisationsgrenzen hinweg
RU2742261C1 (ru) * 2020-09-11 2021-02-04 ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СберМедИИ" Цифровая компьютерно-реализуемая платформа для создания медицинских приложений с использованием искусственного интеллекта и способ её работы
CN112037876B (zh) * 2020-09-16 2024-07-12 陈俊霖 慢性病病程阶段分析系统、装置和存储介质
CN114255865B (zh) * 2020-09-23 2024-09-13 中国科学院沈阳计算技术研究所有限公司 一种基于循环神经网络的诊疗项目预测方法
US20220142614A1 (en) * 2020-11-09 2022-05-12 Siemens Medical Solutions Usa, Inc. Ultrasound-derived proxy for physical quantity
CN112349410B (zh) * 2020-11-13 2024-04-09 北京京东尚科信息技术有限公司 用于科室分诊的分诊模型的训练方法、分诊方法和系统
TWI777319B (zh) * 2020-12-03 2022-09-11 鴻海精密工業股份有限公司 幹細胞密度確定方法、裝置、電腦裝置及儲存介質
CN114663330B (zh) 2020-12-03 2025-05-06 富泰华工业（深圳）有限公司 干细胞密度确定方法、装置、电子设备及存储介质
WO2022245863A1 (en) * 2021-05-18 2022-11-24 Ciitizen, Llc Method and system for aggregating data
US11282609B1 (en) * 2021-06-13 2022-03-22 Chorus Health Inc. Modular data system for processing multimodal data and enabling parallel recommendation system processing
CN113535974B (zh) * 2021-06-28 2024-04-09 科大讯飞华南人工智能研究院（广州）有限公司 诊断推荐方法及相关装置、电子设备、存储介质
CN113421632B (zh) * 2021-07-09 2024-08-06 中国人民大学 一种基于时间序列的心理疾病类型诊断系统
CN113539409B (zh) * 2021-07-28 2024-04-26 平安科技（深圳）有限公司 治疗方案推荐方法、装置、设备及存储介质
US12400126B2 (en) * 2021-08-11 2025-08-26 Cerner Innovation, Inc. Predictive classification model for auto-population of text block templates into an application
CN113674063B (zh) * 2021-08-27 2024-01-12 卓尔智联(武汉)研究院有限公司 购物推荐方法、购物推荐装置、及电子设备
CN113901805B (zh) * 2021-10-15 2025-01-28 长三角信息智能创新研究院 基于标签属性和特征增强的病案文本icd9代码自动分配方法
CN113918732A (zh) * 2021-11-19 2022-01-11 北京明略软件系统有限公司 多模态知识图谱构建方法、系统、存储介质及电子设备
CN114741591B (zh) * 2022-04-02 2024-06-25 西安电子科技大学 一种向学习者推荐学习路径的方法及电子设备
US20240105292A1 (en) * 2022-07-05 2024-03-28 MediSyn, Inc. Platform for synthesizing high-dimensional longitudinal electronic health records using a deep learning language model
CN115938565A (zh) * 2022-11-11 2023-04-07 浙江大学医学院附属第一医院 基于智能推理和证据关联的肿瘤辅助决策支持系统
CN116383405B (zh) * 2023-03-20 2023-09-19 华中科技大学同济医学院附属协和医院 基于动态图序列的病历知识图谱构建方法及系统
CN116502047B (zh) * 2023-05-23 2024-05-07 成都市第四人民医院 神经医学数据处理方法及系统
US12288621B2 (en) * 2023-08-03 2025-04-29 Anumana, Inc. Apparatus and a method for generating a diagnostic label
US12573380B2 (en) * 2023-09-15 2026-03-10 Oracle International Corporation Transforming natural language to a logical form
CN119694535A (zh) * 2024-11-29 2025-03-25 成都四方伟业软件股份有限公司 一种利用多源数据的智能医疗诊断与决策支持方法
CN120452661B (zh) * 2025-07-10 2025-10-17 四川互慧软件有限公司 基于人工智能的呼吸衰竭治疗方案推荐方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2515587C1 (ru) * 2012-12-07 2014-05-10 Федеральное государственное бюджетное учреждение науки Институт проблем управления им. В.А. Трапезникова Российской академии наук Способ организации и ведения медицинского мониторинга
WO2015023674A1 (en) * 2013-08-12 2015-02-19 Cerner Innovation, Inc. Dynamically determining risk of clinical condition
US20160364537A1 (en) * 2015-06-15 2016-12-15 Dascena Diagnostic support systems using machine learning techniques
US20160378919A1 (en) * 2013-11-27 2016-12-29 The Johns Hopkins University System and method for medical data analysis and sharing
US20170053064A1 (en) * 2014-03-03 2017-02-23 Semanticmd, Inc. Personalized content-based patient retrieval system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060020444A1 (en) * 2004-07-26 2006-01-26 Cousineau Leo E Ontology based medical system for data capture and knowledge representation
US7630947B2 (en) * 2005-08-25 2009-12-08 Siemens Medical Solutions Usa, Inc. Medical ontologies for computer assisted clinical decision support
US7899764B2 (en) * 2007-02-16 2011-03-01 Siemens Aktiengesellschaft Medical ontologies for machine learning and decision support
EP2191405B1 (en) * 2007-06-27 2019-05-01 Roche Diabetes Care GmbH Medical diagnosis, therapy, and prognosis system for invoked events and method thereof
EP2191399A1 (en) * 2007-09-21 2010-06-02 International Business Machines Corporation System and method for analyzing electronic data records
US8015136B1 (en) * 2008-04-03 2011-09-06 Dynamic Healthcare Systems, Inc. Algorithmic method for generating a medical utilization profile for a patient and to be used for medical risk analysis decisioning
BR112013013876A2 (pt) * 2010-12-10 2016-09-13 Koninkl Philips Electronics Nv sistema para detectar uma irregularidade em um registro, estação de trabalho, método de detecção de uma irregularidade em um registro e produto de programa de computador
RU2491622C1 (ru) * 2012-01-25 2013-08-27 Общество С Ограниченной Ответственностью "Центр Инноваций Натальи Касперской" Способ классификации документов по категориям
MX2015009780A (es) * 2013-01-29 2016-04-04 Molecular Health Gmbh Sistemas y metodos para soporte de decision clinica.
US20160259899A1 (en) * 2015-03-04 2016-09-08 Expeda ehf Clinical decision support system for diagnosing and monitoring of a disease of a patient
US20170308671A1 (en) * 2016-04-20 2017-10-26 Bionous, LLC Personal health awareness system and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2515587C1 (ru) * 2012-12-07 2014-05-10 Федеральное государственное бюджетное учреждение науки Институт проблем управления им. В.А. Трапезникова Российской академии наук Способ организации и ведения медицинского мониторинга
WO2015023674A1 (en) * 2013-08-12 2015-02-19 Cerner Innovation, Inc. Dynamically determining risk of clinical condition
US20160378919A1 (en) * 2013-11-27 2016-12-29 The Johns Hopkins University System and method for medical data analysis and sharing
US20170053064A1 (en) * 2014-03-03 2017-02-23 Semanticmd, Inc. Personalized content-based patient retrieval system
US20160364537A1 (en) * 2015-06-15 2016-12-15 Dascena Diagnostic support systems using machine learning techniques

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EDWARD CHOIANDY SCHUETZWALTER F. STEWARTJIMENG SUN, MEDICAL CONCEPT REPRESENTATION LEARNING FROM ELECTRONIC HEALTH RECORDS AND ITS APPLICATION ON HEART FAILURE PREDICTION, 11 February 2016 (2016-02-11)
EDWARD CHOIMOHAMMAD TAHA BAHADORILE SONGWALTER F. STEWARTJIMENG SUN, GRAPH-BASED ATTENTION MODEL FOR HEALTHCARE REPRESENTATION LEARNING, 2017
See also references of EP3734604A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12462911B2 (en) 2018-12-03 2025-11-04 Tempus Ai, Inc. Clinical concept identification, extraction, and prediction system and related methods
US20200381087A1 (en) * 2019-05-31 2020-12-03 Tempus Labs Systems and methods of clinical trial evaluation
CN111599427A (zh) * 2020-05-14 2020-08-28 郑州大学第一附属医院 一种一元化诊断的推荐方法、装置、电子设备及存储介质
CN111599427B (zh) * 2020-05-14 2023-03-31 郑州大学第一附属医院 一种一元化诊断的推荐方法、装置、电子设备及存储介质
CN111785370A (zh) * 2020-07-01 2020-10-16 医渡云（北京）技术有限公司 病历数据处理方法及装置、计算机存储介质、电子设备
CN111785370B (zh) * 2020-07-01 2024-05-17 医渡云（北京）技术有限公司 病历数据处理方法及装置、计算机存储介质、电子设备
RU241560U1 (ru) * 2025-11-25 2026-02-24 Государственное Бюджетное Учреждение Здравоохранения Города Москвы "Московский Многопрофильный Научно-Клинический Центр Имени С.П. Боткина" Департамента Здравоохранения Города Москвы (Гбуз Ммнкц Им. С.П. Боткина Дзм) Устройство для амбулаторного мониторинга мочеиспускания с применением машинного обучения

Also Published As

Publication number Publication date
EP3734604A4 (en) 2021-08-11
RU2703679C2 (ru) 2019-10-21
EP3734604A1 (en) 2020-11-04
US20200303072A1 (en) 2020-09-24
RU2017137802A3 (ru) 2019-07-17
RU2017137802A (ru) 2019-07-01
CN111492437A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
RU2703679C2 (ru) Способ и система поддержки принятия врачебных решений с использованием математических моделей представления пациентов
Kaswan et al. AI-based natural language processing for the generation of meaningful information electronic health record (EHR) data
Javed et al. Artificial intelligence for cognitive health assessment: state-of-the-art, open challenges and future directions
US10929420B2 (en) Structured report data from a medical text report
RU2720363C2 (ru) Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта
Shukla et al. Optimization assisted bidirectional gated recurrent unit for healthcare monitoring system in big-data
WO2020006495A1 (en) Deep learning-based diagnosis and referral of diseases and disorders using natural language processing
US20250046460A1 (en) Method for establishing digital twin based on medical health, device, and storage for the same
Poongodi et al. Deep learning techniques for electronic health record (EHR) analysis
Liu et al. Natural language processing, electronic health records, and clinical research
US20200075165A1 (en) Machine Learning Systems and Methods For Assessing Medical Outcomes
US12094582B1 (en) Intelligent healthcare data fabric system
Davazdahemami et al. A deep learning approach for predicting early bounce-backs to the emergency departments
Liu et al. Advancing clinical research through natural language processing on electronic health records: traditional machine learning meets deep learning
Moya-Carvajal et al. ML models for severity classification and length-of-stay forecasting in emergency units
Cina et al. Advancing spine care through AI and machine learning: overview and applications
EP4390960A1 (en) Systems and methods for providing an updated machine learning algorithm
Ren et al. A comprehensive survey of electronic health record modeling: From deep learning approaches to large language models
US11170315B2 (en) Methods and systems for providing dynamic constitutional guidance
Dai et al. Automated classification of clinical diagnoses in electronic health records using transformer
Neubig et al. Unstructured electronic health records of dysphagic patients analyzed by large language models
Alsaidi et al. Exploring analogical inference in healthcare
Almuhana et al. Classification of medical specialty for text medical report based on natural language processing and deep learning
Hiriyannaiah et al. Multi-modal Data-Driven Analytics for Health Care
YI et al. Visual Question Answer System for Skeletal Image Using Radiology Images in the Healthcare Domain Based on Visual and Textual Feature Extraction Techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936316

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017936316

Country of ref document: EP

Effective date: 20200729