WO2023048463A1 - 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치 - Google Patents

딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치 Download PDF

Info

Publication number
WO2023048463A1
WO2023048463A1 PCT/KR2022/014109 KR2022014109W WO2023048463A1 WO 2023048463 A1 WO2023048463 A1 WO 2023048463A1 KR 2022014109 W KR2022014109 W KR 2022014109W WO 2023048463 A1 WO2023048463 A1 WO 2023048463A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
model
sub
feature
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/014109
Other languages
English (en)
French (fr)
Inventor
권준명
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical AI Co Ltd
Original Assignee
Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220118514A external-priority patent/KR102740470B1/ko
Application filed by Medical AI Co Ltd filed Critical Medical AI Co Ltd
Priority to CN202280062072.1A priority Critical patent/CN117979902A/zh
Priority to JP2024516342A priority patent/JP7746547B2/ja
Priority to EP22873168.3A priority patent/EP4385413A4/en
Priority to US18/692,334 priority patent/US20240374196A1/en
Publication of WO2023048463A1 publication Critical patent/WO2023048463A1/ko
Anticipated expiration legal-status Critical
Priority to JP2025154550A priority patent/JP2025179219A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present disclosure relates to deep learning technology in the medical field, and more specifically, to a method, computer program, and device for measuring continuous body conditions based on deep learning to represent body characteristics for diseases as continuous numerical values. .
  • An electrocardiogram signal is a graph representing a state of electrical activity of the heart occurring during a heartbeat cycle. Therefore, we can observe the structural and functional aspects of the heart through ECG signals. Accordingly, electrocardiogram signals are used to diagnose various diseases including heart diseases such as arrhythmia and myocardial infarction.
  • Common physical diseases including heart disease, represent a situation in which a continuously changing physical condition worsens by a set reference value to be diagnosed as a disease.
  • the physical state continuously changes like an analog rather than a digital 0 or 1, and the disease is determined according to an artificially set reference value.
  • the state of coronary arteries supplying blood to the heart continuously changes, and diseases such as arteriosclerosis, angina pectoris, and myocardial infarction are determined according to the degree of stenosis in which coronary arteries are narrowed.
  • the purpose of disease prediction is to prevent a disease by estimating the possibility of developing the disease. Therefore, in the field of disease prediction, it is also important to accurately predict a physical state related to a disease as much as predicting the presence or absence of a disease. That is, we need to predict continuously changing body conditions related to disease.
  • the present disclosure has been made in response to the above-mentioned background art, and individually predicts biological information about body characteristics and pathological information about diseases based on electrocardiogram data, and integrates them to measure body conditions as continuous values. It aims to provide a method.
  • a method for measuring a continuous body state based on deep learning performed by a computing device includes obtaining electrocardiogram data and using a pretrained neural network model to infer, on the basis of the electrocardiogram data, a physical state corresponding to the onset of a disease or the progress of the disease of a target whose electrocardiogram is measured.
  • the neural network model includes at least one of a first feature related to biological information representing the body characteristic having a correlation with the disease, and a second feature related to pathological information reflecting the degree of progression of the disease. It is characterized by being learned based on one.
  • the neural network model includes a first sub-model learned to output the first feature based on the electrocardiogram data, and the first sub-model includes at least one factor included in the biological information. ), it may be configured according to the number of the factors to individually output the numerical value.
  • the neural network model further includes a second sub-model learned to output the second feature based on the electrocardiogram data, wherein the second sub-model includes at least one information included in the pathological information. It may be configured according to the number of factors to individually output values for the factors.
  • the neural network model based on the first feature, which is an output of the first sub-model, and the second feature, which is an output of the second sub-model, continuously according to the onset or progress of the disease It may further include a third sub-model learned to express the changing body state as a numerical value.
  • the third sub-model may receive a third feature generated by combining the first feature and the second feature based on a weight determined according to the type of the disease and output the numerical value. there is.
  • each of the first sub-model and the second sub-model may be learned based on semi-supervised learning performed using training data including unlabeled samples. .
  • the disease may include a vascular disease.
  • the biological information may include at least one of age, sex, height, or weight as a body characteristic factor related to coronary artery disease included in pre-existing cardiovascular disease.
  • the pathological information is a pathological characteristic factor reflecting the degree of progression of coronary artery disease included in the existing cardiovascular disease, whether or not myocardial infarction, degree of vascular calcification, stability of thrombus, intravascular coronary artery It may include at least one of speed, or degree of coronary artery stenosis.
  • a computer program stored in a computer readable storage medium is disclosed according to an embodiment of the present disclosure for realizing the above object.
  • the computer program When executed on one or more processors, it performs operations for measuring continuous body states based on deep learning.
  • the operations include an operation of acquiring electrocardiogram data and a physical state corresponding to the onset of a disease or progress of a disease of a target whose electrocardiogram data is measured based on the electrocardiogram data using a pretrained neural network model. and an operation of inferring, wherein the neural network model comprises a first feature related to biological information representing a physical characteristic of the subject having a correlation with the disease, or a first feature related to pathological information reflecting the degree of progression of the disease. It is characterized in that it is learned based on at least one of the two features.
  • a computing device for continuously measuring a body state based on deep learning.
  • the apparatus includes a processor including at least one core, a memory including program codes executable in the processor, and a network unit for obtaining electrocardiogram data.
  • the processor is based on at least one of a first feature related to biological information representing a physical characteristic of a subject having a correlation with a disease, or a second feature related to pathological information reflecting a degree of progression of the disease
  • a learned neural network model based on the electrocardiogram data, it is characterized in that a physical state corresponding to the onset of a disease or progress of the disease of a target whose electrocardiogram is measured is inferred.
  • the present disclosure provides a method for preparing for the previous or subsequent stages of a disease by individually inferring physical factors and pathological factors for a disease using electrocardiogram data and describably identifying factors influencing a physical condition. can do.
  • the present disclosure may provide a method for preparing for a previous or subsequent stage of a disease by representing a patient's physical condition related to a disease to be predicted as a continuous numerical value.
  • FIG. 1 is a block diagram of a computing device according to one embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a neural network model according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing the internal configuration of a neural network model according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating an inference method of a neural network model according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating an inference method of sub-models constituting a neural network model according to an embodiment of the present disclosure.
  • N N is a natural number
  • N a natural number
  • components performing different functional roles in the present disclosure may be classified as first components or second components.
  • components that are substantially the same within the technical spirit of the present disclosure but should be distinguished for convenience of description may also be classified as first components or second components.
  • acquisition used in the present disclosure is understood to mean not only receiving data through a wired/wireless communication network with an external device or system, but also generating data in an on-device form. It can be.
  • module refers to a computer-related entity, firmware, software or part thereof, hardware or part thereof , It can be understood as a term referring to an independent functional unit that processes computing resources, such as a combination of software and hardware.
  • a “module” or “unit” may be a unit composed of a single element or a unit expressed as a combination or set of a plurality of elements.
  • a “module” or “unit” is a hardware element or set thereof of a computing device, an application program that performs a specific function of software, a process implemented through software execution, or a program. It may refer to a set of instructions for execution.
  • a “module” or “unit” may refer to a computing device constituting a system or an application executed in the computing device.
  • the concept of “module” or “unit” may be defined in various ways within a range understandable by those skilled in the art based on the contents of the present disclosure.
  • model used in this disclosure refers to a system implemented using mathematical concepts and language to solve a specific problem, a set of software units to solve a specific problem, or a process to solve a specific problem. It can be understood as an abstract model for a process.
  • a neural network “model” may refer to an overall system implemented as a neural network having problem-solving capabilities through learning. At this time, the neural network may have problem solving ability by optimizing parameters connecting nodes or neurons through learning.
  • a neural network "model” may include a single neural network or may include a neural network set in which a plurality of neural networks are combined.
  • FIG. 1 is a block diagram of a computing device according to one embodiment of the present disclosure.
  • the computing device 100 may be a hardware device or part of a hardware device that performs comprehensive processing and calculation of data, or may be a software-based computing environment connected through a communication network.
  • the computing device 100 may be a server that performs intensive data processing functions and shares resources, or may be a client that shares resources through interaction with the server.
  • the computing device 100 may be a cloud system in which a plurality of servers and clients interact to comprehensively process data. Since the above description is only one example related to the type of the computing device 100, the type of the computing device 100 may be configured in various ways within a range understandable by those skilled in the art based on the contents of the present disclosure.
  • a computing device 100 may include a processor 110, a memory 120, and a network unit 130. there is.
  • the computing device 100 may include other configurations for implementing a computing environment. Also, only some of the components disclosed above may be included in the computing device 100 .
  • the processor 110 may be understood as a structural unit including hardware and/or software for performing computing operations.
  • the processor 110 may read a computer program and perform data processing for machine learning.
  • the processor 110 may process input data processing for machine learning, feature extraction for machine learning, calculation of an error based on backpropagation, and the like.
  • the processor 110 for performing such data processing includes a central processing unit (CPU), a general purpose graphics processing unit (GPGPU), a tensor processing unit (TPU), and on-demand It may include a semiconductor (application specific integrated circuit (ASIC)) or a field programmable gate array (FPGA). Since the above-described type of processor 110 is just one example, the type of processor 110 may be variously configured within a range understandable by those skilled in the art based on the content of the present disclosure.
  • the processor 110 may continuously measure the body state of the subject whose electrocardiogram data is measured using a neural network model based on the electrocardiogram data.
  • the processor 110 may receive electrocardiogram data and train a neural network model to estimate a physical condition related to a disease, for example, a physical condition corresponding to whether a disease has occurred or progressed. In this case, whether or not the disease occurs may be a discrete value, and the progress of the disease may be a continuous value that changes over time.
  • the processor 110 may use a neural network model to indicate a disease or infer continuous body conditions that affect the disease.
  • the processor 110 not only predicts whether or not the onset of a disease appears as a discrete value, but also accurately predicts the possibility of onset of a disease because it predicts a physical state according to continuously progressing diseases. Therefore, through the processor 110 of the present disclosure, we can establish a disease prevention plan and treatment plan in detail.
  • the processor 110 may individually train a plurality of sub-models to predict a body state. For example, the processor 110 may use electrocardiogram data to train a first sub-model that outputs a first characteristic of biological information representing a physical characteristic of a target subject to measure electrocardiogram data. In addition, the processor 110 may use the electrocardiogram data to train a second sub-model that outputs a second feature related to pathological information that affects changes in the body caused by the disease, that is, the degree of progression of the disease. there is. Further, the processor 110 may use the first feature output from the first sub-model and the second feature output from the second sub-model to train a third sub-model that infers a physical state related to a disease.
  • the first feature may include at least one factor included in the biological information and a numerical value corresponding to the factor.
  • Biological factors may vary depending on the disease.
  • biological factors may include age, height, weight, and the like.
  • the second characteristic may include at least one factor included in the pathological information and a numerical value corresponding to the factor.
  • Pathological factors may vary depending on the disease.
  • pathological factors may include myocardial infarction, degree of vascular calcification, stability of thrombosis, intravascular velocity of coronary artery, degree of coronary artery stenosis, and the like.
  • the processor 110 may perform learning based on supervised learning by inputting training data including samples and labels corresponding to the samples to the first sub-model and the second sub-model.
  • the sample input to the first sub-model may be electrocardiogram data
  • the label may be the first feature.
  • a sample input to the second sub-model is electrocardiogram data, and a label may be a second feature.
  • the processor 110 may perform semi-supervised learning by inputting training data including unlabeled samples to the first sub-model and the second sub-model.
  • the first sub-model may extract a first feature from the ECG data
  • the second sub-model may extract a second feature from the ECG data. Factors extracted by the first sub-model and the second sub-model may vary depending on the type of disease.
  • Each of the neural network model, the first sub-model, the second sub-model, and the third sub-model may include at least one neural network.
  • the neural network includes at least one of neural networks such as a deep neural network (DNN), a recurrent neural network (RNN), a bidirectional recurrent deep neural network (BRDNN), a multilayer perceptron (MLP), a convolutional neural network (CNN), a transformer, and the like. It may include, but is not limited to.
  • the processor 110 may individually learn and infer neural network models corresponding to factors that may act as risk factors for diseases. Therefore, we can accurately determine the extent to which each factor affects the disease through the processor 110 .
  • the processor 110 may provide basic data for disease prevention and treatment by accurately targeting factors influencing diseases.
  • the memory 120 may be understood as a unit including hardware and/or software for storing and managing data processed by the computing device 100 . That is, the memory 120 may store any type of data generated or determined by the processor 110 and any type of data received by the network unit 130 .
  • the memory 120 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory, and random access memory (RAM). ), SRAM (static random access memory), ROM (read-only memory), EEPROM (electrically erasable programmable read-only memory), PROM (programmable read-only memory), magnetic memory , a magnetic disk, and an optical disk may include at least one type of storage medium.
  • the memory 120 may include a database system that controls and manages data in a predetermined system. Since the above-described type of memory 120 is just one example, the type of memory 120 may be configured in various ways within a range understandable by those skilled in the art based on the contents of the present disclosure.
  • the memory 120 may organize and manage data necessary for the processor 110 to perform calculations, data combinations, program codes executable by the processor 110, and the like.
  • the memory 120 may store medical data received through the network unit 130 to be described later.
  • the memory 120 includes program codes for operating the neural network model to perform learning by receiving medical data, program codes for operating the neural network model to perform inference according to the purpose of use of the computing device 100 by receiving medical data, and Processing data generated as the program code is executed may be stored.
  • the network unit 130 may be understood as a unit that transmits and receives data through any type of known wired/wireless communication system.
  • the network unit 130 may include a local area network (LAN), wideband code division multiple access (WCDMA), long term evolution (LTE), and WiBro (wireless).
  • broadband internet 5th generation mobile communication (5G), ultra wide-band wireless communication, ZigBee, radio frequency (RF) communication, wireless LAN, wireless fidelity ), near field communication (NFC), or data transmission/reception may be performed using a wired/wireless communication system such as Bluetooth. Since the above-described communication systems are only examples, a wired/wireless communication system for data transmission and reception of the network unit 130 may be applied in various ways other than the above-described examples.
  • the network unit 130 may receive data necessary for the processor 110 to perform an operation through wired/wireless communication with an arbitrary system or an arbitrary client.
  • the network unit 130 may transmit data generated through the operation of the processor 110 through wired/wireless communication with an arbitrary system or an arbitrary client.
  • the network unit 130 may receive medical data through communication with a database in a hospital environment, a cloud server that performs tasks such as standardization of medical data, or a computing device.
  • the network unit 130 may transmit output data of the neural network model, intermediate data derived from the calculation process of the processor 110, and processed data through communication with the aforementioned database, server, or computing device.
  • FIG. 2 is a block diagram illustrating a neural network model according to an embodiment of the present disclosure.
  • the neural network model 200 may receive electrocardiogram data 300 and output a physical state 400 related to a disease of a subject whose electrocardiogram data 300 is measured as a continuous numerical value.
  • electrocardiogram (ECG) data may include an electrocardiogram signal capable of determining the presence or absence of a disease by measuring electrical signals generated from the heart and checking the presence or absence of abnormalities in the conduction system from the heart to the electrodes.
  • the electrocardiogram data 300 may be obtained from an electrocardiogram measuring device or through a network.
  • the neural network model 200 includes a first sub-model 210 outputting a first feature related to biological information related to a disease, a second sub-model 220 outputting a second feature related to pathological information related to a disease, and a second sub-model 220 outputting a second feature related to pathological information related to a disease.
  • a third sub-model 230 that outputs the continuously changing body condition 400 as a numerical value for diagnosis of a disease by using the output value of the first sub-model 210 and the output value of the second sub-model 220 can do.
  • Each of the first sub-model 210 and the second sub-model 220 may be configured in plurality according to output information.
  • the first sub-model 210 may output a first feature corresponding to each of body characteristic factors representing biological characteristics related to a disease from the electrocardiogram data 300 .
  • the number of first sub-models 210 may correspond to the number of body characteristic factors.
  • Each of the plurality of first sub-models 210 may individually output numerical values for body characteristic factors.
  • the second sub-model 220 may output second features corresponding to each of the pathological characteristic factors determined according to the progression of the disease from the electrocardiogram data 300 .
  • the number of second sub-models 220 may correspond to the number of pathological characteristic factors.
  • Each of the plurality of second sub-models 220 may individually output numerical values for pathological characteristic factors.
  • the number of risk factors associated with a disease may vary depending on the type of disease. Therefore, since the first sub-model and the second sub-model can be configured according to the number of factors through the neural network model according to the present disclosure, the first sub-model and the second sub-model can be modularized and managed.
  • the third sub-model 230 outputs the body state 400 related to the disease as a numerical value by using the first feature, which is an output of the first sub-model 210, and the second feature, which is an output of the second sub-model 220. can do.
  • the third sub-model 230 may output the body state 400 by receiving a third feature generated by merging the first feature and the second feature.
  • the first feature and the second feature may be combined into a third feature by giving weights according to the type of disease.
  • the processor 110 may adjust the weight for the combination of the first feature and the second feature according to the type of disease.
  • the third sub-model 230 can predict the body state 400 that continuously changes according to the type of disease based on the first and second characteristics whose proportions are adjusted according to the type of disease.
  • a value output from the third sub-model 230 may be a continuous numerical value representing the physical condition 400 for a disease. Therefore, the medical staff can determine whether or not the disease has occurred or can determine the progression of the disease based on the corresponding numerical value.
  • the neural network model 200 can predict a physical state by comprehensively identifying factors related to a disease, rather than simply predicting whether or not a disease will occur according to an artificially set criterion. Using this neural network model 200, we can accurately grasp complex changes in the physical condition caused by various factors related to diseases affecting the body.
  • do 3 is a block diagram showing the internal configuration of a neural network model according to an embodiment of the present disclosure. .
  • the neural network model 200 includes a plurality of first sub-models 210 learned to output a first feature 211 and a plurality of second sub-models learned to output a second feature 221. 220 , the first feature 211 and the second feature 221 may be merged to output the body state 400 .
  • the first feature 211 may include a factor included in the biological information and a numerical value corresponding to the factor.
  • the second feature 221 may include a factor included in the pathological information and a numerical value corresponding to the factor.
  • the types of body characteristic factors individually learned by the first sub-model 210 may be determined by labels included in training data or directly extracted by the first sub-model 210 .
  • the types of pathological characteristic factors individually learned by the second sub-model 220 may be determined by labels included in training data or directly extracted by the second sub-model 220 . That is, depending on the learning method, the first sub-model 210 and the second sub-model 220 may output only the values corresponding to the factors or output both the values and the factors corresponding thereto.
  • the operation of the neural network model 200 to measure the body state 400 for cardiovascular disease, particularly coronary artery disease will be described as an example, but the type of disease to which the present disclosure is applied is not limited thereto.
  • Risk factors associated with the development of coronary artery disease are well known. Even risk factors that do not have a causal relationship with coronary artery disease have a correlation with the disease, so they can be used as an important tool for identifying the cause of the disease or preventing the disease.
  • body characteristic factors affecting coronary artery disease may include age, sex, height, weight, and the like, and may further include a family or personal history of coronary artery disease.
  • pathological factors affecting coronary artery disease may include myocardial infarction, degree of vascular calcification, stability of thrombosis, intravascular speed of coronary artery, degree of coronary artery stenosis, etc., blood sugar, blood pressure , cholesterol level, triglyceride level, obesity, smoking status, etc. may be further included.
  • the neural network model 200 according to the present disclosure can individually learn and infer the extent to which risk factors related to the occurrence of coronary artery disease have an effect on coronary artery disease, using electrocardiogram data 300 that can be obtained relatively easily.
  • the neural network model 200 according to the present disclosure is trained through self-supervised learning to extract factors related to the induction of coronary artery disease by itself and infer how much each factor affects coronary artery disease.
  • the plurality of first sub-models 210 receive electrocardiogram data 300, and from the electrocardiogram data 300, age, It is trained to infer gender, height, and weight, respectively.
  • numerical values for age, gender, height, and weight may be respectively output.
  • the value may be a value indicating an effect on coronary artery disease.
  • the plurality of second sub-models 220 receive electrocardiogram data 300, and from the electrocardiogram data 300, the presence or absence of myocardial infarction, the degree of vascular calcification, the stability of thrombosis, the intravascular speed of coronary arteries, and the stenosis of coronary arteries are determined. It is learned to infer the degree of each.
  • values for myocardial infarction, vascular calcification, thrombosis stability, coronary intravascular velocity, and coronary artery stenosis can be output.
  • the value may be a value indicating an effect on coronary artery disease.
  • the third sub-model 230 may receive a third feature generated based on numerical values output from the first sub-model 210 and the second sub-model 220 .
  • the third feature is a value combined by the processor 110, and the processor 110 assigns weights to numerical values output from the first sub-model 210 and the second sub-model 220 according to the type of disease. can be combined For example, when it is found that the correlation between a specific disease and a body characteristic factor is high, the processor 110 may assign a high weight to numerical values output from the first sub-model 210 . Conversely, if it is found that the influence of the body characteristic factor on a specific disease is low and the incidence rate due to the pathological characteristic factor is high, the processor 110 may assign a high weight to the numerical values output from the second sub-model 220. .
  • the third sub-model 230 may output the body condition 400 for coronary artery disease as a numerical value using the third feature.
  • the output value may be interpreted as a value indicating the degree of coronary artery health, the probability of coronary artery disease, the degree of angina pectoris, or the possibility of myocardial infarction.
  • the medical staff may make a diagnosis of angina pectoris for the target having measured the electrocardiogram data 300, administer a drug, or set up a treatment plan such as performing surgery. Alternatively, medical personnel may establish and guide a plan for disease prevention.
  • FIG. 4 is a flowchart illustrating an inference method of a neural network model according to an embodiment of the present disclosure.
  • the computing device 100 may acquire electrocardiogram data (S110).
  • the computing device 100 may acquire electrocardiogram data from an electrocardiogram measuring device or through a network.
  • the computing device 100 may use the pretrained neural network model to infer, based on the electrocardiogram data, a physical state corresponding to the onset or progression of a disease of a subject measured by the electrocardiogram data (S120).
  • the computing device 100 may train a neural network model in advance to output a continuous body state related to a specific disease as a numerical value using electrocardiogram data.
  • the neural network model may be the neural network model described above with reference to FIGS. 2 and 3 .
  • the computing device 100 is configured to train a neural network model based on at least one of a first feature related to biological information representing body characteristics correlated with a disease or a second feature related to pathological information reflecting the progression of a disease.
  • the computing device 100 may train the neural network model through supervised learning or self-supervised learning.
  • the computing device 100 may learn the neural network model by inputting, as learning data, various factors related to the disease and numerical values representing correlations between each factor and the disease in the electrocardiogram data, to the neural network model.
  • the computing device 100 learns the neural network model so that the neural network model extracts disease-related factors by itself using training data including unlabeled electrocardiogram data, and outputs a numerical value indicating a correlation between each factor and the disease. can make it
  • the pretrained neural network model may receive electrocardiogram data and output values related to diseases.
  • the corresponding numerical value represents the physical condition of the subject whose electrocardiogram data is measured, and is a numerical value related to a disease.
  • the corresponding numerical value may indicate whether or not a disease has occurred or indicate a progress state of a disease.
  • FIG. 5 is a flowchart illustrating an inference method of sub-models constituting a neural network model according to an embodiment of the present disclosure.
  • the computing device 100 may acquire electrocardiogram data (S210). Since this is similar to step S110 of FIG. 4, a detailed description thereof will be omitted.
  • the computing device 100 may output a first feature related to biological information through the first sub-model (S220).
  • the first sub-model may be learned to output the first feature based on electrocardiogram data.
  • the first feature may include at least one factor included in the biological information or a numerical value for the factor.
  • There may be a plurality of first sub-models, and each of the first sub-models may individually output at least one factor included in biological information. Accordingly, the number of first sub-models may be configured according to the number of factors.
  • the computing device 100 may output a second feature related to pathological information through the second sub-model (S230).
  • the second sub-model may be learned to output the second feature based on electrocardiogram data.
  • the second characteristic may include at least one factor included in the pathological information or a numerical value for the factor.
  • each of the first sub-model and the second sub-model may be learned based on self-supervised learning performed using training data including unlabeled samples.
  • the computing device 100 may output a numerical value for a body state through a third sub-model based on the first feature output from the first sub-model and the second feature output from the second sub-model (S240). .
  • the third sub-model may be learned to express a body state that continuously changes according to the onset or progress of a disease as numerical values based on the first and second characteristics.
  • the computing device 100 may determine a weight for combining the first feature and the second feature according to the type of disease.
  • the computing device 100 may generate a third feature by combining the first feature and the second feature according to the determined weight. Accordingly, the third sub-model may receive the third feature and output a numerical value representing a body state.
  • steps S220 and S230 are illustrated as sequentially performed in FIG. 5 , steps S220 and S230 may be performed in parallel.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는, 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치가 개시된다. 상기 방법은, 심전도 데이터를 획득하는 단계 및 사전 학습된 신경망 모델을 사용하여, 상기 심전도 데이터를 기초로 상기 심전도 데이터를 측정한 대상의 질환의 발병 또는 상기 질환의 진행 상황에 대응되는 신체 상태를 추론하는 단계를 포함하고, 상기 신경망 모델은, 상기 질환과 상관관계를 갖는 상기 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징, 또는 상기 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 학습된 것일 수 있다.

Description

딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치
본 개시의 내용은 의료 분야의 딥러닝 기술에 관한 것으로, 구체적으로 질환에 대한 신체 특성을 연속적인 수치로 나타내기 위한 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치에 관한 것이다.
심전도 신호란 심장이 박동하는 주기 중에 일어나는 심장의 전기적 활동 상태를 그래프상에 나타낸 것이다. 따라서, 우리는 심전도 신호를 통해 심장의 구조적, 기능적인 면을 관찰할 수 있다. 이에 따라 부정맥, 심근경색 등의 심장 질환을 비롯한 다양한 질병을 진단하기 위해 심전도 신호가 사용된다.
심장 질환을 비롯한 일반적인 신체 질환은 연속적으로 변화하는 신체 상태가, 질환으로 진단되기 위해 설정된 기준치만큼 악화되는 상황을 나타낸다. 즉 신체 상태는 0 또는 1의 디지털이 아닌 아날로그처럼 연속적으로 변화하는데, 인위적으로 설정된 기준치에 따라 질병 여부가 결정된다. 예를 들어 심장 질환의 경우, 심장에 혈액을 공급하는 관상동맥의 상태는 연속적으로 변화하며 관상동맥이 좁아지는 협착의 정도에 따라 동맥경화증, 협심증, 심근경색증 등의 질환이 결정된다.
신체 질환을 예측하기 위해 딥러닝 기반으로 다양한 기술들이 개발되고 있다. 그러나, 종래 기술들은 인위적으로 설정된 기준에 따라 결정된 질환의 유무를 판단하기 위한 것이 대다수이다. 즉 질환의 유무는 연속적으로 변화하는 신체 상태를 임의의 기준으로 구분한 것인데, 이를 이용하여 학습된 딥러닝 모델은 질환의 유무만을 예측할 뿐, 질환에 대한 전반적인 신체 상태를 예측할 수 없는 것이다.
질환 예측의 목적은 질환의 발병 가능성을 추측하여 질환을 예방하는 것이다. 따라서, 질환 예측 영역에서는, 질환의 유무를 예측하는 것만큼이나 질환과 관련된 신체 상태를 정확하게 예측하는 것 또한 중요하다. 즉, 우리는 질환과 관련하여 연속적으로 변화하는 신체 상태를 예측할 필요가 있다.
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 심전도 데이터를 기초로 신체 특성에 대한 생물학적 정보 및 질환에 대한 병리학적 정보를 개별적으로 예측하고, 이를 병합하여 신체 상태를 연속적인 수치로 계측하는 방법을 제공하는 것을 목적으로 한다.
다만, 본 개시에서 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재를 근거로 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는, 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법이 개시된다. 상기 방법은, 심전도 데이터를 획득하는 단계 및 사전 학습된 신경망 모델을 사용하여, 상기 심전도 데이터를 기초로 상기 심전도 데이터를 측정한 대상의 질환의 발병 또는 상기 질환의 진행 상황에 대응되는 신체 상태를 추론하는 단계를 포함하고, 상기 신경망 모델은, 상기 질환과 상관관계를 갖는 상기 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징, 또는 상기 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 학습된 것을 특징으로 한다.
대안적으로, 상기 신경망 모델은, 상기 심전도 데이터를 기초로 상기 제1 특징을 출력하도록 학습된 제1 서브 모델을 포함하고, 상기 제1 서브 모델은 상기 생물학적 정보에 포함된 적어도 하나의 인자(factor)에 대한 수치를 개별적으로 출력하도록, 상기 인자의 개수에 맞추어 구성될 수 있다.
대안적으로, 상기 신경망 모델은, 상기 심전도 데이터를 기초로 상기 제2 특징을 출력하도록 학습된 제2 서브 모델을 더 포함하고, 상기 제2 서브 모델은, 상기 병리학적 정보에 포함된 적어도 하나의 인자에 대한 수치를 개별적으로 출력하도록, 상기 인자의 개수에 맞추어 구성될 수 있다.
대안적으로, 상기 신경망 모델은, 상기 제1 서브 모델의 출력인 제1 특징 및 상기 제2 서브 모델의 출력인 제2 특징을 기초로, 상기 질환의 발병 또는 상기 질환의 진행 상황에 따라 연속적으로 변화하는 신체 상태를 수치 값으로 표현하도록 학습된 제3 서브 모델을 더 포함할 수 있다.
대안적으로, 상기 제3 서브 모델은, 상기 질환의 종류에 따라 결정된 가중치를 기초로, 상기 제1 특징 및 상기 제2 특징을 조합하여 생성된 제3 특징을 입력 받아 상기 수치 값을 출력할 수 있다.
대안적으로, 상기 제1 서브 모델 및 상기 제2 서브 모델 각각은, 라벨이 지정되지 않은 샘플을 포함하는 학습 데이터를 이용하여 수행되는 자기 지도 학습(semi-supervised learning)을 기반으로 학습될 수 있다.
대안적으로, 상기 질환은, 혈관 질환을 포함할 수 있다.
대안적으로, 상기 생물학적 정보는, 기 심혈관 질환에 포함된 관상동맥 질환과 관련된 신체 특성 인자로서, 나이, 성별, 키, 또는 몸무게 중 적어도 하나를 포함할 수 있다.
대안적으로, 상기 병리학적 정보는, 기 심혈관 질환에 포함된 관상동맥질환의 진행 정도를 반영하는 병리학적 특성 인자로서, 심근경색 여부, 혈관 칼슘화의 정도, 혈전의 안정성, 관상동맥의 혈관 내 속도, 또는 관상동맥의 협착의 정도 중 적어도 하나를 포함할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 딥러닝 기반으로 연속적인 신체 상태를 계측하는 동작들을 수행하도록 한다. 이때, 상기 동작들은, 심전도 데이터를 획득하는 동작 및 사전 학습된 신경망 모델을 사용하여, 상기 심전도 데이터를 기초로 상기 심전도 데이터를 측정한 대상의 질환의 발병 또는 상기 질환의 진행 상황에 대응되는 신체 상태를 추론하는 동작을 포함하고, 상기 신경망 모델은, 상기 질환과 상관관계를 갖는 상기 대상의 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징, 또는 상기 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 학습된 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라, 딥러닝 기반으로 연속적인 신체 상태를 계측하기 위한 컴퓨팅 장치가 개시된다. 상기 장치는, 적어도 하나의 코어(core)를 포함하는 프로세서(processor), 상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory) 및 심전도 데이터를 획득하기 위한 네트워크부(network unit)를 포함하고, 상기 프로세서는, 질환과 상관관계를 갖는 대상의 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징, 또는 상기 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 학습된 신경망 모델을 사용하여, 상기 심전도 데이터를 기초로 상기 심전도 데이터를 측정한 대상의 질환의 발병 또는 상기 질환의 진행 상황에 대응되는 신체 상태를 추론하는 것을 특징으로 한다.
본 개시는 심전도 데이터를 이용하여 신체적인 요인과 질환에 대한 병리학적 요인을 개별적으로 추론하여 신체 상태에 영향을 주는 요소들을 설명 가능하게 파악함으로써, 질환의 이전 또는 이후 단계를 대비할 수 있는 방법을 제공할 수 있다. 또한, 본 개시는 예측하려는 질환과 관련된 환자의 신체 상태를 연속적인 수치로 나타냄으로써, 질환의 이전 또는 이후 단계를 대비할 수 있는 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 신경망 모델을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 신경망 모델의 내부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 신경망 모델의 추론 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 신경망 모델을 구성하는 서브 모델들의 추론 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.
본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.
본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는" 을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다" 는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.
본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상" 을 포함할 수 있는 것으로 해석되어야 한다.
본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제 1 구성요소 혹은 제 2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제 1 구성요소 혹은 제 2 구성요소로 구별될 수도 있다.
본 개시에서 사용되는 "획득" 이라는 용어는, 외부 장치 혹은 시스템과의 유무선 통신 네트워크를 통해 데이터를 수신하는 것 뿐만 아니라, 온-디바이스(on-device) 형태로 데이터를 생성하는 것을 의미하는 것으로 이해될 수 있다.
한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)" 는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈", 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈", 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈", 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈", 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.
전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(100)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(100)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리하는 클라우드 시스템(cloud system)일 수도 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 프로세서(processor)(110), 메모리(memory)(120), 및 네트워크부(network unit)(130)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(100)에 포함될 수도 있다.
본 개시의 일 실시예에 따른 프로세서(110)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(110)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(110)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(110)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(110)의 종류는 하나의 예시일 뿐이므로, 프로세서(110)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
프로세서(110)는 심전도 데이터를 기반으로 신경망 모델을 이용하여 심전도 데이터를 측정한 대상의 연속적인 신체 상태를 계측할 수 있다. 프로세서(110)는 심전도 데이터를 입력받아, 질환과 관련된 신체 상태, 예를 들어 질환의 발병 여부 또는 질환의 진행 상황에 대응되는 신체 상태를 추정하도록 신경망 모델을 학습시킬 수 있다. 이때 질환의 발생 여부는 이산적인 값일 수 있고, 질환의 진행 상황은 시간의 흐름에 따라 변하는 연속적인 값일 수 있다. 프로세서(110)는 신경망 모델을 이용하여 질환을 나타내거나, 질환에 영향을 미치는 연속적인 신체 상태를 추론할 수 있다.
본 개시에 따르면, 프로세서(110)는 이산적인 값으로 나타나는 질환의 발병 여부를 예측할 뿐만 아니라, 연속적으로 진행되는 질환에 따른 신체 상태를 예측하므로 질환의 발병 가능성을 정확히 예측할 수 있다. 따라서, 본 개시의 프로세서(110)를 통해, 우리는 질병의 예방 방안 및 치료 계획을 세밀하게 수립할 수 있다.
프로세서(110)는 신체 상태를 예측하기 위해 복수의 서브 모델들을 개별적으로 학습시킬 수 있다. 예를 들어 프로세서(110)는 심전도 데이터를 이용하여, 심전도 데이터의 측정 대상의 신체적인 특성을 나타내는 생물학적 정보에 관한 제1 특징을 출력하는 제1 서브 모델을 학습시킬 수 있다. 그리고, 프로세서(110)는 심전도 데이터를 이용하여, 질환에 의해 발생하는 신체의 변화, 즉 질환의 진행 정도에 영향을 미치는 병리학적 정보에 관한 제2 특징을 출력하는 제2 서브 모델을 학습시킬 수 있다. 그리고 프로세서(110)는 제1 서브 모델에서 출력된 제1 특징 및 제2 서브 모델에서 출력된 제2 특징을 이용하여, 질환과 관련된 신체 상태를 추론하는 제3 서브 모델을 학습시킬 수 있다.
제1 특징은 생물학적 정보에 포함된 적어도 하나의 인자(factor) 및 인자에 대응되는 수치를 포함할 수 있다. 생물학적 인자는 질환에 따라 달라질 수 있다. 예를 들어, 생물학적 인자는 나이, 키, 몸무게 등을 포함할 수 있다. 제2 특징은 병리학적 정보에 포함된 적어도 하나의 인자 및 인자에 대응되는 수치를 포함할 수 있다. 병리학적 인자는 질환에 따라 달라질 수 있다. 예를 들어 심혈관 질환인 경우, 병리학적 인자는 심근경색 여부, 혈관 칼슘화의 정도, 혈전의 안정성, 관상동맥의 혈관 내 속도, 관상동맥의 협착의 정도 등을 포함할 수 있다.
프로세서(110)는 제1 서브 모델 및 제2 서브 모델에 샘플 및 샘플에 대응되는 라벨을 포함하는 학습 데이터를 입력하여, 지도 학습(supervised learning)에 기반한 학습을 수행할 수 있다. 이 경우, 제1 서브 모델에 입력되는 샘플은 심전도 데이터이고, 라벨은 제1 특징이 될 수 있다. 제2 서브 모델에 입력되는 샘플은 심전도 데이터이고, 라벨은 제2 특징이 될 수 있다. 또한 프로세서(110)는 제1 서브 모델 및 제2 서브 모델에 라벨이 지정되지 않은 샘플을 포함하는 학습 데이터를 입력하여, 자기 지도 학습(semi-supervised learning)에 기반한 학습을 수행할 수 있다. 이 경우, 제1 서브 모델은 심전도 데이터로부터 제1 특징을 추출하고, 제2 서브 모델은 심전도 데이터로부터 제2 특징을 추출할 수 있다. 제1 서브 모델 및 제2 서브 모델이 추출하는 인자는 질환의 종류에 따라 달라질 수 있다.
신경망 모델, 제1 서브 모델, 제2 서브 모델 및 제3 서브 모델은 각각 적어도 하나의 신경망을 포함할 수 있다. 신경망은 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network), 트랜스포머(transformer) 등과 같은 신경망들 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
본 개시에 따르면, 프로세서(110)는 질환의 위험 요인으로 작용할 수 있는 인자들에 대응되는 신경망 모델이 개별적으로 학습되고 추론할 수 있다. 따라서, 우리는 프로세서(110)를 통해 각 인자가 질환에 영향을 미치는 정도를 정확하게 파악할 수 있다. 그리고, 프로세서(110)는 질환에 영향을 미치는 인자를 정확히 타겟팅함으로써, 질환 예방 및 치료에 기초가 되는 자료를 제공할 수 있다.
본 개시의 일 실시예에 따른 메모리(120)는 컴퓨팅 장치(100)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(130)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(120)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(120)의 종류는 하나의 예시일 뿐이므로, 메모리(120)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
메모리(120)는 프로세서(110)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(110)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화하여 관리할 수 있다. 예를 들어, 메모리(120)는 후술할 네트워크부(130)를 통해 수신된 의료 데이터를 저장할 수 있다. 메모리(120)는 신경망 모델이 의료 데이터를 입력받아 학습을 수행하도록 동작시키는 프로그램 코드, 신경망 모델이 의료 데이터를 입력받아 컴퓨팅 장치(100)의 사용 목적에 맞춰 추론을 수행하도록 동작시키는 프로그램 코드, 및 프로그램 코드가 실행됨에 따라 생성된 가공 데이터 등을 저장할 수 있다.
본 개시의 일 실시예에 따른 네트워크부(130)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(130)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(130)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.
네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(130)는 병원 환경 내 데이터베이스, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버, 혹은 컴퓨팅 장치 등과의 통신을 통해 의료 데이터를 수신할 수 있다. 네트워크부(130)는 전술한 데이터베이스, 서버, 혹은 컴퓨팅 장치 등과의 통신을 통해, 신경망 모델의 출력 데이터, 및 프로세서(110)의 연산 과정에서 도출되는 중간 데이터, 가공 데이터 등을 송신할 수 있다.
도 2는 본 개시의 일 실시예에 따른 신경망 모델을 나타내는 블록도이다.
도 2를 참조하면, 신경망 모델(200)은 심전도 데이터(300)를 입력받고 심전도 데이터(300)를 측정한 대상의 질환과 관련된 신체 상태(400)를 연속적인 수치로 출력할 수 있다.
본 명세서에서 심전도(ECG: electrocardiogram) 데이터는 심장에서 발생하는 전기적인 신호를 측정하여 심장에서부터 전극까지의 전도계통의 이상 유무를 확인하여 질환 유무를 판별할 수 있게 하는 심전도 신호를 포함할 수 있다. 심전도 데이터(300)는 심전도 측정 기기로부터 획득되거나, 네트워크를 통해 획득된 것일 수 있다.
신경망 모델(200)은 질환과 관련된 생물학적 정보에 관한 제1 특징을 출력하는 제1 서브 모델(210), 질환과 관련된 병리학적 정보에 관한 제2 특징을 출력하는 제2 서브 모델(220) 및 제1 서브 모델(210)의 출력값과 제2 서브 모델(220)의 출력값을 이용하여 질환의 진단을 위해 연속적으로 변화하는 신체 상태(400)를 수치값으로 출력하는 제3 서브 모델(230)을 포함할 수 있다.
제1 서브 모델(210) 및 제2 서브 모델(220) 각각은 출력하는 정보에 따라 복수개로 구성될 수 있다. 예를 들어, 제1 서브 모델(210)은 심전도 데이터(300)로부터 질환과 관련된 생물학적 특징을 나타내는 신체 특성 인자들 각각에 대응되는 제1 특징을 출력할 수 있다. 이때, 제1 서브 모델(210)의 개수는 신체 특성 인자들의 개수에 대응될 수 있다. 복수개의 제1 서브 모델(210) 각각은 신체 특성 인자에 대한 수치를 개별적으로 출력할 수 있다. 예를 들어, 제2 서브 모델(220)은 심전도 데이터(300)로부터 질환의 진행 정도에 따라 결정되는 병리학적 특성 인자들 각각에 대응되는 제2 특징을 출력할 수 있다. 이때, 제2 서브 모델(220)의 개수는 병리학적 특성 인자들의 개수에 대응될 수 있다. 복수개의 제2 서브 모델(220) 각각은 병리학적 특성 인자에 대한 수치를 개별적으로 출력할 수 있다.
한편 질환과 관련된 위험 인자의 개수는 질환의 종류에 따라 달라질 수 있다. 따라서 본 개시에 따른 신경망 모델을 통해 인자의 개수에 맞추어 제1 서브 모델 및 제2 서브 모델을 구성할 수 있는바, 우리는 제1 서브 모델과 제2서브 모델을 모듈화하여 관리할 수 있다.
제3 서브 모델(230)은 제1 서브 모델(210)의 출력인 제1 특징과 제2 서브 모델(220)의 출력인 제2 특징을 이용하여 질환과 관련된 신체 상태(400)를 수치로 출력할 수 있다. 제3 서브 모델(230)은 제1 특징 및 제2 특징을 병합하여 생성된 제3 특징을 입력 받아 신체 상태(400)를 출력할 수 있다. 이때 제1 특징 및 제2 특징은 질환의 종류에 따라 가중치가 부여되어 제3 특징으로 조합될 수 있다. 다시 말해, 프로세서(110)는 질환의 종류에 따라 제1 특징 및 제2 특징의 조합을 위한 가중치를 조절할 수 있다. 제3 서브 모델(230)은 질환의 종류에 따라 비중이 조절된 제1 특징 및 제2 특징을 기초로 질환의 종류에 맞춰 연속적으로 변화하는 신체 상태(400)를 예측할 수 있다. 제3 서브 모델(230)에서 출력되는 값은 질환에 대한 신체 상태(400)를 나타내는 연속적인 수치일 수 있다. 따라서, 의료진은 해당 수치를 기초로 질환 발병 여부를 판단하거나, 질환의 진행 상태를 파악할 수 있다.
즉, 본 개시에 따른 신경망 모델(200)은 인위적으로 설정된 기준에 따른 질환 발병 여부만을 단순히 예측하지 않고, 질환과 관련된 인자들을 종합적으로 파악하여 신체 상태를 예측할 수 있다. 우리는 이러한 신경망 모델(200)을 이용하여 질환과 관련된 다양한 인자들이 신체에 영향을 미침으로써 발생하는 신체 상태의 복잡한 변화를 정확하게 파악할 수 있다.
도 3은 본 개시의 일 실시예에 따른 신경망 모델의 내부 구성을 나타내는 블록도이다 .
도 3을 참조하면, 신경망 모델(200)은 제1 특징(211)을 출력하도록 학습된 복수의 제1 서브 모델(210), 제2 특징(221)을 출력하도록 학습된 복수의 제2 서브 모델(220), 제1 특징(211) 및 제2 특징(221)을 병합하여 신체 상태(400)를 출력하도록 학습된 제3 서브 모델(230)을 포함할 수 있다.
제1 특징(211)은 생물학적 정보에 포함된 인자 및 인자에 대응되는 수치를 포함할 수 있다. 제2 특징(221)은 병리학적 정보에 포함된 인자 및 인자에 대응되는 수치를 포함할 수 있다.
제1 서브 모델(210)이 개별적으로 학습하는 신체 특성 인자의 종류는 학습 데이터에 포함된 라벨에 의해 결정되거나, 제1 서브 모델(210)에 의해 직접 추출될 수 있다. 마찬가지로, 제2 서브 모델(220)이 개별적으로 학습하는 병리학적 특성 인자의 종류는 학습 데이터에 포함된 라벨에 의해 결정되거나, 제2 서브 모델(220)에 의해 직접 추출될 수 있다. 즉 학습 방법에 따라 제1 서브 모델(210) 및 제2 서브 모델(220)은 인자에 대응되는 수치만을 출력하거나, 수치와 이에 대응되는 인자를 함께 출력할 수 있다.
이하에서는 신경망 모델(200)이 심혈관 질환, 특히 관상동맥 질환에 대한 신체 상태(400)를 계측하기 위해 동작하는 것을 예를 들어 설명하나, 본 개시가 적용되는 질환의 종류가 이에 제한되는 것은 아니다. 관상동맥 질환 유발에 관련이 있는 위험 인자들은 널리 알려져 있다. 관상동맥 질환과 인과관계가 없는 위험 인자일지라도, 질환과의 상관관계가 존재하므로 질병의 원인을 규명하거나, 질병을 예방하기 위한 중요한 도구로 사용될 수 있다.
예를 들어, 관상동맥 질환에 영향을 미치는 신체 특성 인자는 나이, 성별, 키, 몸무게 등을 포함할 수 있으며, 관상동맥 질환에 대한 가족력 또는 개인력을 더 포함할 수 있다. 또한 관상동맥 질환에 영향을 미치는 병리학적 특성 인자는 심근경색 여부, 혈관 칼슘화의 정도, 혈전의 안정성, 관상동맥의 혈관 내 속도, 관상동맥의 협착의 정도 등을 포함할 수 있으며, 혈당, 혈압, 콜레스테롤 수치, 중성지방 수치, 비만 여부, 흡연 여부 등을 더 포함할 수 있다.
본 개시에 따른 신경망 모델(200)은 비교적 쉽게 획득할 수 있는 심전도 데이터(300)를 이용하여, 관상동맥 질환 유발에 관련된 위험 인자들이 관상동맥 질환에 어느 정도의 영향을 미치는지 개별적으로 학습하고 추론할 수 있다. 또한, 본 개시에 따른 신경망 모델(200)은 자기 지도 학습을 통해 학습되어 관상동맥 질환 유발에 관련된 인자들을 스스로 추출하고, 각각의 인자들이 관상동맥 질환에 어느 정도의 영향을 미치는지 추론할 수 있다.
제1 서브 모델(210) 및 제2 서브 모델(220)이 지도 학습을 통해 학습되는 경우, 복수의 제1 서브 모델(210)은 심전도 데이터(300)를 입력받아 심전도 데이터(300)로부터 나이, 성별, 키, 몸무게를 각각 추론하도록 학습된다.
복수의 제1 서브 모델(210)에서 나이에 대한 수치, 성별에 대한 수치, 키에 대한 수치, 몸무게에 대한 수치가 각각 출력될 수 있다. 해당 수치는 관상동맥 질환에 대한 영향을 나타내는 수치일 수 있다. 복수의 제2 서브 모델(220)은 심전도 데이터(300)를 입력받아 심전도 데이터(300)로부터 심근경색 여부, 혈관 칼슘화의 정도, 혈전의 안정성, 관상동맥의 혈관 내 속도, 관상동맥의 협착의 정도를 각각 추론하도록 학습된다. 복수의 제2 서브 모델(220)에서 심근경색 여부에 대한 수치, 혈관 칼슘화에 대한 수치, 혈전의 안정성에 대한 수치, 관상동맥의 혈관 내 속도에 대한 수치, 관상동맥의 협착에 대한 수치가 각각 출력될 수 있다. 해당 수치는 관상동맥 질환에 대한 영향을 나타내는 수치일 수 있다.
제3 서브 모델(230)은 제1 서브 모델(210) 및 제2 서브 모델(220)에서 출력된 수치 값들을 기초로 생성된 제3 특징을 입력받을 수 있다. 제3 특징은 프로세서(110)에 의해 조합된 값으로써, 프로세서(110)는 질환의 종류에 따라 제1 서브 모델(210) 및 제2 서브 모델(220)에서 출력된 수치 값들에 가중치를 부여하여 조합할 수 있다. 예를 들어, 특정 질환과 신체 특성 인자 간의 상관 관계가 높다고 밝혀진 경우, 프로세서(110)는 제1 서브 모델(210)에서 출력되는 수치 값들에 높은 가중치를 부여할 수 있다. 반대로 특정 질환에 대해 신체 특성 인자가 미치는 영향력이 낮고 병리학적 특성 인자에 의한 발병률이 높다고 밝혀진 경우, 프로세서(110)는 제2 서브 모델(220)에서 출력되는 수치 값들에 높은 가중치를 부여할 수 있다.
제3 서브 모델(230)은 제3 특징을 이용하여, 관상동맥 질환에 대한 신체 상태(400)를 수치로 출력할 수 있다. 출력되는 수치는 관상동맥의 건강함 정도를 나타내거나, 관상동맥 질환에 대한 확률을 나타내거나, 협심증의 정도, 심근경색의 가능성을 나타내는 수치로 해석될 수 있다. 의료진은 해당 수치를 해석하여, 심전도 데이터(300)를 측정한 대상에 대해 협심증에 대한 진단을 내리거나, 약물을 투여하고, 수술을 수행하는 등의 치료 계획을 세울 수 있다. 또는 의료진은 질병의 예방을 위한 계획을 수립하여 안내할 수 있다.
도 4는 본 개시의 일 실시예에 따른 신경망 모델의 추론 방법을 나타내는 흐름도이다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 심전도 데이터를 획득할 수 있다(S110). 컴퓨팅 장치(100)는 심전도 측정 기기로부터 심전도 데이터를 획득하거나, 네트워크를 통해 획득할 수 있다.
컴퓨팅 장치(100)는 사전 학습된 신경망 모델을 사용하여, 심전도 데이터를 기초로 심전도 데이터를 측정한 대상의 질환의 발병 또는 질환의 진행 상황에 대응되는 신체 상태를 추론할 수 있다(S120). 컴퓨팅 장치(100)는 심전도 데이터를 이용하여 특정 질환과 관련된 연속적인 신체 상태를 수치로 출력하도록 사전에 신경망 모델을 학습시킬 수 있다. 신경망 모델은 도 2 및 도 3을 통해 전술한 신경망 모델일 수 있다.
컴퓨팅 장치(100)는 질환과 상관관계를 갖는 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징 또는 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 신경망 모델을 학습시킬 수 있다.
컴퓨팅 장치(100)는 지도 학습 또는 자기 지도 학습을 통해 신경망 모델을 학습시킬 수 있다. 구체적으로 컴퓨팅 장치(100)는 학습 데이터로서 심전도 데이터에 질환과 관련된 다양한 인자들 및 각 인자와 질환과의 연관성을 나타내는 수치를 신경망 모델에 입력함으로써 신경망 모델을 학습시킬 수 있다. 또는 컴퓨팅 장치(100)는 라벨링되지 않은 심전도 데이터를 포함하는 학습 데이터를 이용하여, 신경망 모델이 질환과 관련된 인자들을 스스로 추출하고, 각 인자와 질환과의 연관성을 나타내는 수치를 출력하도록 신경망 모델을 학습시킬 수 있다.
사전 학습된 신경망 모델은 심전도 데이터를 입력받고, 질환과 관련된 수치를 출력할 수 있다. 해당 수치는 심전도 데이터를 측정한 대상의 신체 상태를 나타내는 것이며, 질환과 관련된 수치이다. 해당 수치는 질환의 발병 여부를 나타내거나, 질환의 진행 상태를 나타낼 수 있다.
도 5는 본 개시의 일 실시예에 따른 신경망 모델을 구성하는 서브 모델들의 추론 방법을 나타내는 흐름도이다.
도 5를 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 심전도 데이터를 획득할 수 있다(S210). 이는 도 4의 S110 단계와 유사하므로 자세한 설명을 생략한다.
컴퓨팅 장치(100)는 제1 서브 모델을 통해 생물학적 정보에 관한 제1 특징을 출력할 수 있다(S220). 제1 서브 모델은 심전도 데이터를 기초로 제1 특징을 출력하도록 학습된 것일 수 있다. 제1 특징은 생물학적 정보에 포함된 적어도 하나의 인자 또는 해당 인자에 대한 수치를 포함할 수 있다. 제1 서브 모델은 복수개일 수 있으며, 제1 서브 모델 각각은 생물학적 정보에 포함된 적어도 하나의 인자를 개별적으로 출력할 수 있다. 이에 따라 제1 서브 모델의 개수는 인자의 개수에 맞추어 구성될 수 있다.
컴퓨팅 장치(100)는 제2 서브 모델을 통해 병리학적 정보에 관한 제2 특징을 출력할 수 있다(S230). 제2 서브 모델은 심전도 데이터를 기초로 제2 특징을 출력하도록 학습된 것일 수 있다. 제2 특징은 병리학적 정보에 포함된 적어도 하나의 인자 또는 해당 인자에 대한 수치를 포함할 수 있다. 제2 서브 모델은 복수개일 수 있으며, 제2 서브 모델 각각은 병리학적 정보에 포함된 적어도 하나의 인자를 개별적으로 출력할 수 있다. 이에 따라 제2 서브 모델의 개수는 인자의 개수에 맞추어 구성될 수 있다.
이때 제1 서브 모델 및 제2 서브 모델 각각은 라벨이 지정되지 않은 샘플을 포함하는 학습 데이터를 이용하여 수행되는 자기 지도 학습을 기반으로 학습된 것일 수 있다.
컴퓨팅 장치(100)는 제1 서브 모델에서 출력된 제1 특징 및 제2 서브 모델에서 출력된 제2 특징을 기초로, 제3 서브 모델을 통해 신체 상태에 대한 수치를 출력할 수 있다(S240). 제3 서브 모델은 제1 특징 및 제2 특징을 기초로, 질환의 발병 또는 질환의 진행 상황에 따라 연속적으로 변화하는 신체 상태를 수치 값으로 표현하도록 학습된 것일 수 있다. 컴퓨팅 장치(100)는 질환의 종류에 따라 제1 특징 및 제2 특징을 조합하는 가중치를 결정할 수 있다. 컴퓨팅 장치(100)는 결정된 가중치에 따라 제1 특징 및 제2 특징을 조합하여 제3 특징을 생성할 수 있다. 이에 따라 제3 서브 모델은 제3 특징을 입력받아 신체 상태를 나타내는 수치 값을 출력할 수 있다.
한편 도 5에서 S220 단계 및 S230 단계가 순차적으로 수행되는 것으로 도시되었으나, S220 단계 및 S230 단계는 병렬적으로 수행될 수 있다.
앞서 설명된 본 개시의 다양한 실시예는 추가 실시예와 결합될 수 있고, 상술한 상세한 설명에 비추어 당업자가 이해 가능한 범주에서 변경될 수 있다. 본 개시의 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해되어야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 따라서, 본 개시의 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. 적어도 하나의 프로세서(processor)를 포함하는 컴퓨팅 장치에 의해 수행되는, 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법으로서,
    심전도 데이터를 획득하는 단계; 및
    사전 학습된 신경망 모델을 사용하여, 상기 심전도 데이터를 기초로 상기 심전도 데이터를 측정한 대상의 질환의 발병 또는 상기 질환의 진행 상황에 대응되는 신체 상태를 추론하는 단계;
    를 포함하고,
    상기 신경망 모델은,
    상기 질환과 상관관계를 갖는 상기 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징, 또는 상기 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 학습된,
    방법.
  2. 제1항에 있어서,
    상기 신경망 모델은,
    상기 심전도 데이터를 기초로 상기 제1 특징을 출력하도록 학습된 제1 서브 모델;
    을 포함하고,
    상기 제1 서브 모델은
    상기 생물학적 정보에 포함된 적어도 하나의 인자(factor)에 대한 수치를 개별적으로 출력하도록, 상기 인자의 개수에 맞추어 구성되는,
    방법.
  3. 제2항에 있어서,
    상기 신경망 모델은,
    상기 심전도 데이터를 기초로 상기 제2 특징을 출력하도록 학습된 제2 서브 모델;
    을 더 포함하고,
    상기 제2 서브 모델은,
    상기 병리학적 정보에 포함된 적어도 하나의 인자에 대한 수치를 개별적으로 출력하도록, 상기 인자의 개수에 맞추어 구성되는,
    방법.
  4. 제3항에 있어서,
    상기 신경망 모델은,
    상기 제1 서브 모델의 출력인 제1 특징 및 상기 제2 서브 모델의 출력인 제2 특징을 기초로, 상기 질환의 발병 또는 상기 질환의 진행 상황에 따라 연속적으로 변화하는 신체 상태를 수치 값으로 표현하도록 학습된 제3 서브 모델;
    을 더 포함하는,
    방법.
  5. 제4 항에 있어서,
    상기 제3 서브 모델은,
    상기 질환의 종류에 따라 결정된 가중치를 기초로, 상기 제1 특징 및 상기 제2 특징을 조합하여 생성된 제3 특징을 입력 받아 상기 수치 값을 출력하는,
    방법.
  6. 제3 항에 있어서,
    상기 제1 서브 모델 및 상기 제2 서브 모델 각각은,
    라벨이 지정되지 않은 샘플을 포함하는 학습 데이터를 이용하여 수행되는 자기 지도 학습(semi-supervised learning)을 기반으로 학습된,
    방법.
  7. 제1항에 있어서,
    상기 질환은,
    심혈관 질환을 포함하는,
    방법.
  8. 제7항에 있어서,
    상기 생물학적 정보는,
    상기 심혈관 질환에 포함된 관상동맥 질환과 관련된 신체 특성 인자로서, 나이, 성별, 키, 또는 몸무게 중 적어도 하나를 포함하는,
    방법.
  9. 제8항에 있어서,
    상기 병리학적 정보는,
    상기 심혈관 질환에 포함된 관상동맥 질환의 진행 정도를 반영하는 병리학적 특성 인자로서, 심근경색 여부, 혈관 칼슘화의 정도, 혈전의 안정성, 관상동맥의 혈관 내 속도, 또는 관상동맥의 협착의 정도 중 적어도 하나를 포함하는,
    방법.
  10. 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 딥러닝 기반으로 연속적인 신체 상태를 계측하는 동작들을 수행하도록 하며,
    상기 동작들은,
    심전도 데이터를 획득하는 동작; 및
    사전 학습된 신경망 모델을 사용하여, 상기 심전도 데이터를 기초로 상기 심전도 데이터를 측정한 대상의 질환의 발병 또는 상기 질환의 진행 상황에 대응되는 신체 상태를 추론하는 동작;
    을 포함하고,
    상기 신경망 모델은,
    상기 질환과 상관관계를 갖는 상기 대상의 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징, 또는 상기 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 학습된,
    컴퓨터 프로그램.
  11. 딥러닝 기반으로 연속적인 신체 상태를 계측하기 위한 컴퓨팅 장치로서,
    적어도 하나의 코어(core)를 포함하는 프로세서(processor);
    상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory); 및
    심전도 데이터를 획득하기 위한 네트워크부(network unit);
    를 포함하고,
    상기 프로세서는,
    질환과 상관관계를 갖는 대상의 신체 특성을 나타내는 생물학적 정보에 관한 제1 특징, 또는 상기 질환의 진행 정도를 반영하는 병리학적 정보에 관한 제2 특징 중 적어도 하나를 기초로 학습된 신경망 모델을 사용하여, 상기 심전도 데이터를 기초로 상기 심전도 데이터를 측정한 대상의 질환의 발병 또는 상기 질환의 진행 상황에 대응되는 신체 상태를 추론하는,
    장치.
PCT/KR2022/014109 2021-09-25 2022-09-21 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치 Ceased WO2023048463A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202280062072.1A CN117979902A (zh) 2021-09-25 2022-09-21 以深度学习为基础计测连续的身体状态的方法、计算机程序及装置
JP2024516342A JP7746547B2 (ja) 2021-09-25 2022-09-21 ディープラーニングに基づいて連続的な身体状態を計測する方法、コンピュータプログラム及び装置
EP22873168.3A EP4385413A4 (en) 2021-09-25 2022-09-21 METHOD, COMPUTER PROGRAM AND DEVICE FOR CONTINUOUSLY MEASURING A BODY STATE BASED ON DEEP LEARNING
US18/692,334 US20240374196A1 (en) 2021-09-25 2022-09-21 Method, computer program, and device for continuously measuring body condition on basis of deep learning
JP2025154550A JP2025179219A (ja) 2021-09-25 2025-09-17 ディープラーニングに基づいて連続的な身体状態を計測する方法、コンピュータプログラム及び装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210126782 2021-09-25
KR10-2021-0126782 2021-09-25
KR10-2022-0118514 2022-09-20
KR1020220118514A KR102740470B1 (ko) 2021-09-25 2022-09-20 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치

Publications (1)

Publication Number Publication Date
WO2023048463A1 true WO2023048463A1 (ko) 2023-03-30

Family

ID=85720934

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014109 Ceased WO2023048463A1 (ko) 2021-09-25 2022-09-21 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치

Country Status (4)

Country Link
US (1) US20240374196A1 (ko)
EP (1) EP4385413A4 (ko)
JP (2) JP7746547B2 (ko)
WO (1) WO2023048463A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4670621A4 (en) * 2023-04-03 2026-02-25 Medical Ai Co Ltd METHOD, PROGRAM AND DEVICE FOR DISEASE PREDICTION BASED ON ARTIFICIAL INTELLIGENCE

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024238786A1 (en) * 2023-05-17 2024-11-21 Heartflow, Inc. Systems and methods for processing electronic images to quantify coronary microvascualar disease

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060117546A (ko) * 2005-05-11 2006-11-17 인하대학교 산학협력단 신경망을 이용한 심전도 기반의 심장질환 진단장치 및방법
KR101538916B1 (ko) * 2014-09-26 2015-07-24 (주)와이브레인 Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법
KR20200084561A (ko) * 2019-01-03 2020-07-13 인하대학교 산학협력단 딥러닝을 이용한 정상동율동 심전도 상태에서의 발작성 심방세동 예측방법
KR20210109879A (ko) * 2020-02-28 2021-09-07 한국외국어대학교 연구산학협력단 심전도 전처리 방법 및 st 상승 심근경색 검출 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116295A2 (en) * 2006-04-07 2007-10-18 Kantonsspital Bruderholz Individual assessment and classification of complex diseases by a data-based clinical disease profile
JP6484625B2 (ja) * 2013-11-30 2019-03-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｅｃｇによる患者の年齢の自動化された検出
EP3730040B1 (en) * 2017-12-20 2025-10-29 Medi Whale Inc. Method and apparatus for assisting in diagnosis of cardiovascular disease
GB2570131A (en) * 2018-01-11 2019-07-17 Imperial Innovations Ltd Fluid flow analysis
CN111261278A (zh) * 2018-11-30 2020-06-09 上海图灵医疗科技有限公司 一种基于三维图像的深度学习模型的心脏疾病检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060117546A (ko) * 2005-05-11 2006-11-17 인하대학교 산학협력단 신경망을 이용한 심전도 기반의 심장질환 진단장치 및방법
KR101538916B1 (ko) * 2014-09-26 2015-07-24 (주)와이브레인 Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법
KR20200084561A (ko) * 2019-01-03 2020-07-13 인하대학교 산학협력단 딥러닝을 이용한 정상동율동 심전도 상태에서의 발작성 심방세동 예측방법
KR20210109879A (ko) * 2020-02-28 2021-09-07 한국외국어대학교 연구산학협력단 심전도 전처리 방법 및 st 상승 심근경색 검출 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PARK, SUNG JUN, CHOI SEUNG YEON, KIM YOUNG MO: "Performance Evaluation of Deep Neural Network (DNN) Based on HRV Parameters for Judgment of Risk Factors for Coronary Artery Disease", JOURNAL OF BIOMEDICAL ENGINEERING RESEARCH, vol. 40, no. 2, 1 January 2019 (2019-01-01), pages 62 - 67, XP093053590, DOI: 10.9718/JBER.2019.40.2.62 *
See also references of EP4385413A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4670621A4 (en) * 2023-04-03 2026-02-25 Medical Ai Co Ltd METHOD, PROGRAM AND DEVICE FOR DISEASE PREDICTION BASED ON ARTIFICIAL INTELLIGENCE

Also Published As

Publication number Publication date
JP7746547B2 (ja) 2025-09-30
US20240374196A1 (en) 2024-11-14
EP4385413A4 (en) 2025-08-06
EP4385413A1 (en) 2024-06-19
JP2025179219A (ja) 2025-12-09
JP2024535229A (ja) 2024-09-30

Similar Documents

Publication Publication Date Title
WO2019031794A1 (ko) 피검체의 치명적 증상의 발생을 조기에 예측하기 위한 예측 결과를 생성하는 방법 및 이를 이용한 장치
WO2022019402A1 (ko) 시계열 생체 신호 기반의 인공신경망 모델 학습 컴퓨터 프로그램 및 방법
WO2020116942A1 (ko) 피검체의 위험도를 평가하여 상기 위험도에 따라 상기 피검체를 분류하는 방법 및 이를 이용한 장치
JP2025179219A (ja) ディープラーニングに基づいて連続的な身体状態を計測する方法、コンピュータプログラム及び装置
KR20240017319A (ko) 심전도 판독 서비스를 제공하는 방법, 프로그램 및장치
KR102740470B1 (ko) 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치
EP4550352A1 (en) Method, program, and device for providing ecg interpretation service
WO2024191246A1 (ko) 심부전의 예후 예측 방법, 프로그램 및 장치
KR20240013676A (ko) 심전도를 이용한 심근경색 진단 방법, 프로그램 및장치
WO2024019584A1 (ko) 심전도를 이용한 심근경색 진단 방법, 프로그램 및 장치
WO2024019575A1 (ko) 심전도를 이용한 건강 상태의 예측 방법, 프로그램 및 장치
WO2025159552A1 (ko) 딥 러닝 모델 기반의 생체 데이터로부터 환자의 중증도를 판단하는 방법, 장치 및 프로그램
WO2026054587A1 (ko) 복수의 학습 데이터 셋에 기초하여 사용자의 상태를 파악하도록 학습된 신경망 모델을 획득하는 장치, 방법 및 프로그램
WO2025105848A1 (ko) 심전도 판독 정보를 제공하는 방법, 프로그램 및 장치
WO2024205254A1 (ko) 인공지능 기반 감염병 모니터링 방법, 프로그램 및 장치
WO2024019500A1 (ko) 심전도 세그먼트를 이용한 건강 상태의 예측 방법, 프로그램 및 장치
WO2024039218A1 (ko) 생체신호 데이터의 증강 방법, 컴퓨터 프로그램 및 장치
WO2026014979A1 (ko) 심전도 데이터에 기초하여 사용자의 좌심실 이완 기능 부전을 예측하는 장치, 방법 및 컴퓨터 프로그램
WO2026029451A1 (ko) 셀프 라벨링 방식을 통해 획득된 학습 데이터에 기초하여 신경망 모델을 학습시키는 장치, 방법 및 컴퓨터 프로그램
WO2024019523A1 (ko) 심전도를 이용한 건강 상태의 예측 방법, 프로그램 및 장치
WO2025198398A1 (ko) 심전도를 기반으로 질환을 진단하는 인공지능을 생성하는 방법, 프로그램 및 장치
CN117979902A (zh) 以深度学习为基础计测连续的身体状态的方法、计算机程序及装置
WO2025211677A1 (ko) 심전도 데이터에 기초하여 부르가다 증후군을 진단하는 방법, 장치 및 프로그램
WO2024191200A1 (ko) 인공 지능 모델에 기반하여 잠재적 심방 세동을 식별하는 방법, 프로그램 및 장치
WO2024014888A1 (ko) 단기 측정된 심장 신호를 기반으로 장기 심박 변이도를 생성하는 방법, 프로그램 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22873168

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024516342

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280062072.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18692334

Country of ref document: US

Ref document number: 2022873168

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 202447022082

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2022873168

Country of ref document: EP

Effective date: 20240315

NENP Non-entry into the national phase

Ref country code: DE