WO2024101954A1 - 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법 - Google Patents

생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2024101954A1
WO2024101954A1 PCT/KR2023/018074 KR2023018074W WO2024101954A1 WO 2024101954 A1 WO2024101954 A1 WO 2024101954A1 KR 2023018074 W KR2023018074 W KR 2023018074W WO 2024101954 A1 WO2024101954 A1 WO 2024101954A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
user
information
neural network
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/018074
Other languages
English (en)
French (fr)
Inventor
권준명
조용연
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical AI Co Ltd
Original Assignee
Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230154684A external-priority patent/KR102853556B1/ko
Application filed by Medical AI Co Ltd filed Critical Medical AI Co Ltd
Priority to JP2025526507A priority Critical patent/JP2025539032A/ja
Priority to EP23889210.3A priority patent/EP4599753A4/en
Priority to CN202380078088.6A priority patent/CN120201960A/zh
Publication of WO2024101954A1 publication Critical patent/WO2024101954A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/358—Detecting ST segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/364—Detecting abnormal ECG interval, e.g. extrasystoles, ectopic heartbeats
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • the present disclosure relates to an electronic device that diagnoses a user's disease based on biological signals and a method of controlling the same. More specifically, it relates to an electronic device that diagnoses a user's disease using a previously learned neural network model and a control method thereof.
  • Myocardial infarction and ischemic heart disease are the most common causes of sudden death, and recently, the number of patients with myocardial infarction and ischemic heart disease is increasing every year. In the case of myocardial infarction and ischemic heart disease, early detection and treatment can prevent death and disability, so many studies are being conducted on early diagnosis and advance prediction of myocardial infarction and ischemic heart disease.
  • the present disclosure was created in response to the above-mentioned background technology, and the problem to be solved by the present disclosure is to provide an electronic device that diagnoses a user's disease based on a pre-learned neural network model and the user's biological signals and a method of controlling the same. will be.
  • a method performed by an electronic device for realizing the above-described problem is disclosed.
  • the method includes obtaining biometric data of a user, inputting the acquired biometric data into a previously learned first neural network model to generate first information about the first disease of the user, and generating first information about the first disease of the user.
  • the step of generating the diagnosis result may include adjusting a first probability value included in the first information based on a second probability value included in the second information, and adjusting the first probability value included in the first information based on the first probability value. This may include generating a diagnosis result of the user regarding the first disease.
  • generating the diagnostic result may include, if the second probability value is greater than or equal to a reference value, adjusting the first probability value by applying a weight corresponding to the second probability value to the first probability value. and if the second probability value is less than the reference value, maintaining the first probability value.
  • generating the diagnostic result may include generating a first diagnostic result corresponding to the first disease if the first probability value is greater than or equal to the first value, and the first probability value is greater than or equal to the first value. If the first probability value is less than the second value, generate a second diagnosis result corresponding to the first disease, and if the first probability value is less than the second value, generate a third diagnosis result corresponding to the first disease. It may include steps to:
  • the first information may be information regarding the presence or absence of the first disease
  • the second information may be information regarding the first type of the first disease.
  • the method may include extracting first and second neural network models from among a plurality of neural network models, based on the first disease and the diagnosis result type.
  • the step of generating information about the presence or absence of the first disease and the step of generating information about the first type may be performed in parallel.
  • the first and second neural network models are pre-trained based on learning data to which a plurality of labels are respectively set to different standards for the same ECG signal, and the plurality of labels are determined by determining whether the first disease exists or not. It may include a first type of label corresponding to and a second type of label corresponding to the first type of the first disease.
  • the biometric data includes an electrocardiogram signal
  • the first disease includes any one of myocardial infarction and ischemic heart disease
  • the first type is ST segment elevation myocardial infarction (STEMI: ST segment elevation myocardial infarction).
  • An electronic device is disclosed according to an embodiment of the present disclosure for realizing the above-described problem.
  • the electronic device acquires a communication interface, a memory storing previously learned first and second neural network models, and biometric data of the user, and inputs the obtained biometric data into the previously learned first neural network model to create the user's first neural network model.
  • Generate first information about the disease input the acquired biometric data into a pre-trained second neural network model to generate second information about the user's first disease, and generate second information about the user's first disease based on the first and second information.
  • it includes one or more processors that generate the user's diagnosis result regarding the first type of the first disease.
  • a non-transitory computer-readable recording medium that stores computer instructions that, when executed by a processor of an electronic device, cause an operation of the electronic device to be performed, wherein the operation is performed on the user's biological device.
  • Acquiring data inputting the acquired biometric data into a pre-trained first neural network model to generate first information about the user's first disease, applying the acquired biometric data to a pre-trained second neural network Generating second information about the first disease of the user by inputting it into a model, and generating a diagnosis result of the user about the first type of the first disease based on the first and second information.
  • an electronic device can learn a plurality of neural network models to generate information about the presence or absence of a disease and information about the type of a disease using the same learning data, and thus the learning data is secured and pre-processed. The cost and time required to do this can be reduced.
  • FIG. 1 is an exemplary diagram of an author device according to an embodiment of the present disclosure.
  • Figure 2 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart schematically showing a method of controlling an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is an exemplary diagram showing previously learned first and second neural network models stored in an electronic device according to an embodiment of the present disclosure.
  • Figure 5a is an exemplary diagram showing a method of learning the first and second neural network models (20-1 and 20-2) according to an embodiment of the present disclosure
  • Figure 5b is a diagram showing conventional information and specific information on the presence or absence of a specific disease.
  • This is an example diagram showing a method of learning multiple neural network models to generate information about a specific type of disease.
  • Figure 6 is an exemplary diagram illustrating a method of diagnosing a user's disease using a first and second neural network model according to an embodiment of the present disclosure.
  • FIG. 7 is a detailed configuration diagram of an electronic device according to an alternative embodiment of the present disclosure.
  • the term “or” is intended to mean an inclusive “or” and not an exclusive “or.” That is, unless otherwise specified in the present disclosure or the meaning is not clear from the context, “X uses A or B” should be understood to mean one of natural implicit substitutions. For example, unless otherwise specified in the present disclosure or the meaning is not clear from the context, “X uses A or B” means that It can be interpreted as one of the cases where all B is used.
  • the term “at least one of A or B” should be interpreted to refer to all of A, B, and a combination of A and B.
  • N is a natural number
  • N is a natural number
  • components performing different functional roles may be distinguished as first components or second components.
  • components that are substantially the same within the technical spirit of the present disclosure but must be distinguished for convenience of explanation may also be distinguished as first components or second components.
  • module refers to a computer-related entity, firmware, software or part thereof, hardware or part thereof.
  • the “module” or “unit” can be understood as a term referring to an independent functional unit that processes computing resources, such as a combination of software and hardware.
  • the “module” or “unit” may be a unit composed of a single element, or may be a unit expressed as a combination or set of multiple elements.
  • a “module” or “part” in the narrow sense is a hardware element or set of elements of an electronic device, an application program that performs a specific function of software, a process implemented through software execution, or a program execution. It may refer to a set of instructions for .
  • module or “unit” may refer to the electronic device itself constituting the system, or an application running on the electronic device.
  • module or “unit” may be defined in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • model refers to a system implemented using mathematical concepts and language to solve a specific problem, a set of software units to solve a specific problem, or a process to solve a specific problem. It can be understood as an abstract model of a process.
  • a neural network “model” may refer to an overall system implemented as a neural network that has problem-solving capabilities through learning. At this time, the neural network can have problem-solving capabilities by optimizing parameters connecting nodes or neurons through learning.
  • a neural network “model” may include a single neural network or a neural network set in which multiple neural networks are combined.
  • FIG. 1 is an exemplary diagram of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 acquires the user's biosignal 10 from an external electronic device 200 that cooperates with the electronic device 100.
  • external electronic devices 200-1 and 200-2, hereinafter 200
  • the electronic device 100 can be implemented with various devices that perform the function of measuring the biological signals 10 (10-1 and 10-2, hereinafter referred to as 10).
  • the external electronic device 200 may be implemented as an electrocardiogram measurement device, smart watch, display device, etc.
  • the external electronic device 200 provides information about the external electronic device 200 (or information about the organization where the external electronic device 200 is located) in advance to the electronic device 100. You can also register at .
  • the electronic device 100 may generate a user diagnosis result based on a user signal obtained from the external electronic device 200. Specifically, the electronic device 100 may analyze the user signal obtained from the external electronic device 200 to determine the user's health status or identify the presence or absence of the user's disease and the type of disease. In particular, in order to generate a user's diagnosis result, the electronic device 100 may use a previously learned neural network model 20. As an example, the electronic device 100 inputs the acquired biosignal 10 into the previously learned neural network model 20, such as user's health status information or user's disease information (e.g., presence or absence of disease or type of disease). Information including, etc.) can be obtained as the output value of the previously learned neural network model 20. To this end, the pre-trained neural network model 20 may be trained in advance to output the user's health status information or the user's disease information based on various user's biosignals 10.
  • the pre-trained neural network model 20 may be trained in advance to output the user's health status information or the user's disease information
  • the electronic device 100 may transmit the generated diagnosis result to the external electronic device 200 or to a user terminal device.
  • the user can determine health status information simply by measuring biosignals 10 without the help of a specialized facility or expert.
  • FIG. 2 is a block diagram of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may be a hardware device or part of a hardware device that performs comprehensive processing and calculation of data, or may be a software-based computing environment connected to a communication network.
  • the electronic device 100 may be a server (e.g., a platform server, etc.) that performs an intensive data processing function and shares resources, or a client (e.g., a platform server, etc.) that shares resources through interaction with the server. It may be a client).
  • the electronic device 100 may be a cloud system that allows a plurality of servers and clients to interact and comprehensively process data.
  • the type of the electronic device 100 may be configured in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • the electronic device 100 may be implemented as an electronic device 100 that measures a user's biosignals (eg, electrocardiogram signals, etc.).
  • a user's biosignals eg, electrocardiogram signals, etc.
  • the electronic device 100 of the present disclosure will be described assuming that it is a server.
  • the electronic device 100 may include a memory 110, a communication interface (network unit) 120, and one or more processors 130.
  • the electronic device 100 may include other components for implementing a computing environment. Additionally, only some of the disclosed configurations may be included in the electronic device 100.
  • the memory 110 may be understood as a structural unit including hardware and/or software for storing and managing data processed in the electronic device 100. That is, the memory 110 can store any type of data generated or determined by the processor 130 and any type of data received by the processor 130 through the communication interface 120.
  • the memory 110 may store a plurality of previously learned neural network models. Each neural network model may be matched with at least one other neural network model according to the type of disease being diagnosed and the type of diagnostic result being generated and stored in the memory 110. At this time, a plurality of matched neural network models may be trained to output different types of information based on the same input (eg, biosignal, etc.).
  • the first and second neural network models may be stored in the memory 110.
  • the first and second neural network models may be learned in advance based on the same learning data and then stored in the memory 110, and the previously learned first and second neural network models may be used to analyze the user's biological signals and Each can be learned to generate different types of information from signals.
  • training data used to train the first and second neural network models may be stored in the memory 110.
  • the memory 110 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory, or a random access RAM (RAM).
  • memory SRAM (static random access memory), ROM (read-only memory), EEPROM (electrically erasable programmable read-only memory), PROM (programmable read-only memory), magnetic It may include at least one type of storage medium among memory, magnetic disk, or optical disk.
  • the memory 110 may include a database system that controls and manages data in a predetermined system. Since the type of memory 110 described above is only an example, the type of memory 110 may be configured in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • the communication interface 120 may be understood as a structural unit that transmits and receives data through any type of known wired or wireless communication system.
  • the electronic device 100 can transmit and receive various information to and from the external electronic device 100 through the communication interface 120.
  • the electronic device 100 may receive the user's biosignal measured by the external electronic device 100 through the communication interface 120, or the electronic device 100 may generate One user's diagnosis result information may be transmitted to the external electronic device 100.
  • the communication interface 120 is a local area network (LAN), wideband code division multiple access (WCDMA), long term evolution (LTE), and wireless broadband (WiBro). internet), 5th generation mobile communication (5G), ultrawide-band wireless communication, ZigBee, radio frequency (RF) communication, wireless LAN, wireless fidelity, Data transmission and reception can be performed using a wired or wireless communication system such as near field communication (NFC) or Bluetooth. Since the above-described communication systems are only examples, the wired and wireless communication systems for data transmission and reception of the communication interface 120 may be applied in various ways other than the above-described examples.
  • LAN local area network
  • WCDMA wideband code division multiple access
  • LTE long term evolution
  • WiBro wireless broadband
  • 5G 5th generation mobile communication
  • ultrawide-band wireless communication ZigBee
  • RF radio frequency
  • NFC near field communication
  • Bluetooth Bluetooth
  • the processor 130 is electrically connected to the memory 110 and the communication interface 120 and can control the overall operation of the electronic device 100.
  • the processor 130 may be understood as a structural unit that includes hardware and/or software for performing computing operations.
  • the processor 130 may read a computer program and perform data processing for machine learning.
  • the processor 130 can process computational processes such as processing input data for machine learning, extracting features for machine learning, and calculating errors based on backpropagation.
  • the processor 130 for performing such data processing includes a central processing unit (CPU), a general purpose graphics processing unit (GPGPU), a tensor processing unit (TPU), and a custom processing unit. It may include a semiconductor (ASIC: application specific integrated circuit), or a field programmable gate array (FPGA: field programmable gate array). Since the type of processor 130 described above is only an example, the type of processor 130 may be configured in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • FIG. 3 is a flowchart schematically showing a method of controlling the electronic device 100 according to an embodiment of the present disclosure.
  • the processor 130 obtains biometric data of the user 1 (S310). Specifically, the processor 130 obtains biometric data of the user 1 from the external electronic device 200 registered in the electronic device 100 through the communication interface 120. At this time, information about the external electronic device 200 may be stored in the memory 110 of the electronic device 100.
  • the biometric data of the user 1 may be an electrocardiogram signal.
  • the external electronic device 200 may be an electrocardiogram device including a plurality of electrodes (or a plurality of patches including each electrode) attached to different parts of the body of the user 1.
  • the external electronic device 200 may generate an ECG signal (or ECG data) corresponding to the user 1 based on the ECG of the user 1 measured from each electrode and transmit it to the electronic device 100.
  • the processor 130 may acquire the ECG signal generated by the external electronic device 200 through the communication interface 120.
  • biometric data will be described assuming that it is an electrocardiogram signal.
  • the processor 130 may generate first information about the disease of the user 1 by inputting the acquired biometric data into a previously learned first neural network model (S320).
  • the first information may be information regarding the presence or absence of a disease.
  • the first neural network model may be a model trained in advance to generate information on the presence or absence of the user 1's disease. Specifically, when the electrocardiogram signal of the user 1 is input, the first neural network model determines whether a disease exists in the user 1 based on the electrocardiogram signal and generates information about the presence or absence of the disease in the user 1. It may be a model learned on .
  • the first neural network model may be trained in advance to determine only the presence or absence of a specific disease.
  • a specific disease will be referred to as a first disease.
  • the first neural network model determines whether the user 1 has a first disease based on the electrocardiogram signal and generates information about the presence or absence of the first disease as an output value. can do.
  • the information regarding the presence or absence of the first disease may include a probability value (or score) that the first disease exists.
  • the processor 130 detects the first disease through the Sigmoid Layer or SoftMax Layer disposed at the output stage among the plurality of layers included in the first neural network model. The probability value of this existence can be obtained as an output value.
  • the processor 130 may generate second information about the disease of the user 1 by inputting the acquired biometric data into a pre-trained second neural network model (S330).
  • the second information may be information about the type of disease.
  • the second neural network model may be a model trained in advance to generate information about the type of disease of the user 1. Specifically, when the electrocardiogram signal of the user 1 is input, the second neural network model identifies the type of disease of the user 1 based on the electrocardiogram signal and generates information about the type of disease of the user 1. It may be a pre-trained model.
  • the second neural network model may be trained in advance to generate information about the type of a specific disease, where the specific disease is the same disease as the disease for which the first neural network model identifies the presence or absence (i.e., the first disease). It can be.
  • the second neural network model may be trained in advance to generate information about a specific type of specific disease. That is, if there are various types related to a specific disease, the second neural network model may be trained in advance to identify whether the specific disease of the user 1 corresponds to a specific type among the various types related to the specific disease.
  • the second neural network model can be learned to analyze bio-signals, identify the characteristics of the bio-signals, and then identify a specific type of specific disease corresponding to the identified characteristics.
  • a specific type will be referred to as a first type.
  • the second neural network model determines whether the first disease of the user 1 corresponds to the first type based on the electrocardiogram signal, and determines whether the first disease of the user 1 corresponds to the first type of the first disease. Related information can be generated as output value.
  • the information about the first type of the first disease may include a probability value (or score) that the disease of the user 1 corresponds to the first type of the first disease.
  • the processor 130 operates on the user 1 through the Sigmoid Layer or SoftMax Layer disposed at the output stage among the plurality of layers included in the second neural network model.
  • the probability that the disease corresponds to the first type of the first disease can be obtained as an output value.
  • the first and second neural network models may be implemented as a Convolution Neural Network (CNN) model, a Recurrent Neural Network (RNN) model, a Relu model, etc.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • the processor 130 performs a pre-processing process on the acquired biosignal 10 (e.g., electrocardiogram signal) before inputting it into the first and second neural network models. It may be possible.
  • the acquired biosignal 10 e.g., electrocardiogram signal
  • a plurality of neural network models may be stored in the memory 110.
  • multiple neural network models may be matched with other neural network models depending on the type of disease and type of diagnosis result. Therefore, the processor 130 identifies the type of disease to be diagnosed and the type of diagnosis result (or the type of disease and diagnosis result set by the user), and the type of disease and diagnosis result identified among the plurality of neural network models. A combination of multiple neural network models corresponding to the type can be determined. Additionally, the processor 130 may extract a plurality of neural network models according to the determined combination and then generate a diagnosis result of a specific disease for the user 1 using the extracted plurality of neural network models. Meanwhile, combined information of a plurality of neural network models corresponding to the type of disease and the type of diagnosis result may be stored in the memory 110 in the form of a table.
  • the processor 130 when it is determined that the processor 130 generates a first type of diagnosis result regarding a first disease, the processor 130 extracts a first neural network model and a second neural network model from the plurality of neural network models stored in the memory 110. You can. Additionally, the processor 130 may generate a first type of diagnosis result regarding the first disease for the user 1 by inputting the acquired biosignals into the extracted first and second neural network models, respectively.
  • FIG. 4 is an example diagram showing previously learned first and second neural network models 20-1 and 20-2 stored in the electronic device 100 according to an embodiment of the present disclosure.
  • the processor 130 may input the obtained ECG signal into the first and second neural network models 20-1 and 20-2, respectively. At this time, the processor 130 may obtain a plurality of probability values through each neural network model (first and second neural network models 20-1 and 20-2). Specifically, the processor 130 obtains a probability value (hereinafter, first probability value) that the first disease exists in the user 1 through the first neural network model 20-1, and uses the second neural network model 20-1. Through -2), a probability value (hereinafter referred to as a second probability value) that the disease of the user 1 corresponds to the first type of the first disease can be obtained.
  • first probability value a probability value that the first disease exists in the user 1 through the first neural network model 20-1
  • a probability value hereinafter referred to as a second probability value
  • the processor 130 may perform the steps of generating information about the presence or absence of a first disease and the steps of generating information about the first type of the first disease in parallel. That is, the processor 130 inputs the acquired electrocardiogram signal into the first and second neural network models 20-1 and 20-2 arranged in parallel, respectively, to form the first and second neural network models 20-1 and 20-2. By obtaining the output values (i.e., the first and second probability values) of 20-2) respectively, the time required to generate information about the presence or absence of the first disease and information about the first type of the first disease can be shortened. You can.
  • Figure 5a is an exemplary diagram showing a method of learning the first and second neural network models (20-1 and 20-2) according to an embodiment of the present disclosure
  • Figure 5b is a diagram showing conventional information and specific information on the presence or absence of a specific disease.
  • This is an example diagram showing a method of learning multiple neural network models to generate information about a specific type of disease.
  • the first and second neural network models 20-1 and 20-2 are to be previously learned based on training data to which a plurality of labels are respectively set to different standards for the same ECG signal. You can.
  • the first and second neural network models 20-1 and 20-2 may be previously trained with the same training data.
  • the learning data may include a plurality of electrocardiogram signals and may also be referred to as a learning data group.
  • the first and second neural network models 20-1 and 20-2 may each be learned based on the same learning data including a plurality of ECG signals.
  • different labels may be assigned to a plurality of ECG signals included in the learning data to generate different types of information (information about the presence or absence of the first disease and information about the first type of the first disease). there is.
  • the different labels are labels set according to different standards, and may include a first type of label corresponding to the presence or absence of the first disease and a second type of label corresponding to the first type of the first disease. That is, referring to FIG. 5A, the learning data according to an embodiment of the present disclosure includes a first type of label corresponding to the presence or absence of the first disease and a second type of label corresponding to the first type of the first disease. may be granted.
  • the first neural network model 20-1 is learned based on the first type of label of the learning data to generate information about the presence or absence of the first disease
  • the second neural network model 20-2 is 1
  • training data may be learned based on a label of a second type.
  • a plurality of labels set with different standards are used.
  • the training data can be used repeatedly to train multiple neural network models (i.e., the first and second neural network models (20-1 and 20-2)), thereby allowing the training data to It is possible to reduce the cost and time required for pre-processing and secure sufficient learning data to train each neural network model.
  • the first and second neural network models 20-1 and 20-2 may be learned using different learning data.
  • the first neural network model 20-1 may be trained to identify the presence or absence of myocardial infarction based on first learning data including electrocardiogram data assigned a first label (a label for distinguishing myocardial infarction)
  • the second neural network model 20-2 determines whether the ST segment elevation myocardial infarction is based on the second learning data including ECG data to which a second label (a label that distinguishes ST segment elevation myocardial infarction) is assigned. can be learned to identify.
  • the processor 130 provides a diagnosis result of the user 1 regarding the first disease of the first type based on the information regarding the presence or absence of the first disease and the information regarding the first type of the first disease. can be created (S340).
  • the processor 130 may generate a diagnosis result regarding the first disease of the user 1 by combining information about the presence or absence of the first disease and information about the first type.
  • the processor 130 may generate a diagnosis result regarding the first type of the first disease by combining information regarding the presence or absence of the first disease and information regarding the first type of the first disease. That is, when the processor 130 uses the first neural network model 20-1, it can only determine the presence or absence of the first disease. However, according to an embodiment of the present disclosure, the processor 130 uses the first neural network model 20-1.
  • the processor 130 may transmit the generated diagnosis result regarding the first disease to the external electronic device 200 through the communication interface 120 and provide it to the user 1.
  • the first disease includes any one of myocardial infarction and ischemic heart disease
  • the first type of the first disease may be a high risk group for myocardial infarction. That is, the processor 130 generates information about the presence or absence of myocardial infarction or ischemic heart disease of the user 1 based on the electrocardiogram signal through the first neural network model 20-1, and the second neural network model 20-1 Through -2), information about the high-risk group myocardial infarction of the user (1) can be generated.
  • the first disease is myocardial infarction.
  • the processor 130 may detect ST segment elevation myocardial infarction (STEMI) or non-ST elevation myocardial infarction (NSTEMI) based on the electrocardiogram signal of the user 1. If any one of these is identified, it may be determined that the user 1's myocardial infarction falls into a high-risk group.
  • STMI ST segment elevation myocardial infarction
  • NSTEMI non-ST elevation myocardial infarction
  • the second neural network model 20-2 can be trained to calculate as an output value whether the user 1 is suffering from ST-segment elevation myocardial infarction or non-ST-segment elevation myocardial infarction based on the input ECG signal.
  • the second probability value may be a probability value that the acute myocardial infarction of the user 1 corresponds to an ST segment elevation myocardial infarction or a probability value that corresponds to a non-ST segment elevation myocardial infarction. That is, the processor 130 determines that the disease of the user 1 is either ST segment elevation myocardial infarction or non-ST segment elevation myocardial infarction, based on the second probability value obtained through the second neural network model 20-2.
  • information output through the second neural network model 20-2 may also be referred to as information about the first type of the first type of the first disease. That is, the second neural network model 20-2 may be trained in advance to output information about the first type of the first type of the first disease.
  • the first type of the first disease will be described assuming ST segment elevation myocardial infarction.
  • the first disease of the first type may be acute myocardial infarction. Accordingly, the processor 130 determines that the user 1 has a myocardial infarction based on the first probability value, and ST segment elevation myocardial infarction of the user 1 is identified based on the second probability value. If determined, a diagnosis result regarding acute myocardial infarction of the user 1 can be generated.
  • FIG. 6 is a flowchart showing a method of diagnosing a disease of a user 1 using the first and second neural network models 20-1 and 20-2 according to an embodiment of the present disclosure. Steps S610 to S630 shown in FIG. 6 may respectively correspond to steps S310 to S330 shown in FIG. 3, and detailed description thereof will be omitted.
  • the processor 130 adjusts the first probability value included in the first information based on the second probability value included in the second information, and adjusts the first probability value based on the first probability value.
  • a diagnosis result of the user 1 regarding a first disease of one type may be generated.
  • the processor 130 determines the presence or absence of the first disease based on the second probability value.
  • the first probability value regarding can be adjusted.
  • identifying the first type of a first disease through a second neural network model may mean that there is a high probability that the first type of the first disease exists in the user. Accordingly, the processor 130 may adjust the first probability value regarding the presence or absence of the first disease based on the second probability value regarding the presence or absence of the first type of the first disease.
  • the processor 130 may adjust the first probability value by applying a weight corresponding to the second probability value to the first probability value. Additionally, the processor 130 may maintain the first probability value if the second probability value is less than a reference value.
  • the processor 130 may determine whether the second probability value is greater than or equal to the reference value.
  • the reference value may be set differently for each user (1) depending on the user's (1) age, body type, medical history, etc.
  • the processor 130 may determine that the second probability value is greater than or equal to the reference value and that the user 1 has a first disease of a first type. Specifically, the processor 130 may determine that the second probability value is greater than or equal to the reference value and that ST-segment elevation myocardial infarction is identified based on the ECG signal of the user 1. Additionally, if it is determined that ST segment elevation myocardial infarction is identified, the processor 130 may adjust the first probability value by applying a weight corresponding to the second probability value to the first probability value. On the other hand, the processor 130 may determine that the second probability value is less than the reference value and that ST-segment elevation myocardial infarction is not identified based on the ECG signal of the user 1. Additionally, if it is determined that ST segment elevation myocardial infarction is not identified, the processor 130 may maintain the first probability value without applying the weight corresponding to the second probability value to the first probability value.
  • the processor 130 may maintain the obtained first probability value 40 as is.
  • the processor 130 may adjust the first probability value based on the second probability value in various ways. For example, if the second probability value is greater than or equal to the reference value, the first probability value may be changed to the second probability value.
  • the processor 130 may apply different weights depending on the difference between the first probability value and the second probability value. Specifically, if the second probability value is greater than or equal to the reference value and the difference between the first and second probability values is greater than or equal to a preset difference value, the first weight is applied, the second probability value is greater than or equal to the reference value, and the second probability value is greater than or equal to the reference value. If the difference between the first probability value and the second probability value is less than a preset difference value, a second weight smaller than the first weight may be applied.
  • the processor 130 may apply different weights depending on the section containing the first probability value among a plurality of preset sections. Specifically, if the second probability value is greater than or equal to the reference value and the first probability value is included in the first interval (0 to less than the first reference value), a third weight is applied, and the second probability value is greater than or equal to the reference value. , If the first probability value is included in the second interval (more than the first reference value and less than the second reference value), a fourth weight smaller than the third weight is applied, and the first probability value is applied to the third interval (the second reference value). or less than the third standard value), a fifth weight smaller than the fourth weight can be applied.
  • the processor 130 may generate a diagnosis result based on the first probability value.
  • the first probability value may include a first probability value adjusted based on the second probability value or a first probability value output from the first neural network model (i.e., a maintained first probability value).
  • the processor 130 generates a first diagnosis result corresponding to a first disease of a first type if the first probability value is greater than or equal to the first value, and if the first probability value is less than the first value, a second diagnosis result is generated. If the value is greater than or equal to the value, generate a second diagnosis result corresponding to the first disease of the first type, and if the first probability value is less than the second value, generate a third diagnosis result corresponding to the first disease of the first type. can do.
  • the processor 130 determines that the first probability value (adjusted first probability value or maintained first probability value) is set to the first value (3 ), the user can generate a diagnosis result that is normal (or a diagnosis result that the possibility of acute myocardial infarction is low).
  • the processor 130 provides a diagnosis result that the user belongs to a medium risk group for acute myocardial infarction (or, acute myocardial infarction). A diagnostic result indicating that a corresponding possibility exists) can be generated.
  • the processor 130 generates a diagnosis result that the user belongs to a high risk group for myocardial infarction (or a diagnosis result that the user is likely to have an acute myocardial infarction). can do.
  • the processor 130 compares the first probability value and the second probability value with the first value and the second value, and if the first probability value is identified as being less than the first value, the user 1 does not have the disease of myocardial infarction. If it is determined that the second probability value is greater than or equal to the reference value, it may be determined that the user 1's myocardial infarction falls into the high risk group.
  • the processor 130 identifies the ECG signal of the user 1 as abnormal, generates information requesting to measure the ECG signal for the user 1 again, and transmits it to an external electronic device through the communication interface 120. It can be transmitted to (200) or output through an output interface (e.g., speaker, display, etc.).
  • the electronic device 100 may be implemented as an electrocardiogram measurement device.
  • an electronic device implemented as an electrocardiogram measurement device according to an embodiment of the present disclosure will be described.
  • FIG. 7 is a detailed configuration diagram of an electronic device according to an alternative embodiment of the present disclosure.
  • the electronic device 100' includes a memory 110', a communication interface 120', a measuring unit 140', a display 150', a user interface 160', and a processor 130'.
  • the description of the memory 110, communication interface 120, and processor 130 shown in FIG. 2 is the same as for the configuration memory 110', communication interface 120', and processor 130' shown in FIG. 7. Since it can be applied in many ways, detailed description is omitted.
  • the measuring unit 140' includes a plurality of leads attached to different parts of the user's body, and is based on the voltage difference between the user's body parts measured through the plurality of leads.
  • the electrocardiogram signal can be generated.
  • the measurement unit 140' may include limb leads and chest leads.
  • the limb lead may include four electrodes (hereinafter referred to as limb electrodes) attached to the limb.
  • the chest lead may include six electrodes (hereinafter referred to as chest electrodes) attached to the chest.
  • the limb electrodes may include a right arm electrode (RA), a left arm electrode (LA), a right leg electrode (RL), and a left leg electrode (LL).
  • the right leg electrode RL may be a common electrode or a ground electrode.
  • the limb electrodes may be attached to positions corresponding to the right arm, left arm, right leg, and left leg, respectively.
  • the chest electrode (or pre-chest electrode) includes the first chest electrode (V1), the second chest electrode (V2), the third chest electrode (V3), the fourth chest electrode (V4), and the fifth chest electrode (V5). And it may include a sixth chest electrode (V6).
  • the display 150’ can output various image information.
  • the processor 130 may output the diagnosis result of the user 1 through the display 150'.
  • the processor 130 may output warning information of the first type of the first disease to the user 1 through the display 150'.
  • the display 150' may be implemented as a display including a self-luminous element or a display including a non-luminous element and a backlight.
  • a display including a self-luminous element or a display including a non-luminous element and a backlight.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diodes
  • LED Light Emitting Diodes
  • micro LED micro LED
  • Mini LED Plasma Display Panel
  • QD Quantum dot
  • QLED Quantum dot light-emitting diodes
  • the display 150' may also include a driving circuit and a backlight unit that can be implemented in the form of a-si TFT, LTPS (low temperature poly silicon) TFT, OTFT (organic TFT), etc. Meanwhile, the display 150' includes a touch screen combined with a touch sensor, a flexible display, a rollable display, a 3D display, and a display in which a plurality of display modules are physically connected. It can be implemented.
  • the display 150' may form a touch screen together with a touch panel.
  • the user interface 160' is a configuration used to perform interaction between the electronic device 100 and the user 1, and the processor 130 can output diagnostic results through the user interface 160'.
  • the user interface 160' may include at least one of a touch sensor, a motion sensor, a button, a jog dial, a switch, and a microphone, but is not limited thereto.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Cardiology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

본 개시는 전자 장치 및 그 제어 방법을 제공한다. 본 개시의 일 실시 예에 따른 전자 장치는 통신 인터페이스, 기 학습된 제1 및 제2 신경망 모델이 저장된 메모리, 사용자의 생체 데이터를 획득하고, 상기 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제1 정보를 생성하고, 상기 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제2 정보를 생성하고, 상기 제1 및 제2 정보에 기초하여, 상기 제1 유형의 제1 질병에 관한 상기 사용자의 진단 결과를 생성하는 하나 이상의 프로세서를 포함한다.

Description

생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법
본 개시는 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법에 관한 것이다. 보다 구체적으로, 기 학습된 신경망 모델을 이용하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법에 관한 것이다.
심근경색과 허혈성 심장 질환은 가장 많은 돌연사의 원인으로, 최근에는 심근경색과 허혈성 심장 질환의 환자 수가 매년 증가하고 있다. 심근경색과 허혈성 심장 질환의 경우 조기에 발견하여 치료하면 사망과 장애를 방지할 수 있다는 점에서, 심근경색과 허혈성 심장 질환의 조기 진단 및 사전 예측에 대한 많은 연구가 진행되고 있다.
심근경색과 허혈성 심장 질환의 조기 진단을 위해 심전도를 측정하고, 측정된 심전도 신호를 그래프의 형태로 표시하고, 그래프를 기초로 환자의 심장에서의 심근경색과 허혈성 심장 질환의 유무를 판단하는 방법이 널리 이용되고 있다. 특히, 최근에는 딥러닝 기술의 발전과 함께, 딥러닝 기술을 의료 분야에 접목하여 신경망 모델에 대한 심전도 신호의 그래프의 입력만으로도, 심전도 신호를 분석 결과를 획득하는 방법에 대한 관심이 증가하고 있다.
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 본 개시에서 해결하고자 하는 과제는 기 학습된 신경망 모델 및 사용자의 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법을 제공하는 것이다.
다만, 본 개시에서 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재를 근거로 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 전자 장치에 의해 수행되는 방법이 개시된다. 상기 방법은, 사용자의 생체 데이터를 획득하는 단계, 상기 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제1 정보를 생성하는 단계, 상기 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제2 정보를 생성하는 단계 및 상기 제1 및 제2 정보에 기초하여, 상기 제1 질병의 제1 유형에 관한 상기 사용자의 진단 결과를 생성하는 단계를 포함한다.
대안적으로, 상기 진단 결과를 생성하는 단계는, 상기 제2 정보에 포함된 제2 확률 값에 기초하여, 상기 제1 정보에 포함된 제1 확률 값을 조정하고, 상기 제1 확률 값에 기초하여 상기 제1 질병에 관한 상기 사용자의 진단 결과를 생성하는 단계를 포함할 수 있다.
대안적으로, 상기 진단 결과를 생성하는 단계는, 상기 제2 확률 값이 기준 값 이상이면, 상기 제2 확률 값에 대응하는 가중치를 상기 제1 확률 값에 적용하여 상기 제1 확률 값을 조정하는 단계 및 상기 제2 확률 값이 상기 기준 값 미만이면, 상기 제1 확률 값을 유지하는 단계를 포함할 수 있다.
대안적으로, 상기 진단 결과를 생성하는 단계는, 상기 제1 확률 값이 제1 값 이상이면, 상기 제1 질병에 대응하는 제1 진단 결과를 생성하고, 상기 제1 확률 값이 상기 제1 값 미만이고, 제2 값 이상이면, 상기 제1 질병에 대응하는 제2 진단 결과를 생성하고, 상기 제1 확률 값이 상기 제2 값 미만이면, 상기 제1 질병에 대응하는 제3 진단 결과를 생성하는 단계를 포함할 수 있다.
대안적으로, 상기 제1 정보는 상기 제1 질병의 유무에 관한 정보이고, 상기 제2 정보는 상기 제1 질병의 제1 종류에 관한 정보일 수 있다.
대안적으로, 상기 방법은 복수의 신경망 모델 중, 상기 제1 질병 및 상기 진단 결과 유형에 기초하여, 제1 및 제2 신경망 모델을 추출하는 단계를 포함할 수 있다.
대안적으로, 상기 제1 질병 유무에 관한 정보를 생성하는 단계 및 상기 제1 종류에 관한 정보를 생성하는 단계는, 병렬적으로 수행될 수 있다.
대안적으로, 상기 제1 및 제2 신경망 모델은 동일한 심전도 신호에 대해 각각 상이한 기준으로 설정된 복수의 라벨이 부여된 학습 데이터에 기초하여 기 학습되고, 상기 복수의 라벨은, 상기 제1 질병의 유무에 대응하는 제1 유형의 라벨과 상기 제1 질병의 제1 종류에 대응하는 제2 유형의 라벨을 포함할 수 있다.
대안적으로, 상기 생체 데이터는, 심전도 신호를 포함하고, 상기 제1 질병은, 심근경색 및 허혈성심장질환 중 어느 하나를 포함하며, 상기 제1 종류는, ST분절의 상승 심근경색(STEMI: ST elevation myocardial infarction) 및 ST분절의 비상승 심근경색(NSTEMI: non-ST elevation myocardial infarction)중 어느 하나를 포함할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 전자 장치가 개시된다. 상기 전자 장치는 통신 인터페이스, 기 학습된 제1 및 제2 신경망 모델이 저장된 메모리, 사용자의 생체 데이터를 획득하고, 상기 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제1 정보를 생성하고, 상기 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제2 정보를 생성하고, 상기 제1 및 제2 정보에 기초하여, 상기 제1 질병의 제1 유형에 관한 상기 사용자의 진단 결과를 생성하는 하나 이상의 프로세서를 포함한다.
본 개시의 일 실시 예에 따라, 전자 장치의 프로세서에 의해 실행되는 경우, 상기 전자 장치의 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 동작은, 사용자의 생체 데이터를 획득하는 단계, 상기 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제1 정보를 생성하는 단계, 상기 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제2 정보를 생성하는 단계 및 상기 제1 및 제2 정보에 기초하여, 상기 제1 질병의 제1 유형에 관한 상기 사용자의 진단 결과를 생성하는 단계를 포함한다.
본 개시는 일 실시 예에 따른 전자 장치는 동일한 학습 데이터로 질병의 유무에 관한 정보 및 질병의 종류에 관한 정보를 생성하도록 복수의 신경망 모델을 학습 시킬 수 있으며, 이에 따라 학습 데이터를 확보하고 전 처리하는데 소요되는 비용 및 시간을 감소시킬 수 있다.
또한, 사용자의 생체 신호 측정만으로도 사용자의 질병 및 종류 정보를 제공함으로써, 사용자의 질병을 사전에 예측하고 조기 진단하도록 유도할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 저자 장치의 예시도이다.
도 2은 본 개시의 일 실시 예에 따른 전자 장치의 블록 구성도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치를 제어하는 방법을 개략적으로 나타낸 순서도이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치에 저장된 기 학습된 제1 및 제2 신경망 모델을 나타낸 예시도이다.
도 5a는 본 개시의 일 실시 예에 따른 제1 및 제2 신경망 모델(20-1 및 20-2)을 학습시킨 방법을 나타낸 예시도이고, 도 5b는 종래 특정 질병의 유무에 관한 정보 및 특정 질병의 특정 종류에 관한 정보를 생성하기 위하여 복수의 신경망 모델을 학습시킨 방법을 나타낸 예시도이다.
도 6은 본 개시의 일 실시 예에 따른 제1 및 제2 신경망 모델을 이용하여 사용자의 질병을 진단하는 방법을 나타낸 예시도이다.
도 7은 본 개시의 대안적으로 실시 예에 따른 전자 장치의 세부 구성도이다.
아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.
본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.
본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는" 을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다" 는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.
본 개시에서 사용되는 "A 또는 B 중 적어도 하나" 라는 용어는 A, B, 그리고 A와 B의 조합을 모두 칭하는 것으로 해석되어야 한다.
본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상" 을 포함할 수 있는 것으로 해석되어야 한다.
본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제 1 구성요소 혹은 제 2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제 1 구성요소 혹은 제 2 구성요소로 구별될 수도 있다.
한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)" 는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈" 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈" 또는 "부"는 전자 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈" 또는 "부"는 시스템을 구성하는 전자 장치 그 자체, 또는 전자 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈" 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.
전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 예시도이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 전자 장치(100)와 연동하는 외부 전자 장치(200)로부터 사용자의 생체 신호(10)를 획득한다. 여기서, 전자 장치(100)와 연동하는 외부 전자 장치(200-1 및 200-2, 이하 200)는 전자 장치(100)와 네트워크 통신을 통해 연결되며, 사용자(1-1 및 1-2, 이하 1)의 생체 신호(10)(10-1 및 10-2, 이하 10)를 측정하는 기능을 수행하는 다양한 장치로 구현될 수 있다. 예를 들어, 외부 전자 장치(200)는 심전도 측정 장치, 스마트 워치, 디스플레이 장치 등으로 구현될 수 있다. 한편, 외부 전자 장치(200)는 전자 장치(100)와 연동하기 위하여, 사전에 외부 전자 장치(200) 정보(또는 외부 전자 장치(200)가 배치된 기관 등의 정보)를 전자 장치(100)에 등록할 수도 있다.
전자 장치(100)는 외부 전자 장치(200)로부터 획득된 사용자 신호에 기초하여, 사용자의 진단 결과를 생성할 수 있다. 구체적으로, 전자 장치(100)는 외부 전자 장치(200)로부터 획득된 사용자 신호를 분석하여, 사용자의 건강 상태를 파악하거나 또는 사용자의 질병 유무, 질병의 종류 등을 식별하 수 있다. 특히, 사용자의 진단 결과를 생성하기 위하여, 전자 장치(100)는 기 학습된 신경망 모델(20)을 이용할 수 있다. 일 예로, 전자 장치(100)는 획득된 생체 신호(10)를 기 학습된 신경망 모델(20)에 입력하여, 사용자의 건강 상태 정보 또는 사용자의 질병 정보(예를 들어, 질병 유무 또는 질병의 종류 등을 포함하는 정보) 등을 기 학습된 신경망 모델(20)의 출력 값으로 획득할 수 있다. 이를 위해, 기 학습된 신경망 모델(20)은 다양한 사용자의 생체 신호(10)에 기초하여 사용자의 건강 상태 정보 또는 사용자의 질병 정보 등을 출력하도록 사전에 학습될 수 있다.
한편, 전자 장치(100)는 생성된 진단 결과를 외부 전자 장치(200)에 전달하거나, 또는 사용자 단말 장치로 송신할 수 있다. 이를 통해, 사용자는 전문 시설 또는 전문가의 도움 없이도 생체 신호(10)의 측정 만으로 건강 상태 정보를 파악할 수 있다.
이하, 도 2 내지 도 7을 참조하여, 본 개시의 일 실시 예에 따른 전자 장치(100)에 대하여 상세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 블록 구성도이다.
본 개시의 일 실시예에 따른 전자 장치(100)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 전자 장치(100)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버(예를 들어, 플랫폼 서버 등)일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 전자 장치(100)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리할 수 있도록 하는 클라우드 시스템(cloud system)일 수도 있다.
상술한 기재는 전자 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 전자 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다. 예를 들어, 전자 장치(100)는 사용자의 생체 신호(예를 들어, 심전도 신호 등)를 측정하는 전자 장치(100) 등으로 구현될 수도 있다. 다만, 이하에서는 본 개시의 전자 장치(100)를 서버로 상정하여 설명하도록 한다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 전자 장치(100)는 메모리(memory)(110), 통신 인터페이스(network unit)(120) 및 하나 이상의 프로세서(130)를 포함할 수 있다. 다만, 도 2은 하나의 예시일 뿐이므로, 전자 장치(100)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 개시된 구성들 중 일부만이 전자 장치(100)에 포함될 수도 있다.
본 개시의 일 실시예에 따른 메모리(110)는 전자 장치(100)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(110)는 프로세서(130)가 생성하거나 결정한 임의의 형태의 데이터 및 통신 인터페이스(120)를 통해 프로세서(130)가 수신한 임의의 형태의 데이터를 저장할 수 있다.
일 예로, 메모리(110)는 기 학습된 복수의 신경망 모델이 저장될 수 있다. 각각의 신경망 모델은 진단하는 질병의 유형 및 생성하는 진단 결과의 유형에 따라 적어도 하나의 다른 신경망 모델과 매칭되어, 메모리(110)에 저장될 수 있다. 이때, 매칭된 복수의 신경망 모델은 동일한 입력(예를 들어, 생체 신호 등)을 기초로 서로 다른 유형의 정보를 출력하도록 학습될 수 있다. 예를 들어, 메모리(110)에는 제1 및 제2 신경망 모델을 저장할 수 있다. 여기서, 제1 및 제2 신경망 모델은 동일한 학습 데이터에 기초하여 사전에 학습된 후 메모리(110)에 저장될 수 있으며, 기 학습된 제1 및 제2 신경망 모델은 사용자의 생체 신호를 분석하여 생체 신호로부터 각각 상이한 유형의 정보를 생성하도록 학습될 수 있다. 이때, 메모리(110)에는 제1 및 제2 신경망 모델을 학습 시키기 위하여 이용된 학습 데이터가 저장될 수도 있다.
또한, 일 예로, 메모리(110)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(110)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(110)의 종류는 하나의 예시일 뿐이므로, 메모리(110)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
본 개시의 일 실시예에 따른 통신 인터페이스(120)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 전자 장치(100)는 통신 인터페이스(120)를 통해 다양한 정보를 외부 전자 장치(100)와 송수신할 수 있다. 일 예로, 전자 장치(100)는 통신 인터페이스(120)를 통해 외부 전자 장치(100)에서 측정된 사용자의 생체 신호를 외부 전자 장치(100)로부터 수신할 수도 있으며, 또는 전자 장치(100)가 생성한 사용자의 진단 결과 정보를 외부 전자 장치(100)로 송신할 수도 있다.
이를 위해, 통신 인터페이스(120)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultrawide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 통신 인터페이스(120)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.
본 개시의 일 실시예에 따른 프로세서(130)는 메모리(110) 및 통신 인터페이스(120)와 전기적으로 연결되어, 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(130)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(130)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(130)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(130)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(130)의 종류는 하나의 예시일 뿐이므로, 프로세서(130)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치(100)를 제어하는 방법을 개략적으로 나타낸 순서도이다.
도 3을 참조하면, 프로세서(130)는 사용자(1)의 생체 데이터를 획득한다(S310). 구체적으로, 프로세서(130)는 통신 인터페이스(120)를 통해 전자 장치(100)에 등록된 외부 전자 장치(200)로부터 사용자(1)의 생체 데이터를 획득한다. 이때, 외부 전자 장치(200)에 대한 정보는 전자 장치(100)의 메모리(110)에 저장될 수 있다.
일 예로, 사용자(1)의 생체 데이터는 심전도 신호일 수 있다. 구체적으로, 외부 전자 장치(200)는 사용자(1)의 신체의 서로 다른 부위에 부착되는 복수의 전극(또는 각각의 전극을 포함하는 복수의 패치)을 포함하는 심전도 장치일 수 있다. 외부 전자 장치(200)는 각각의 전극으로부터 측정된 사용자(1)의 심전도에 기초하여, 사용자(1)에 대응하는 심전도 신호(또는 심전도 데이터)를 생성하여 전자 장치(100)로 송신할 수 있다. 그리고, 프로세서(130)는 통신 인터페이스(120)를 통해 외부 전자 장치(200)에서 생성된 심전도 신호를 획득할 수 있다. 이하에서는, 본 개시의 이해를 위해 생체 데이터를 심전도 신호로 상정하여 설명하도록 한다.
도 3을 참조하면, 프로세서(130)는 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 사용자(1)의 질병에 관한 제1 정보를 생성할 수 있다(S320).
일 예로, 제1 정보는 질병의 유무에 관한 정보일 수 있다. 따라서, 제1 신경망 모델은 사용자(1)의 질병의 유무의 정보를 생성하도록 사전에 학습된 모델일 수 있다. 구체적으로, 제1 신경망 모델은 사용자(1)의 심전도 신호가 입력되면, 심전도 신호에 기초하여 사용자(1)에게 질병이 존재하는지를 판단하고, 사용자(1)의 질병의 유무의 정보를 생성하도록 사전에 학습된 모델일 수 있다.
특히, 제1 신경망 모델은 특정 질병의 유무 만을 판단하도록 사전에 학습될 수 있다. 이하, 본 개시의 설명의 편의를 위해 특정 질병을 제1 질병으로 지칭하도록 한다.
일 예로, 제1 신경망 모델은 사용자(1)의 심전도 신호가 입력되면, 심전도 신호에 기초하여 사용자(1)에게 제1 질병이 존재하는지를 판단하여, 제1 질병 유무에 관한 정보를 출력 값으로 생성할 수 있다.
이때, 제1 질병 유무에 관한 정보는 제1 질병이 존재할 확률 값(또는 스코어)을 포함할 수 있다. 구체적으로, 프로세서(130)는 제1 신경망 모델에 사용자(1)의 심전도 신호가 입력하면, 제1 신경망 모델에 포함된 복수의 레이어 중 출력 단에 배치된 Sigmoid Layer 또는 SoftMax Layer를 통해 제1 질병이 존재할 확률 값을 출력 값으로 획득할 수 있다.
또한, 프로세서(130)는 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 사용자(1)의 질병에 관한 제2 정보를 생성할 수 있다(S330).
일 예로, 제2 정보는 질병의 종류에 관한 정보일 수 있다. 따라서, 제2 신경망 모델은 사용자(1)의 질병의 종류에 관한 정보를 생성하도록 사전에 학습된 모델일 수 있다. 구체적으로, 제2 신경망 모델은 사용자(1)의 심전도 신호가 입력되면, 심전도 신호에 기초하여 사용자(1)의 질병의 종류를 식별하고, 사용자(1)의 질병의 종류에 관한 정보를 생성하도록 사전에 학습된 모델일 수 있다.
특히, 제2 신경망 모델은 특정 질병의 종류에 관한 정보를 생성하도록 사전에 학습될 수 있으며, 이때, 특정 질병은 제1 신경망 모델이 존재 유무를 식별하는 질병과 동일한 질병(즉, 제1 질병)일 수 있다.
또한, 제2 신경망 모델은 특정 질병의 특정 종류에 관한 정보를 생성하도록 사전에 학습될 수도 있다. 즉, 특정 질병과 관련하여 다양한 종류가 있는 경우, 제2 신경망 모델은 사용자(1)의 특정 질병이 특정 질병과 관련한 다양한 종류 중 특정 종류에 해당하는지를 식별하도록 사전에 학습될 수 있다. 특히, 제2 신경망 모델은 생체 신호를 분석하여 생체 신호가 갖는 특성을 파악한 후 파악된 특성에 대응하는 특정 질병의 특정 종류를 식별하도록 학습될 수 있다. 이하, 본 개시의 설명의 편의를 위해 특정 종류를 제1 종류로 지칭하도록 한다.
일 예로, 제2 신경망 모델은 사용자(1)의 심전도 신호가 입력되면, 심전도 신호에 기초하여 사용자(1)의 제1 질병이 제1 종류에 해당하는지를 판단하여, 제1 질병의 제1 종류에 관한 정보를 출력 값으로 생성할 수 있다.
이때, 제1 질병의 제1 종류에 관한 정보는 사용자(1)의 질병이 제1 질병의 제1 종류에 해당할 확률 값(또는 스코어)을 포함할 수 있다. 구체적으로, 프로세서(130)는 제2 신경망 모델에 사용자(1)의 심전도 신호가 입력하면, 제2 신경망 모델에 포함된 복수의 레이어 중 출력 단에 배치된 Sigmoid Layer 또는 SoftMax Layer를 통해 사용자(1)의 질병이 제1 질병의 제1 종류에 해당할 확률 값을 출력 값으로 획득할 수 있다.
일 예로, 제1 및 제2 신경망 모델은 CNN(Convolution Neural Network) 모델, RNN(Recurrent Neural Network) 모델, Relu 모델 등으로 구현될 수 있다.
한편, 프로세서(130)는 획득된 생체 신호(10)(예를 들어, 심전도 신호)를 제1 및 제2 신경망 모델에 입력하기 전에, 획득된 생체 신호(10)에 대한 전 처리 과정을 수행할 수도 있다.
한편, 본 개시의 일 실시 예에 따라, 메모리(110)에는 복수의 신경망 모델이 저장될 수 있다. 여기서, 복수의 신경망 모델은 질병의 유형 및 진단 결과의 유형에 따라 다른 신경망 모델과 매칭될 수 있다. 따라서, 프로세서(130)는 진단하고자 하는 질병의 유형 및 진단 결과의 유형(또는 사용자에 의해 설정된 질병의 유형 및 진단 결과의 유형)을 식별하고, 복수의 신경망 모델 중에서 식별된 질병의 유형 및 진단결과의 유형에 대응하는 복수의 신경망 모델의 조합을 결정할 수 있다. 그리고, 프로세서(130)는 결정된 조합에 따라, 복수의 신경망 모델을 추출한 후 추출된 복수의 신경망 모델을 이용하여 사용자(1)에 대한 특정 질병의 진단 결과를 생성할 수 있다. 한편, 질병의 유형 및 진단결과의 유형에 대응하는 복수의 신경망 모델의 조합 정보는 테이블의 형태로 메모리(110)에 저장될 수 있다.
예를 들어, 프로세서(130)는 제1 질병에 관한 제1 유형의 진단 결과를 생성하는 것으로 결정되면, 메모리(110)에 저장된 복수의 신경망 모델 중 제1 신경망 모델과 제2 신경망 모델을 추출할 수 있다. 그리고, 프로세서(130)는 추출된 제1 및 제2 신경망 모델에 획득된 생체 신호를 각각 입력하여, 사용자(1)에 대한 제1 질병에 관한 제1 유형의 진단 결과를 생성할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치(100)에 저장된 기 학습된 제1 및 제2 신경망 모델(20-1 및 20-2)을 나타낸 예시도이다.
도 4를 참조하면, 프로세서(130)는 획득된 심전도 신호를 제1 및 제2 신경망 모델(20-1 및 20-2)에 각각 입력할 수 있다. 이때, 프로세서(130)는 각각의 신경망 모델(제1 및 제2 신경망 모델(20-1 및 20-2))을 통해 복수의 확률 값을 획득할 수 있다. 구체적으로, 프로세서(130)는 제1 신경망 모델(20-1)을 통해 사용자(1)에게 제1 질병이 존재하는 확률 값(이하, 제1 확률 값)을 획득하고, 제2 신경망 모델(20-2)을 통해 사용자(1)의 질병이 제1 질병의 제1 종류에 해당하는 확률 값(이하, 제2 확률 값)을 획득할 수 있다.
특히, 도 4를 참조하면, 프로세서(130)는 제1 질병 유무에 관한 정보를 생성하는 단계 및 제1 질병의 제1 종류에 관한 정보를 생성하는 단계를 병렬적으로 수행할 수 있다. 즉, 프로세서(130)는 획득된 심전도 신호를 병렬적으로 배치된 제1 및 제2 신경망 모델(20-1 및 20-2)에 각각 입력하여, 제1 및 제2 신경망 모델(20-1 및 20-2)의 출력 값(즉, 제1 및 제2 확률 값)을 각각 획득함으로써, 제1 질병 유무에 관한 정보와 제1 질병의 제1 종류에 관한 정보를 생성하는데 소요되는 시간을 단축시킬 수 있다.
도 5a는 본 개시의 일 실시 예에 따른 제1 및 제2 신경망 모델(20-1 및 20-2)을 학습시킨 방법을 나타낸 예시도이고, 도 5b는 종래 특정 질병의 유무에 관한 정보 및 특정 질병의 특정 종류에 관한 정보를 생성하기 위하여 복수의 신경망 모델을 학습시킨 방법을 나타낸 예시도이다.
본 개시의 일 실시 예에 따라 제1 및 제2 신경망 모델(20-1 및 20-2)은, 동일한 심전도 신호에 대해 각각 상이한 기준으로 설정된 복수의 라벨이 부여된 학습 데이터에 기초하여 기 학습될 수 있다.
구체적으로, 제1 및 제2 신경망 모델(20-1 및 20-2)은 동일한 학습 데이터로 기 학습될 수 있다. 일 예로, 학습 데이터는 복수의 심전도 신호를 포함할 수 있으며, 학습 데이터 군으로 지칭될 수도 있다. 제1 및 제2 신경망 모델(20-1 및 20-2)은 복수의 심전도 신호를 포함하는 동일한 학습 데이터에 기초하여 각각 학습될 수 있다. 다만, 각각 서로 다른 유형의 정보(제1 질병의 유무에 관한 정보 및 제1 질병의 제1 종류에 관한 정보)를 생성하도록 학습 데이터에 포함된 복수의 심전도 신호에는 각각 서로 다른 라벨이 부여될 수 있다.
여기서, 서로 다른 라벨은 각각 상이한 기준으로 설정된 라벨로, 제1 질병의 유무에 대응하는 제1 유형의 라벨과 제1 질병의 제1 종류에 대응하는 제2 유형의 라벨을 포함할 수 있다. 즉, 도 5a를 참조하면, 본 개시의 일 실시 예에 따른 학습 데이터에는 각각 제1 질병의 유무에 대응하는 제1 유형의 라벨과 제1 질병의 제1 종류에 대응하는 제2 유형의 라벨이 부여될 수 있다.
이에 따라, 제1 신경망 모델(20-1)은 제1 질병의 유무에 관한 정보를 생성하기 위하여 학습 데이터의 제1 유형의 라벨에 기초하여 학습되며, 제2 신경망 모델(20-2)은 제1 질병의 제1 종류에 관한 정보를 생성하기 위하여, 학습 데이터의 제2 유형의 라벨에 기초하여 학습될 수 있다.
도 5b를 참조하면, 종래 특정 질병의 유무에 관한 정보 및 특정 질병의 특정 종류에 관한 정보를 생성하기 위해서는 각각의 신경망 모델을 학습 시키기 위한 별도의 학습 데이터가 마련되어야 했다. 이로 인하여, 각각의 학습 데이터를 전 처리하는데 많은 비용과 시간이 소요되는 문제가 발생했으며, 특히 생체 신호(10)(예를 들어, 심전도 신호 등)와 같이 전문적인 장치에 의해 획득이 가능한 학습 데이터의 경우 각각의 신경망 모델을 학습 시키기 위한 충분한 학습 데이터를 마련하는 것에도 어려움이 있었다.
그러나, 본 개시의 일 실시 예에 따르면, 서로 다른 유형의 정보(제1 질병의 유무에 관한 정보 및 제1 질병의 제1 종류에 관한 정보)를 생성하기 위하여, 상이한 기준으로 설정된 복수의 라벨을 부여된 동일한 학습 데이터를 이용함으로써, 복수의 신경망 모델(즉, 제1 및 제2 신경망 모델(20-1 및 20-2))을 학습 시키기 위하여 학습 데이터를 중복하여 이용할 수 있으며, 이로 인하여 학습 데이터를 전 처리하는데 소요되는 비용과 시간을 감축하고, 각각의 신경망 모델을 학습 시키기 위한 충분한 학습 데이터 확보가 가능하다.
다만, 본 개시는 상술한 실시 예에 제한되는 것은 아니다. 즉, 제1 및 제2 신경망 모델(20-1 및 20-2)는 서로 다른 학습 데이터에 의해 학습될 수도 있다. 구체적으로, 제1 신경망 모델(20-1)은 제1 라벨(심근경색을 구분하는 라벨)이 부여된 심전도 데이터를 포함하는 제1 학습 데이터에 기초하여 심근경색의 유무를 식별하도록 학습될 수 있으며, 제2 신경망 모델(20-2)은 제2 라벨(ST분절의 상승 심근경색을 구분하는 라벨)이 부여된 심전도 데이터를 포함하는 제2 학습 데이터에 기초하여 ST분절의 상승 심근경색의 해당 여부를 식별하도록 학습될 수 있다.
도 3을 다시 참조하면, 프로세서(130)는 제1 질병 유무에 관한 정보 및 제1 질병의 제1 종류에 관한 정보에 기초하여, 제1 유형의 제1 질병에 관한 사용자(1)의 진단 결과를 생성할 수 있다(S340).
구체적으로, 프로세서(130)는 제1 질병 유무에 관한 정보와 제1 종류에 관한 정보를 조합하여 사용자(1)의 제1 질병에 관한 진단 결과를 생성할 수 있다. 일 예로, 프로세서(130)는 제1 질병 유무에 관한 정보와 제1 질병의 제1 종류에 관한 정보를 조합하여 제1 유형의 제1 질병에 관한 진단 결과를 생성할 수 있다. 즉, 프로세서(130)가 제1 신경망 모델(20-1)을 이용하는 경우, 제1 질병의 유무 만을 판단할 수 있으나, 본 개시의 일 실시 예에 따르면 프로세서(130)는 제1 신경망 모델(20-1)을 결과(즉, 제1 질병의 유무)와 함께 제2 신경망 모델(20-2)의 결과(즉, 제1 질병의 제1 종류의 해당 여부)를 조합하여 제1 유형의 제1 질병에 관한 진단 결과를 생성할 수 있다.
한편, 프로세서(130)는 생성된 제1 질병에 관한 진단 결과를 통신 인터페이스(120)를 통해 외부 전자 장치(200)로 송신하여, 사용자(1)에게 제공할 수도 있다.
한편, 본 개시의 일 실시 예에 따라, 제1 질병은 심근경색 및 허혈성 심장 질환 중 어느 하나를 포함하며, 제1 질병의 제1 종류는 심근경색의 고 위험군일 수 있다. 즉, 프로세서(130)는 제1 신경망 모델(20-1)을 통해 심전도 신호에 기초하여 사용자(1)의심근경색 유무 또는 허혈성 심장 질환의 유무에 관한 정보를 생성하고, 제2 신경망 모델(20-2)을 통해 사용자(1)의 고 위험군 심근경색에 관한 정보를 생성할 수 있다. 이하에서는, 본 개시의 설명의 편의를 위하여 제1 질병을 심근경색으로 상정하여 설명하도록 한다.
일 예로, 프로세서(130)는 사용자(1)의 심전도 신호에서 기초하여 ST분절의 상승 심근경색(STEMI: ST elevation myocardial infarction) 또는 ST 분절의 비상승 심근경색(NSTEMI: non-ST elevation myocardial infarction) 중 어느 하나가 식별되면, 사용자(1)의 심근 경색이 고 위험군에 해당하는 것으로 판단할 수도 있다.
따라서, 제2 신경망 모델(20-2)은 입력된 심전도 신호에 기초하여 사용자(1)가 ST분절의 상승 심근경색 또는 ST분절의 비상승 심근경색에 하는지를 출력 값으로 산출하도록 학습될 수 있다. 이때, 제2 확률 값은 사용자(1)의 급성심근경색이 ST분절의 상승 심근경색에 해당하는 확률 값 또는 ST분절의 비상승 심근경색에 해당하는 확률 값일 수 있다. 즉, 프로세서(130)는 제2 신경망 모델(20-2)을 통해 획득된 제2 확률 값에 기초하여, 사용자(1)의 질병이 ST분절의 상승 심근경색 또는 ST분절의 비상승 심근경색 중 어느 하나에 해당하는 것으로 판단할 수 있다. 한편, ST분절의 상승 심근경색 및 ST분절의 비상승 심근경색은 모두 급성심근경색의 종류에 해당한다는 점에서, 제2 신경망 모델(20-2)을 통해 출력되는 정보(예를 들어, 제2 확률 값)가 제1 유형의 제1 질병의 제1 종류에 관한 정보로 지칭될 수도 있다. 즉, 제2 신경망 모델(20-2)은 제1 유형의 제1 질병의 제1 종류에 관한 정보를 출력하도록 사전에 학습될 수 있다.
이하에서는, 본 개시의 설명의 편의를 위하여 제1 질병의 제1 종류를 ST분절의 상승 심근경색으로 상정하여 설명하도록 한다.
한편, 본 개시의 일 실시 예에 따라, 제1 유형의 제1 질병은 급성심근경색일 수 있다. 따라서, 프로세서(130)는 제1 확률 값에 기초하여 사용자(1)에게 심근경색이 존재하는 것으로 판단되고, 제2 확률 값에 기초하여 사용자(1)의 ST분절의 상승 심근경색이 식별되는 것으로 판단되면, 사용자(1)의 급성심근경색에 관한 진단 결과를 생성할 수 있다.
이하에서는, 제1 및 제2 확률 값에 기초하여 사용자(1)의 진단 결과를 생성하는 본 개시의 실시 예에 대하여 상세히 설명하도록 한다.
도 6은 본 개시의 일 실시 예에 따른 제1 및 제2 신경망 모델(20-1 및 20-2)을 이용하여 사용자(1)의 질병을 진단하는 방법을 나타낸 순서도이다. 도 6에 도시된 S610 내지 S630 단계는 도 3에 도시된 S310 내지 S330 단계에 각각 대응될 수 있으며, 이에 관한 상세한 설명은 생략하도록 한다.
본 개시의 일 실시 예에 따라, 프로세서(130)는 제2 정보에 포함된 제2 확률 값에 기초하여, 제1 정보에 포함된 제1 확률 값을 조정하고, 제1 확률 값에 기초하여 제1 유형의 제1 질병에 관한 사용자(1)의 진단 결과를 생성할 수 있다.
구체적으로, 프로세서(130)는 제2 신경망 모델의 출력 값(즉, 제2 확률 값)에 기초하여, 제1 질병의 제1 종류가 식별되면, 제2 확률 값에 기초하여 제1 질병의 유무에 관한 제1 확률 값을 조정할 수 있다.
일 예로, 제2 신경망 모델을 통해 제1 질병의 제1 종류가 식별되는 것은, 사용자에게 제1 유형의 제1 질병의 존재하는 확률이 높다는 것을 의미할 수 있다. 따라서, 프로세서(130)는 제1 질병의 제1 종류에 유무에 관한 제2 확률 값에 기초하여 제1 질병의 유무에 관한 제1 확률 값을 조정할 수 있다.
일 예로, 프로세서(130)는 제2 확률 값이 기준 값 이상이면, 상기 제2 확률 값에 대응하는 가중치를 상기 제1 확률 값을 적용하여, 제1 확률 값을 조정할 수 있다. 또한, 프로세서(130)는 상기 제2 확률 값이 기준 값 미만이면, 상기 제1 확률 값을 유지할 수 있다.
구체적으로, 프로세서(130)는 제2 확률 값이 기준 값 이상인지 판단할 수 있다. 여기서, 기준 값은 사용자(1)의 나이, 체형, 병적 이력 등에 따라 사용자(1)마다 다르게 설정될 수 있다.
일 예로, 프로세서(130)는 제2 확률 값이 기준 값 이상이며, 사용자(1)에게 제1 종류의 제1 질병이 있는 것으로 판단할 수 있다. 구체적으로, 프로세서(130)는 제2 확률 값이 기준 값 이상이며, 사용자(1)의 심전도 신호에 기초하여, ST분절의 상승 심근경색이 식별되는 것으로 판단할 수 있다. 그리고, 프로세서(130)는 ST분절의 상승 심근경색이 식별되는 것으로 판단되면, 제2 확률 값에 대응하는 가중치를 제1 확률 값에 적용하여 제1 확률 값을 조정할 수 있다. 반면에, 프로세서(130)는 제2 확률 값이 기준 값 미만이며, 사용자(1)의 심전도 신호에 기초하여, ST분절의 상승 심근경색이 식별되지 않는 것으로 판단할 수 있다. 그리고, 프로세서(130)는 ST분절의 상승 심근경색이 식별되는지 않는 것으로 판단되면, 제2 확률 값에 대응하는 가중치를 제1 확률 값에 적용하지 않고, 제1 확률 값을 유지시킬 수 있다.
보다 구체적으로, 제1 확률 값이 40이고, 제2 확률 값이 32이고, 기준 값이 30인 경우, 프로세서는 제 2확률 값이 기준 값 이상인 것으로 식별하고, 사용자에게 ST분절의 상승 심근경색이 있는 것으로 판단할 수 있다. 이때, 프로세서(130)는 제2 확률 값에 대응하는 가중치를 결정할 수 있다. 예를 들어, 가중치가 제2 확률 값(32)의 0.5배로 설정된 경우, 프로세서(130)는 가중치(16= 32 X 0.5)를 제1 확률 값(40)에 적용하여 조정된 제1 확률 값(56 = 32 + 16)을 획득할 수 있다. 반면에, 제1 확률 값이 40이고, 제2 확률 값이 24이고, 기준 값이 30인 경우, 프로세서는 제 2확률 값이 기준 값 미만인 것으로 식별하고, 사용자에게 ST분절의 상승 심근경색이 없는 것으로 판단할 수 있다. 이때, 프로세서(130)는 획득된 제1 확률 값(40)을 그대로 유지시킬 수 있다.
한편, 프로세서(130)는 다양한 방법으로 제2 확률 값에 기초하여 제1 확률 값을 조정할 수 있다. 일 예로, 제2 확률 값이 기준 값 이상이면, 제1 확률 값을 제2 확률 값으로 변경할 수 있다.
또는, 프로세서(130)는 제1 확률 값과 제2 확률 값의 차이에 따라 가중치를 다르게 적용할 수도 있다. 구체적으로, 제2 확률 값이 기준 값 이상이고, 제1 확률 값과 제2 확률 값의 차이가 기 설정된 차이 값 이상이면, 제1 가중치를 적용하고, 제2 확률 값이 기준 값 이상이고, 제1 확률 값과 제2 확률 값의 차이가 기 설정된 차이 값 미만이면, 제1 가중치보다 작은 제2 가중치를 적용할 수도 있다.
또는, 프로세서(130)는 기 설정된 복수의 구간 중 제1 확률 값이 포함된 구간에 따라서 가중치를 다르게 적용할 수도 있다. 구체적으로, 제2 확률 값이 기준 값 이상이고, 제1 확률 값이 제1 구간(0 이상 제1 기준 값 미만)에 포함되면, 제3 가중치를 적용하고, 제2 확률 값이 기준 값 이상이고, 제1 확률 값이 제2 구간(제1 기준 값 이상 제2 기준 값 미만)에 포함되면, 제3 가중치보다 작은 제4 가중치를 적용하고, 제1 확률 값이 제3 구간(제2 기준 값 이상 제3 기준 값 미만)에 포함되면, 제4 가중치보다 작은 제5가중치를 적용할 수 있다.
한편, 프로세서(130)는 제1 확률 값에 기초하여 진단 결과를 생성할 수 있다. 여기서, 제1 확률 값은 제2 확률 값에 기초하여 조정된 제1 확률 값 또는 제1 신경망 모델에서 출력된 제1 확률 값(즉, 유지된 제1 확률 값)을 포함할 수 있다.
일 예로, 프로세서(130)는 제1 확률 값이 제1 값 이상이면, 제1 유형의 제1 질병에 대응하는 제1 진단 결과를 생성하고, 제1 확률 값이 제1 값 미만이고, 제2 값 이상이면, 제1 유형의 제1 질병에 대응하는 제2 진단 결과를 생성하고, 제1 확률 값이 상기 제2 값 미만이면, 제1 유형의 제1 질병에 대응하는 제3 진단 결과를 생성할 수 있다.
보다 구체적으로, 제1 값이 3이고, 제2 값이 48.5로 설정된 경우, 프로세서(130)는 제1 확률 값(조정된 제1 확률 값 또는 유지된 제1 확률 값)이 제1 값(3) 미만이면, 사용자가 정상인 것으로 진단 결과(또는, 급성심근경색에 해당하는 가능성이 낮다는 진단 결과)를 생성할 수 있다. 또한, 프로세서(130)는 제1 확률 값이 제1 값(3) 이상이고, 제2 값(48.5) 미만이면, 사용자가 급성심근경색의 중 위험군에 속한다는 진단 결과(또는, 급성심근경색에 해당하는 가능성이 존재한다는 진단 결과)를 생성할 수 있다. 마지막으로, 프로세서(130)는 제1 확률 값이 제2 값(48.5) 이상이면, 사용자가 심근경색의 고 위험군에 속한다는 진단 결과(또는 급성심근경색에 해당하는 가능성이 높다는 진단 결과)를 생성할 수 있다.
한편 프로세서(130)는 제1 확률 값과 제2 확률 값을 제1 값 및 제2 값과 비교하고, 제1 확률 값이 제1 값 미만인 것으로 식별되면 사용자(1)에게 심근경색의 질병이 없는 것으로 판단하고, 제2 확률 값이 기준 값 이상인 것으로 식별되면 사용자(1)의 심근경색이 고 위험군에 해당하는 것으로 판단할 수 있다. 이때, 프로세서(130)는 사용자(1)의 심전도 신호가 비정상인 것으로 식별하고, 사용자(1)에 대한 심전도 신호를 다시 측정할 것을 요청하는 정보를 생성하여 통신 인터페이스(120)를 통해 외부 전자 장치(200)로 송신하거나 출력 인터페이스(예를 들어, 스피커, 디스플레이 등)을 통해 출력할 수 있다.
본 개시의 일 실시 예에 따라 전자 장치(100)는 심전도 측정 장치로 구현될 수 있다. 도 7을 참조하여, 본 개시의 일 실시 예에 따른 심전도 측정 장치로 구현되는 전자 장치에 대하여 설명하도록 한다.
도 7은 본 개시의 대안적으로 실시 예에 따른 전자 장치의 세부 구성도이다.
이때, 전자 장치(100’)는 메모리(110’), 통신 인터페이스(120’), 측정부(140’), 디스플레이(150’), 사용자 인터페이스(160’) 및 프로세서(130’)를 포함한다. 도 7에 도시된 구성 메모리(110’), 통신 인터페이스(120’) 및 프로세서(130’) 에 대해서는 도2 에 도시된 메모리(110), 통신 인터페이스(120) 및 프로세서(130) 의 설명이 동일하게 적용될 수 있으므로 상세한 설명은 생략한다.
측정부(140’)는 사용자(1)의 신체의 서로 다른 부위에 부착되는 복수의 리드(Lead)를 포함하며, 복수의 리드를 통해 측정된 사용자(1) 신체 부위 간의 전압 차이에 기초하여 사용자(1)의 심전도 신호를 생성할 수 있다. 예를 들어, 측정부(140’)는 사지 리드(Limb Leads) 및 흉부 리드(Precordial Leads)를 포함할 수 있다. 이때, 사지 리드는 사지에 부착되는 4개의 전극(이하, 사지 전극)을 포함할 수 있다. 그리고, 흉부 리드는 흉부에 부착되는 6개의 전극(이하, 흉부 전극)을 포함할 수 있다.
사지 전극은 우측 팔 전극(RA), 좌측 팔 전극(LA), 우측 다리 전극(RL) 및 좌측 다리 전극(LL)을 포함할 수 있다. 우측 다리 전극(RL)은 공통 전극 또는 접지 전극일 수 있다. 사지 전극은 우측 팔, 좌측 팔, 우측 다리, 좌측 다리에 대응되는 위치에 각각 부착될 수 있다.
또한, 흉부 전극(또는 전흉부 전극)은 제1 흉부전극(V1), 제2 흉부전극(V2), 제3 흉부전극(V3), 제4 흉부전극(V4), 제 5 흉부전극(V5) 및 제6 흉부전극(V6)을 포함할 수 있다.
디스플레이(150’)는 다양한 영상 정보를 출력할 수 있다. 예를 들어, 프로세서(130)는 디스플레이(150’)를 통해 사용자(1)의 진단 결과를 출력할 수 있다. 또는 프로세서(130)는 디스플레이(150’)를 통해 사용자(1)에 대한 제1 질병의 제1 종류의 경고 정보를 출력할 수도 있다.
이를 위해, 디스플레이(150’)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다.
디스플레이(150’) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(150’)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다.
또한, 디스플레이(150’)는 터치 패널과 함께 터치스크린을 구성할 수도 있다.
사용자 인터페이스(160’)는 전자 장치(100)와 사용자(1)와 인터렉션(Interaction)을 수행하는 데 이용되는 구성으로, 프로세서(130)는 사용자 인터페이스(160’)를 통해 진단 결과를 출력할 수 있다. 한편, 사용자 인터페이스(160’)는 터치 센서, 모션 센서, 버튼, 조그(Jog) 다이얼, 스위치, 마이크 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
앞서 설명된 본 개시의 다양한 실시예는 추가 실시예와 결합될 수 있고, 상술한 상세한 설명에 비추어 당업자가 이해 가능한 범주에서 변경될 수 있다. 본 개시의 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해되어야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 따라서, 본 개시의 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. 적어도 하나의 프로세서를 포함하는 전자 장치에 의해 수행되는, 방법으로서,
    사용자의 생체 데이터를 획득하는 단계;
    상기 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제1 정보를 생성하는 단계;
    상기 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제2 정보를 생성하는 단계; 및
    상기 제1 및 제2 정보에 기초하여, 상기 제1 질병의 제1 유형에 관한 상기 사용자의 진단 결과를 생성하는 단계;를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 진단 결과를 생성하는 단계는,
    상기 제2 정보에 포함된 제2 확률 값에 기초하여, 상기 제1 정보에 포함된 제1 확률 값을 조정하고, 상기 제1 확률 값에 기초하여 상기 제1 유형의 제1 질병에 관한 상기 사용자의 진단 결과를 생성하는 단계;를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 진단 결과를 생성하는 단계는,
    상기 제2 확률 값이 기준 값 이상이면, 상기 제2 확률 값에 대응하는 가중치를 상기 제1 확률 값에 적용하여 상기 제1 확률 값을 조정하는 단계; 및
    상기 제2 확률 값이 상기 기준 값 미만이면, 상기 제1 확률 값을 유지하는 단계;를 포함하는 방법.
  4. 제2항에 있어서,
    상기 진단 결과를 생성하는 단계는,
    상기 제1 확률 값이 제1 값 이상이면, 상기 제1 유형의 제1 질병에 대응하는 제1 진단 결과를 생성하고, 상기 제1 확률 값이 상기 제1 값 미만이고, 제2 값 이상이면, 상기 제1 유형의 제1 질병에 대응하는 제2 진단 결과를 생성하고, 상기 제1 확률 값이 상기 제2 값 미만이면, 상기 제1 유형의 제1 질병에 대응하는 제3 진단 결과를 생성하는 단계;를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 제1 정보는 상기 제1 질병의 유무에 관한 정보이고, 상기 제2 정보는 상기 제1 질병의 제1 종류에 관한 정보인, 방법.
  6. 제1항에 있어서,
    복수의 신경망 모델 중, 상기 제1 질병 및 상기 진단 결과 유형에 기초하여, 제1 및 제2 신경망 모델을 추출하는 단계를 포함하는, 방법.
  7. 제5항에 있어서,
    상기 생체 데이터는, 심전도 신호를 포함하고,
    상기 제1 질병은, 심근경색 및 허혈성심장질환 중 어느 하나를 포함하며,
    상기 제1 종류는, ST분절의 상승 심근경색(STEMI: ST elevation myocardial infarction) 및 ST 분절의 비상승 심근경색(NSTEMI: non-ST elevation myocardial infarction) 중 어느 하나를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 제1 및 제2 신경망 모델은,
    동일한 심전도 신호에 대해 각각 상이한 기준으로 설정된 복수의 라벨이 부여된 학습 데이터에 기초하여 기 학습되고,
    상기 복수의 라벨은,
    상기 제1 질병의 유무에 대응하는 제1 유형의 라벨과 상기 제1 질병의 제1 종류에 대응하는 제2 유형의 라벨을 포함하는, 방법.
  9. 제1항에 있어서,
    상기 제1 질병에 관한 제1 정보를 생성하는 단계 및 상기 제1 질병에 관한 제2 정보를 생성하는 단계는, 병렬적으로 수행되는, 방법.
  10. 전자 장치에 있어서,
    통신 인터페이스;
    기 학습된 제1 및 제2 신경망 모델이 저장된 메모리;
    상기 통신 인터페이스를 통해 사용자의 생체 데이터를 획득하고, 상기 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제1 정보를 생성하고, 상기 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제2 정보를 생성하고, 상기 제1 및 제2 정보에 기초하여, 상기 제1 유형의 제1 질병에 관한 상기 사용자의 진단 결과를 생성하는 하나 이상의 프로세서를 포함하는, 전자 장치.
  11. 적어도 하나의 프로세서를 포함하는 전자 장치에 의해 수행되는, 방법으로서,
    사용자의 생체 데이터를 획득하는 단계;
    상기 획득된 생체 데이터를 기 학습된 제1 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제1 정보를 생성하는 단계;
    상기 획득된 생체 데이터를 기 학습된 제2 신경망 모델에 입력하여 상기 사용자의 제1 질병에 관한 제2 정보를 생성하는 단계; 및
    상기 제1 및 제2 정보에 기초하여, 상기 제1 유형의 제1 질병에 관한 상기 사용자의 진단 결과를 생성하는 단계;를 포함하는, 방법.
PCT/KR2023/018074 2022-11-11 2023-11-10 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법 Ceased WO2024101954A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2025526507A JP2025539032A (ja) 2022-11-11 2023-11-10 生体信号に基づいて使用者の疾病を診断する電子装置及びその制御方法
EP23889210.3A EP4599753A4 (en) 2022-11-11 2023-11-10 ELECTRONIC DEVICE FOR DIAGNOSING A USER'S ILLNESS BASED ON A BIOLOGICAL SIGNAL AND CONTROL METHOD THERE FOR IT
CN202380078088.6A CN120201960A (zh) 2022-11-11 2023-11-10 以生物信号为基础诊断使用者的疾病的电子装置及其控制方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0150322 2022-11-11
KR20220150322 2022-11-11
KR10-2023-0154684 2023-11-09
KR1020230154684A KR102853556B1 (ko) 2022-11-11 2023-11-09 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2024101954A1 true WO2024101954A1 (ko) 2024-05-16

Family

ID=91033338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/018074 Ceased WO2024101954A1 (ko) 2022-11-11 2023-11-10 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
EP (1) EP4599753A4 (ko)
JP (1) JP2025539032A (ko)
CN (1) CN120201960A (ko)
WO (1) WO2024101954A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060117546A (ko) * 2005-05-11 2006-11-17 인하대학교 산학협력단 신경망을 이용한 심전도 기반의 심장질환 진단장치 및방법
KR20100128083A (ko) * 2009-05-27 2010-12-07 충북대학교 산학협력단 심장질환 진단장치 및 방법
KR20200071183A (ko) * 2018-12-10 2020-06-19 순천향대학교 산학협력단 심층 신경망을 이용한 부정맥 분류 시스템 및 방법
US20200205745A1 (en) * 2018-12-26 2020-07-02 Analytics For Life Inc. Methods and systems to configure and use neural networks in characterizing physiological systems
KR20220008447A (ko) * 2020-07-14 2022-01-21 주식회사 바디프랜드 딥러닝 기반 심전도를 이용한 심장 질환 진단 장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11763943B2 (en) * 2018-03-02 2023-09-19 Preventice Solutions, Inc. Automated ventricular ectopic beat classification
CN110276411B (zh) * 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
WO2021163331A1 (en) * 2020-02-12 2021-08-19 Irhythm Technologies, Inc Non-invasive cardiac monitor and methods of using recorded cardiac data to infer a physiological characteristic of a patient
KR102725596B1 (ko) * 2021-01-04 2024-11-05 주식회사 메디컬에이아이 시차를 둔 단일유도 심전도를 통한 딥러닝기반의 복수 유도 심전도 생성 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060117546A (ko) * 2005-05-11 2006-11-17 인하대학교 산학협력단 신경망을 이용한 심전도 기반의 심장질환 진단장치 및방법
KR20100128083A (ko) * 2009-05-27 2010-12-07 충북대학교 산학협력단 심장질환 진단장치 및 방법
KR20200071183A (ko) * 2018-12-10 2020-06-19 순천향대학교 산학협력단 심층 신경망을 이용한 부정맥 분류 시스템 및 방법
US20200205745A1 (en) * 2018-12-26 2020-07-02 Analytics For Life Inc. Methods and systems to configure and use neural networks in characterizing physiological systems
KR20220008447A (ko) * 2020-07-14 2022-01-21 주식회사 바디프랜드 딥러닝 기반 심전도를 이용한 심장 질환 진단 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4599753A4 *

Also Published As

Publication number Publication date
EP4599753A1 (en) 2025-08-13
CN120201960A (zh) 2025-06-24
JP2025539032A (ja) 2025-12-03
EP4599753A4 (en) 2025-11-26

Similar Documents

Publication Publication Date Title
WO2022019402A1 (ko) 시계열 생체 신호 기반의 인공신경망 모델 학습 컴퓨터 프로그램 및 방법
WO2019031794A1 (ko) 피검체의 치명적 증상의 발생을 조기에 예측하기 위한 예측 결과를 생성하는 방법 및 이를 이용한 장치
KR102853556B1 (ko) 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법
WO2022270755A1 (ko) 결측 심전도 신호 재생성 장치 및 방법
WO2021162488A2 (ko) 질환을 예측하는 방법 및 이를 수행하는 장치
WO2023048463A1 (ko) 딥러닝 기반으로 연속적인 신체 상태를 계측하는 방법, 컴퓨터 프로그램 및 장치
WO2023048486A1 (ko) 심전도 신호의 오류 복원 방법, 프로그램 및 장치
WO2024101954A1 (ko) 생체 신호에 기초하여 사용자의 질병을 진단하는 전자 장치 및 그 제어 방법
WO2024191190A1 (ko) 신경망 모델에 기반하여 노이즈를 포함한 심전도 신호를 선별하는 방법, 프로그램 및 장치
WO2023048437A1 (ko) 의료 데이터를 기반으로 하는 딥러닝 모델의 학습 및 추론 방법, 프로그램 및 장치
WO2024096290A1 (ko) 심전도의 추가 측정 유도 방법
WO2024025326A1 (ko) 심전도 판독 서비스를 제공하는 방법, 프로그램 및 장치
WO2025080026A1 (ko) 신경망 모델에 기반하여 환자의 질병을 예측하는 방법, 프로그램 및 장치
WO2024191200A1 (ko) 인공 지능 모델에 기반하여 잠재적 심방 세동을 식별하는 방법, 프로그램 및 장치
WO2025211677A1 (ko) 심전도 데이터에 기초하여 부르가다 증후군을 진단하는 방법, 장치 및 프로그램
WO2025198378A1 (ko) 비정상 심전도 신호에 기초하여 사용자의 상태를 파악하는 방법, 장치 및 프로그램
WO2026054587A1 (ko) 복수의 학습 데이터 셋에 기초하여 사용자의 상태를 파악하도록 학습된 신경망 모델을 획득하는 장치, 방법 및 프로그램
WO2025159552A1 (ko) 딥 러닝 모델 기반의 생체 데이터로부터 환자의 중증도를 판단하는 방법, 장치 및 프로그램
WO2025053522A1 (ko) 생체 데이터를 분석하기 위하여 설정된 판단 기준의 성능을 평가하는 장치 및 그 제어 방법
WO2024225785A1 (ko) 생체 정보를 식별하는 사용자 맞춤형 신경망 모델을 획득하는 방법, 프로그램 및 장치
WO2024248501A1 (ko) 생체 정보를 식별하는 사용자 맞춤형 신경망 모델을 획득하는 방법, 프로그램 및 장치
WO2026014825A1 (ko) 심전도 데이터에 기초하여 임상 시험을 수행하는 장치, 방법 및 컴퓨터 프로그램
WO2025127719A1 (ko) 심전도 데이터 기반의 질병을 예측하는 신경망 모델을 획득하는 방법, 장치 및 컴퓨터 프로그램
Saikouk et al. Towards the implementation of smartphone-based self-testing of COVID-19 using AI
WO2026014648A1 (ko) 사용자 환경에 맞는 신경망 모델을 구축하는 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23889210

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023889210

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2025526507

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025526507

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202547045044

Country of ref document: IN

Ref document number: 202380078088.6

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2023889210

Country of ref document: EP

Effective date: 20250507

WWP Wipo information: published in national office

Ref document number: 202547045044

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380078088.6

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023889210

Country of ref document: EP