WO2023167448A1 - 병리 슬라이드 이미지를 분석하는 방법 및 장치 - Google Patents

병리 슬라이드 이미지를 분석하는 방법 및 장치 Download PDF

Info

Publication number
WO2023167448A1
WO2023167448A1 PCT/KR2023/002241 KR2023002241W WO2023167448A1 WO 2023167448 A1 WO2023167448 A1 WO 2023167448A1 KR 2023002241 W KR2023002241 W KR 2023002241W WO 2023167448 A1 WO2023167448 A1 WO 2023167448A1
Authority
WO
WIPO (PCT)
Prior art keywords
patch
information
slide image
pathology slide
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/002241
Other languages
English (en)
French (fr)
Inventor
유동근
송상훈
옥찬영
정원경
조수익
팽경현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lunit Inc
Original Assignee
Lunit Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230017338A external-priority patent/KR20230130536A/ko
Application filed by Lunit Inc filed Critical Lunit Inc
Priority to JP2024552307A priority Critical patent/JP2025506993A/ja
Priority to EP23763647.7A priority patent/EP4489011A4/en
Publication of WO2023167448A1 publication Critical patent/WO2023167448A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to methods and apparatus for analyzing pathology slide images.
  • the field of digital pathology is a field of obtaining histological information or predicting a prognosis of a subject using a whole slide image generated by scanning a pathological slide image.
  • a pathology slide image can be obtained from a stained tissue sample of a subject.
  • tissue samples can be tested for hematoxylin and eosin, trichrome, periodic acid schiff, autoradiogrphy, enzyme histochemistry, It can be stained by various staining methods such as immuno-fluorescence and immunohistochemistry. Stained tissue samples can be used for histology and biopsy evaluation, thereby providing a basis for determining whether to proceed to molecular profile analysis to understand disease status.
  • Recognizing and detecting biological factors from pathology slide images has important effects on histological diagnosis of a specific disease, prediction of prognosis, and determination of treatment direction.
  • the performance of the machine learning model for detecting or segmenting biological elements from the pathology slide image is low, this may be an obstacle in establishing an accurate treatment plan for the subject.
  • An object of the present invention is to provide a method and apparatus for analyzing a pathology slide image.
  • it is to provide a computer-readable recording medium recording a program for executing the method on a computer.
  • the technical problem to be solved is not limited to the technical problems described above, and other technical problems may exist.
  • a computing device includes at least one memory; and at least one processor, wherein the processor obtains a first pathology slide image in which at least one first object is expressed and biological information of the at least one first object, and the first Learning data is generated using at least one first patch included in the pathology slide image and the biological information, a first machine learning model is learned based on the learning data, and the learned first machine learning model The second pathology slide image is analyzed using.
  • a method of analyzing a pathology slide image may include acquiring a first pathology slide image in which at least one first subject is expressed and biological information of the at least one first subject; generating learning data using at least one first patch included in the first pathology slide image and the biological information; learning a first machine learning model based on the learning data; and analyzing a second pathology slide image using the learned first machine learning model.
  • a computer-readable recording medium includes a recording medium on which a program for executing the above-described method is recorded on a computer.
  • FIG. 1 is a diagram for explaining an example of a system for analyzing a pathology slide image according to an exemplary embodiment.
  • FIG. 2 is a block diagram of a system and network for preparing, processing, and reviewing slide images of tissue specimens using a machine learning model, according to one embodiment.
  • 3A is a configuration diagram illustrating an example of a user terminal according to an embodiment.
  • 3B is a configuration diagram illustrating an example of a server according to an embodiment.
  • FIG. 4 is a flowchart illustrating an example of a method of processing a pathology slide image, according to an exemplary embodiment.
  • FIG. 5 is a diagram for explaining examples of biological information according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating an example in which a processor obtains spatial transcript information according to an exemplary embodiment.
  • FIG. 7 is a diagram for explaining an example of learning data according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating another example of a method of processing a pathology slide image according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining an example in which a processor predicts a treatment response of a subject according to an exemplary embodiment.
  • FIG. 10 is a diagram for explaining an example in which a processor learns a first machine learning model according to an embodiment.
  • FIG. 11 is a diagram for explaining another example in which a processor learns a first machine learning model according to an embodiment.
  • FIG. 12 is a diagram for explaining an example in which an operation of a processor is implemented according to an exemplary embodiment.
  • 13A and 13B are diagrams for describing examples in which annotations are generated based on user input according to an exemplary embodiment.
  • a computing device includes at least one memory; and at least one processor, wherein the processor obtains a first pathology slide image in which at least one first object is expressed and biological information of the at least one first object, and the first Learning data is generated using at least one first patch included in the pathology slide image and the biological information, a first machine learning model is learned based on the learning data, and the learned first machine learning model The second pathology slide image is analyzed using.
  • ⁇ unit and “ ⁇ module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.
  • a "pathology slide image” may refer to an image obtained by taking a pathology slide fixed and stained through a series of chemical treatment processes for tissue, etc., removed from a human body.
  • the pathology slide image may refer to a whole slide image (WSI) including a high-resolution image of the entire slide, and refers to a part of the whole slide image, for example, one or more patches.
  • WSI whole slide image
  • a pathology slide image may refer to a digital image photographed or scanned through a scanning device (eg, a digital scanner, etc.), and may refer to a specific protein, cell, tissue, and/or structure ( structure) may be included.
  • the pathology slide image may include one or more patches, and histological information may be applied to the one or more patches through an annotation (eg, tagging).
  • medical information may refer to any medically meaningful information that can be extracted from a medical image, for example, a specific tissue (eg, cancer tissue, cancer in a medical image) stromal tissue, etc.) and/or specific cells (e.g., tumor cells, lymphoid cells, macrophage cells, endothelial cells, fibroblast cells, etc.) It may include, but is not limited to, cancer diagnosis information, information related to the subject's possibility of developing cancer, and/or medical conclusions related to cancer treatment.
  • medical information may include not only quantified numerical values obtained from medical images, but also information visualizing numerical values, prediction information according to numerical values, image information, statistical information, and the like. The medical information generated in this way may be provided to a user terminal or output or transferred to a display device and displayed.
  • FIG. 1 is a diagram for explaining an example of a system for analyzing a pathology slide image according to an exemplary embodiment.
  • a system 1 includes a user terminal 10 and a server 20 .
  • the user terminal 10 and the server 20 may be connected in a wired or wireless communication method to transmit and receive data (eg, image data, etc.) between them.
  • FIG. 1 shows that the system 1 includes the user terminal 10 and the server 20, but is not limited thereto.
  • the system 1 may include other external devices (not shown), and the operation of the user terminal 10 and the server 20 to be described below may be performed by a single device (eg, the user terminal 10). Alternatively, it may be implemented by the server 20) or more devices.
  • the user terminal 10 may be a computing device including a display device and a device (eg, a keyboard, mouse, etc.) that receives a user input, and includes a memory and a processor.
  • the user terminal 10 may include a notebook PC, a desktop PC, a laptop, a tablet computer, a smart phone, and the like, but is not limited thereto.
  • the server 20 may be a device that communicates with an external device (not shown) including the user terminal 10 .
  • the server 20 may include a pathology slide image, a bitmap image corresponding to the pathology slide image, and information generated by analyzing the pathology slide image (eg, at least one tissue expressed in the pathology slide image). ) and information on cells, including biomarker expression information, etc.), and information on machine learning models used for analysis of pathology slide images.
  • the server 20 may be a computing device including a memory and a processor and having its own computing capability. When the server 20 is a computing device, the server 20 may perform at least some of the operations of the user terminal 10 to be described later with reference to FIGS. 1 to 13B .
  • the server 20 may be a cloud server, but is not limited thereto.
  • the user terminal 10 outputs a pathology slide image and/or an image representing information generated through analysis of the pathology slide. For example, various information about at least one tissue and cell expressed in the pathology slide image may be expressed in the image. Also, biomarker expression information may be expressed in the image. Also, the image may be a report including medical information about at least a partial area included in the pathology slide image.
  • the pathology slide image may refer to an image obtained by taking a pathology slide fixed and stained through a series of chemical treatments in order to observe a tissue removed from the human body under a microscope.
  • a pathology slide image may refer to a whole slide image including a high-resolution image of the entire slide.
  • a pathology slide image may refer to a portion of such a high-resolution, full-slide image.
  • the pathology slide image may refer to a patch region divided in patch units from an entire slide image.
  • a patch may have a certain area size.
  • a patch may refer to a region including each of included objects within the entire slide.
  • the pathology slide image may refer to a digital image taken using a microscope, and may include information about cells, tissues, and/or structures in the human body.
  • biological elements eg, cancer cells, immune cells, cancer regions, etc.
  • These biological factors can be used for histological diagnosis of disease, prediction of disease prognosis, and determination of treatment direction for disease.
  • a machine learning model may be used in analyzing the pathology slide image.
  • the machine learning model should be trained to recognize biological elements from the pathology slide image.
  • Learning data often depends on annotation work performed by an expert (eg, a pathologist) on pathology slide images.
  • the annotation work includes an expert marking the location and type of cells and/or tissues expressed in the pathology slide image one by one.
  • the user terminal 10 analyzes the pathology slide image using a machine learning model. At this time, the user terminal 10 generates learning data using the pathology slide image in which the object is expressed and biological information of the object, and learns the machine learning model using the learning data.
  • the user terminal 10 can improve the performance of the machine learning model even if no annotation work is performed (or even by a small amount of annotation results). can Accordingly, the accuracy of the analysis result of the pathology slide image by the machine learning model may be improved. In addition, since the user terminal 10 can predict a therapeutic reaction of the subject using the analysis result of the pathology slide image, the accuracy of the prediction result of the therapeutic response can be guaranteed.
  • the user terminal 10 may generate learning data by utilizing spatial transcriptomics information of the object. Therefore, unlike the conventional learning data that depends on the expert's annotation work, the problem of deterioration in the performance of the machine learning model due to different expert standards can be solved.
  • spatial transcriptome information spatial gene expression information can be obtained from a pathology slide image.
  • a single spot can be set to include several cells. Therefore, gene expression information obtained within a single spot may be more objective information than judgment by an expert's visual recognition ability.
  • the user terminal 10 may generate learning data using pathology slide images in which the object is stained in different ways.
  • biological elements expressed in specific colors eg, proteins located in cell membranes or cell nuclei
  • different biological factors can be identified through pathology slide images stained in different ways. Accordingly, when pathology slide images stained in different ways are used as training data, the performance of the machine learning model can be improved.
  • the user terminal 10 learns a machine learning model, analyzes a pathology slide image using the learned machine learning model, and predicts a subject's treatment response using the analysis result. explain an example.
  • the user terminal 10 learns a machine learning model throughout the specification, analyzes the pathology slide image using the learned machine learning model, and uses the analysis result to treat the subject's treatment response. It has been described as predicting, but is not limited thereto. For example, at least some of the operations performed by the user terminal 10 may be performed by the server 20 .
  • the server 20 may generate learning data using a pathology slide image representing an object and biological information of the object. And, the server 20 may learn the machine learning model based on the learning data. In addition, the server 20 may analyze the pathology slide image using the learned machine learning model and transmit the result of the analysis to the user terminal 10 . In addition, the server 20 may predict a treatment response of the subject using the result of the analysis and transmit the result of the prediction to the user terminal 10 .
  • the operation of the server 20 is not limited to the above.
  • FIG. 2 is a block diagram of a system and network for preparing, processing, and reviewing slide images of tissue specimens using a machine learning model, according to one embodiment.
  • system 2 includes user terminals 11 and 12, a scanner 50, an image management system 61, an AI-based biomarker analysis system 62, a laboratory information management system 63, and a server. (70).
  • the components 11, 12, 50, 61, 62, 63, and 70 included in the system 2 may be connected to each other through a network 80.
  • the network 80 may be a network in which components 11, 12, 50, 61, 62, 63, and 70 may be connected to each other through wired or wireless communication.
  • the system 2 shown in FIG. 2 may include a network that can be connected to servers in hospitals, laboratories, laboratories, and/or user terminals of doctors or researchers.
  • a method to be described later with reference to FIGS. 3A to 13B includes user terminals 11 and 12, an image management system 61, an AI-based biomarker analysis system 62, and laboratory information management. system 63 and/or hospital or laboratory server 70.
  • the scanner 50 may acquire a digitized image from a tissue sample slide generated using a tissue sample of the subject 90 .
  • the scanner 50, the user terminals 11 and 12, the image management system 61, the AI-based biomarker analysis system 62, the laboratory information management system 63 and / or the hospital or laboratory server 70 Is connected to a network 80 such as the Internet through one or more computers, servers, and/or mobile devices, respectively, or is connected to the user 30 and/or the subject 90 through one or more computers and/or mobile devices.
  • a network 80 such as the Internet
  • computers, servers, and/or mobile devices respectively, or is connected to the user 30 and/or the subject 90 through one or more computers and/or mobile devices.
  • the user terminals 11 and 12, the image management system 61, the AI-based biomarker analysis system 62, the laboratory information management system 63, and/or the hospital or laboratory server 70 are used to monitor one or more subjects 90.
  • a tissue sample, tissue sample slide, digitized images of a tissue sample slide, or any combination thereof may be generated or otherwise obtained from another device.
  • the user terminals 11 and 12, the image management system 61, the AI-based biomarker analysis system 62, and the laboratory information management system 63 determine the age, medical history, cancer treatment history, and family history of the subject 90. Any combination of subject-specific information such as , past biopsy records, or disease information of the subject 90 may be obtained.
  • the scanner 50, the user terminals 11 and 12, the image management system 61, the laboratory information management system 63, and/or the hospital or laboratory server 70 transmit digitized slide images and / or subject-specific information may be transmitted to the AI-based biomarker analysis system 62 .
  • the AI-based biomarker analysis system 62 includes at least one of the scanner 50, the user terminals 11 and 12, the image management system 61, the laboratory information management system 63, and/or the hospital or laboratory server 70. It may include one or more storage devices (not shown) for storing images and data received from.
  • the AI-based biomarker analysis system 62 may include a machine learning model repository that stores a machine learning model trained to process the received images and data.
  • the AI-based biomarker analysis system 62 may obtain information about at least one cell, information about at least one region, information related to a biomarker, medical diagnosis information, and/or information about at least one cell from a pathology slide image of the subject 90. or a machine learning model learned and trained to predict at least one of the medical treatment information.
  • the scanner 50, the user terminals 11 and 12, the AI-based biomarker analysis system 62, the laboratory information management system 63, and/or the hospital or laboratory server 70 transmit the digitized slide through the network 80.
  • a result of analyzing the image, subject-specific information and/or digitized slide image may be transmitted to the image management system 61 .
  • the image management system 61 may include a storage for storing received images and a storage for storing analysis results.
  • a machine learning model learned and trained to predict at least one of the pieces of information may be stored and operated in the user terminals 11 and 12 and/or the image management system 61 .
  • a method of analyzing a pathology slide image a method of processing subject information, a method of selecting a subject group, a method of designing a clinical trial, a method of generating biomarker expression information, and/or a specific biomarker
  • the reference value setting method for AI-based biomarker analysis system 62, as well as user terminals 11 and 12, image management system 61, laboratory information management system 63 and / or hospital or laboratory server 70 can be performed in
  • 3A is a configuration diagram illustrating an example of a user terminal according to an embodiment.
  • the user terminal 100 includes a processor 110, a memory 120, an input/output interface 130 and a communication module 140.
  • a processor 110 the memory 120
  • an input/output interface 130 the input/output interface 130
  • a communication module 140 the communication module 140
  • the operation of the user terminal 100 is performed by the user terminals 11 and 12 of FIG. 2, the image management system 61, the AI-based biomarker analysis system 62, the laboratory information management system 63, and/or the hospital or It may be performed on the laboratory server 70.
  • the processor 110 may process commands of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the command may be provided from the memory 120 or an external device (eg, the server 20).
  • the processor 110 may overall control operations of other components included in the user terminal 100 .
  • the processor 110 may obtain a first pathology slide image in which at least one first object is expressed and biological information of the at least one first object.
  • the biological information may include at least one of information identified from the third pathology slide image and spatial transcriptome information of the first object.
  • the third pathology slide image may include a stained image distinguished from the first pathology slide image.
  • the processor 110 may generate learning data using at least one first patch included in the first pathology slide image and biological information.
  • the learning data may include at least one of gene expression information corresponding to the first patch and at least one cell type represented in the first patch.
  • the processor 110 may learn a first machine learning model based on the training data and analyze the second pathology slide image using the learned first machine learning model.
  • the processor 110 may learn the first machine learning model by using the training data as ground truth data.
  • the processor 110 may learn the first machine learning model by using at least one annotation generated based on a user input as correct answer data.
  • the processor 110 may learn the first machine learning model by using the training data and at least one annotation as correct answer data.
  • the processor 110 may generate a second machine learning model by adding or removing at least one layer included in the learned first machine learning model.
  • the second machine learning model may be used to identify the type of at least one cell shown in the second pathology slide image.
  • the processor 110 may predict a treatment response of the subject corresponding to the second pathology slide image by using spatial transcript information of the second object represented in the second pathology slide image.
  • the spatial transcript information of the second object may include at least one of spatial transcript information obtained by the learned first machine learning model and spatial transcript information obtained separately.
  • prediction of treatment response may be performed by a third machine learning model.
  • the third machine learning model may be learned using a feature vector extracted from at least one layer included in the first machine learning model.
  • the third machine learning model may be learned using gene expression information included in spatial transcriptome information and location information corresponding to the gene expression information.
  • the processor 110 may use the first patch and the second patch included in the third pathology slide image as training data for learning the first machine learning model.
  • the processor 110 may use a third patch obtained by image processing of the first patch and the second patch as training data for learning the first machine learning model.
  • the second patch may include a patch indicating a position corresponding to the first patch.
  • the processor 110 may use at least one annotation generated based on the first patch and the user input as training data for learning the first machine learning model.
  • at least one annotation may be generated based on the third pathology slide image.
  • the machine learning model means a statistical learning algorithm implemented based on the structure of a biological neural network or a structure for executing the algorithm in machine learning technology and cognitive science.
  • the machine learning model as in a biological neural network, nodes, which are artificial neurons that form a network by combining synapses, repeatedly adjust the weights of synapses, and between the correct output corresponding to a specific input and the inferred output By learning to reduce the error of , it is possible to represent a model with problem-solving ability.
  • the machine learning model may include an arbitrary probability model, a neural network model, and the like used in artificial intelligence learning methods such as machine learning and deep learning.
  • a machine learning model may be implemented as a multilayer perceptron (MLP) composed of multilayer nodes and connections between them.
  • the machine learning model according to this embodiment may be implemented using one of various artificial neural network model structures including MLP.
  • a machine learning model includes an input layer that receives input signals or data from the outside, an output layer that outputs output signals or data corresponding to the input data, and a characteristic that is located between the input layer and the output layer and receives signals from the input layer. It may be composed of at least one hidden layer that extracts and delivers to the output layer. The output layer receives signals or data from the hidden layer and outputs them to the outside.
  • the machine learning model may be trained to receive one or more pathology slide images and extract information about one or more objects (eg, cells, tissues, structures, etc.) included in the pathology slide images.
  • objects eg, cells, tissues, structures, etc.
  • the processor 110 may be implemented as an array of a plurality of logic gates, or may be implemented as a combination of a general-purpose microprocessor and a memory in which programs executable by the microprocessor are stored.
  • the processor 110 may include a general-purpose processor, a central processing unit (CPU), a microprocessor, a digital signal processor (DSP), a controller, a microcontroller, a state machine, and the like.
  • the processor 110 may include an application specific integrated circuit (ASIC), a programmable logic device (PLD), a field programmable gate array (FPGA), or the like.
  • ASIC application specific integrated circuit
  • PLD programmable logic device
  • FPGA field programmable gate array
  • processor 110 may be a combination of a digital signal processor (DSP) and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors coupled with a digital signal processor (DSP) core, or any other such combination. It may also refer to a combination of processing devices, such as a combination of configurations.
  • DSP digital signal processor
  • DSP digital signal processor
  • Memory 120 may include any non-transitory computer readable recording medium.
  • the memory 120 may include a permanent mass storage device such as random access memory (RAM), read only memory (ROM), a disk drive, a solid state drive (SSD), and flash memory. device) may be included.
  • a non-perishable mass storage device such as a ROM, SSD, flash memory, or disk drive may be a separate permanent storage device from memory.
  • the memory 210 may store an operating system (OS) and at least one program code (eg, a code for the processor 110 to perform an operation to be described later with reference to FIGS. 4 to 13B ).
  • OS operating system
  • program code eg, a code for the processor 110 to perform an operation to be described later with reference to FIGS. 4 to 13B ).
  • the software components may be loaded from a computer-readable recording medium separate from the memory 120 .
  • the recording medium readable by such a separate computer may be a recording medium that can be directly connected to the user terminal 100, and for example, a floppy drive, a disk, a tape, a DVD/CD-ROM drive, a memory card, etc.
  • a readable recording medium may be included.
  • the software components may be loaded into the memory 120 through the communication module 140 rather than a computer-readable recording medium.
  • at least one program is a computer program installed by files provided by developers or a file distribution system that distributes application installation files through the communication module 140 (eg, FIGS. 4 to 13B). It may be loaded into the memory 120 based on a computer program for the processor 110 to perform an operation to be described later with reference to .
  • the input/output interface 130 may be a means for interface with a device (eg, keyboard, mouse, etc.) for input or output that may be connected to the user terminal 100 or included in the user terminal 100 .
  • a device eg, keyboard, mouse, etc.
  • FIG. 3A the input/output interface 130 is shown as a separate component from the processor 110, but is not limited thereto, and the input/output interface 130 may be included in the processor 110.
  • the communication module 140 may provide a configuration or function for the server 20 and the user terminal 100 to communicate with each other through a network. Also, the communication module 140 may provide a configuration or function for the user terminal 100 to communicate with other external devices. For example, control signals, commands, data, etc. provided under the control of the processor 110 may be transmitted to the server 20 and/or an external device via the communication module 140 and a network.
  • the user terminal 100 may further include a display device.
  • the user terminal 100 may be connected to an independent display device through a wired or wireless communication method to transmit and receive data between them.
  • a pathology slide image, analysis information of the pathology slide image, and treatment response prediction information may be provided to the user 30 through the display device.
  • 3B is a configuration diagram illustrating an example of a server according to an embodiment.
  • the server 20 includes a processor 210 , a memory 220 and a communication module 230 .
  • a processor 210 the server 20 includes a processor 210 , a memory 220 and a communication module 230 .
  • FIG. 3B For convenience of description, only components related to the present invention are shown in FIG. 3B. Accordingly, other general-purpose components may be further included in the server 200 in addition to the components shown in FIG. 3B.
  • the processor 210, memory 220, and communication module 230 shown in FIG. 3B may be implemented as independent devices.
  • the processor 210 may acquire a pathology slide image from at least one of the internal memory 220, an external memory (not shown), the user terminal 10, or an external device.
  • the processor 210 may acquire a first pathology slide image in which at least one first object is expressed and biological information of the at least one first object, or may acquire at least one first patch and biological information included in the first pathology slide image. It is possible to generate learning data using the learning data, learn a first machine learning model based on the learning data, or analyze a second pathology slide image using the learned first machine learning model.
  • the processor 210 may predict a treatment response of the subject corresponding to the second pathology slide image by using spatial transcript information of the second object represented in the second pathology slide image.
  • the user terminal 100 may output the information transmitted from the server 20 through the display device.
  • processor 210 since an implementation example of the processor 210 is the same as the implementation example of the processor 110 described above with reference to FIG. 3A, a detailed description thereof will be omitted.
  • the memory 220 may store various data such as pathology slide images and data generated according to the operation of the processor 210 . Also, an operating system (OS) and at least one program (eg, a program required for the processor 210 to operate) may be stored in the memory 220 .
  • OS operating system
  • at least one program eg, a program required for the processor 210 to operate
  • the communication module 230 may provide a configuration or function for the server 200 and the user terminal 100 to communicate with each other through a network. Also, the communication module 140 may provide a configuration or function for the server 200 to communicate with other external devices. For example, control signals, commands, data, etc. provided under the control of the processor 210 may be transmitted to the user terminal 100 and/or an external device via the communication module 230 and a network.
  • FIG. 4 is a flowchart illustrating an example of a method of processing a pathology slide image, according to an exemplary embodiment.
  • the method of processing a pathology slide image is composed of steps sequentially processed by the user terminal 10 or 100 or the processor 110 shown in FIGS. 1 to 3A . Therefore, even if the contents are omitted below, the contents described above regarding the user terminals 10 and 100 or the processor 110 shown in FIGS. 1 to 3A may be applied to the method of processing the pathology slide image of FIG. 4. there is.
  • At least one of the steps of the flowchart shown in FIG. 4 may be processed by the server 20 or 200 or the processor 210 .
  • the processor 110 obtains a first pathology slide image in which at least one first object is expressed and biological information of the at least one first object.
  • the first object may mean a cell, tissue, and/or structure in the human body.
  • the biological information may include spatial transcriptomics of the first subject and information identified from a third pathology slide image.
  • the third pathology slide image means an image stained in a manner distinct from the first pathology slide image.
  • FIG. 5 is a diagram for explaining examples of biological information according to an exemplary embodiment.
  • a subject 90 and an object 91 included in the human body of the subject 90 are illustrated.
  • the biological information of the object 91 may include spatial transcript information 511 of the object 91 .
  • the spatial transcript information 511 refers to information obtained through a spatial transcript process.
  • the spatial transcriptome information 511 may include sequence data obtained through a spatial transcriptome process, gene expression information identified through data processing on the sequence data, and the like.
  • the spatial transcriptomic process is a molecular profiling method that allows measuring gene expression in tissue samples and mapping the locations at which genes are expressed.
  • the relative positional relationship of cells and tissues is important for understanding the normal development of cells or tissues and the pathology of disease.
  • the existing Bulk-RNAseq was analyzed by mixing various tissues and cells at once, detailed gene expression patterns in space are unknown.
  • gene expression patterns in space can be identified. Accordingly, not only the understanding of the disease but also the accuracy of diagnosis and treatment of the disease can be improved.
  • the spatial transcriptome information includes a pathology slide image and/or genetic information corresponding to at least one grid included in the pathology slide image.
  • a pathology slide image may be divided into a plurality of grids, and a single grid may be an area of 1 mm * 1 mm, but is not limited thereto.
  • the processor 110 processes the sequence data to extract a partial region (eg, a single grid or a plurality of grids) of the pathology slide image, and obtains spatial transcriptome information by obtaining genetic information corresponding to the extracted region. can do.
  • a partial region eg, a single grid or a plurality of grids
  • FIG. 6 is a flowchart illustrating an example in which a processor obtains spatial transcript information according to an exemplary embodiment.
  • step 610 the processor 110 obtains sequence data through a spatial transcription process.
  • the spatial transcriptome process may include steps of sample prep, imaging, barcoding & library construction, and sequencing.
  • step 620 the processor 110 obtains gene expression information corresponding to the spot by performing data processing on the sequence data.
  • the processor 110 obtains genetic information corresponding to the spot location on the pathology slide image by processing the sequence data.
  • a pathology slide image may be divided into a plurality of spots, and a single spot may be a circular area with a diameter of 55 ⁇ m, but is not limited thereto.
  • the processor 110 may determine at which position of the pathology slide image the gene information included in the sequence data is expressed, based on the barcode information included in the sequence data.
  • the barcode is a location coordinate value of a specific spot on the pathology slide image, and may be determined in advance. That is, the barcode and the coordinates on the pathology slide image may be matched with each other.
  • sequence read means a portion sequenced from a DNA fragment.
  • read1 of the pair-end sequence data may include a barcode matching coordinates (ie, location coordinates of the pathology slide image), and read2 may include transcript sequence information. That is, one end of the DNA fragment may include a barcode value corresponding to the coordinates of the spot where the corresponding DNA fragment was obtained, and sequence information may be included at the other end.
  • the processor 110 may check gene expression information by aligning the fastq file including the sequence information with the renference genome. In addition, the processor 110 may obtain gene expression information of multiple (eg, about 5,000) genes for each spot of the pathology slide image through spatial information identified from the barcode.
  • the processor 110 may determine which type of cells are present in the spot using gene expression information corresponding to the spot.
  • gene expression information corresponding to the spot In general, immune cells, cancer cells, etc. have cell-specific highly expressed genes. Accordingly, by interpreting the gene expression information corresponding to the spot, the processor 110 may determine which cells are distributed in the corresponding spot area or which cells are included in what ratio.
  • the processor 110 may further use single cell RNAseq data to determine the number and type of cells distributed in the spot area.
  • single cell RNAseq data does not include spatial information, but only RNA information of each cell. Therefore, the processor 110 mathematically analyzes sequence data and single cell RNAseq data for a plurality of cells (eg, about 10) included in each spot, and determines how many cells are included in each spot or how many cells are included in each spot. You can check what proportions are included.
  • the processor 110 may determine which type of cell is present in the spot from sequence data using a machine learning model. To this end, the processor 110 may learn a machine learning model using training data.
  • the learning data may include sequence data obtained through step 610 as input data and a type of cell as output data.
  • the training data may include sequence data acquired through step 610 and a patch of a pathology slide image corresponding to the sequence data as input data, and cell types as output data. That is, the machine learning model may be trained to identify cell types by considering not only sequence data but also morphology characteristics included in pathology slide images.
  • the processor 110 may generate a plurality of pairs including [a patch of a pathology slide image - gene expression information corresponding to the patch]. Also, the processor 110 may generate a plurality of pairs including [a patch of the pathology slide image - information on the type of at least one cell corresponding to the patch]. Also, the processor 110 may generate a plurality of pairs including [a patch of the pathology slide image - gene expression information corresponding to the patch - information about the type of at least one cell corresponding to the patch]. Pairs thus created may be used as training data of the first machine learning model. Learning of the first machine learning model will be described later with reference to steps 420 and 430 .
  • the biological information of the object 91 may include information 512 about biological elements (eg, cancer cells, immune cells, cancer regions, etc.) of the object 91 .
  • the information 512 on the biological factors may be identified from the pathology slide image of the object 91 .
  • various biological information about the object 91 may be identified. Accordingly, when stained in different ways, different biological information may be identified from the same object 91 .
  • H&E stain Hematoxylin and eosin stain
  • hematoxylin stains mainly the nuclear region from blue to purple
  • eosin stains the cytoplasm or extracellular matrix pink. do. Therefore, in the case of H&E staining, the morphology of cells and tissues included in the subject can be easily identified.
  • immunohistochemical staining methods include programmed cell death-ligand 1 (PD-L1) staining, human epidermal growth factor receptor 2 (HER2) staining, estrogen receptor (ER) staining, progesterone receptor (PR) staining, Ki- 67 staining, CD68 staining, and the like.
  • special staining may include Van Gieson staining, Toluidine blue staining, Giemsa staining, Masson's trichrome staining, Periodic acid Schiff (PAS) staining, and the like.
  • immunofluorescence staining may include fluorescence in situ hybridization (FISH) and the like.
  • the expression level of a specific cell signal not identified can be confirmed from the pathology slide image by H&E staining.
  • PD-L1 or HER2 is a protein or receptor expressed in malignant tumor cell membranes, etc., and the level of expression in tumor cell tissues can be evaluated through PD-L1 staining or HER2 staining. Therefore, when the expression level is high, it can be expected from the pathology slide image by H&E staining that the therapeutic response of the anticancer drug targeting the corresponding protein or receptor will be high.
  • components of tissue that are not clearly observed from the pathology slide image by H&E staining can be accurately identified.
  • Van Gieson staining specifically stains only collagen, only collagen expression in tissue can be identified.
  • the presence and/or amount of unidentified specific cells may be confirmed from the pathology slide image by H&E staining.
  • H&E staining since CD68 stains specifically for macrophages, in pathology slide images by H&E staining, the number of macrophages, which may not be well distinguished from other inflammatory cells, is much smaller than that of CD68 staining. It can be easily identified in pathology slide images.
  • the processor 110 may use spatial transcriptome information 511 and/or biological element information 512 as learning data of a machine learning model. An example of using the information 512 on a biological element as learning data will be described later with reference to FIGS. 10 and 11 .
  • step 420 the processor 110 generates learning data using at least one first patch included in the first pathology slide image and biological information.
  • the learning data may include at least one of gene expression information corresponding to the patch and at least one cell type displayed in the patch.
  • Information on 'the type of at least one cell shown in the patch' included in the learning data may be information obtained by processing gene expression information, as described above with reference to FIG. 6 .
  • FIG. 7 is a diagram for explaining an example of learning data according to an exemplary embodiment.
  • a patch 711 in a pathology slide image 710 is shown.
  • the processor 110 may generate a plurality of pairs that may be used as training data.
  • a pair may be [patch 711 - gene expression information 721 corresponding to patch 711], [patch 711 - information about at least one cell type corresponding to patch 711 ( 722)] or [patch 711 - gene expression information 721 corresponding to patch 711 - information 722 on the type of at least one cell corresponding to patch 711].
  • the training data may include gene expression information 721 of the object displayed in the patch 711 and/or information 722 about the type of at least one cell of the object displayed in the patch 711 .
  • the information about the type of at least one cell displayed in the patch 711 may be information obtained by processing the gene expression information 721 .
  • step 430 the processor 110 learns the first machine learning model based on the learning data.
  • the processor 110 may learn the first machine learning model by using the training data generated in step 420 as ground truth data.
  • a pathology slide image patch is used as input data, and a [pathology slide image patch - gene expression information corresponding to the patch] pair, [pathology slide image patch - patch A pair of [information on the type of at least one corresponding cell] or [patch of the pathology slide image - gene expression information corresponding to the patch - information on the type of at least one cell corresponding to the patch] may be used as output data. .
  • the first machine learning model receives a patch and learns to predict gene expression information at the location of the corresponding patch. It can be.
  • the first machine learning model receives a patch as an input and assigns a certain type to the location of the patch. of cells can be learned to predict the presence.
  • the first machine learning model selects the patch. It can be learned to predict the gene expression information and cell type corresponding to the position of the corresponding patch by receiving the input.
  • the processor 110 may learn the first machine learning model using at least one annotation generated based on a user input. For example, learning of the first machine learning model using annotations may be additionally performed when the performance of learning using the training data generated in step 420 as ground truth data is not sufficient. However, it is not limited thereto.
  • the user 30 may perform annotation by referring to a patch of the pathology slide image, and location information within the patch may be included in the annotation.
  • the number of users who perform annotations is not limited.
  • the processor 110 generates a second machine learning model for identifying the type of at least one cell included in the object by adding, removing, or adding at least one layer included in the learned first machine learning model. You may.
  • a second machine learning model may be generated by adding at least one layer that
  • the processor 110 may generate a second machine learning model by removing at least one layer predicting gene expression information from the learned first machine learning model and adding a new layer.
  • step 440 the processor 110 analyzes the second pathology slide image using the learned first machine learning model.
  • the processor 110 may analyze the second pathology slide image using the second machine learning model.
  • the processor 110 does not perform annotation work (or a small amount of annotation results). can also improve the performance of machine learning models. Accordingly, the accuracy of the analysis result of the pathology slide image by the machine learning model may be improved.
  • FIG. 8 is a flowchart illustrating another example of a method of processing a pathology slide image according to an exemplary embodiment.
  • the method of processing a pathology slide image is composed of steps sequentially processed by the user terminal 10 or 100 or the processor 110 shown in FIGS. 1 to 3A . Therefore, even if the contents are omitted below, the contents described above regarding the user terminals 10 and 100 or the processor 110 shown in FIGS. 1 to 3A may be applied to the method of processing the pathology slide image of FIG. 8 . there is.
  • At least one of the steps of the flowchart shown in FIG. 8 may be processed by the server 20 or 200 or the processor 210 .
  • steps 810 to 840 correspond to steps 410 to 440, respectively. Therefore, detailed descriptions of steps 810 to 840 are omitted below.
  • step 850 the processor 110 predicts a therapeutic reaction of the subject 90 corresponding to the second pathology slide image by using the spatial transcriptome information of the second object represented in the second pathology slide image.
  • the processor 110 may predict the treatment response of the subject 90 using the third machine learning model.
  • the spatial transcriptome information of the second object includes at least one of spatial transcriptome information (eg, gene expression information) obtained by the learned first machine learning model and/or separately obtained spatial transcriptome information.
  • spatial transcriptome information eg, gene expression information
  • the processor 110 predicts the treatment response of the subject 90 will be described with reference to FIG. 9 .
  • FIG. 9 is a diagram for explaining an example in which a processor predicts a treatment response of a subject according to an exemplary embodiment.
  • spatial transcript information 921 may be generated through a learned first machine learning model 911 .
  • the space transfer body information 922 may be generated through a separate space transfer body process 912 .
  • the pathology slide image and gene expression information corresponding to each of the grids included in the image can be obtained through the spatial transcript process 912 as described above with reference to step 610 .
  • the processor 110 generates a treatment response prediction result 940 using the third machine learning model 930 .
  • spatial transcript information 921 and/or spatial transcript information 922 may be input to the third machine learning model 930, and a treatment response prediction result 940 of the subject 90 may be generated. there is.
  • the third machine learning model 930 may be trained using gene expression information included in spatial transcriptome information and location information corresponding to the gene expression information.
  • a machine learning model eg, convolutional neural network, etc.
  • a filter of a certain size eg, 3 * 3 pixels
  • This operation is performed for each channel (eg, 3 RGB channels).
  • the machine learning model is learned by performing back propagation based on the difference between the output result value and the actual result value (eg, ground truth) by passing the filtered value through the multilayer neural network.
  • the processor 110 may replace gene expression information corresponding to each spot with a channel of the 2D image, and location information corresponding to the gene expression information with a pixel of the 2D image. Further, the processor 110 performs backpropagation on the basis of the difference between the result value output after passing through the multilayer neural network of the third machine learning model 930 and the result value for the treatment response or prognosis of the actual patient, thereby performing backpropagation on the third machine learning model 930.
  • the learning model 930 may be trained.
  • the processor 110 may acquire genetic information corresponding to each spot location on the pathology slide image by performing the above-described process with reference to step 610 .
  • the third machine learning model 930 may be trained using a feature vector extracted from at least one layer included in the first machine learning model.
  • the first machine learning model is a model that predicts gene expression information at the location of the patch based on the patch, and which type of cell exists at the location of the patch based on the patch. It can be learned as a model that predicts gene expression information and cell types corresponding to the location of a corresponding patch based on a predictive model or patch.
  • the processor 110 may input a pathology slide image to a first machine learning model that has been learned, and extract a feature vector from at least one layer included in the first machine learning model that has been learned.
  • the extracted layer may be a layer determined and selected empirically by the user 30 or may be a layer appropriately predicting the treatment response or prognosis of the subject 90 . That is, to enable the first machine learning model to well extract genetically and/or histologically important information (eg, gene expression information or cell type, characteristics, etc., which are based on prediction of treatment response) from the pathology slide image. Assuming that it has been learned, it can be expected that the feature vector extracted from any intermediate layer of the first machine learning model that has been learned also contains genetically and/or histologically important information.
  • the processor 110 may perform a process of extracting a feature vector from at least one layer included in the learned first machine learning model for all of the plurality of patches included in a single pathology slide image.
  • the processor 110 may perform pooling to integrate the feature vectors into a vector having a single length. For example, the processor 110 may perform pooling using an average value of feature vectors, pooling using a maximum value in each dimension of feature vectors, or a bag-of-word or Fisher Vector. The same dictionary-based pooling can be performed, or attention-based pooling using an artificial neural network can be performed. Through this pooling, a single vector corresponding to the pathology slide image of a single subject 90 may be defined.
  • the processor 110 may learn a third machine learning model 930 that predicts responsiveness to a specific immuno-cancer drug or responsiveness to a specific treatment using the defined vector.
  • the processor 110 performs learning of the third machine learning model 930 and prediction of the treatment response of the subject 90 through the third machine learning model 930. By doing so, the prediction accuracy can be improved compared to predicting the responsiveness to treatment using only the morphological characteristics of the pathology slide image.
  • the processor 110 may learn the first machine learning model using the spatial transcript information 511 .
  • the processor 110 may learn the first machine learning model using the information 512 on the biological element.
  • FIGS. 10 and 11 examples in which the processor 110 learns the first machine learning model using the information 512 on the biological element will be described.
  • FIG. 10 is a diagram for explaining an example in which a processor learns a first machine learning model according to an embodiment.
  • the first staining scheme 1021 of the pathology slide image 1031 and the second staining scheme 1022 of the pathology slide image 1041 are different from each other.
  • the first staining scheme 1021 is a staining scheme for selectively staining a specific biological element, as well as a staining scheme in which the shapes of the nucleus, cytoplasm, and extracellular matrix of all cells included in the object can be easily identified. modalities (eg H&E staining).
  • the processor 110 may generate training data for learning the first machine learning model 1050 .
  • the training data may include a patch 1032 included in the pathology slide image 1031 and a patch 1042 included in the pathology slide image 1041 .
  • the patch 1032 and the patch 1042 may represent the same location of the object 1010 .
  • the patch 1042 and the patch 1032 may indicate positions corresponding to each other.
  • a first staining scheme 1021 is a scheme capable of selectively staining biological factor A
  • a second staining scheme 1022 is a scheme capable of selectively staining biological factor B.
  • Methods for selectively staining various biological factors are as described above with reference to FIG. 5 .
  • pathology slide images 1031 and 1041 according to two types of staining methods 1021 and 1022 are shown in FIG. 10 , the present invention is not limited thereto.
  • the processor 110 performs image processing so that the object 1010 on the image 1031 and the object 1010 on the image 1041 are perfectly overlapped. For example, the processor 110 applies geometric transformation (eg, enlargement, reduction, rotation, etc.) to the image 1031 and the image 1041, thereby creating an object 1010 and an image The object 1010 on 1041 can be accurately aligned. Also, the processor 110 extracts patches 1032 and 1042 from positions corresponding to each other of the images 1031 and 1041 . In this way, processor 110 may generate a plurality of pairs consisting of a patch extracted from image 1031 and a patch extracted from image 1041 .
  • geometric transformation eg, enlargement, reduction, rotation, etc.
  • processor 110 uses patches 1032 and 1042 to learn first machine learning model 1050 .
  • the processor 110 may learn the first machine learning model 1050 by using the patch 1032 as input data and the patch 1042 as output data.
  • the patch 1042 may be utilized as ground truth data.
  • FIG. 11 is a diagram for explaining another example in which a processor learns a first machine learning model according to an embodiment.
  • FIG. 11 an object 1110 and pathology slide images 1131 and 1141 representing the object are shown.
  • detailed descriptions of the staining methods 1121 and 1122, the pathology slide images 1131 and 1141, and the patches 1132 and 1142 are the same as those described above with reference to FIG. 10 .
  • the processor 110 may generate training data for learning the first machine learning model 1160 .
  • the training data may include a patch 1132 and a patch 1143 obtained by performing image processing 1150 on the patch 1142 .
  • Processor 110 may perform one or more image processing on patch 1142 to create patch 1143 .
  • the processor 110 may perform image filtering so that only a portion of the patch 1142 dyed to a certain level or higher remains, or may perform image filtering to leave only a portion where a specific color is expressed and erase the rest.
  • a technique of image processing performed by the processor 110 is not limited to the above description.
  • the processor 110 extracts semantic information by applying a more complex image processing technique or a separate machine learning model to the patch 1142, and learns the extracted information corresponding to the patch 1143.
  • the extracted information is information indicating the position of a specific cell (eg, cancer cell, immune cell, etc.) as a dot, the type or class of cells depending on the degree of expression of staining and/or the form in which staining is expressed. Information displayed by determining the may correspond.
  • the image processing technique may be an algorithm that quantifies the expression amount of staining for each pixel included in the image 1141 and utilizes pixel location information.
  • the extracted information may include information on the type and location of specific cells.
  • a separate machine learning model may be a model that recognizes the locations and types of biological elements targeted by the dyeing method 1122 of the image 1141 .
  • a separate machine learning model may be trained to detect biological factor B expressed by the second staining scheme 1122 when a patch stained with the second staining scheme 1122 is input.
  • the second staining method 1122 is a dye expressed in cancer cells
  • a separate machine learning model may receive a patch stained with the second staining method 1122 and learn to detect cancer cells.
  • the detection result may be a point indicating the location of each cancer cell or may be a result of segmenting cancer cells at the pixel level.
  • the processor 110 may learn the first machine learning model 1160 using the patch 1132 and at least one annotation generated based on a user input.
  • the annotation may be generated based on the image 1141 .
  • learning of the first machine learning model using annotations is additionally performed when the performance of learning using the above-described training data as ground truth data with reference to FIGS. 10 and 11 is not sufficient. It may be performed, but is not limited thereto.
  • the user 30 may perform an annotation by referring to the image 1141 , and location information within the patch 1142 may be included in the annotation.
  • the number of users who perform annotations is not limited.
  • the processor 110 may create a separate machine learning model by adding, removing, or adding at least one layer included in the first machine learning model 1160 that has been learned.
  • the processor 110 may generate a separate machine learning model by removing a layer that serves to draw an image from the first machine learning model 1160 that has been trained and newly adding a layer that performs an end-purpose task.
  • the final purpose task may mean a task of additionally recognizing a biological factor that needs to be separately identified in addition to the biological factor that can be identified from the images 1131 and 1141 .
  • the final target task may refer to a task capable of deriving medical information such as the expression level of a biomarker or prediction of treatment response.
  • pathology slide images in which the same tissue is stained with different types of materials are used for machine learning model learning, thereby solving the problem of inaccuracy and cost increase due to human annotation. It can be, and a large amount of learning data can be secured.
  • FIG. 12 is a diagram for explaining an example in which an operation of a processor is implemented according to an exemplary embodiment.
  • An example to be described later with reference to FIG. 12 may be the operation of the processor 110 described above with reference to FIGS. 10 and 11 .
  • the processor 110 may learn the first machine learning models 1050 and 1160 .
  • a screen 1210 for selecting pathology slide images stained in different ways is shown.
  • the configuration of the screen 1210 is only an example and may be changed in various ways.
  • a list 1220 of target slide images and a list 1230 of reference slide images may be displayed on the screen 1210 .
  • the target slide image may be an image stained with the first staining schemes 1021 and 1121
  • the reference slide image may be an image stained with the second staining scheme 1022 and 1122.
  • the processor 110 may perform the above-described operation with reference to FIGS. 10 and 11 .
  • processor 110 may, based on image 1231 , predict what the location and/or type of biological elements (eg, cells, proteins and/or tissues) represented in image 1221 are. 1 machine learning models 1050 and 1160 may be learned.
  • a screen 1250 in which the position and/or type of the biological element expressed in the image 1221 is predicted can be output.
  • the configuration of the screen 1250 shown in FIG. 12 is only an example and may be changed in various ways.
  • a mini-map 1251 displaying a portion of the image 1221 output on the current screen 1250 may be displayed on the screen 1250 .
  • a window 1252 indicating a portion that the user 30 pays attention to from among portions currently displayed on the screen 1250 may be set on the screen 1250 .
  • the position and size of the window 1252 may be preset or adjusted by the user 30 .
  • 13A and 13B are diagrams for describing examples in which annotations are generated based on user input according to an exemplary embodiment.
  • the user 30 may directly modify the annotation.
  • biological elements eg, tissue, cell, structure, etc.
  • the user 30 may select the cells ( 1321, 1322, 1323) can be directly modified.
  • the user 30 may select a grid 1340 including a plurality of cells shown in an area 1331 of a pathology slide image 1330, and cells or tissues included in the grid 1340. You can also collectively modify the labeling for .
  • the processor 110 improves the performance of the machine learning model even if no annotation work is performed (or even by a small amount of annotation results). can improve Accordingly, the accuracy of the analysis result of the pathology slide image by the machine learning model may be improved. In addition, since the processor 110 can predict the subject's treatment response using the analysis result of the pathology slide image, the accuracy of the prediction result of the treatment response can be guaranteed.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the structure of data used in the above-described method can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium includes storage media such as magnetic storage media (eg, ROM, RAM, USB, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.) do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Computational Linguistics (AREA)

Abstract

일 측면에 따른 컴퓨팅 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 프로세서는, 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 상기 적어도 하나의 제1 대상체의 생물학적 정보(biological information)를 획득하고, 상기 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치(patch) 및 상기 생물학적 정보를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터에 의하여 제1 머신러닝 모델을 학습하고, 상기 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석한다.

Description

병리 슬라이드 이미지를 분석하는 방법 및 장치
본 개시는, 병리 슬라이드 이미지를 분석하는 방법 및 장치에 관한다.
디지털 병리학(digital pathology) 분야는 병리 슬라이드 이미지(pathological slide image)를 스캔함으로써 생성된 전체 슬라이드 이미지(whole slide image)를 이용하여 해당 피검자의 조직학적 정보를 획득하거나 예후를 예측하는 분야이다.
병리 슬라이드 이미지는, 대상체의 염색된 티슈 샘플로부터 획득될 수 있다. 예를 들어, 티슈 샘플은, 헤마톡실린 및 에오신(hematoxylin and eosin), 삼색소(trichrome), 과요오드산 쉬프(periodic acid schiff), 자동 방사선 촬영(autoradiogrphy), 효소 조직 화학(enzyme histochemistry), 면역형광(immuno-fluorescence), 및 면역조직화학(immunohistochemistry) 등 다양한 염색 방식으로 염색될 수 있다. 염색된 티슈 샘플은 조직학 및 생검 평가에 이용됨으로써, 질병 상태를 이해하기 위해 분자 프로필 분석으로 넘어갈지 여부를 판단할 근거가 될 수 있다.
병리 슬라이드 이미지로부터 생물학적 요소들을 인식하고 검출하는 것은 특정 질병의 조직학적 진단이나 예후의 예측, 치료 방향의 결정 등에 중요한 영향을 미친다. 다만, 병리 슬라이드 이미지로부터 생물학적 요소들을 검출하거나 세그멘테이션하는 머신러닝 모델의 성능이 낮을 경우, 이는 피검자에 대한 정확한 치료계획을 수립하는데 장애 요소가 될 수 있다. 한편, 머신러닝 모델의 성능을 높이기 위해서는 많은 양의 어노테이션(annotation) 데이터의 준비가 필요하나, 준비 과정에는 많은 비용이 소요된다.
병리 슬라이드 이미지를 분석하는 방법 및 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른 컴퓨팅 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 프로세서는, 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 상기 적어도 하나의 제1 대상체의 생물학적 정보(biological information)를 획득하고, 상기 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치(patch) 및 상기 생물학적 정보를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터에 의하여 제1 머신러닝 모델을 학습하고, 상기 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석한다.
다른 측면에 따른 병리 슬라이드 이미지를 분석하는 방법은, 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 상기 적어도 하나의 제1 대상체의 생물학적 정보(biological information)를 획득하는 단계; 상기 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치(patch) 및 상기 생물학적 정보를 이용하여 학습 데이터를 생성하는 단계; 상기 학습 데이터에 의하여 제1 머신러닝 모델을 학습하는 단계; 및 상기 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석하는 단계;를 포함한다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는, 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 일 실시예에 따른 병리 슬라이드 이미지를 분석하는 시스템의 일 예를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 머신러닝 모델을 이용하여 조직 표본들의 슬라이드 이미지들을 준비, 처리 및 검토하기 위한 시스템 및 네트워크의 블록도이다.
도 3a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 3b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 4는 일 실시예에 따른 병리 슬라이드 이미지를 처리하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 생물학적 정보의 예들을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 프로세서가 공간 전사체 정보를 획득하는 일 예를 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따른 학습 데이터의 일 예를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 병리 슬라이드 이미지를 처리하는 방법의 다른 예를 설명하기 위한 흐름도이다.
도 9는 일 실시예에 따른 프로세서가 피검자의 치료 반응을 예측하는 일 예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 프로세서가 제1 머신러닝 모델을 학습하는 일 예를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 프로세서가 제1 머신러닝 모델을 학습하는 다른 예를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 프로세서의 동작이 구현된 일 예를 설명하기 위한 도면이다.
도 13a 및 도 13b는 일 실시예에 따른 사용자 입력에 기초하여 어노테이션이 생성되는 예들을 설명하기 위한 도면들이다.
일 측면에 따른 컴퓨팅 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 프로세서는, 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 상기 적어도 하나의 제1 대상체의 생물학적 정보(biological information)를 획득하고, 상기 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치(patch) 및 상기 생물학적 정보를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터에 의하여 제1 머신러닝 모델을 학습하고, 상기 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석한다.
실시 예들에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "~ 유닛", "~ 모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에서 사용되는 "제 1" 또는 "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다.
일 실시예에 따르면, "병리 슬라이드 이미지"는, 인체에서 떼어낸 조직 등에 대해 일련의 화학적 처리과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 지칭할 수 있다. 또한, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고 해상도의 이미지를 포함하는 전체 슬라이드 이미지(Whole Slide Image, WSI)를 지칭할 수 있고, 전체 슬라이드 이미지의 일부, 예를 들어 하나 이상의 패치(patch)를 지칭할 수도 있다. 예를 들어, 병리 슬라이드 이미지는 스캔 장치(예: 디지털 스캐너 등)를 통해 촬영되거나 스캔된 디지털 이미지를 지칭할 수 있으며, 인체 내의 특정 단백질, 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다. 또한, 병리 슬라이드 이미지는 하나 이상의 패치를 포함할 수 있으며, 하나 이상의 패치에는 어노테이션(annotation) 작업을 통해 조직학적 정보가 적용(예: 태깅)될 수 있다.
일 실시예에 따르면, "의학적 정보"란, 의료 영상으로부터 추출할 수 있는 의학적으로 의미 있는 임의의 정보를 지칭할 수 있는데, 예를 들어, 의료 영상 내의 특정 조직(예를 들어, 암 조직, 암 기질 조직 등) 및/또는 특정 세포(예를 들어, 종양 세포, 림프구 세포, 대식 세포(Macrophage cells), 내피 세포(Endothelial cells), 섬유아 세포(Fibroblast cells) 등)의 영역, 위치, 크기, 암의 진단 정보, 피검자의 암의 발병 가능성과 연관된 정보, 및/또는 암 치료와 연관된 의학적 결론 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 의학적 정보는 의료 영상에서 얻을 수 있는 정량화된 수치뿐만 아니라 수치를 시각화한 정보, 수치에 따른 예측 정보, 이미지 정보, 통계학적 정보 등을 포함할 수 있다. 이렇게 생성된 의학적 정보는 사용자 단말에 제공되거나 디스플레이 장치에 출력 또는 전달되어, 표시될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시 예에 대하여 상세히 설명한다. 그러나 실시 예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 예에 한정되지 않는다.
도 1은 일 실시예에 따른 병리 슬라이드 이미지를 분석하는 시스템의 일 예를 설명하기 위한 도면이다.
도 1을 참조하면, 시스템(1)은 사용자 단말(10) 및 서버(20)를 포함한다. 예를 들어, 사용자 단말(10)과 서버(20)는 유선 또는 무선 통신 방식으로 연결되어 상호 간에 데이터(예를 들어, 영상 데이터 등)를 송수신할 수 있다.
설명의 편의를 위하여, 도 1에는 시스템(1)에 사용자 단말(10) 및 서버(20)가 포함되는 것으로 도시하였으나, 이에 한정되지 않는다. 예를 들어, 시스템(1)에는 다른 외부 디바이스(미도시)가 포함될 수 있으며, 이하에서 설명될 사용자 단말(10) 및 서버(20)의 동작이 단일 디바이스(예를 들어, 사용자 단말(10) 또는 서버(20)) 또는 보다 많은 디바이스들에 의하여 구현될 수도 있다.
사용자 단말(10)은 디스플레이 장치 및 사용자 입력을 수신하는 장치(예를 들어, 키보드, 마우스 등)를 구비하고, 메모리와 프로세서를 포함하는 컴퓨팅 장치일 수 있다. 예를 들어, 사용자 단말(10)은 노트북(notebook) PC, 데스크탑(desktop) PC, 랩탑(laptop), 테블릿 컴퓨터(tablet computer), 스마트 폰 등이 해당될 수 있으나, 이에 한정되지 않는다.
서버(20)는, 사용자 단말(10)을 포함하는 외부 디바이스(미도시)와 통신하는 장치일 수 있다. 일 예로서, 서버(20)는 병리 슬라이드 이미지, 병리 슬라이드 이미지에 대응하는 비트맵 이미지, 병리 슬라이드 이미지의 분석에 의하여 생성된 정보(예를 들어, 병리 슬라이드 이미지에 표현된 적어도 하나의 조직(tissue) 및 세포(cell)에 대한 정보, 바이오마커 발현(expression) 정보 등을 포함함), 병리 슬라이드 이미지의 분석을 위하여 이용되는 머신러닝 모델에 대한 정보를 포함하여 다양한 데이터를 저장하는 장치일 수 있다. 또는, 서버(20)는 메모리와 프로세서를 포함하고, 자체적인 연산 능력을 갖춘 컴퓨팅 장치일 수 있다. 서버(20)가 컴퓨팅 장치인 경우, 서버(20)는 도 1 내지 도 13b를 참조하여 후술할 사용자 단말(10)의 동작들 중 적어도 일부를 수행할 수 있다. 예를 들어, 서버(20)는 클라우드(cloud) 서버일 수도 있으나, 이에 한정되지 않는다.
사용자 단말(10)은 병리 슬라이드 이미지 및/또는 병리 슬라이드의 분석을 통하여 생성된 정보를 나타내는 이미지를 출력한다. 예를 들어, 이미지에는 병리 슬라이드 이미지에 표현된 적어도 하나의 조직 및 세포에 대한 다양한 정보가 표현될 수 있다. 또한, 이미지에는 바이오마커의 발현 정보가 표현될 수 있다. 또한, 이미지는 병리 슬라이드 이미지에 포함된 적어도 일부 영역에 대한 의학적 정보를 포함하는 레포트일 수 있다.
병리 슬라이드 이미지는 인체 내에서 떼어낸 조직 등을 현미경으로 관찰하기 위하여 일련의 화학적 처리 과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 지칭할 수 있다. 일 예로서, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고해상도의 이미지를 포함하는 전체 슬라이드 이미지(whole slide image)를 지칭할 수 있다. 다른 예로서, 병리 슬라이드 이미지는 이러한 고해상도의 전체 슬라이드 이미지의 일부를 지칭할 수 있다.
한편, 병리 슬라이드 이미지는 전체 슬라이드 이미지에서 패치 단위로 분할된 패치 영역을 지칭할 수 있다. 예를 들어, 패치는 일정한 영역의 크기를 가질 수 있다. 또는, 패치는 전체 슬라이드 내의 포함된 객체의 각각을 포함하는 영역을 지칭할 수 있다.
또한, 병리 슬라이드 이미지는 현미경을 이용하여 촬영된 디지털 이미지를 지칭할 수 있으며, 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다.
병리 슬라이드 이미지의 분석에 의하여 병리 슬라이드 이미지에 표현된 생물학적 요소들(예를 들어, 암 세포, 면역 세포, 암 영역 등)가 확인될 수 있다. 이러한 생물학적 요소들은 질병의 조직학적 진단, 질병 예후의 예측, 질병의 치료 방향의 결정 등에 활용될 수 있다.
한편, 병리 슬라이드 이미지를 분석함에 있어서 머신러닝 모델이 이용될 수 있다. 이 때, 머신러닝 모델은 병리 슬라이드 이미지로부터 생물학적 요소들을 인식할 수 있도록 학습되어야 한다. 학습 데이터는, 전문가(예를 들어, 병리학자 등)가 병리 슬라이드 이미지를 대상으로 진행한 어노테이션 작업에 의존하는 경우가 많다. 여기에서, 어노테이션 작업은 전문가가 병리 슬라이드 이미지에 표현된 세포 및/또는 조직의 위치와 종류를 일일이 마킹하는 작업을 포함한다.
다만, 전문가마다의 상이한 기준에 의하여, 어노테이션의 결과는 통일된 정보를 제공하기 어려운 점이 있다. 또한, 머신러닝 모델의 성능 향상과 어노테이션 작업의 양이 비례하기 때문에, 고성능의 머신러닝 모델을 생성하기 위해서는 어노테이션 작업에 많은 비용(cost)이 할당되어야 한다.
일 실시예에 따른 사용자 단말(10)은 머신러닝 모델을 이용하여 병리 슬라이드 이미지를 분석한다. 이 때, 사용자 단말(10)은 대상체가 표현된 병리 슬라이드 이미지 및 대상체의 생물학적 정보(biological information)을 이용하여 학습 데이터를 생성하고, 학습 데이터를 이용하여 머신러닝 모델을 학습한다.
따라서, 전문가의 어노테이션 작업에 의존하는 기존의 머신러닝 모델의 학습과 달리, 사용자 단말(10)은 어노테이션 작업이 수행되지 않더라도(또는, 적은 양의 어노테이션 결과에 의해서도) 머신러닝 모델을 성능을 향상시킬 수 있다. 이에 따라, 머신러닝 모델에 의한 병리 슬라이드 이미지의 분석 결과는 정확도가 향상될 수 있다. 또한, 사용자 단말(10)은 병리 슬라이드 이미지의 분석 결과를 이용하여 피검자의 치료 반응(therapeutic reaction)을 예측할 수 있는 바, 치료 반응의 예측 결과의 정확성도 담보될 수 있다.
일 예로서, 사용자 단말(10)은 대상체의 공간 전사체(Spatial Transcriptomics) 정보를 활용하여 학습 데이터를 생성할 수 있다. 따라서, 전문가의 어노테이션 작업에 의존하는 종래의 학습 데이터와는 달리, 전문가의 기준이 상이함에 따라 머신러닝 모델의 성능이 저하되는 문제가 해소될 수 있다. 또한, 공간 전사체 정보가 활용됨으로써, 병리 슬라이드 이미지에서 공간적인(spatial) 유전자 발현(gene expression) 정보가 획득될 수 있다. 또한, 공간 전사체 과정에 의할 때, 단일 스폿(spot)은 수 개의 세포들이 포함되도록 설정될 수 있다. 따라서, 단일 스폿 내에서 획득된 유전자 발현 정보는 전문가의 시각 인지 능력에 의한 판단보다 더 객관적인 정보 일 수 있다.
다른 예로서, 사용자 단말(10)은 대상체를 서로 다른 방식으로 염색된 병리 슬라이드 이미지들을 이용하여 학습 데이터를 생성할 수 있다. 염색 방식에 따라, 병리 슬라이드 이미지 내에서 특정 색으로 발현되는 생물학적 요소(예를 들어, 세포막 또는 세포핵에 위치한 단백질 등)가 서로 다를 수 있다. 따라서, 서로 다른 방식으로 염색된 병리 슬라이드 이미지들을 통하여, 서로 다른 생물학적 요소를 확인할 수 있다. 이에 따라, 서로 다른 방식으로 염색된 병리 슬라이드 이미지들이 학습 데이터로 활용되는 경우, 머신러닝 모델의 성능이 향상될 수 있다.
이하, 도 2 내지 도 13b를 참조하여, 사용자 단말(10)이 머신러닝 모델을 학습하고, 학습된 머신러닝 모델을 이용하여 병리 슬라이드 이미지를 분석하고, 분석 결과를 이용하여 피검자의 치료 반응을 예측하는 예를 설명한다.
한편, 설명의 편의를 위하여, 명세서의 전반에 걸쳐 사용자 단말(10)이 머신러닝 모델을 학습하고, 학습된 머신러닝 모델을 이용하여 병리 슬라이드 이미지를 분석하고, 분석 결과를 이용하여 피검자의 치료 반응을 예측하는 것으로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 사용자 단말(10)에 의하여 수행되는 동작들의 적어도 일부는 서버(20)에 의하여 수행될 수도 있다.
다시 말해, 도 1 내지 도 13b를 참조하여 설명되는 사용자 단말(10)의 동작들 중 적어도 일부는 서버(20)에 의하여 수행될 수 있다. 예를 들어, 서버(20)는 대상체가 표현된 병리 슬라이드 이미지 및 대상체의 생물학적 정보를 이용하여 학습 데이터를 생성할 수 있다. 그리고, 서버(20)는 학습 데이터에 의하여 머신러닝 모델을 학습할 수 있다. 그리고, 서버(20)는 학습된 머신러닝 모델을 이용하여 병리 슬라이드 이미지를 분석하고, 분석의 결과를 사용자 단말(10)로 전송할 수 있다. 그리고, 서버(20)는 분석의 결과를 이용하여 피검자의 치료 반응을 예측하고, 예측의 결과를 사용자 단말(10)로 전송할 수 있다. 다만, 서버(20)의 동작은 상술한 바에 한정되지 않는다.
도 2는 일 실시예에 따른 머신러닝 모델을 이용하여 조직 표본들의 슬라이드 이미지들을 준비, 처리 및 검토하기 위한 시스템 및 네트워크의 블록도이다.
도 2를 참조하면, 시스템(2)은 사용자 단말(11, 12), 스캐너(50), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및 서버(70)를 포함한다. 또한, 시스템(2)에 포함된 구성요소들(11, 12, 50, 61, 62, 63, 70)은 네트워크(80)를 통하여 서로 연결될 수 있다. 예를 들어, 네트워크(80)는 유선 또는 무선 통신 방식으로 구성요소들(11, 12, 50, 61, 62, 63, 70)이 서로 연결될 수 있는 네트워크일 수 있다. 예를 들어, 도 2에 도시된 시스템(2)은 병원, 연구실, 실험실들 등에 있는 서버들, 및/또는 의사 또는 연구원들의 사용자 단말에 접속될 수 있는 네트워크를 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 도 3a 내지 도 13b를 참조하여 후술할 방법은 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)에서 수행될 수 있다.
스캐너(50)는 피검자(90)의 조직 샘플을 이용하여 생성된 조직 샘플 슬라이드로부터 디지털화된 이미지를 획득할 수 있다. 예를 들어, 스캐너(50), 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 각각 하나 이상의 컴퓨터, 서버, 및/또는 모바일 디바이스를 통해 인터넷과 같은 네트워크(80)에 접속되거나, 하나 이상의 컴퓨터, 및/또는 모바일 디바이스를 통해 사용자(30) 및/또는 피검자(90)와 통신할 수 있다.
사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 하나 이상의 피검자(90)의 조직 샘플, 조직 샘플 슬라이드, 조직 샘플 슬라이드의 디지털화된 이미지들, 또는 이들의 임의의 조합을 생성하거나, 그렇지 않은 경우 다른 장치로부터 획득할 수 있다. 또한, 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63)은 피검자(90)의 연령, 병력, 암 치료 이력, 가족 이력, 과거 생검 기록 또는 피검자(90)의 질병 정보 등과 같은 피검자 특정 정보의 임의의 조합을 획득할 수 있다.
스캐너(50), 사용자 단말(11, 12), 이미지 관리 시스템(61), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 네트워크(80)를 통해 디지털화된 슬라이드 이미지들 및/또는 피검자 특정 정보를 AI 기반 바이오마커 분석 시스템(62)에 송신할 수 있다. AI 기반 바이오마커 분석 시스템(62)은 스캐너(50), 사용자 단말(11, 12), 이미지 관리 시스템(61), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(미도시)를 포함할 수 있다. 또한, AI 기반 바이오마커 분석 시스템(62)은 수신된 이미지들 및 데이터를 처리하도록 훈련된 머신러닝 모델을 저장하는 머신러닝 모델 저장소를 포함할 수 있다. 예를 들어, AI 기반 바이오마커 분석 시스템(62)은 피검자(90)의 병리 슬라이드 이미지로부터 적어도 하나의 세포에 관한 정보, 적어도 하나의 영역에 관한 정보, 바이오마커와 관련된 정보, 의학적 진단 정보 및/또는 의학적 치료 정보 중 적어도 하나를 예측하기 위하여 학습되고 훈련된 머신러닝 모델을 포함할 수 있다.
스캐너(50), 사용자 단말(11, 12), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 네트워크(80)를 통해 디지털화된 슬라이드 이미지, 피검자 특정 정보 및/또는 디지털화된 슬라이드 이미지를 분석한 결과를 이미지 관리 시스템(61)에 송신할 수 있다. 이미지 관리 시스템(61)은 수신된 이미지를 저장하기 위한 저장소 및 분석 결과를 저장하기 위한 저장소를 포함할 수 있다.
또한, 본 개시의 다양한 실시예들에 따르면, 피검자(90)의 슬라이드 이미지로부터 적어도 하나의 세포에 관한 정보, 적어도 하나의 영역에 관한 정보, 바이오마커와 관련된 정보, 의학적 진단 정보 및/또는 의학적 치료 정보 중 적어도 하나를 예측하기 위하여 학습되고 훈련된 머신러닝 모델은 사용자 단말(11, 12) 및/또는 이미지 관리 시스템(61)에 저장되어 동작할 수 있다.
본 개시의 다양한 실시예들에 따르면, 병리 슬라이드 이미지의 분석 방법, 피검자 정보의 처리 방법, 피검자군의 선별 방법, 임상 시험의 설계 방법, 바이오마커 발현 정보의 생성 방법, 및/또는 특정 바이오마커에 대한 기준값의 설정 방법은 AI 기반 바이오마커 분석 시스템(62)뿐만 아니라, 사용자 단말(11, 12), 이미지 관리 시스템(61), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)에서 수행될 수 있다.
도 3a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 3a를 참조하면, 사용자 단말(100)은 프로세서(110), 메모리(120), 입출력 인터페이스(130) 및 통신 모듈(140)을 포함한다. 설명의 편의를 위하여, 도 3a에는 본 발명과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3a에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 사용자 단말(100)에 더 포함될 수 있다. 또한, 도 3a에 도시된 프로세서(110), 메모리(120), 입출력 인터페이스(130) 및 통신 모듈(140)은 독립된 장치로 구현될 수도 있음은 본 발명과 관련된 기술 분야에서의 통상의 지식을 가진 자에게 자명하다.
또한, 사용자 단말(100)의 동작은 도 2의 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)에서 수행될 수 있다.
프로세서(110)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리할 수 있다. 여기에서, 명령은 메모리(120) 또는 외부 장치(예를 들어, 서버(20) 등)로부터 제공될 수 있다. 또한, 프로세서(110)는 사용자 단말(100)에 포함된 다른 구성요소들의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 적어도 하나의 제1 대상체의 생물학적 정보를 획득할 수 있다. 예를 들어, 생물학적 정보는 제3 병리 슬라이드 이미지로부터 확인된 정보 및 제1 대상체의 공간 전사체 정보 중 적어도 하나를 포함할 수 있다. 이 때, 제3 병리 슬라이드 이미지는 제1 병리 슬라이드 이미지와 구별되는 방식으로 염색된 이미지를 포함할 수 있다.
그리고, 프로세서(110)는 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치 및 생물학적 정보를 이용하여 학습 데이터를 생성할 수 있다. 예를 들어, 학습 데이터는 제1 패치에 대응하는 유전자 발현 정보 및 제1 패치에 나타난 적어도 하나의 세포의 종류 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(110)는 학습 데이터에 의하여 제1 머신러닝 모델을 학습하고, 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석할 수 있다. 일 예로서, 프로세서(110)는 학습 데이터를 정답(ground truth) 데이터로 이용하여 제1 머신러닝 모델을 학습할 수 있다. 다른 예로서, 프로세서(110)는 사용자 입력에 기초하여 생성된 적어도 하나의 어노테이션을 정답 데이터로 이용하여 제1 머신러닝 모델을 학습할 수 있다. 또 다른 예로서, 프로세서(110)는 학습 데이터 및 적어도 하나의 어노테이션을 정답 데이터로 이용하여 제1 머신러닝 모델을 학습할 수 있다.
한편, 프로세서(110)는 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어를 추가 또는 제거함으로써 제2 머신러닝 모델을 생성할 수 있다. 여기에서, 제2 머신러닝 모델은 제2 병리 슬라이드 이미지에 나타난 적어도 하나의 세포의 종류를 식별하는데 이용될 수 있다.
그리고, 프로세서(110)는 제2 병리 슬라이드 이미지에 표현된 제2 대상체의 공간 전사체 정보를 이용하여 제2 병리 슬라이드 이미지에 대응하는 피검자의 치료 반응을 예측할 수 있다. 여기에서, 제2 대상체의 공간 전사체 정보는 학습된 제1 머신러닝 모델에 의하여 획득된 공간 전사체 정보 및 별도로 획득된 공간 전사체 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 치료 반응의 예측은 제3 머신러닝 모델에 의하여 수행될 수 있다. 일 예로서, 제3 머신러닝 모델은 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어로부터 추출된 특징 벡터(feature vector)를 이용하여 학습될 수 있다. 다른 예로서, 제3 머신러닝 모델은 공간 전사체 정보에 포함된 유전자 발현 정보 및 유전자 발현 정보에 대응하는 위치 정보를 이용하여 학습될 수 있다.
또한, 프로세서(110)는, 제1 머신러닝 모델을 학습하는 학습 데이터로서, 제1 패치 및 제3 병리 슬라이드 이미지에 포함된 제2 패치를 이용할 수 있다. 또는, 프로세서(110)는, 제1 머신러닝 모델을 학습하는 학습 데이터로서, 제1 패치 및 제2 패치가 이미지 처리된 제3 패치를 이용할 수 있다. 여기에서, 제2 패치는 제1 패치와 대응되는 위치를 나타내는 패치를 포함할 수 있다. 또는, 프로세서(110)는, 제1 머신러닝 모델을 학습하는 학습 데이터로서, 제1 패치 및 사용자 입력에 기초하여 생성된 적어도 하나의 어노테이션을 이용할 수 있다. 여기에서, 적어도 하나의 어노테이션은 제3 병리 슬라이드 이미지에 기초하여 생성될 수 있다.
여기에서, 머신러닝 모델은, 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조를 의미한다.
예를 들어, 머신러닝 모델은 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 모델을 나타낼 수 있다. 예를 들어, 머신러닝 모델은 기계학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.
예를 들어, 머신러닝 모델은 다층의 노드들과 이들 사이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현될 수 있다. 본 실시예에 따른 머신러닝 모델은 MLP를 포함하는 다양한 인공신경망 모델 구조들 중의 하나를 이용하여 구현될 수 있다. 예를 들어, 머신러닝 모델은 외부로부터 입력 신호 또는 데이터를 수신하는 입력층, 입력 데이터에 대응한 출력 신호 또는 데이터를 출력하는 출력층, 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달하는 적어도 하나의 은닉층으로 구성될 수 있다. 출력층은 은닉층으로부터 신호 또는 데이터를 수신하여 외부로 출력한다.
따라서, 머신러닝 모델은 하나 이상의 병리 슬라이드 이미지를 수신하고, 병리 슬라이드 이미지에 포함된 하나 이상의 대상체(예를 들어, 세포, 조직, 구조 등)에 대한 정보를 추출하도록 학습될 수 있다.
프로세서(110)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 예를 들어, 프로세서(110)는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함할 수 한다. 일부 환경에서, 프로세서(110)는 주문형 반도체(ASIC), 프로그램 가능 로직 디바이스(PLD), 필드 프로그램 가능 게이트 어레이(FPGA) 등을 포함할 수도 있다. 예를 들어, 프로세서(110)는 디지털 신호 프로세서(DSP)와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, 디지털 신호 프로세서(DSP) 코어와 결합된 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
메모리(120)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 예로서, 메모리(120)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치일 수 있다. 또한, 메모리(210)에는 운영체제(OS)와 적어도 하나의 프로그램 코드(예를 들어, 도 4 내지 도 13b를 참조하여 후술할 동작을 프로세서(110)가 수행하기 위한 코드)가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(120)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 사용자 단말(100)에 직접 연결될 수 있는 기록 매체일 수 있고, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 또는, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(140)을 통해 메모리(120)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(140)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 도 4 내지 도 13b를 참조하여 후술할 동작을 프로세서(110)가 수행하기 위한 컴퓨터 프로그램 등)에 기반하여 메모리(120)에 로딩될 수 있다.
입출력 인터페이스(130)는 사용자 단말(100)과 연결되거나 사용자 단말(100)에 포함될 수 있는 입력 또는 출력을 위한 장치(예를 들어, 키보드, 마우스 등)와의 인터페이스를 위한 수단일 수 있다. 도 3a에서는 입출력 인터페이스(130)가 프로세서(110)와 별도로 구성된 요소로 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(130)가 프로세서(110)에 포함되도록 구성될 수도 있다.
통신 모듈(140)은 네트워크를 통해 서버(20)와 사용자 단말(100)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있다. 또한, 통신 모듈(140)은 사용자 단말(100)이 다른 외부 디바이스와 통신하기 위한 구성 또는 기능을 제공할 수 있다. 예를 들어, 프로세서(110)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(140)과 네트워크를 거쳐 서버(20) 및/또는 외부 디바이스로 전송될 수 있다.
한편, 도 3a에는 도시되지 않았으나, 사용자 단말(100)은 디스플레이 장치를 더 포함할 수 있다. 또는, 사용자 단말(100)은 독립적인 디스플레이 장치와 유선 또는 무선 통신 방식으로 연결되어 상호 간에 데이터를 송수신할 수 있다. 예를 들어, 디스플레이 장치를 통하여 병리 슬라이드 이미지, 병리 슬라이드 이미지의 분석 정보, 치료 반응의 예측 정보 등이 사용자(30)에게 제공될 수 있다.
도 3b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 3b를 참조하면, 서버(20)는 프로세서(210), 메모리(220) 및 통신 모듈(230)을 포함한다. 설명의 편의를 위하여, 도 3b에는 본 발명과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3b에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 서버(200)에 더 포함될 수 있다. 또한, 도 3b에 도시된 프로세서(210), 메모리(220) 및 통신 모듈(230)은 독립된 장치로 구현될 수도 있음은 본 발명과 관련된 기술 분야에서의 통상의 지식을 가진 자에게 자명하다.
프로세서(210)는, 내부 메모리(220), 외부 메모리(미도시), 사용자 단말(10), 또는 외부 장치 중 적어도 하나로부터 병리 슬라이드 이미지를 획득할 수 있다. 프로세서(210)는 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 적어도 하나의 제1 대상체의 생물학적 정보를 획득하거나, 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치 및 생물학적 정보를 이용하여 학습 데이터를 생성하거나, 학습 데이터에 의하여 제1 머신러닝 모델을 학습하거나, 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석할 수 있다. 또한, 프로세서(210)는 제2 병리 슬라이드 이미지에 표현된 제2 대상체의 공간 전사체 정보를 이용하여 제2 병리 슬라이드 이미지에 대응하는 피검자의 치료 반응을 예측할 수 있다.
다시 말해, 도 3a를 참조하여 상술한 프로세서(110)의 동작 중 적어도 하나가 프로세서(210)에 의하여 수행될 수 있다. 이 경우, 사용자 단말(100)은 서버(20)로부터 전송된 정보를 디스플레이 장치를 통하여 출력할 수 있다.
한편, 프로세서(210)의 구현 예는 도 3a를 참조하여 상술한 프로세서(110)의 구현 예와 동일하므로, 구체적인 설명은 생략한다.
메모리(220)에는 병리 슬라이드 이미지, 프로세서(210)의 동작에 따라 생성된 데이터 등 다양한 데이터가 저장될 수 있다. 또한, 메모리(220)에는 운영체제(OS)와 적어도 하나의 프로그램(예를 들어, 프로세서(210)가 동작하는데 필요한 프로그램 등)이 저장될 수 있다.
한편, 메모리(220)의 구현 예는 도 3a를 참조하여 상술한 메모리(220)의 구현 예와 동일하므로, 구체적인 설명은 생략한다.
통신 모듈(230)은 네트워크를 통해 서버(200)와 사용자 단말(100)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있다. 또한, 통신 모듈(140)은 서버(200)가 다른 외부 디바이스와 통신하기 위한 구성 또는 기능을 제공할 수 있다. 예를 들어, 프로세서(210)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(230)과 네트워크를 거쳐 사용자 단말(100) 및/또는 외부 디바이스로 전송될 수 있다.
도 4는 일 실시예에 따른 병리 슬라이드 이미지를 처리하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 4를 참조하면, 병리 슬라이드 이미지를 처리하는 방법은 도 1 내지 3a에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3a에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에 관하여 이상에서 기술된 내용은 도 4의 병리 슬라이드 이미지를 처리하는 방법에도 적용될 수 있다.
또한, 도 1 내지 도 3b를 참조하여 상술한 바와 같이, 도 4에 도시된 흐름도의 단계들 중 적어도 하나는 서버(20, 200) 또는 프로세서(210)에서 처리될 수 있다.
410 단계에서, 프로세서(110)는 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 상기 적어도 하나의 제1 대상체의 생물학적 정보(biological information)를 획득한다. 예를 들어, 제1 대상체는 인체 내의 세포, 조직 및/또는 구조를 의미할 수 있다.
예를 들어, 생물학적 정보는 제1 대상체의 공간 전사체 정보(Spatial Transcriptomics) 및 제3 병리 슬라이드 이미지로부터 확인된 정보를 포함할 수 있다. 여기에서, 제3 병리 슬라이드 이미지는 제1 병리 슬라이드 이미지와 구별되는 방식으로 염색된 이미지를 의미한다.
이하, 도 5를 참조하여, 생물학적 정보에 대하여 구체적으로 설명한다.
도 5는 일 실시예에 따른 생물학적 정보의 예들을 설명하기 위한 도면이다.
도 5를 참조하면, 피검자(90) 및 피검자(90)의 인체에 포함된 대상체(91)가 도시되어 있다.
일 예로서, 대상체(91)의 생물학적 정보에는 대상체(91)의 공간 전사체 정보(511)가 포함될 수 있다. 공간 전사체 정보(511)는 공간 전사체 과정을 통하여 획득되는 정보를 의미한다. 예를 들어, 공간 전사체 정보(511)는, 공간 전사체 과정을 통하여 획득된 시퀀스 데이터, 시퀀스 데이터에 대하여 데이터 프로세싱을 거침에 따라 확인되는 유전자 발현 정보 등을 포함할 수 있다.
공간 전사체 과정은, 조직 샘플의 유전자 발현을 측정하고 유전자가 발현하는 위치를 매핑할 수 있게 해주는 분자 프로파일링 방법이다. 세포와 조직의 상대적 위치 관계는, 세포 또는 조직의 정상적인 발달과 질병의 병리를 이해하는 데 중요하다. 다만, 기존의 Bulk-RNAseq은 다양한 조직, 다양한 세포들이 한꺼번에 섞여서 분석되었기 때문에, 공간 상에서의 세부적인 유전자 발현 양상은 알 수 없다. 공간 전사체 과정을 통해, 공간 상에서의 유전자 발현 양상이 확인될 수 있다. 따라서, 질병에 대한 이해도 뿐 만 아니라, 질병의 진단과 치료의 정확도가 향상될 수 있다.
공간 전사체 정보에는 병리 슬라이드 이미지 및/또는 병리 슬라이드 이미지에 포함된 적어도 하나의 격자(grid)에 대응하는 유전자 정보가 포함된다. 예를 들어, 병리 슬라이드 이미지는 복수의 격자들로 구분될 수 있고, 단일 격자는 1mm * 1mm의 영역일 수 있으나, 이에 한정되지 않는다.
프로세서(110)는 시퀀스 데이터를 프로세싱하여 병리 슬라이드 이미지의 일부 영역(예를 들어, 단일 격자 또는 복수의 격자들)을 추출하고, 추출된 영역에 대응하는 유전자 정보를 획득함으로써 공간 전사체 정보를 획득할 수 있다.
이하, 도 6을 참조하여, 프로세서(110)가 대상체(91)의 공간 전사체 정보(511)를 획득하는 일 예를 설명한다.
도 6은 일 실시예에 따른 프로세서가 공간 전사체 정보를 획득하는 일 예를 설명하기 위한 흐름도이다.
610 단계에서, 프로세서(110)는 공간 전사체 과정을 통하여 시퀀스 데이터를 획득한다.
예를 들어, 공간 전사체 과정은 샘플 준비(Sample Prep), 이미징(Imaging), 바코딩 및 라이브러리 구축(Barcoding & Library Construction) 및 시퀀싱(Sequencing)의 단계들을 포함할 수 있다.
620 단계에서, 프로세서(110)는 시퀀스 데이터에 데이터 프로세싱을 수행하여 스폿에 대응하는 유전자 발현 정보를 획득한다.
프로세서(110)는, 시퀀스 데이터를 프로세싱함으로써, 병리 슬라이드 영상 상의 스폿 위치에 대응하는 유전자 정보를 획득한다. 예를 들어, 병리 슬라이드 영상은 복수의 스폿들로 구분될 수 있고, 단일 스폿은 지름55μm의 원 형태의 영역일 수 있으나, 이에 한정되지 않는다.
예를 들어, 프로세서(110)는, 시퀀스 데이터에 포함된 바코드 정보에 기초하여, 시퀀스 데이터에 포함된 유전자 정보가 병리 슬라이드 이미지의 어느 위치에서 발현된 유전자 정보인지를 확인할 수 있다. 여기에서, 바코드는 병리 슬라이드 이미지 상에서 특정 스폿의 위치 좌표 값으로서, 미리 정해질 수 있다. 즉, 바코드와 병리 슬라이드 이미지 상에서의 좌표는 서로 매칭되어 있을 수 있다.
예를 들어, 단일 스폿 당 30,000개의 CDNA sequence reads가 필요할 수 있으나, 이에 한정되지 않는다. 여기에서, sequence read는 DNA 파편으로부터 시퀀싱된 부분을 의미한다. 구체적으로, Pair-end sequence 데이터의 read1에는 좌표(즉, 병리 슬라이드 이미지의 위치 좌표)와 매칭되는 바코드가 포함되어 있고, read2에는 transcript sequence 정보가 포함되어 있을 수 있다. 즉, DNA 파편의 일 말단에는 해당 DNA 파편을 획득한 스폿의 좌표와 대응되는 바코드 값이 포함되며, 타 말단에는 시퀀스 정보가 포함되어 있을 수 있다.
프로세서(110)는 시퀀스 정보가 포함된 fastq파일을 renference genome에 배열(alignment)함으로써 유전자 발현 정보를 확인할 수 있다. 그리고, 프로세서(110)는 바코드로부터 확인된 공간 정보를 통해 병리 슬라이드 영상의 스폿 별로 다수(예를 들어, 약 5000여 개)의 유전자 발현 정보를 획득할 수 있다.
한편, 도 6에는 도시되지 않았으나, 프로세서(110)는 스폿에 대응하는 유전자 발현 정보를 이용하여 스폿 내에 어떤 종류의 세포가 존재하는지를 확인할 수 있다. 일반적으로, 면역 세포 및 암 세포 등은 세포 특이적으로 많이 발현되는 유전자가 존재한다. 따라서, 프로세서(110)가 스폿에 대응하는 유전자 발현 정보를 해석함으로써, 해당 스폿 영역에 어떤 세포들이 분포하고 있는지 또는 어떤 세포들이 어떠한 비율로 포함되어 있는지를 확인할 수 있다.
한편, 프로세서(110)는 Single Cell RNAseq 데이터를 더 이용하여 스폿 영역에 분포된 세포들의 수 및 종류를 확인할 수 있다. 일반적으로, Single Cell RNAseq 데이터에는 공간적인 정보는 포함되지 않고, 각 세포의 RNA정보 만이 포함된다. 따라서, 프로세서(110)는 각 스폿에 포함된 복수(예를 들어, 약 10개)의 세포들에 대한 시퀀스 데이터와 Single Cell RNAseq 데이터를 수학적으로 해석하여, 각 스폿 마다 어떠한 세포들이 얼마나 포함되었는지 또는 어떠한 비율로 포함되었는지 확인할 수 있다.
한편, 프로세서(110)는 머신러닝 모델을 이용하여 시퀀스 데이터로부터 스폿 내에 어떤 종류의 세포가 존재하는지를 확인할 수 있다. 이를 위하여, 프로세서(110)는 학습 데이터를 이용하여 머신러닝 모델을 학습할 수 있다. 일 예로서, 학습 데이터에는 610 단계를 통해 획득된 시퀀스 데이터가 입력 데이터로, 세포의 종류가 출력 데이터로 포함될 수 있다. 다른 예로서, 학습 데이터에는 610 단계를 통해 획득된 시퀀스 데이터 및 시퀀스 데이터에 대응하는 병리 슬라이드 이미지의 패치가 입력 데이터로, 세포의 종류가 출력 데이터로 포함될 수 있다. 즉, 머신러닝 모델은 시퀀스 데이터 뿐 만 아니라 병리 슬라이드 영상에 포함된 형태(morphology) 특성도 함께 고려하여 세포의 종류를 식별하도록 학습될 수 있다.
도 6을 참조하여 상술한 바에 따르면, 프로세서(110)는 [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보]를 포함하는 복수의 쌍들을 생성할 수 있다. 또한, 프로세서(110)는 [병리 슬라이드 이미지의 패치 - 패치에 대응하는 적어도 하나의 세포의 종류에 대한 정보]를 포함하는 복수의 쌍들을 생성할 수 있다. 또한, 프로세서(110)는 [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보 - 패치에 대응하는 적어도 하나의 세포의 종류에 대한 정보]를 포함하는 복수의 쌍들을 생성할 수 있다. 이렇게 만들어진 쌍들은 제1 머신러닝 모델의 학습 데이터로 이용될 수 있다. 제1 머신러닝 모델의 학습은 420 단계 및 430 단계를 참조하여 후술한다.
다시 도 5를 참조하면, 다른 예로서, 대상체(91)의 생물학적 정보에는 대상체(91)의 생물학적 요소(예를 들어, 암 세포, 면역 세포, 암 영역 등)에 대한 정보(512)가 포함될 수 있다. 여기에서, 생물학적 요소에 대한 정보(512)는 대상체(91)의 병리 슬라이드 이미지로부터 확인될 수 있다.
병리 슬라이드 이미지가 어떤 방식으로 염색되는지에 따라 대상체(91)에 대한 다양한 생물학적 정보가 확인될 수 있다. 따라서, 서로 다른 방식으로 염색된 경우, 동일한 대상체(91)로부터 서로 다른 생물학적 정보가 확인될 수 있다.
예를 들어, H&E 염색(Hematoxylin and eosin stain)에 따르면, hematoxylin은 주로 핵 영역이 청색에서 자주색을 띄도록 염색되고, eosin은 세포질(cytoplasm)이나 세포 외 기질(extracellular matrix)이 분홍색을 띄도록 염색된다. 따라서, H&E 염색에 의할 경우, 대상체에 포함된 세포 및 조직의 형태가 용이하게 확인될 수 있다.
다만, H&E 염색의 경우, 세포 등에서 발현되는 특이적인 생물학적 요소를 확인하는 데에는 제약이 있다. 따라서, 면역조직화학 염색(immunohistochemistry stain), 특수 염색(special stain), 면역형광 염색(immunofluorescence) 등을 통하여 특정 생물학적 요소의 발현 정도가 확인될 수 있다.
예를 들어, 면역조직화학 염색법으로는 programmed cell death-ligand 1(PD-L1) 염색, human epidermal growth factor receptor 2(HER2) 염색, estrogen receptor(ER) 염색, progesterone receptor(PR) 염색, Ki-67 염색, CD68 염색 등이 포함될 수 있다. 또한, 특수 염색으로는 Van Gieson 염색, Toluidine blue 염색, Giemsa 염색, Masson's trichrome 염색, Periodic acid Schiff(PAS) 염색 등이 포함될 수 있다. 또한, 면역형광 염색으로는 Fluorescence in situ hybridization(FISH) 등이 포함될 수 있다.
상술한 다양한 염색 방법들을 통하여, 다양한 생물학적 요소가 확인될 수 있다.
일 예로서, H&E 염색에 의한 병리 슬라이드 이미지로부터 확인되지 않은 특정 세포 신호의 발현 정도가 확인될 수 있다. 예를 들어, PD-L1 또는 HER2는 악성 종양 세포막(cell membrane) 등에서 발현되는 단백질 또는 수용체로서, PD-L1 염색 또는 HER2 염색을 통해 종양 세포 조직에서의 발현 정도가 평가될 수 있다. 따라서, 발현 정도가 높은 경우, H&E 염색에 의한 병리 슬라이드 이미지로부터 해당 단백질 또는 수용체를 표적으로 하는 항암 치료제의 치료 반응이 높을 것으로 예상될 수 있다.
다른 예로서, H&E 염색에 의한 병리 슬라이드 이미지로부터 명확하게 관찰되지 않은 조직의 구성 물질이 정확히 확인될 수 있다. 예를 들어, Van Gieson 염색은 collagen만 특이적으로 염색하므로, 조직 내에서 collagen 발현 만이 확인될 수 있다.
또 다른 예로서, H&E 염색에 의한 병리 슬라이드 이미지로부터 확인되지 않은 특정 세포의 존재 여부 및/또는 양이 확인될 수 있다. 예를 들어, CD68의 경우 대식세포[macrophage]에 특이적으로 염색이 되므로, H&E 염색에 의한 병리 슬라이드 이미지에서 다른 염증세포와 잘 구별이 되지 않을 수 있는 대식세포의 많고 적음이, CD68 염색에 의한 병리 슬라이드 이미지에서는 쉽게 확인될 수 있다.
프로세서(110)는 머신러닝 모델의 학습 데이터로 공간 전사체 정보(511) 및/또는 생물학적 요소에 대한 정보(512)를 이용할 수 있다. 학습 데이터로 생물학적 요소에 대한 정보(512)가 이용되는 예는 도 10 및 도 11을 참조하여 후술한다.
다시 도 4를 참조하면, 420 단계에서, 프로세서(110)는 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치 및 생물학적 정보를 이용하여 학습 데이터를 생성한다.
예를 들어, 학습 데이터는 패치에 대응하는 유전자 발현(gene expression) 정보 및 패치에 나타난 적어도 하나의 세포의 종류 중 적어도 하나를 포함할 수 있다. 학습 데이터에 포함되는 '패치에 나타난 적어도 하나의 세포의 종류'에 대한 정보는, 도 6을 참조하여 상술한 바와 같이, 유전자 발현 정보를 프로세싱 하여 얻은 정보일 수 있다.
이하, 도 7을 참조하여, 제1 머신러닝 모델을 학습하는 학습 데이터의 일 예를 설명한다.
도 7은 일 실시예에 따른 학습 데이터의 일 예를 설명하기 위한 도면이다.
도 7을 참조하면, 병리 슬라이드 이미지(710) 내의 패치(711)가 도시되어 있다. 도 6을 참조하여 상술한 바와 같이, 프로세서(110)는 학습 데이터로 이용될 수 있는 복수의 쌍들을 생성할 수 있다. 예를 들어, 쌍은 [패치(711) - 패치(711)에 대응하는 유전자 발현 정보(721)], [패치(711) - 패치(711)에 대응하는 적어도 하나의 세포의 종류에 대한 정보(722)] 또는 [패치(711) - 패치(711)에 대응하는 유전자 발현 정보(721) - 패치(711)에 대응하는 적어도 하나의 세포의 종류에 대한 정보(722)]일 수 있다.
다시 말해, 학습 데이터에는 패치(711)에 나타난 대상체의 유전자 발현 정보(721) 및/또는 패치(711)에 나타난 대상체의 적어도 하나의 세포의 종류에 대한 정보(722)가 포함될 수 있다. 이 때, 패치(711)에 나타난 적어도 하나의 세포의 종류에 대한 정보는, 유전자 발현 정보(721)를 프로세싱 하여 얻은 정보일 수 있다.
다시 도 4를 참조하면, 430 단계에서, 프로세서(110)는 학습 데이터에 의하여 제1 머신러닝 모델을 학습한다.
예를 들어, 프로세서(110)는 420 단계를 통해 생성된 학습 데이터를 정답(ground truth) 데이터로 이용하여 제1 머신러닝 모델을 학습할 수 있다. 다시 말해, 제1 머신러닝 모델의 학습을 위하여, 병리 슬라이드 이미지 패치가 입력 데이터로 활용되고, [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보] 쌍, [병리 슬라이드 이미지의 패치 - 패치에 대응하는 적어도 하나의 세포의 종류에 대한 정보] 또는 [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보 - 패치에 대응하는 적어도 하나의 세포의 종류에 대한 정보] 쌍이 출력 데이터로 활용될 수 있다.
일 예로서, [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보] 쌍이 출력 데이터로 이용되는 경우, 제1 머신러닝 모델은 패치를 입력 받아서 해당 패치의 위치에서의 유전자 발현 정보를 예측하도록 학습될 수 있다.
다른 예로서, [병리 슬라이드 이미지의 패치 - 패치에 대응하는 적어도 하나의 세포의 종류에 대한 정보] 쌍이 출력 데이터로 이용되는 경우, 제1 머신러닝 모델은 패치를 입력 받아서 해당 패치의 위치에 어떤 종류의 세포가 존재하는지 예측하도록 학습될 수 있다.
또 다른 예로서, [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보 - 패치에 대응하는 적어도 하나의 세포의 종류에 대한 정보] 쌍이 출력 데이터로 이용되는 경우, 제1 머신러닝 모델은 패치를 입력 받아서 해당 패치의 위치에 대응하는 유전자 발현 정보 및 세포의 종류를 예측하도록 학습될 수 있다.
한편, 프로세서(110)는 사용자 입력에 기초하여 생성된 적어도 하나의 어노테이션(annotation)을 이용하여 제1 머신러닝 모델을 학습할 수도 있다. 예를 들어, 어노테이션을 활용한 제1 머신러닝 모델의 학습은, 420 단계를 통해 생성된 학습 데이터를 정답(ground truth) 데이터로 활용한 학습의 성능이 충분하지 못한 경우에 부가적으로 수행될 수 있으나, 이에 한정되지 않는다.
예를 들어, 사용자(30)는 병리 슬라이드 이미지의 패치를 참조하여 어노테이션을 수행할 수 있고, 어노테이션에는 패치 내의 위치 정보가 포함될 수 있다. 한편, 어노테이션을 수행하는 사용자의 수에는 제한이 없다.
한편, 프로세서(110)는 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어를 추가, 제거 또는 제거 후 추가함으로써 대상체에 포함된 적어도 하나의 세포의 종류를 식별하는 제2 머신러닝 모델을 생성할 수도 있다.
일 예로서, 제1 머신러닝 모델의 학습에 [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보] 쌍이 이용된 경우, 프로세서(110)는 학습된 제1 머신러닝 모델에 세포의 종류를 예측하는 적어도 하나의 레이어를 추가함으로써 제2 머신러닝 모델을 생성할 수 있다.
다른 예로서, 제1 머신러닝 모델의 학습에 [병리 슬라이드 이미지의 패치 - 패치에 대응하는 유전자 발현 정보 - 패치에 대응하는 적어도 하나의 세포의 종류에 대한 정보] 쌍이 이용된 경우, 프로세서(110)는 학습된 제1 머신러닝 모델에서 유전자 발현 정보를 예측하는 적어도 하나의 레이어를 제거하고 새로운 레이어를 추가함으로써 제2 머신러닝 모델을 생성할 수 있다.
440 단계에서, 프로세서(110)는 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석한다.
도 4에는 도시되지 않았으나, 프로세서(110)가 제2 머신러닝 모델을 생성한 경우, 프로세서(110)는 제2 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석할 수 있다.
도 4 내지 도 7을 참조하여 상술한 바에 따르면, 전문가의 어노테이션 작업에 의존하는 기존의 머신러닝 모델의 학습과 달리, 프로세서(110)는 어노테이션 작업이 수행되지 않더라도(또는, 적은 양의 어노테이션 결과에 의해서도) 머신러닝 모델을 성능을 향상시킬 수 있다. 이에 따라, 머신러닝 모델에 의한 병리 슬라이드 이미지의 분석 결과는 정확도가 향상될 수 있다.
도 8은 일 실시예에 따른 병리 슬라이드 이미지를 처리하는 방법의 다른 예를 설명하기 위한 흐름도이다.
도 8을 참조하면, 병리 슬라이드 이미지를 처리하는 방법은 도 1 내지 3a에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3a에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에 관하여 이상에서 기술된 내용은 도 8의 병리 슬라이드 이미지를 처리하는 방법에도 적용될 수 있다.
또한, 도 1 내지 도 3b를 참조하여 상술한 바와 같이, 도 8에 도시된 흐름도의 단계들 중 적어도 하나는 서버(20, 200) 또는 프로세서(210)에서 처리될 수 있다.
한편, 810 단계 내지 840 단계는 각각 410 단계 내지 440 단계에 대응된다. 따라서, 이하에서는 810 단계 내지 840 단계에 대한 구체적인 설명은 생략한다.
850 단계에서, 프로세서(110)는 제2 병리 슬라이드 이미지에 표현된 제2 대상체의 공간 전사체 정보를 이용하여 제2 병리 슬라이드 이미지에 대응하는 피검자(90)의 치료 반응(therapeutic reaction)을 예측한다.
예를 들어, 프로세서(110)는 제3 머신러닝 모델을 이용하여 피검자(90)의 치료 반응을 예측할 수 있다. 여기에서, 제2 대상체의 공간 전사체 정보는 학습된 제1 머신러닝 모델에 의하여 획득된 공간 전사체 정보(예를 들어, 유전자 발현 정보) 및/또는 별도로 획득된 공간 전사체 정보 중 적어도 하나를 포함할 수 있다. 이하, 도 9를 참조하여, 프로세서(110)가 피검자(90)의 치료 반응을 예측하는 일 예를 설명한다.
도 9는 일 실시예에 따른 프로세서가 피검자의 치료 반응을 예측하는 일 예를 설명하기 위한 도면이다.
도 9를 참조하면, 공간 전사체 정보(921)는 학습된 제1 머신러닝 모델(911)을 통하여 생성될 수 있다. 또한, 공간 전사체 정보(922)는 별도의 공간 전사체 과정(912)을 통하여 생성될 수 있다. 공간 전사체 과정(912)을 통하여 병리 슬라이드 이미지 및 해당 이미지에 포함된 격자들 각각에 대응하는 유전자 발현 정보가 획득될 수 있음은 610 단계를 참조하여 상술한 바와 같다.
프로세서(110)는 제3 머신러닝 모델(930)을 이용하여 치료 반응 예측 결과(940)를 생성한다. 예를 들어, 제3 머신러닝 모델(930)에는 공간 전사체 정보(921) 및/또는 공간 전사체 정보(922)가 입력되고, 피검자(90)의 치료 반응 예측 결과(940)가 생성될 수 있다.
일 예로서, 제3 머신러닝 모델(930)은 공간 전사체 정보에 포함된 유전자 발현 정보 및 유전자 발현 정보에 대응하는 위치 정보를 이용하여 학습될 수 있다.
일반적으로, 2차원 이미지에 기반하여 머신러닝 모델(예를 들어, convolutional neural network 등)이 학습되는 경우, 일정한 크기(예를 들어, 3*3 픽셀)의 필터가 적용되어 이미지의 패턴이 확인되고, 이러한 작업이 각 채널(예를 들어, RGB channel 3개) 별로 수행된다. 그 후에, 필터를 거친 값이 다층 신경망을 통과하여 출력된 결과값과 실제 결과값(예를 들어, Ground Truth)의 차이에 기초하여 역전파가 수행됨으로써 머신러닝 모델이 학습된다.
상술한 과정과 유사하게, 프로세서(110)는, 각 스폿에 대응하는 유전자 발현 정보를 2차원 이미지의 채널, 유전자 발현 정보에 대응하는 위치 정보를 2차원 이미지의 픽셀로 치환할 수 있다. 그리고, 프로세서(110)는 제3 머신러닝 모델(930)의 다층 신경망을 통과하여 출력된 결과값과 실제 환자의 치료 반응 또는 예후에 대한 결과 값의 차이에 기초하여 역전파를 수행함으로써 제3 머신러닝 모델(930)을 학습할 수 있다.
여기에서, 각 스폿에 대응하는 유전자 발현 정보를 채널로 치환하기 위해서는, 유전자 발현 정보가 공간적으로 구분되어야 한다. 따라서, 프로세서(110)는 610 단계를 참조하여 상술한 과정을 수행함으로써 병리 슬라이드 영상 상의 스폿 위치 각각에 대응하는 유전자 정보를 획득할 수도 있다.
다른 예로서, 제3 머신러닝 모델(930)은 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어로부터 추출된 특징 벡터(feature vector)를 이용하여 학습될 수 있다.
430 단계를 참조하여 상술한 바와 같이, 제1 머신러닝 모델은 패치에 기초하여 해당 패치의 위치에서의 유전자 발현 정보를 예측하는 모델, 패치에 기초하여 해당 패치의 위치에 어떤 종류의 세포가 존재하는지 예측하는 모델 또는 패치에 기초하여 해당 패치의 위치에 대응하는 유전자 발현 정보 및 세포의 종류를 예측하는 모델로 학습될 수 있다.
먼저, 프로세서(110)는 학습된 제1 머신러닝 모델에 병리 슬라이드 이미지를 입력하고, 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어에서 특징 벡터를 추출할 수 있다. 예를 들어, 추출되는 레이어는 사용자(30)에 의하여 실험적으로 판단 및 선택된 레이어일 수 있고, 피검자(90)의 치료 반응 또는 예후를 적절하게 예측하는 레이어일 수 있다. 즉, 제1 머신러닝 모델이 병리 슬라이드 이미지로부터 유전적 및/또는 조직학적으로 중요한 정보들(예를 들어, 치료 반응성 예측에 근거가 되는 유전자 발현 정보 또는 세포의 종류, 특징 등)을 잘 추출하도록 학습되었다고 가정한다면, 학습된 제1 머신러닝 모델의 임의의 중간 레이어로부터 추출된 특징벡터도 유전적 및/또는 조직학적으로 중요한 정보들을 포함하고 있다고 예상할 수 있다.
프로세서(110)는 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어에서 특징 벡터를 추출하는 과정을 단일 병리 슬라이드 이미지에 포함된 복수의 패치들 전체에 대하여 수행할 수 있다.
그 후에, 프로세서(110)는 특징 벡터들을 통합하여 단일 길이를 갖는 벡터가 되도록 풀링(pooling)을 수행할 수 있다. 예를 들어, 프로세서(110)는 특징 벡터들의 평균 값을 이용하는 풀링을 수행할 수도 있고, 특징 벡터들의 각 차원에서의 최대 값을 이용하는 풀링을 수행할 수도 있고, Bag-of-Word나 Fisher Vector와 같은 dictionary기반의 풀링을 수행할 수도 있고, 인공 신경망을 이용한 attention 기반의 풀링을 수행할 수도 있다. 이러한 풀링을 통하여, 단일 피검자(90)의 병리 슬라이드 이미지에 대응하는 단일 벡터가 정의될 수 있다.
그 후에, 프로세서(110)는, 정의된 벡터를 이용하여 특정 면역 항암제에 대한 반응성 또는 특정 치료에 대한 반응성을 예측하는 제3 머신러닝 모델(930)을 학습할 수 있다.
도 8 및 도 9를 참조하여 상술한 바에 따르면, 프로세서(110)는 제3 머신러닝 모델(930)의 학습 및 제3 머신러닝 모델(930)을 통한 피검자(90)의 치료 반응의 예측을 수행함으로써, 병리 슬라이드 이미지의 형태학적 특성만을 이용하여 치료에 대한 반응성을 예측하는 것에 비하여 예측의 정확도가 향상될 수 있다.
도 6 및 도 7을 참조하여 상술한 바에 따르면, 프로세서(110)는 공간 전사체 정보(511)를 이용하여 제1 머신러닝 모델을 학습할 수 있다. 다른 한편으로, 프로세서(110)는 생물학적 요소에 대한 정보(512)를 이용하여 제1 머신러닝 모델을 학습할 수도 있다. 이하, 도 10 및 도 11을 참조하여, 프로세서(110)가 생물학적 요소에 대한 정보(512)를 이용하여 제1 머신러닝 모델을 학습하는 예들을 설명한다.
도 10은 일 실시예에 따른 프로세서가 제1 머신러닝 모델을 학습하는 일 예를 설명하기 위한 도면이다.
도 10을 참조하면, 대상체(1010) 및 대상체를 나타내는 병리 슬라이드 이미지들(1031, 1041)이 도시되어 있다. 여기에서, 병리 슬라이드 이미지(1031)의 제1 염색 방식(1021)과 병리 슬라이드 이미지(1041)의 제2 염색 방식(1022)는 서로 다른 방식으로 가정한다. 예를 들어, 제1 염색 방식(1021)은 특정 생물학적 요소를 선택적으로 염색하는 염색 방식뿐만 아니라, 대상체에 포함된 모든 세포의 핵, 세포질, 및 세포 외 기질의 형태가 용이하게 확인될 수 있는 염색 방식(예를 들어, H&E 염색)을 포함할 수 있다.
프로세서(110)는 제1 머신러닝 모델(1050)의 학습을 위한 학습 데이터를 생성할 수 있다. 이 때, 학습 데이터는 병리 슬라이드 이미지(1031)에 포함된 패치(1032) 및 병리 슬라이드 이미지(1041)에 포함된 패치(1042)를 포함할 수 있다. 여기에서, 패치(1032)와 패치(1042)는 대상체(1010)의 동일한 위치를 나타낼 수 있다. 다시 말해, 패치(1042)는 패치(1032)와 서로 대응하는 위치를 나타낼 수 있다.
도 10에서, 제1 염색 방식(1021)은 생물학적 요소 A를 선택적으로 염색할 수 있는 방식이고, 제2 염색 방식(1022)은 생물학적 요소 B를 선택적으로 염색할 수 있는 방식이라고 가정한다. 다양한 생물학적 요소들을 선택적으로 염색할 수 있는 방법들은 도 5를 참조하여 상술한 바와 같다. 또한, 도 10에는 두 종류의 염색 방식들(1021, 1022)에 따른 병리 슬라이드 이미지들(1031, 1041)이 도시되어 있으나, 이에 한정되지 않는다.
프로세서(110)는 이미지(1031) 상에서의 대상체(1010)와 이미지(1041) 상에서의 대상체(1010)가 완벽하게 포개어질 수 있도록 이미지 프로세싱을 수행한다. 예를 들어, 프로세서(110)는 이미지(1031)와 이미지(1041)에 기하학적인 변형(예를 들어, 확대, 축소, 회전 등)을 가함으로써, 이미지(1031) 상에서의 대상체(1010)와 이미지(1041) 상에서의 대상체(1010)를 정확하게 정렬(align)할 수 있다. 그리고, 프로세서(110)는 이미지들(1031, 1041) 각각의 서로 대응되는 위치에서 패치들(1032, 1042)를 추출한다. 이러한 방식으로, 프로세서(110)는 이미지(1031)로부터 추출된 패치 및 이미지(1041)로부터 추출된 패치로 구성된 복수의 쌍을 생성할 수 있다.
그 후에, 프로세서(110)는 패치들(1032, 1042)을 이용하여 제1 머신러닝 모델(1050)을 학습한다. 예를 들어, 프로세서(110)는 패치(1032)를 입력 데이터로, 패치(1042)를 출력 데이터로 활용하여 제1 머신러닝 모델(1050)을 학습할 수 있다. 이 경우에, 패치(1042)는 정답(ground truth) 데이터로 활용될 수 있다.
도 11은 일 실시예에 따른 프로세서가 제1 머신러닝 모델을 학습하는 다른 예를 설명하기 위한 도면이다.
도 11을 참조하면, 대상체(1110) 및 대상체를 나타내는 병리 슬라이드 이미지들(1131, 1141)이 도시되어 있다. 여기에서, 염색 방식들(1121, 1122), 병리 슬라이드 이미지들(1131, 1141) 및 패치들(1132, 1142)에 관한 구체적인 설명은 도 10을 참조하여 상술한 바와 같다.
프로세서(110)는 제1 머신러닝 모델(1160)의 학습을 위한 학습 데이터를 생성할 수 있다. 이 때, 학습 데이터는 패치(1132) 및 패치(1142)에 이미지 처리(1150)가 수행된 패치(1143)를 포함할 수 있다.
프로세서(110)는 패치(1142)에 하나 이상의 이미지 프로세싱을 수행하여 패치(1143)을 생성할 수 있다.
일 예로서, 프로세서(110)는 패치(1142)에서 특정 진하기 이상으로 염색된 부분만 남도록 이미지 필터링을 수행하거나, 또는 특정 색상이 발현된 부분만 남기고 나머지는 지워버리는 이미지 필터링을 수행할 수 있다. 다만, 프로세서(110)가 수행하는 이미지 프로세싱의 기법은 상술한 바에 한정되지 않는다.
다른 예로서, 프로세서(110)는 패치(1142)에 더욱 복잡한 이미지 프로세싱 기법이나 별도의 기계학습 모델을 적용하여 의미 정보(semantic information)를 추출하고, 추출된 정보를 패치(1143)에 대응하는 학습 데이터로 활용할 수 있다. 예를 들어, 추출된 정보는 특정 세포(예를 들어, 암 세포, 면역 세포 등)의 위치를 점으로 표시한 정보, 염색의 발현 정도 및/또는 염색이 발현된 형태에 따라 세포의 종류나 클래스를 판별하여 표시한 정보 등이 해당될 수 있다.
여기에서, 이미지 프로세싱 기법의 경우, 이미지(1141)에 포함된 픽셀 별 염색의 발현 양을 수치화하고, 픽셀의 위치 정보를 활용한 알고리즘일 수 있다. 이 경우, 추출된 정보는 특정 세포의 종류 및 위치에 대한 정보를 포함할 수 있다.
한편, 별도의 기계학습 모델은 이미지(1141)가 염색된 방식(1122)이 타겟팅하는 생물학적 요소들의 위치와 종류를 인식하도록 하는 모델일 수 있다. 예를 들어, 별도의 기계학습 모델은, 제2 염색 방식(1122)으로 염색된 패치가 입력되면, 제2 염색 방식(1122)이 발현시키는 생물학적 요소인 B를 검출하도록 학습될 수 있다. 여기에서, 제2 염색 방식(1122)이 암 세포에 발현되는 염색이라면, 별도의 기계학습 모델은 제2 염색 방식(1122)으로 염색된 패치를 수신하여 암 세포를 검출하도록 학습될 수 있다. 검출의 결과는 각 암 세포의 위치를 가리키는 점일 수도 있고, 암 세포를 픽셀 수준에서 분할(segmentation)한 결과일 수도 있다.
도 11에는 도시되지 않았으나, 프로세서(110)는 패치(1132) 및 사용자 입력에 기초하여 생성된 적어도 하나의 어노테이션을 이용하여 제1 머신러닝 모델(1160)을 학습할 수도 있다. 여기에서, 어노테이션은 이미지(1141)에 기초하여 생성되는 것일 수 있다. 예를 들어, 어노테이션을 활용한 제1 머신러닝 모델의 학습은, 도 10 및 도 11을 참조하여 상술한 학습 데이터를 정답(ground truth) 데이터로 활용한 학습의 성능이 충분하지 못한 경우에 부가적으로 수행될 수 있으나, 이에 한정되지 않는다.
예를 들어, 사용자(30)는 이미지(1141)를 참조하여 어노테이션을 수행할 수 있고, 어노테이션에는 패치(1142) 내의 위치 정보가 포함될 수 있다. 한편, 어노테이션을 수행하는 사용자의 수에는 제한이 없다.
한편, 프로세서(110)는 학습된 제1 머신러닝 모델(1160)에 포함된 적어도 하나의 레이어를 추가, 제거 또는 제거 후 추가함으로써 별도의 머신러닝 모델을 생성할 수도 있다. 예를 들어, 프로세서(110)는 학습된 제1 머신러닝 모델(1160)에서 이미지를 그리는 역할을 하는 레이어를 제거하고, 최종 목적 작업을 하는 레이어를 새롭게 추가함으로써 별도의 머신러닝 모델을 생성할 수 있다. 여기에서, 최종 목적 작업은, 이미지들(1131, 1141)로부터 식별 가능한 생물학적 요소 이외에 별도로 식별될 필요가 있는 생물학적 요소를 추가적으로 인식하는 작업을 의미할 수 있다. 또는, 최종 목적 작업은, 바이오 마커의 발현 정도 또는 치료 반응성의 예측 등의 의학적 정보를 도출할 수 있는 작업을 의미할 수도 있다.
도 10 및 도 11을 참조하여 상술한 바에 따르면, 같은 조직을 서로 다른 종류의 물질로 염색한 병리 슬라이드 이미지들이 머신러닝 모델의 학습에 활용됨으로써, 사람의 어노테이션에 따른 부정확 문제와 비용 증가 문제가 해소될 수 있고, 학습 데이터가 대량으로 확보될 수 있다.
도 12는 일 실시예에 따른 프로세서의 동작이 구현된 일 예를 설명하기 위한 도면이다.
도 12를 참조하여 후술할 예는 도 10 및 도 11을 참조하여 상술한 프로세서(110)의 동작일 수 있다. 예를 들어, 도 12에 도시된 예에 따라, 프로세서(110)는 제1 머신러닝 모델(1050, 1160)을 학습할 수 있다.
도 12를 참조하면, 서로 다른 방식으로 염색된 병리 슬라이드 이미지들을 선택하는 화면(1210)이 도시되어 있다. 다만, 화면(1210)의 구성은 일 예에 불과하며, 다양한 방식으로 변경될 수 있다.
화면(1210)에는 타겟 슬라이드 이미지들의 목록(1220) 및 참조 슬라이드 이미지들의 목록(1230)이 표시될 수 있다. 예를 들어, 타겟 슬라이드 이미지는 제1 염색 방식(1021, 1121)으로 염색된 이미지일 수 있고, 참조 슬라이드 이미지는 제2 염색 방식(1022, 1122)으로 염색된 이미지일 수 있다.
사용자(30)에 의하여 이미지(1221) 및 이미지(1231)가 선택되고, 실행 버튼(1240)이 선택됨으로써, 프로세서(110)는 도 10 및 도 11을 참조하여 상술한 동작을 수행할 수 있다. 예를 들어, 프로세서(110)는 이미지(1231)에 기초하여 이미지(1221)에 표현된 생물학적 요소(예를 들어, 세포, 단백질 및/또는 조직)의 위치 및/또는 종류가 무엇인지 예측하도록 제1 머신러닝 모델(1050, 1160)을 학습할 수 있다.
상술한 프로세서(110)의 동작에 의하여, 이미지(1221)에 표현된 생물학적 요소의 위치 및/또는 종류가 예측된 화면(1250)이 출력될 수 있다. 다만, 도 12에 도시된 화면(1250)의 구성은 일 예에 불과하며, 다양한 방식으로 변경될 수 있다.
예를 들어, 화면(1250)에는, 이미지(1221) 중에서 현재 화면(1250)에 출력된 부분이 표시된 미니 맵(1251)이 출력될 수 있다. 또한, 화면(1250)에는, 현재 화면(1250)에 표시된 부분 중에서 사용자(30)가 주목하는 부분을 나타내는 윈도우(1252)가 설정될 수 있다. 이 때, 윈도우(1252)의 위치 및 크기는 기 설정될 수도 있고, 사용자(30)에 의하여 조정될 수도 있다.
한편, 도 4 및 도 11을 참조하여 상술한 어노테이션의 수행 예들을 도 13a 및 도 13b를 참조하여 설명한다.
도 13a 및 도 13b는 일 실시예에 따른 사용자 입력에 기초하여 어노테이션이 생성되는 예들을 설명하기 위한 도면들이다.
머신러닝 모델이 타겟 이미지에서 생물학적 요소(예를 들어, 조직, 세포, 구조 등)를 인식하는 성능이 충분하지 못하다고 판단되는 경우, 사용자(30)가 직접 어노테이션을 수정할 수 있다.
도 13a를 참조하면, 만약 병리 슬라이드 이미지(1310)의 영역(1311)에 나타난 세포들(1321, 1322, 1323)의 종류 및/또는 위치가 잘못 예측되었다고 가정하면, 사용자(30)는 세포들(1321, 1322, 1323)의 레이블링을 직접 수정할 수 있다.
도 13b를 참조하면, 사용자(30)는 병리 슬라이드 이미지(1330)의 영역(1331)에 나타난 복수의 세포들을 포함하는 그리드(1340)를 선택할 수 있고, 그리드(1340)에 포함된 세포들 또는 조직에 대한 레이블링을 일괄적으로 수정할 수도 있다.
상술한 바에 따르면, 전문가의 어노테이션 작업에 의존하는 기존의 머신러닝 모델의 학습과 달리, 프로세서(110)는 어노테이션 작업이 수행되지 않더라도(또는, 적은 양의 어노테이션 결과에 의해서도) 머신러닝 모델을 성능을 향상시킬 수 있다. 이에 따라, 머신러닝 모델에 의한 병리 슬라이드 이미지의 분석 결과는 정확도가 향상될 수 있다. 또한, 프로세서(110)는 병리 슬라이드 이미지의 분석 결과를 이용하여 피검자의 치료 반응을 예측할 수 있는 바, 치료 반응의 예측 결과의 정확성도 담보될 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하며, 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점을 포함하는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 적어도 하나의 메모리; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 프로세서는,
    적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 상기 적어도 하나의 제1 대상체의 생물학적 정보(biological information)를 획득하고, 상기 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치(patch) 및 상기 생물학적 정보를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터에 의하여 제1 머신러닝 모델을 학습하고, 상기 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석하는 컴퓨팅 장치.
  2. 제 1 항에 있어서,
    상기 생물학적 정보는 제3 병리 슬라이드 이미지로부터 확인된 정보 및 상기 제1 대상체의 공간 전사체(Spatial Transcriptomics) 정보 중 적어도 하나를 포함하고,
    상기 제3 병리 슬라이드 이미지는 상기 제1 병리 슬라이드 이미지와 구별되는 방식으로 염색된 이미지를 포함하는 컴퓨팅 장치.
  3. 제 1 항에 있어서,
    상기 학습 데이터는,
    상기 제1 패치에 대응하는 유전자 발현(gene expression) 정보 및 상기 제1 패치에 나타난 적어도 하나의 세포의 종류 중 적어도 하나를 나타내는 데이터를 포함하고,
    상기 프로세서는,
    상기 학습 데이터를 정답(ground truth) 데이터로 이용하여 상기 제1 머신러닝 모델을 학습하는 컴퓨팅 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어를 추가 또는 제거함으로써 상기 대상체에 포함된 적어도 하나의 세포의 종류를 식별하는 제2 머신러닝 모델을 생성하는 컴퓨팅 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제2 병리 슬라이드 이미지에 표현된 제2 대상체의 공간 전사체 정보를 이용하여 상기 제2 병리 슬라이드 이미지에 대응하는 피검자의 치료 반응(therapeutic reaction)을 예측하는 컴퓨팅 장치.
  6. 제 5 항에 있어서,
    상기 치료 반응의 예측은 제3 머신러닝 모델에 의하여 수행되고,
    상기 제2 대상체의 공간 전사체 정보는 상기 학습된 제1 머신러닝 모델에 의하여 획득된 공간 전사체 정보 및 별도로 획득된 공간 전사체 정보 중 적어도 하나를 포함하는 컴퓨팅 장치.
  7. 제 6 항에 있어서,
    상기 제3 머신러닝 모델은 상기 학습된 제1 머신러닝 모델에 포함된 적어도 하나의 레이어로부터 추출된 특징 벡터(feature vector)를 이용하여 피검자의 치료 반응을 예측하도록 학습되는 컴퓨팅 장치.
  8. 제 6 항에 있어서,
    상기 제3 머신러닝 모델은 공간 전사체 정보에 포함된 유전자 발현 정보 및 상기 유전자 발현 정보에 대응하는 위치 정보를 이용하여 피검자의 치료 반응을 예측하도록 학습되는 컴퓨팅 장치.
  9. 제 2 항에 있어서,
    상기 학습 데이터는 상기 제1 패치 및 상기 제3 병리 슬라이드 이미지에 포함된 제2 패치를 포함하고,
    상기 제2 패치는 상기 제3 병리 슬라이드 이미지에서 상기 제1 패치와 대응하는 위치를 나타내는 패치를 포함하는 컴퓨팅 장치.
  10. 제 2 항에 있어서,
    상기 학습 데이터는 상기 제1 패치 및 상기 제3 병리 슬라이드 이미지에 포함된 제2 패치가 이미지 처리된 제3 패치를 포함하고,
    상기 제2 패치는 상기 제3 병리 슬라이드 이미지에서 상기 제1 패치와 대응하는 위치를 나타내는 패치를 포함하는 컴퓨팅 장치.
  11. 적어도 하나의 제1 대상체가 표현된 제1 병리 슬라이드 이미지 및 상기 적어도 하나의 제1 대상체의 생물학적 정보(biological information)를 획득하는 단계;
    상기 제1 병리 슬라이드 이미지에 포함된 적어도 하나의 제1 패치(patch) 및 상기 생물학적 정보를 이용하여 학습 데이터를 생성하는 단계;
    상기 학습 데이터에 의하여 제1 머신러닝 모델을 학습하는 단계; 및
    상기 학습된 제1 머신러닝 모델을 이용하여 제2 병리 슬라이드 이미지를 분석하는 단계;를 포함하는 병리 슬라이드 이미지를 분석하는 방법.
  12. 제 11 항에 있어서,
    상기 생물학적 정보는 제3 병리 슬라이드 이미지로부터 확인된 정보 및 상기 제1 대상체의 공간 전사체(Spatial Transcriptomics) 정보 중 적어도 하나를 포함하고,
    상기 제3 병리 슬라이드 이미지는 상기 제1 병리 슬라이드 이미지와 구별되는 방식으로 염색된 이미지를 포함하는 방법.
  13. 제 11 항에 있어서,
    상기 학습 데이터는,
    상기 제1 패치에 대응하는 유전자 발현(gene expression) 정보 및 상기 제1 패치에 나타난 적어도 하나의 세포의 종류 중 적어도 하나를 나타내는 데이터를 포함하고,
    상기 학습하는 단계는,
    상기 학습 데이터를 정답(ground truth) 데이터로 이용하여 상기 제1 머신러닝 모델을 학습하는 방법.
  14. 제 12 항에 있어서,
    상기 학습 데이터는 상기 제1 패치 및 상기 제3 병리 슬라이드 이미지에 포함된 제2 패치를 포함하고,
    상기 제2 패치는 상기 제3 병리 슬라이드 이미지에서 상기 제1 패치와 대응하는 위치를 나타내는 패치를 포함하는 방법.
  15. 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/002241 2022-03-03 2023-02-16 병리 슬라이드 이미지를 분석하는 방법 및 장치 Ceased WO2023167448A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024552307A JP2025506993A (ja) 2022-03-03 2023-02-16 病理スライド画像を分析する方法及び装置
EP23763647.7A EP4489011A4 (en) 2022-03-03 2023-02-16 METHOD AND APPARATUS FOR PATHOLOGICAL SLIDE IMAGE ANALYSIS

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220027211 2022-03-03
KR10-2022-0027211 2022-03-03
KR10-2023-0017338 2023-02-09
KR1020230017338A KR20230130536A (ko) 2022-03-03 2023-02-09 병리 슬라이드 이미지를 분석하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023167448A1 true WO2023167448A1 (ko) 2023-09-07

Family

ID=87850835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002241 Ceased WO2023167448A1 (ko) 2022-03-03 2023-02-16 병리 슬라이드 이미지를 분석하는 방법 및 장치

Country Status (4)

Country Link
US (2) US12530874B2 (ko)
EP (1) EP4489011A4 (ko)
JP (1) JP2025506993A (ko)
WO (1) WO2023167448A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4489011A4 (en) * 2022-03-03 2025-08-06 Lunit Inc METHOD AND APPARATUS FOR PATHOLOGICAL SLIDE IMAGE ANALYSIS
CN117831612A (zh) * 2024-03-05 2024-04-05 安徽省立医院(中国科学技术大学附属第一医院) 基于人工智能的gist靶向药物类型选择预测方法及系统
CN120431990B (zh) * 2025-07-07 2025-11-04 杭州华大生命科学研究院 功能单元预测模型构建方法及预测方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155381B1 (ko) * 2019-09-19 2020-09-11 두에이아이(주) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
KR102170297B1 (ko) * 2019-12-16 2020-10-26 주식회사 루닛 조직병리체학 데이터의 해석 정보를 제공하는 방법 및 시스템
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
KR20210139195A (ko) * 2020-05-13 2021-11-22 주식회사 루닛 의학 데이터로부터 바이오마커와 관련된 의학적 예측을 생성하는 방법 및 시스템
WO2021236544A1 (en) * 2020-05-18 2021-11-25 Genentech, Inc. Pathology prediction based on spatial feature analysis

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014140070A2 (en) 2013-03-14 2014-09-18 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods
US20190287645A1 (en) * 2016-07-06 2019-09-19 Guardant Health, Inc. Methods for fragmentome profiling of cell-free nucleic acids
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
WO2019172901A1 (en) * 2018-03-07 2019-09-12 Google Llc Virtual staining for tissue slide images
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CA3109279A1 (en) * 2018-05-24 2019-11-28 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Predicting cancer recurrence from spatial multi-parameter cellular and subcellular imaging data.
US12165743B2 (en) * 2018-11-09 2024-12-10 The Broad Institute, Inc. Compressed sensing for screening and tissue imaging
US20220180975A1 (en) * 2019-01-28 2022-06-09 The Broad Institute, Inc. Methods and systems for determining gene expression profiles and cell identities from multi-omic imaging data
KR20220015367A (ko) * 2019-05-31 2022-02-08 프리놈 홀딩스, 인크. 메틸화된 핵산의 고심도 시퀀싱 방법 및 시스템
KR102068279B1 (ko) * 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템
KR102068277B1 (ko) * 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
KR102166835B1 (ko) * 2019-10-28 2020-10-16 주식회사 루닛 신경망 학습 방법 및 그 장치
US12300006B2 (en) * 2019-12-23 2025-05-13 The Regents Of The University Of California Method and system for digital staining of microscopy images using deep learning
US11830227B2 (en) * 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image
US20210358571A1 (en) * 2020-05-13 2021-11-18 Tempus Labs, Inc. Systems and methods for predicting pathogenic status of fusion candidates detected in next generation sequencing data
CN115698335A (zh) * 2020-05-22 2023-02-03 因斯特罗公司 使用机器学习模型预测疾病结果
US20220261988A1 (en) * 2021-02-18 2022-08-18 Lunit Inc. Method and system for detecting region of interest in pathological slide image
US12488893B2 (en) * 2021-02-18 2025-12-02 Lunit Inc. Method and system for training machine learning model for detecting abnormal region in pathological slide image
US11482319B2 (en) * 2021-03-09 2022-10-25 PAIGE.AI, Inc. Systems and methods for processing electronic images to determine testing for unstained specimens
EP4489011A4 (en) * 2022-03-03 2025-08-06 Lunit Inc METHOD AND APPARATUS FOR PATHOLOGICAL SLIDE IMAGE ANALYSIS
US20240257910A1 (en) * 2023-01-30 2024-08-01 Research & Business Foundation Sungkyunkwan University Method and electronic device for predicting patch-level gene expression from histology image by using artificial intelligence model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155381B1 (ko) * 2019-09-19 2020-09-11 두에이아이(주) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
KR102170297B1 (ko) * 2019-12-16 2020-10-26 주식회사 루닛 조직병리체학 데이터의 해석 정보를 제공하는 방법 및 시스템
KR20210139195A (ko) * 2020-05-13 2021-11-22 주식회사 루닛 의학 데이터로부터 바이오마커와 관련된 의학적 예측을 생성하는 방법 및 시스템
WO2021236544A1 (en) * 2020-05-18 2021-11-25 Genentech, Inc. Pathology prediction based on spatial feature analysis
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4489011A4 *

Also Published As

Publication number Publication date
EP4489011A1 (en) 2025-01-08
JP2025506993A (ja) 2025-03-13
US12530874B2 (en) 2026-01-20
US20260120281A1 (en) 2026-04-30
US20230281971A1 (en) 2023-09-07
EP4489011A4 (en) 2025-08-06

Similar Documents

Publication Publication Date Title
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2017135496A1 (ko) 약물과 단백질 간 관계 분석 방법 및 장치
WO2021125744A1 (en) Method and system for providing interpretation information on pathomics data
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2012041333A1 (en) Automated imaging, detection and grading of objects in cytological samples
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2022124725A1 (ko) 화합물과 단백질의 상호작용 예측 방법, 장치 및 컴퓨터 프로그램
WO2021010671A9 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2020076133A1 (ko) 암 영역 검출의 유효성 평가 장치
WO2023191472A1 (ko) 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023146361A1 (ko) 인공지능 기반의 바이오 마커 선별 장치 및 방법
WO2025037735A1 (ko) 생체 조직 이미지를 분석하여 종양 조직의 지역적 특성을 측정하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2023287235A1 (ko) 병리 이미지 분석 방법 및 시스템
WO2023018085A1 (ko) 병리 슬라이드 이미지와 관련된 정보를 출력하는 방법 및 장치
WO2023068787A1 (ko) 의료 영상 분석 방법
WO2023128059A1 (en) Method and apparatus for tumor purity based on pathological slide image
WO2024242440A1 (en) Method and apparatus for predicting treatment response to immune checkpoint inhibitors
WO2025164990A1 (ko) 병리 진단 케이스의 대표 병변 이미지 생성 방법 및 이를 수행하는 컴퓨팅 시스템
KR20230130536A (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
Fu et al. Pix2Path: integrating spatial Transcriptomics and digital pathology with deep learning to score pathological risk and link gene expression to disease mechanisms
WO2023113414A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23763647

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024552307

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2023763647

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023763647

Country of ref document: EP

Effective date: 20241004