WO2022172852A1 - 閾値決定方法 - Google Patents

閾値決定方法 Download PDF

Info

Publication number
WO2022172852A1
WO2022172852A1 PCT/JP2022/004247 JP2022004247W WO2022172852A1 WO 2022172852 A1 WO2022172852 A1 WO 2022172852A1 JP 2022004247 W JP2022004247 W JP 2022004247W WO 2022172852 A1 WO2022172852 A1 WO 2022172852A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
threshold
staining
determination
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/004247
Other languages
English (en)
French (fr)
Inventor
沙耶 柴田
寛志 荻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to EP22752679.5A priority Critical patent/EP4293616A4/en
Priority to US18/276,535 priority patent/US12505542B2/en
Publication of WO2022172852A1 publication Critical patent/WO2022172852A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • This invention relates to a method for determining a threshold value when evaluating the staining state of a stained biological specimen by image analysis.
  • tissue specimen When the tissue specimen is evaluated as it is, unlike flow cytometry, which uses samples that have been pre-separated into cell units, there are a wide variety of artifact factors. For this reason, optimization of the threshold often requires subjective judgment and adjustment by an expert. However, the number of cells contained in tissue specimens is enormous, and the optimum threshold is not necessarily unique and may vary depending on specimen and imaging conditions. Furthermore, in a situation in which multiple immunohistochemical stainings (immunohistochemistry) are sequentially applied to the same specimen to analyze a large number of biological substances (referred to as multiplex immunostaining), single staining cannot occur. It is necessary to be aware of the possibility of inconsistent results such as this.
  • the present invention has been made in view of the above-mentioned problems, and is a technology that can efficiently optimize the threshold value used in determining the staining state from the image of the immunohistochemically stained specimen, with human judgment. intended to provide
  • One aspect of the present invention is a threshold value determination method for evaluating a stained biological specimen, and in order to achieve the above object, cells corresponding to individual cells in a processed image obtained by imaging the biological specimen are a region identifying step of identifying a region; setting a predetermined threshold for image density of the image to be processed; comparing the density with the threshold for each of the cell regions; a determination step of determining the staining state of whether the staining state of each of the cell regions is displayed, and a reception step of receiving a user's operation input for changing the determination result for each of the cell regions; and a resetting step of resetting the threshold according to the changed determination result.
  • the staining state of each cell region extracted from the processed image is determined by a preset threshold value. automatically determined based on However, since the threshold value at this time is not necessarily the optimum value, the threshold value is optimized by reflecting the judgment of an expert.
  • the threshold value can be corrected in the direction of approaching the optimum value.
  • the thresholds can be changed and set by the user, and the judgment results based on the set thresholds are displayed so that the user can evaluate the appropriateness.
  • this method a large number of cell regions appear in various places in the image, where the determination result is affected by the change of the threshold. For this reason, the task of confirming the presence or absence of such a change and the validity thereof and converging the threshold value to the optimum value is a heavy burden for the user.
  • the user instead of allowing the user to directly operate the threshold value, the user receives input to modify the displayed judgment result and resets the threshold value according to the result. Therefore, if the user finds a determination result that requires correction, he/she only has to point it out, and does not need to check the results for all cell regions. Therefore, it is possible to greatly improve the efficiency of the work and reduce the burden on the user.
  • the present invention judges the staining state based on the temporarily set threshold for the image of the stained biological specimen, and displays the result. Then, a change in the determination result by an operation input from the user is received, and the threshold value is reset accordingly. As a result, it is possible to efficiently optimize the threshold value for determining the staining state while making a judgment by a person.
  • FIG. 4 is a flow chart showing a sample analysis method to which the threshold determination method according to the present invention is applied;
  • FIG. 4 is a diagram schematically showing an example of a specimen image;
  • 4 is a flow chart showing threshold determination processing of the present embodiment.
  • FIG. 10 is a diagram schematically showing an example of a cell region extraction result; It is a figure which shows the example of a determination result typically. It is a figure which shows the example of a determination result typically. It is a figure which shows the example of a determination result typically. It is a figure which shows the example of a determination result typically. It is a figure which shows the example of a determination result typically.
  • FIG. 10 is a diagram schematically showing an example of an image showing a determination result and a change input; FIG.
  • FIG. 10 is a diagram schematically showing an example of an image showing a determination result and a change input;
  • FIG. 10 is a diagram showing the principle of threshold determination processing combining a plurality of sample images;
  • FIG. 10 is a diagram showing the principle of threshold determination processing combining a plurality of sample images;
  • FIG. 10 is a diagram showing the principle of threshold determination processing combining a plurality of sample images;
  • FIG. 10 is a diagram showing an example of an interface screen when a plurality of determination results are merged;
  • FIG. 10 is a diagram showing an example of an interface screen when a plurality of determination results are merged;
  • FIG. 1 is a flow chart showing an outline of a sample analysis method to which the threshold value determination method according to the present invention can be applied.
  • This sample analysis method is a method for performing so-called image cytometry, in which a multi-immunostained tissue sample is imaged and the image is analyzed to obtain various types of quantitative information.
  • the sample image to be processed is collected. Specifically, a tissue sample to be analyzed is stained by a predetermined staining method (step S101), and digital image data of the image is acquired (step S102). The tissue sample after imaging is decolorized (step S103). This operation is repeated until imaging is completed for all of the plurality of types of staining methods prepared in advance (step S104). In this way, a plurality of sample images corresponding to the number of staining types are collected. These specimen images are images obtained by applying different stainings to the same tissue specimen.
  • a part of the tissue sample is set as an analysis target region to be analyzed (step S105). Then, from each sample image, a partial image corresponding to the analysis target region is cut out as an analysis target image. These analysis target images are aligned (registered) so that their corresponding positions match each other (step S106).
  • cell regions corresponding to cells in the tissue are extracted from each analysis target image (step S107).
  • Various methods are known for extracting a cell region from an image. Also in this embodiment, it is possible to appropriately select and apply such known methods. For example, it is possible to adopt a method of inputting an image to be analyzed into a learning model or artificial intelligence, which is trained in advance using various stained images as teacher images using an appropriate learning algorithm. By doing so, a cell region can be extracted from the image. Further, for example, a method of distinguishing a cell region from other regions by binarization processing of an image with an appropriate threshold, a method of specifying a contour of a cell by edge extraction, or the like can be adopted.
  • the image to be analyzed may not be suitable for extracting cell regions.
  • an image to be analyzed in which a specific structure inside a cell such as a cell nucleus is selectively stained does not necessarily clearly show the outline of the cell.
  • such images may not be suitable for use in identifying areas occupied by individual cells in the image.
  • extraction results in images stained with other staining methods that clearly show the area occupied by the cells can be used. That is, the registration process (step S106) enables alignment between the stained images. Therefore, a region corresponding to a cell region extracted from one or more other stained images can be regarded as a cell region in the analysis target image.
  • the cell region in each analysis target image may be specified by a method of directly extracting the cell region from the analysis target image by image processing.
  • a method of directly extracting the cell region from the analysis target image by image processing even by an indirect identification method in which regions corresponding to individual cell regions extracted using one or more images stained with other staining methods are regarded as individual cell regions in the image to be analyzed. good.
  • FIG. 2 is a diagram schematically showing an example of a specimen image.
  • the specimen image Is is an image containing, as a subject, at least a portion of a tissue specimen S that has been collected from a living body or produced by culturing and then stained with an appropriate staining method. Imaging can be performed, for example, by optical microscope imaging. One sample image Is is acquired for each type of staining.
  • a partial image corresponding to at least a partial area Ra to be analyzed is cut out of the specimen image Is as an analysis target image Ia.
  • the image to be analyzed Ia includes images of a plurality of cells C that constitute tissue.
  • a cell region Rc corresponding to the cell C is extracted by appropriate image processing for region extraction.
  • the cells C are represented by circles of the same size.
  • cells have various sizes and shapes, and may contain multiple types of cells.
  • the purpose of this processing is to calculate quantitative information on these cells C, such as their types, numbers, sizes, shapes, densities, distributions in tissues, and amounts of specific substances.
  • At least one quantitative value related to the staining density is calculated for each extracted cell region (step S108).
  • Various values that quantitatively represent the degree of staining of cells or biological substances in cells are used as quantitative values. For example, the average concentration of the entire cell area, the maximum concentration or the average concentration of the area where the color corresponding to the staining is particularly strong in the cell area (for example, the center or the periphery of the cell) can be used. This makes it possible to quantify how much the staining affects individual cell regions. Hereinafter, this value will be referred to as "staining density”.
  • a threshold is determined for determining the staining state exhibited by the cells in the tissue with respect to the staining (step S109).
  • the term “staining state” as used herein is an index that indicates whether or not cells are stained with one type of staining.
  • the staining concentration is higher than a predetermined threshold value, the cell is determined to be "positive” for the staining.
  • the staining density is lower than the threshold, the cell is determined to be "negative” for the staining.
  • Step S109 is processing for determining a threshold for this purpose, and the threshold determination method of the present invention is applied here. The specific processing contents will be described later.
  • the stained state of each cell region is determined (step S110). Furthermore, cytometry is performed to obtain various types of quantitative information representing properties of each cell region (step S111). The content of cytometry processing and the type of quantitative information obtained thereby are arbitrary. Such information is used for various pathological diagnoses and research together with images of tissue specimens. As such, this embodiment belongs to the image cytometry technique for analyzing a tissue sample in units of single cells without separating the tissue sample into individual cells.
  • the threshold determination process of the present embodiment is devised so as to be able to efficiently carry out the work therefor while incorporating the user's judgment.
  • FIG. 3 is a flowchart showing the threshold determination process of this embodiment.
  • This processing is processing for reducing the influence of artifacts by optimizing the threshold value set for the staining concentration for determining the staining state (positive/negative) of cells.
  • this threshold determination process is performed for each of a plurality of types of staining. That is, a threshold is set for each specimen image captured with one stain. In practice it is possible to perform thresholding for several stains simultaneously. However, in order to explain the principle, the processing for determining the threshold value for one stain will be described below.
  • This processing can be realized by executing a predetermined control program by a processing device having an appropriate arithmetic function, such as a general-purpose computer device.
  • a processing device for this purpose requires an arithmetic processing unit having an arithmetic function, an accepting unit for accepting an operation input from a user, and a display unit for displaying an image.
  • a processing device having a general hardware configuration such as a personal computer can be used. Therefore, a detailed description of the device configuration for executing this process is omitted here.
  • a sample image Is for each stain is acquired (step S201).
  • An analysis target area Ra is set therein (step S202), and an analysis target image Ia is cut out.
  • a cell region Rc is extracted from the clipped analysis target image Ia (step S203), and the staining density is calculated for each cell region (step S204).
  • FIG. 4 is a diagram schematically showing an example of extraction results of cell regions.
  • the image to be analyzed Ia is divided into a cell region Rc corresponding to the cell C and a surrounding background region by appropriate image processing.
  • the following quantification processing is performed for each of these cell regions Rc.
  • an appropriate threshold is provisionally set for the dyeing density (step S205).
  • the staining concentration which is a quantitative value regarding the concentration of each cell region Rc obtained previously
  • the threshold value By comparing the staining concentration, which is a quantitative value regarding the concentration of each cell region Rc obtained previously, with the threshold value, the staining state of each cell, that is, whether the cell is positive or negative for the staining is determined. (step S206). Specifically, the staining density obtained for each cell region Rc is compared with a set threshold value, and if the staining density is higher than the threshold value, the cell region Rc is determined to be positive for the staining. On the other hand, if the staining density is lower than the threshold, this cell region Rc is determined to be negative for the staining. Whether the staining density is determined to be positive or negative when the staining concentration is equal to the threshold value may be determined as long as the determination criteria are constant.
  • the threshold at this time is a provisionally set initial value.
  • the initial value may be a predetermined value, or may be a value designated by the user's setting input.
  • the image may be analyzed by a known image processing algorithm used for image binarization, such as the discriminant analysis method or Otsu's method, and the calculated threshold value may be applied as the initial value.
  • the determination result is displayed on an appropriate display device, for example, the display screen of a computer device, and presented to the user (step S207).
  • the display of the determination result is a display in which visual information representing the determination result is superimposed on the original analysis target image Ia.
  • the original analysis target image Ia that has not been processed and the image representing the determination result may be displayed side by side.
  • FIG. 5A to 5D are diagrams schematically showing examples of determination results.
  • FIG. 5A is a diagram schematically showing an example of the analysis target image Ia. Each cell in the stained tissue specimen is stained to various densities. In the analysis target image Ia obtained by picking up this, each cell region Rc has various brightnesses according to the staining density of the cells. Cells denoted by symbols C1 to C12 in FIG. 5A are cells stained at a certain level or higher, and FIG. 5B is a graph showing these staining densities.
  • the circles represented by symbols C1, C2, etc. in each figure after FIG. 5A are regions in the image in which there is an image corresponding to the cell C in the sample S, that is, the "cell region” Rc.
  • cell regions in images may also be simply referred to as “cells” unless there is a particular need to distinguish them.
  • 5C and 5D schematically show an example in which the analysis target image Ia shown in FIG. 5A and an image in which the image processing indicating the cells determined to be positive by hatching are superimposed and added are arranged.
  • FIG. 5C corresponds to this situation, with each cell listed here hatched.
  • the left figure is an image Ia1 superimposed with hatching representing the determination result while leaving the density information of the cells in the original analysis target image Ia, and the right figure shows only the outline of the cell and the determination result. It is.
  • FIG. 5D shows the state at this time. Also in this case, the left figure is an image Ia2 in which hatching indicating the determination result is superimposed on the density information of the cells, and the right figure shows only the outline of the cell and the determination result.
  • the judgment results change, but it is not necessarily easy for the user to intuitively perceive the change. That is, for example, when the user manually changes the set value of the threshold value, the determination result changes accordingly, and the change can appear in various modes at various positions within the image. For this reason, it is not easy for the user to check them one by one and accurately determine in a short time whether or not the change in the threshold is in the direction of approaching the optimum value.
  • the determination result for each cell is presented to the user by screen display. Then, a change input is accepted, and the threshold value is recalculated so as to reflect the change result. That is, the threshold value is corrected by the user instructing the correct determination for the cells determined to require modification because the determination result is not appropriate. Thereby, the judgment of a user having specialized knowledge can be reflected in the threshold.
  • the threshold value instead of directly manipulating the threshold value, it is only necessary to look over the image to which the determination result is added and change the determination of those deemed to require correction. Therefore, the user can perform operation input based on more intuitive judgment.
  • step S207 shows the determination result of the staining state (positive/negative) based on the current threshold.
  • operation input can be received from an appropriate input device such as a keyboard, mouse, or touch panel.
  • step S208 When an operation input indicating that no correction is necessary is received (NO in step S208), the threshold at that time is determined as the optimum value (step S209), and the threshold determination process ends. On the other hand, if the user makes an input for change, it is determined that correction is necessary (YES in step S208). In this case, the change input is accepted (step S210) until the user indicates the intention to complete the input (step S211). When the change input by the user is completed (YES in step S211), the threshold is reset so as to reflect the changed result (step S212).
  • step S206 the staining state of each cell is determined again using the reset threshold value (step S206), and the result is displayed (step S207). Thereby, the user can confirm the determination result based on the newly set threshold value. Then, in the same manner as described above, by repeating the process of changing the determination result as necessary and resetting the threshold accordingly, the threshold can be brought closer to the optimum value.
  • FIGs. 6A and 6B are diagrams schematically showing examples of images showing determination results and change inputs.
  • An image Ia3 shown in the upper part of FIG. 6A is an image obtained by adding hatching to the original analysis target image Ia to show the determination result based on the initially set threshold value Th1.
  • the shading of each cell region Rc in the figure represents the staining density of the corresponding cell.
  • FIG. 6B is a graph of the staining densities of the cells C1 to C12, and the staining densities are the same as those shown in FIG. 5B.
  • the hatched ones represent that the cells corresponding to the cell region were determined to be positive.
  • Cell regions corresponding to cells C1 to C3, C6, C8, C10, and C11 having staining densities higher than the threshold Th1 are hatched to indicate positive determination.
  • non-hatched cells indicate that the cells were determined to be negative.
  • cells determined to be negative may include cells with no or little staining, as well as cells that are affected by staining to some extent but whose concentration does not reach the threshold.
  • the image displayed in step S206 may be an image obtained by superimposing information representing the determination result on the original analysis target image Ia, or may be an image representing only the determination result, as exemplified here. . In this case, it is more preferable to display the unprocessed analysis target image Ia and the image Ia3 representing the determination result side by side in order to facilitate the user's observation. Furthermore, it may be an image in which an unprocessed image to be analyzed Ia and an image Ia3 superimposed with the determination result are arranged.
  • the user can change the determination result for the image in which each cell region is given a positive or negative determination result.
  • the user can designate a cell for which the determination result is to be changed.
  • a cell region corresponding to cell C7 is specified.
  • the user can express his/her intention to change the determination by, for example, clicking the mouse.
  • FIG. 6A shows an example Ia4 of the image after the change input, and the cell C7 designated by the user is newly hatched. This indicates that the judgment result has changed from negative to positive. Conversely, if the specified cell was determined to be positive, the determination result is changed to negative. In this case, the hatching is removed from the changed image Ia4. In this manner, the user can sequentially select cells to be changed and change the determination result.
  • Such a change operation by the user can be considered as a teaching input by the user regarding the suitability of the judgment result. That is, it can be said that the user instructed that the determination result of the cell for which the determination was changed was an erroneous determination. On the other hand, it can be said that the user has instructed that the automatically determined result is correct even for the cells that have not been changed. However, it does not mean that all determination results after inputting changes are correct. This is because it may include erroneous judgments overlooked by the user and cases in which the user's change itself is erroneous. In principle, it is practically impossible to appropriately determine the staining state of all cells with only a single threshold value. For this reason, it is preferable to reset the threshold value by regarding the results of the change work by the user, including those that have not been changed, as a "tentatively correct answer".
  • the reset threshold does not need to return a judgment result that completely matches the judgment result after the change by the user. That is, the threshold may be adjusted so that the result of re-determination based on the new threshold is as close as possible to the determination result after the change by the user. Specifically, the discrepancy between the judgment result obtained when the judgment is executed based on the reset threshold and the judgment result after the change by the user is caused when the threshold is temporarily set. It suffices if the divergence between the previous determination result and the determination result after the change by the user is smaller. Thereby, the determination result based on the threshold value can be made closer to the subjectivity of the user.
  • the threshold is smaller when the former is significantly higher, and vice versa.
  • change the threshold to be larger By doing so, the instruction by the user can be reflected in the threshold value.
  • the threshold For example, it is possible to statistically process staining densities of cells for which determination has been changed by the user, and to use, for example, an average value or a median value as a new threshold value.
  • the cell staining density value changed from "negative to positive” and the cell staining density value changed from "positive to negative” can be handled separately. For example, they may be weighted differently and used for calculation.
  • the value of the staining density of cells whose determination results have not been changed may be taken into account in the calculation.
  • the cell densities of all cells may be used, or only the cell densities of some cells whose cell densities are close to the threshold value may be used.
  • various automatic calculation methods can be applied to bisect the area in the distribution indicated by the staining density of each cell.
  • the aforementioned Otsu method, discriminant analysis method, multivariate analysis such as support vector machine (SVM), and calculation methods using machine learning algorithms can be applied.
  • SVM support vector machine
  • the machine learning method it is also possible to apply fine-tuning in which additional learning is performed using data changed by the user from the learned state.
  • the threshold is changed from the initial value Th1 to the value Th3 as shown in FIG. 6B.
  • This value Th3 is a threshold value for newly determining the cell C7 as positive.
  • cell C7 which was originally determined to be negative, was treated as positive, while cell C12, which was determined to be negative and was not changed, was treated with a higher staining density than cell C12 in order to maintain the determination result.
  • a threshold will be set to a value lower than the staining density. If the determination is changed for the cell C12 as well, the value will be lower than the staining density. Conversely, for example, if the positive determination of the cell C10 has been changed to negative, the threshold is changed in the direction of determining the cell C10 as negative, that is, to a larger value.
  • the result of re-determination based on the new threshold is displayed (steps S207 and S208).
  • visual information different from other cell regions is given to the cell region for which a result different from the previous determination is obtained, in order to facilitate the discovery of the cell region. For example, it is possible to emphasize the outline of the cell region, blink the cell region, or alternately display the previous determination result and the new determination result temporally. This makes it easier for the user to find a cell whose determination has changed.
  • An image representing the previous determination result and an image representing the new determination result may be displayed side by side.
  • the displayed image has a high magnification.
  • a lower-magnification image is preferable in order to confirm the overall determination result. Therefore, the high-magnification image and the low-magnification image each superimposed with the determination result may be displayed selectively or simultaneously.
  • the field of view of the low-magnification image includes the entire field of view of the high-magnification image, in other words, the high-magnification image is an enlarged part of the low-magnification image.
  • FIGS. 7A to 7C are diagrams showing the principle of threshold determination processing combining a plurality of sample images.
  • FIGS. 7A and 7B show images obtained by staining the same specimen with two different staining methods and capturing images.
  • the staining method corresponding to FIG. 7A is called “staining A”
  • the staining method corresponding to FIG. 7B is called “staining B”.
  • these two staining methods do not stain the same cells.
  • the same cell is not positive for both staining A and staining B.
  • proteins known to be expressed in T cells such as CD3, CD4, and CD8, are not expressed in B cells, and conversely, proteins such as CD20 and CD79a, which are expressed in B cells, are not expressed in T cells. .
  • image Ia5 shown in FIG. 7A cells stained with various concentrations of stain A are distributed mainly in the upper left part of the figure.
  • image Ia6 shown in FIG. 7B cells stained with stain B are distributed mainly in the lower right side of the figure.
  • staining A and staining B are not inherently expressed together in one cell.
  • the image Ia7 shown in the upper part of FIG. 7C is an image in which the dyeing state determination results obtained by temporarily setting appropriate threshold values for the dyeing A and the dyeing B are superimposed on each other.
  • the threshold can be readjusted. That is, the user can check the determination result and, when determining that correction is necessary, specify the cell and instruct the correct determination. Specifically, for example, as shown as image Ia8 after correction in the lower part of FIG. With regard to C34, one of the determinations can be changed based on the staining state, comparison with surrounding cells, and the like. In this example, the cell C32 is changed from positive to negative by staining B, and the cells C33 and C34 are changed from negative to positive by staining A. In this way, it is possible to eliminate inconsistency in the determination result with the provisionally set threshold value.
  • the confirmation and correction work can be performed comprehensively by the user by looking at the images Ia5 and Ia6 representing the staining results and the image Ia7 combining the individual judgment results.
  • the images Ia5 to Ia7 are displayed side by side on the same screen.
  • at least two of these images Ia5 to Ia7 may be superimposed and displayed. While viewing the display screen, the user can determine which cells require correction based on the degree of staining of each cell, comparison with surrounding cells, and the like.
  • the threshold for the staining is recalculated and a new threshold is set.
  • the specific method is as described above. If the decision has not changed, the current threshold can be established as the optimal value for that stain.
  • the determination can be changed for both staining A and staining B here, the specification may be such that the determination can be changed for only one type of staining, for example. For example, in a state in which the threshold for stain A has already been optimized, it is not preferable to change the determination result for stain A in order to determine the threshold for stain B. In this case, dyeing A can be prohibited from being changed.
  • FIGS. 8A and 8B are diagrams showing an example of an interface screen when a plurality of determination results are merged and a change input is received.
  • FIG. 8A when the user designates a cell for which the determination result is to be confirmed by operating the mouse or the like with the pointer 61, the determination result for the cell is popped up.
  • the cell C33 is specified, and on the pop-up screen P, check boxes for both staining A and staining B are checked. This means that the determination result was positive for each of staining A and staining B.
  • the user can perform an operation input to change the determination from positive to negative by performing an operation to uncheck the staining for which the determination is to be changed. Conversely, when changing from negative to positive, a new check should be added to the corresponding staining. Even when three or more stainings are combined, it is possible to display the determination results on the pop-up screen P and make changes in the same manner.
  • the user interface for inputting changes is not limited to this.
  • the judgment results are displayed together, but if the change input is accepted only for staining B, the judgment is changed when the cell area corresponding to the cell is clicked, as in the previous example. You may do so.
  • one threshold value is set for the rectangular analysis target region Ra selected by the user from the sample image Is.
  • the tissue within the analysis target region contains a plurality of mutually different structures, even cells of the same type may have different staining densities. This is the case, for example, when the tissue is divided into cortex and medulla.
  • the division of the analysis target area can be performed, for example, as follows.
  • Various area division methods can be used as a method for automatically dividing by image processing.
  • the image within the analysis target area can be smoothed by low-pass filter processing, and the image can be divided into a plurality of areas according to the difference in density.
  • a specific method for example, from a sample image stained with proteins expressed by cells known to exist in a specific area, an area where stained cells exist at high density is extracted, and that area and other areas are extracted. can be considered.
  • a skilled user can, for example, use an image in which cell nuclei are stained to distinguish structural differences from cell shape and arrangement.
  • the area can be specified by drawing a free-form curve on the image of the analysis target area displayed on the screen.
  • the analysis target region Ra is selected by the user, but the analysis target region Ra may be automatically determined from the specimen image Is.
  • the sample image Is may be automatically divided into several blocks of the same size, and these block images may be given priority and presented as the analysis target region Ra in order.
  • it is effective to reduce the influence of artifacts, for example, by preferentially setting blocks that may contain many artifacts as analysis target regions.
  • the tissue sample S corresponds to the "specimen” of the present invention
  • the sample image Is and the analysis target image Ia obtained by capturing this are the "original image” and “image” of the present invention, respectively.
  • “Image to be processed" For example, the images shown in FIGS. 5C and 6A correspond to the "result image” of the present invention.
  • steps S201 to S203 correspond to the "region identifying process” of the present invention
  • steps S205 to S206 correspond to the "determining process” of the present invention.
  • steps S207 to S211 correspond to the "accepting step” of the present invention
  • step S212 corresponds to the "resetting step” of the present invention.
  • step S207 executed after execution of step S212 corresponds to the "redisplay step” of the present invention.
  • the present invention is not limited to the above-described embodiments, and various modifications other than those described above can be made without departing from the spirit of the present invention.
  • the combination of multiple types of staining results is not limited to this and is arbitrary.
  • Specimen images obtained by staining methods such as nuclear staining, which can effectively stain specific cells and biological substances, serve effectively as objects for comparison with specimen images obtained by other staining methods. is. Therefore, it is reasonable to combine such images with other images to perform threshold optimization in the other images.
  • the threshold determination process of the above embodiment is a process of optimizing the thresholds for each of staining A and staining B using specimen images for staining A and staining B and their determination results.
  • dyeing A and dyeing B are treated equally.
  • priorities may be set for a plurality of types of staining, and the thresholds may be optimized in order according to the priorities. For example, an optimal threshold can first be established for a stain that serves as a basis for setting thresholds for other stains, and the results can be used to optimize thresholds for other stains. This makes it possible to stabilize the optimization result.
  • the threshold for staining A is optimized in consideration of the results of staining B, staining C, etc., and the thresholds for other stainings are optimized based on that. method can be adopted. It should be noted that there may be a plurality of types of dyeing used as a reference.
  • the user interface in the above embodiment is an example.
  • the method of presenting the determination result to the user and the method of accepting the operation input from the user are not limited to the above, and any method can be used.
  • a result image obtained by superimposing information representing the determination result on the image to be processed is displayed.
  • the image to be processed and the resulting image may be displayed on the same screen.
  • the biological specimen may be multiple immunohistochemically stained.
  • determination results of multiple types of immunohistochemical staining may be displayed.
  • the staining state is determined for each of the multiple types of immunohistochemical staining
  • operation input is received for each of the multiple types of immunohistochemical staining
  • the resetting step multiple types of immune tissue staining are performed.
  • the configuration may be such that the threshold value is reset for each tissue staining. According to such a configuration, the optimization of thresholds for multiple types of staining can proceed in parallel.
  • the determination step, reception step, and resetting step may be performed for each of a plurality of types of immunohistochemical staining.
  • this corresponds to a process of sequentially determining threshold values for a plurality of staining types one by one. According to such a configuration, it is possible to improve work efficiency by optimizing the threshold values in descending order of priority among the plurality of types of dyeing.
  • the threshold determination method in the resetting step, the discrepancy between the determination result obtained when the determination step is executed based on the reset threshold and the determination result after the change based on the operation input is assumed to be It is preferable that the threshold is reset so as to be smaller than the deviation between the determination result in the previous determination step executed based on the set threshold and the determination result after the change based on the operation input. According to such a configuration, it is possible to obtain a determination result closer to the user's subjective determination by resetting the threshold.
  • the image to be processed may be divided into a plurality of regions, and thresholds may be set individually for the plurality of regions. Even the same cells may have different staining states depending on the state of the surrounding tissue or the formation of a specific structure. By setting a threshold value for each region obtained by dividing the image to be processed into a plurality of regions, it is possible to perform appropriate determination regardless of such a difference in staining state.
  • the processed image is obtained by cutting out a partial area from the original image of the biological specimen, and the threshold is set individually for each of the multiple processed images at different positions in the original image.
  • the threshold is set individually for each of the multiple processed images at different positions in the original image.
  • a result display step may be provided for executing the determination step based on the reset threshold value and displaying a new determination result.
  • the user can verify the adjustment result by presenting the determination result based on the reset threshold value to the user.
  • the determination process, the reception process, and the reset process may be executed again based on the reset threshold. According to such a configuration, it is possible to bring the threshold value closer to the optimum value by repeating resetting of the threshold value, verification thereof, and readjustment of the threshold value based thereon.
  • This invention is applicable in the fields of medical and biological research to the determination of the staining state based on the image of an immunohisto-stained tissue specimen.
  • it is suitable for use in single-cell analysis of multiple immunostained specimens.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本発明に係る閾値決定方法は、染色された生物標本を撮像した被処理画像のうち個々の細胞に対応する細胞領域を特定する領域特定工程（Ｓ２０１～Ｓ２０３）と、被処理画像の画像濃度に対して閾値を仮設定し、細胞領域各々につきその濃度と閾値とを比較して染色に対し陽性であるか陰性であるかを判定する判定工程（Ｓ２０５～Ｓ２０６）と、細胞領域各々の染色状態の判定結果を表示し、判定結果を変更するためのユーザーの操作入力を細胞領域ごとに受け付ける受付工程（Ｓ２０７～Ｓ２１１）と、変更後の判定結果に応じて閾値を再設定する再設定工程（Ｓ２１２）とを備える。染色された生物標本の画像から染色状態を判定する際に用いられる閾値を、人による判断を交えつつ効率的に最適化することが可能である。

Description

閾値決定方法
　この発明は、染色された生物標本の染色状態を、画像解析によって評価する際の閾値を決定する方法に関するものである。
　医学や生物学の研究分野では、疾患メカニズムや生体メカニズムの解明、薬剤作用機序の解明等を目的として、組織標本や細胞標本など生体由来標本のシングルセル単位での解析が行われている。これらの解析においては、タンパク質やＲＮＡ（リボ核酸）等の生体由来物質を種々の染色方法で染色し、細胞の染色状態、具体的には細胞が当該染色に対し陽性であるか陰性であるかを評価することで定量的または定性的な解析が行われる。この評価結果には、計測時のノイズや、染色手法に起因する染色ばらつきなどのアーチファクトが含まれ得る。そのため、生物学的に有意な解析を行うためには、このようなアーチファクトの影響を受けない解析方法が必要となる。
　シングルセル解析の一手法であるフローサイトメトリーにおいては、例えばアイソタイプ・コントロールを用いて非特異的な抗原抗体反応を判断し、陽性か陰性かを判定するための閾値を手動で決定することが行われる（例えば、特許文献１参照）。一方、組織標本を用いたイメージサイトメトリーにおいては、画像情報から自動的に閾値を決定する手法や手作業により段階的に閾値を最適化する方法、あるいはコントロールとなる標本や細胞のデータからアーチファクトを軽減する方法などが提案されている（例えば、特許文献２、３参照）。
特許第６１８７９８９号公報 特表２０１０－５００５７３号公報 特表２０１９－５１３２５５号公報
　組織標本をそのまま評価対象とする場合には、予め細胞単位に分離された試料を用いるフローサイトメトリーと異なり、アーチファクトの要因が多岐に亘る。このため、閾値の最適化には、熟練者の主観による判断および調整が必要となるケースが多い。しかしながら、組織標本に含まれる細胞の数は膨大であり、また最適な閾値は必ずしも一意でなく標本および撮像の状態によっても変わり得る。さらに、同一の標本に複数の免疫組織染色（免疫組織化学）を逐次的に施し多数種の生体由来物質を解析する状況（多重免疫染色と称される）においては、単独の染色では生じ得ないような結果の不整合を生じる可能性があることを把握しておく必要がある。
　これらのことから、現時点では、人による判断を交えつつ閾値を最適化する際の調整作業を効率よく行うための環境が、十分に整っているとは言えない。
　この発明は上記課題に鑑みなされたものであり、免疫組織染色された標本の画像から染色状態を判定する際に用いられる閾値を、人による判断を交えつつ効率的に最適化することのできる技術を提供することを目的とする。
　この発明の一の態様は、染色された生物標本を評価するための閾値決定方法であって、上記目的を達成するため、前記生物標本を撮像した被処理画像のうち個々の細胞に対応する細胞領域を特定する領域特定工程と、前記被処理画像の画像濃度に対して所定の閾値を設定し、前記細胞領域各々につきその濃度と前記閾値とを比較して、染色に対し陽性であるか陰性であるかの染色状態を判定する判定工程と、前記細胞領域各々の前記染色状態の判定結果を表示し、前記判定結果を変更するためのユーザーの操作入力を前記細胞領域ごとに受け付ける受付工程と、変更後の前記判定結果に応じて前記閾値を再設定する再設定工程とを備えている。
　このように構成された発明では、被処理画像から抽出された細胞領域の各々の染色状態、具体的には細胞領域が染色に対し陽性であるか陰性であるかが、予め設定された閾値に基づき自動的に判定される。ただしこのときの閾値が最適値であるとは限らないから、熟練者の判断を反映させて閾値の最適化を行う。
　具体的には、仮設定された閾値に基づく細胞領域各々の染色状態の判定結果を表示し、これを変更するためのユーザーからの操作入力を受け付ける。これにより、ユーザーは不適切な判定結果が示された細胞領域に対し正しい判定を教示することができる。こうして教示された結果に応じて閾値の再設定を行うことで、閾値を最適値に近づく方向に修正することができる。
　人的判断に基づく閾値の最適化方法としては例えば、閾値をユーザーにより変更設定可能とし、設定された閾値に基づく判定結果を表示してその妥当性をユーザーに評価させる方法がある。しかしながら、この方法では、閾値の変更により判定結果に影響を受ける細胞領域が画像内の各所に多数現れる。このため、そのような変化の有無や妥当性を確認して閾値を最適値に収束させてゆく作業は、ユーザーにとって大きな負担となる。
　本発明では、ユーザーに閾値を直接操作させるのではなく、表示された判定結果に対する修正入力を受け付けて、その結果に応じた閾値の再設定を行う。このため、ユーザーは修正を要する判定結果を発見すればそれを指摘するだけでよく、全ての細胞領域について結果を確認する必要もない。したがって作業を大幅に効率化させることが可能であり、そのためのユーザー負担も小さい。
　上記のように、本発明は、染色された生物標本の画像に対し、仮設定された閾値に基づく染色状態の判定を行ってその結果を表示する。そして、ユーザーからの操作入力による判定結果の変更を受け付け、それに応じた閾値の再設定を行う。これにより、染色状態を判定するための閾値を、人による判断を交えつつ効率的に最適化することが可能である。
　この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
本発明に係る閾値決定方法を適用した標本解析方法を示すフローチャートである。 標本画像の一例を模式的に示す図である。 本実施形態の閾値決定処理を示すフローチャートである。 細胞領域の抽出結果の例を模式的に示す図である。 判定結果の例を模式的に示す図である。 判定結果の例を模式的に示す図である。 判定結果の例を模式的に示す図である。 判定結果の例を模式的に示す図である。 判定結果を示す画像および変更入力の事例を模式的に示す図である。 判定結果を示す画像および変更入力の事例を模式的に示す図である。 複数の標本画像を組み合わせた閾値決定処理の原理を示す図である。 複数の標本画像を組み合わせた閾値決定処理の原理を示す図である。 複数の標本画像を組み合わせた閾値決定処理の原理を示す図である。 複数の判定結果を併合した場合のインターフェース画面例を示す図である。 複数の判定結果を併合した場合のインターフェース画面例を示す図である。
　図１は本発明に係る閾値決定方法を適用可能な標本解析方法の概要を示すフローチャートである。この標本解析方法は、多重免疫染色された組織標本を撮像しその画像を解析して各種の定量的情報を取得する、いわゆるイメージサイトメトリーを実行するための方法である。
　最初に、処理対象となる標本画像が収集される。具体的には、解析の対象とする組織標本が所定の染色方法で染色され（ステップＳ１０１）、これを撮像したデジタル画像データが取得される（ステップＳ１０２）。撮像後の組織標本は脱色される（ステップＳ１０３）。この作業が、予め用意された複数種の染色方法の全てについて撮像が完了するまで繰り返される（ステップＳ１０４）。こうして染色の種類数に応じた複数の標本画像が収集される。これらの標本画像は、同一の組織標本に対し互いに異なる染色が施されて撮像された画像である。
　次に、組織標本のうちの一部が、解析の対象となる解析対象領域として設定される（ステップＳ１０５）。そして、各標本画像から、解析対象領域に対応する部分画像がそれぞれ解析対象画像として切り出される。それらの解析対象画像は、互いに対応する位置同士が一致するように位置合わせ（レジストレーション）される（ステップＳ１０６）。
　また、各解析対象画像から、組織中の細胞に対応する細胞領域が抽出される（ステップＳ１０７）。画像から細胞領域を抽出する方法としては各種の方法が知られている。本実施形態においても、そのような公知の方法から適宜選択して適用可能である。例えば、適宜の学習アルゴリズムを用い予め種々の染色画像を教師画像として学習させた学習モデルや人工知能などに解析対象画像を入力する方法を採用することができる。こうすることで、当該画像から細胞領域を抽出することができる。また例えば、適宜の閾値による画像の二値化処理によって細胞領域とそれ以外の領域とを区別する方法や、エッジ抽出により細胞の輪郭を特定する方法などを採用可能である。
　なお、染色の種類や状態によっては、解析対象画像が細胞領域の抽出に適さないものである場合がある。例えば細胞核等、細胞内部にある特定の構造物が選択的に染色された解析対象画像は、必ずしも細胞の外形を明確に示すものではない。そのため、そのような画像は、個々の細胞が画像中で占める領域を特定する用途には適さない場合があり得る。このような場合でも、細胞が占める領域を明りょうに表す他の染色方法で染色された画像における抽出結果を、利用することが可能である。すなわち、レジストレーション処理（ステップＳ１０６）により、各染色画像間の位置合わせが可能となっている。そのため、他の１つまたは複数の染色画像で抽出された細胞領域と対応する領域を、当該解析対象画像における細胞領域とみなすことができる。
　このように、各解析対象画像における細胞領域の特定は、画像処理により当該解析対象画像から直接に細胞領域を抽出する方法によってもよい。また、他の染色方法で染色された１つまたは複数の画像を用いて抽出された個々の細胞領域と対応する領域を、当該解析対象画像における個々の細胞領域とみなす間接的な特定方法によってもよい。
　図２は標本画像の一例を模式的に示す図である。標本画像Ｉｓは、生体から採取され、あるいは培養により作製された後、適宜の染色方法で染色された組織標本Ｓの少なくとも一部を被写体として含んだ画像である。撮像は、例えば光学顕微鏡撮像により行うことができる。１種類の染色ごとに１枚の標本画像Ｉｓが取得される。
　標本画像Ｉｓのうち、解析対象となる少なくとも一部の領域Ｒａに対応する部分画像が、解析対象画像Ｉａとして切り出される。解析対象画像Ｉａには、組織を構成する複数の細胞Ｃの像が含まれている。領域抽出を行う適宜の画像処理により、細胞Ｃに対応する細胞領域Ｒｃが抽出される。ここでは便宜的に、細胞Ｃを同サイズの円により表している。しかしながら、実際の組織では細胞の大きさや形状はまちまちであり、また複数種の細胞を含み得る。これらの細胞Ｃの定量的情報、例えばその種類、個数、大きさ、形状、密度、組織内での分布状況、特定の物質の量などを算出することが、本処理の目的である。
　図１の説明に戻る。抽出された各細胞領域について、その染色濃度に関わる少なくとも１種の定量値が算出される（ステップＳ１０８）。細胞または細胞中の生体由来物質がどの程度の濃度に染色されているかを定量的に表す各種の値が、定量値として用いられる。例えば、細胞領域全体の平均濃度、細胞領域内において当該染色に対応する色が特に強く表れている領域（例えば細胞の中心部あるいは外周部など）の最大濃度または平均濃度等を用いることができる。これにより、個々の細胞領域に染色がどの程度の影響を与えているかを定量化することができる。以下、この値を「染色濃度」と称することとする。
　各標本画像に対して、組織中の細胞が当該染色に対し示す染色状態を判定するための閾値が決定される（ステップＳ１０９）。ここでいう「染色状態」とは、１種類の染色に対して、細胞が当該染色により染色されているか否かを表す指標である。ここでは、細胞またはその細胞中の生体由来物質が当該染色によって染色され、その染色濃度が所定の閾値より高い場合に、この細胞は当該染色に対し「陽性」であると判定されるものとする。一方、染色濃度が閾値より低い場合には、細胞は当該染色に対して「陰性」と判定されるものとする。ステップＳ１０９はこのための閾値を決定する処理であり、ここに本発明の閾値決定方法が適用される。その具体的処理内容については後述する。
　こうして決定された閾値を用いて、各細胞領域の染色状態が判定される（ステップＳ１１０）。さらに、各細胞領域の性状を表す各種の定量的情報を取得するサイトメトリーが実行される（ステップＳ１１１）。サイトメトリーの処理内容や、それにより求められる定量的情報の種類については任意である。それらの情報は、組織標本の画像とともに、各種の病理診断や研究に供される。このように、この実施形態は、組織標本を個々の細胞に分離することなく、かつシングルセル単位で解析を行うイメージサイトメトリー技術に属するものである。
　このように組織標本中の細胞を個々に解析する場合、染色のばらつき、撮像におけるノイズ、周囲の細胞や背景濃度の影響等、判定結果に影響を及ぼす種々のアーチファクトが含まれ得る。そのため、例えば画像の二値化処理に利用される公知の画像処理方法で自動的に閾値を決定したとしても、その結果が必ずしも最適値であるとは限らない。すなわち、本来は陽性と判定されるべき細胞が、閾値の不適切な設定により陰性と判定されてしまう「偽陰性」や、逆に本来は陰性と判定されるべき細胞が陽性と判定されてしまう「偽陽性」等の誤判定が含まれ得る。
　したがって、決定された閾値が適切なものであるか否かについては、依然としてユーザー（熟練者）による主観的判断を介入させる余地がある。本実施形態の閾値決定処理は、ユーザーによる判断を取り入れつつ、そのための作業を効率的に行うことができるようにするべく考案されたものである。
　図３は本実施形態の閾値決定処理を示すフローチャートである。この処理は、細胞の染色状態（陽性／陰性）を判定するために染色濃度に対して設定される閾値を最適化することで、アーチファクトの影響を低減するための処理である。なお、この閾値決定処理は、複数種の染色のそれぞれに対して行われる。つまり、１つの染色で撮像された標本画像ごとに、閾値が設定される。実際の処理ではいくつかの染色に対する閾値設定を同時に実行することが可能である。ただし、以下では原理説明のために、まず１つの染色に対する閾値を決定するための処理について説明する。
　汎用コンピューター装置など、適宜の演算機能を有する処理装置が所定の制御プログラムを実行することにより、この処理を実現することが可能である。このための処理装置には、演算機能を有する演算処理部と、ユーザーからの操作入力を受け付ける受付部と、画像を表示する表示部とが必要とされる。標本の撮像を除く画像処理に関しては、例えばパーソナルコンピューターのような一般的なハードウェア構成を有する処理装置を用いることができる。そのため、ここでは本処理を実行するための装置構成についての詳しい説明は省略する。
　この処理では、まず染色ごとの標本画像Ｉｓが取得される（ステップＳ２０１）。その中に解析対象領域Ｒａが設定されて（ステップＳ２０２）、解析対象画像Ｉａが切り出される。切り出された解析対象画像Ｉａから細胞領域Ｒｃが抽出され（ステップＳ２０３）、個々の細胞領域についてその染色濃度が算出される（ステップＳ２０４）。これらの処理は、図１におけるステップＳ１０１～Ｓ１０８と基本的に同じであり、ステップＳ１０１～Ｓ１０８における結果をそのまま利用することが可能である。すなわち、図１の処理が既に開始されており、ステップＳ１０１～Ｓ１０８における結果が利用できる場合には、ステップＳ２０１～Ｓ２０４を省略することが可能である。逆に、ステップＳ１０５～Ｓ１０８を省き、ステップＳ１０９の閾値決定処理として実行されるステップＳ２０１～Ｓ２０４の結果を利用して、ステップＳ１１０～Ｓ１１１を実行するようにしてもよい。
　図４は細胞領域の抽出結果の例を模式的に示す図である。図４に示されるように、適宜の画像処理によって、解析対象画像Ｉａが、細胞Ｃに対応する細胞領域Ｒｃと、その周囲の背景領域とに区分される。このように細胞領域Ｒｃとその他の領域とを区分するマスクを作成して解析対象画像Ｉａに適用することで、細胞領域Ｒｃ内の画像内容のみを抽出することができる。これらの細胞領域Ｒｃのそれぞれについて、以下の定量化のための処理が行われる。
　図３に戻る。次に、染色濃度に対して適当な閾値が仮設定される（ステップＳ２０５）。先に求められた各細胞領域Ｒｃの濃度に関する定量値である染色濃度と閾値との比較により、個々の細胞の染色状態、すなわち細胞が当該染色に対し陽性であるか陰性であるかが判定される（ステップＳ２０６）。具体的には、各細胞領域Ｒｃにつき求められた染色濃度と設定された閾値とを比較し、染色濃度が閾値より高ければ、この細胞領域Ｒｃは当該染色に対し陽性であると判定される。一方、染色濃度が閾値より低ければ、この細胞領域Ｒｃは当該染色に対し陰性であると判定される。染色濃度が閾値と等しい場合に陽性と判定するか陰性と判定するかについては、その判定基準が一定である限りにおいていずれであってもよい。
　このときの閾値は仮設定された初期値である。初期値は予め定められた値であってもよいし、またユーザーの設定入力によって指定された値であってもよい。また、画像の２値化に利用される公知の画像処理アルゴリズム、例えば判別分析法や大津の方法などにより画像を解析し、算出した閾値を初期値として適用してもよい。
　判定結果は適宜の表示装置、例えばコンピューター装置のディスプレイ画面に表示されてユーザーに提示される（ステップＳ２０７）。次に例示するように、判定結果の表示は、元の解析対象画像Ｉａに、判定結果を表す視覚的な情報を重畳したものであることが望ましい。また、加工されていない元の解析対象画像Ｉａと、判定結果を表す画像とを並べて表示してもよい。
　図５Ａないし図５Ｄは判定結果の例を模式的に示す図である。図５Ａは解析対象画像Ｉａの一例を模式的に示す図である。染色された組織標本においては各細胞が種々の濃度に染色される。これを撮像した解析対象画像Ｉａ内においては、各細胞領域Ｒｃは細胞の染色濃度に応じて種々の輝度を有している。図５Ａ中に符号Ｃ１～Ｃ１２を付した細胞は、いずれもある程度以上の濃度に染色された細胞であり、これらの染色濃度をグラフで表したのが図５Ｂである。
　なお、図５Ａ以降の各図において符号Ｃ１，Ｃ２等で表される円は、厳密には標本Ｓにおける細胞Ｃに対応する像がある画像中の領域、すなわち「細胞領域」Ｒｃである。しかしながら、図示および説明の便宜上、特に区別する必要がない限り、画像中の細胞領域についても単に「細胞」と称することがある。
　ここで、染色濃度に対して定められた閾値よりも高濃度である細胞を「陽性」、これより低濃度である細胞を「陰性」とする。図５Ｃおよび図５Ｄは、図５Ａに示した解析対象画像Ｉａと、これに陽性と判定された細胞をハッチングで示す画像加工を重畳付加した画像とを並べた例を模式的に示している。
　閾値を図５Ｂに示す値Ｔｈ１に設定したとき、これより高い濃度を有する細胞Ｃ１～Ｃ３，Ｃ６，Ｃ８，Ｃ１０，Ｃ１１が陽性と判定される。図５Ｃはこの状態に対応しており、ここに列記した各細胞にハッチングが付されている。ここで、左図は元の解析対象画像Ｉａにおける細胞の濃度情報を残したままこれに判定結果を表すハッチングを重畳した画像Ｉａ１であり、右図は細胞の輪郭と判定結果とのみを示したものである。
　一方、閾値を他の値Ｔｈ２（＜Ｔｈ１）に設定したとき、上記に加え細胞Ｃ７，Ｃ１２がさらに陽性と判定される。図５Ｄはこのときの状態を表している。ここにおいても、左図は細胞の濃度情報に判定結果を表すハッチングを重畳した画像Ｉａ２であり、右図は細胞の輪郭と判定結果とのみを示したものである。
　このように閾値を変化させることで判定結果が変化するが、その変化はユーザーが直感的に知得しやすいものであるとは必ずしも言えない。すなわち、例えばユーザーが手動で閾値の設定値を変更した場合、それに応じて判定結果は変化するが、その変化は画像内の様々な位置に様々な態様で現れ得る。このため、ユーザーがそれらを逐一確認し、閾値の変更が最適値に近づく方向であるか否かを短時間で的確に判断することは容易でない。
　そこで、この実施形態では、各細胞に対する判定結果を画面表示によりユーザーに提示する。そして、それに対する変更入力を受け付け、変更の結果を反映させるように閾値の再計算を行う。すなわち、判定結果が適切でなく変更を要すると判断した細胞について、ユーザーが正しい判定を教示することにより、閾値が修正される。これにより、専門的知識を有するユーザーの判断を閾値に反映させることができる。また、閾値を直接操作するのではなく、判定結果が付加された画像を見渡して修正が必要と思われるものの判定を変更するのみでよい。そのため、ユーザーはより直感的な判断に基づき操作入力を行うことが可能となる。
　図３に戻って具体的な処理内容を説明する。ステップＳ２０７において表示された画像には、現在の閾値に基づく染色状態（陽性／陰性）の判定結果が示されている。この状態でユーザーからの操作入力を受け付ける。操作入力は、キーボード、マウス、タッチパネル等の適宜の入力デバイスから受け付けることができる。
　修正の必要がない旨の操作入力を受け付けると（ステップＳ２０８においてＮＯ）、そのときの閾値を最適値として確定させ（ステップＳ２０９）、閾値決定処理を終了する。一方、ユーザーから変更のための入力がなされると、修正が必要であると判断される（ステップＳ２０８においてＹＥＳ）。この場合には、ユーザーから入力完了の意思表示があるまで（ステップＳ２１１）、変更入力が受け付けられる（ステップＳ２１０）。ユーザーによる変更入力が完了すると（ステップＳ２１１においてＹＥＳ）、変更された結果を反映させるように、閾値の再設定が行われる（ステップＳ２１２）。
　そして、再設定された閾値を用いて各細胞の染色状態が再度判定され（ステップＳ２０６）、その結果が表示される（ステップＳ２０７）。これにより、ユーザーは、新たに設定された閾値に基づく判定結果を確認することができる。そして、上記と同様に、必要に応じて判定結果を変更し、それに応じて閾値を再設定する処理を繰り返すことにより、閾値を最適な値に近づけてゆくことができる。
　判定結果の表示方法、ユーザーによる変更入力の具体的態様、および、閾値の再設定の基本的な考え方について、より具体的に説明する。なお、理解を容易にするために、解析対象画像Ｉａの例としては前出の図５Ａ等と同様のものを使用することとする。
　図６Ａおよび図６Ｂは判定結果を示す画像および変更入力の事例を模式的に示す図である。図６Ａ上段に示す画像Ｉａ３は、元の解析対象画像Ｉａに、初期設定された閾値Ｔｈ１に基づく判定結果をハッチング付加により示した画像である。図における各細胞領域Ｒｃの濃淡は、対応する細胞の染色濃度を表すものとする。また図６Ｂは各細胞Ｃ１～Ｃ１２の染色濃度をグラフ化したものであり、それらの染色濃度は図５Ｂに示したものと同じである。
　各細胞領域Ｒｃのうち、ハッチングが付されたものは、当該細胞領域に対応する細胞が陽性と判定されたことを表すものとする。閾値Ｔｈ１より高い染色濃度を有する細胞Ｃ１～Ｃ３，Ｃ６，Ｃ８，Ｃ１０，Ｃ１１に対応する細胞領域に、陽性判定を表すハッチングが付されている。一方、ハッチングが付されていないものは、細胞が陰性と判定されたことを表すものとする。図からわかるように、陰性と判定される細胞には、全くあるいはほとんど染色されていない細胞の他、ある程度染色の影響を受けているがその濃度が閾値に達していないものも含まれ得る。
　ステップＳ２０６において表示される画像は、ここに例示するように、元の解析対象画像Ｉａに判定結果を表す情報を重畳付加した画像であってもよく、判定結果のみを表す画像であってもよい。この場合には、ユーザーの観察を容易にするために、未加工の解析対象画像Ｉａと判定結果を表す画像Ｉａ３とを並べて表示することがより好ましい。さらには、未加工の解析対象画像Ｉａと、これに判定結果を重畳した画像Ｉａ３とを並べた画像であってもよい。
　このようにして各細胞領域に陽性または陰性の判定結果が付された画像に対し、ユーザーは判定結果の変更入力を行うことができる。具体的には、図６Ａに符号６１を付した画面内のポインターまたはマーカーを用いて、ユーザーは判定結果を変更したい細胞を指定することができる。ここでは細胞Ｃ７に対応する細胞領域が指定されている。この状態で例えばマウスをクリックする等の操作により、ユーザーは判定の変更の意思表示を行うことができる。
　指定された細胞が陰性と判定されたものであった場合には、判定結果が陽性に変更される。図６Ａ下段は変更入力後の画像の例Ｉａ４を示しており、ユーザーにより指定された細胞Ｃ７にハッチングが新たに付されている。これは判定結果が陰性から陽性に変更されたことを表している。逆に、指定された細胞が陽性と判定されたものであった場合には、判定結果は陰性に変更される。この場合には、変更後の画像Ｉａ４においてはハッチングが除去される。このようにして、ユーザーは変更したい細胞を順次選択し、判定結果を変更することができる。
　このようなユーザーによる変更操作は、判定結果の適否に対するユーザーの教示入力と考えることができる。すなわち、判定が変更された細胞については、判定結果が誤判定であることがユーザーにより教示されたと言える。一方、変更されなかった細胞についても、自動的に判定された結果が正しいものであることを、ユーザーが教示したものと言える。ただし、変更入力後の全ての判定結果が正しいことを示すものではない。というのは、ユーザーにより見落とされた誤判定や、ユーザーの変更自体が誤りである場合も含まれ得るからからである。また原理的にも、単一の閾値だけで全ての細胞の染色状態を適切に判定することは事実上不可能である。このことから、ユーザーによる変更作業の結果を、変更されなかったものも含めて「一応の正解」とみなして、閾値の再設定が行われることが好ましい。
　この意味において、再設定後の閾値は、ユーザーによる変更がなされた後の判定結果と完全に一致する判定結果を返すものである必要はない。すなわち、新たな閾値に基づき再判定を行ったときの結果がユーザーによる変更後の判定結果にできるだけ近づくように、閾値が調整されればよい。具体的には、再設定された閾値に基づいて判定を実行したときに得られる判定結果と、ユーザーによる変更後の判定結果との間の乖離が、閾値が仮設定された状態で実行された先の判定の結果と、ユーザーによる変更後の判定結果との間の乖離よりも小さくなっていればよい。これにより、閾値に基づく判定結果をユーザーの主観に近いものとすることができる。
　例えば、「陰性から陽性」に変更された細胞の数と「陽性から陰性」に変更された細胞の数との間で、前者が有意に多い場合には閾値が小さくなるように、逆の場合には閾値が大きくなるように変更する。こうすることで、ユーザーによる教示を閾値に反映させることができる。
　閾値の計算には各種の方法を用いることができる。例えば、ユーザーにより判定が変更された細胞の染色濃度を統計的に処理し、例えば平均値や中央値を新たな閾値とすることができる。この場合、「陰性から陽性」に変更された細胞の染色濃度の値と、「陽性から陰性」に変更された細胞の染色濃度の値とを区別して扱うことができる。例えば、それぞれに異なる重み付けをして計算に用いるようにしてもよい。
　さらに、判定結果が変更されなかった細胞の染色濃度の値を加味し、計算を行うようにしてもよい。この場合、全ての細胞の細胞濃度を用いてもよく、また細胞濃度が閾値に近い一部の細胞の細胞濃度のみを用いてもよい。このように、判定結果を変更されていない細胞の数値も計算に反映させるようにすることができる。こうすることで、現状で明らかに正しいとみなせる判定結果を大きく変えることなく、閾値変更の影響が及ぶ範囲を、染色濃度が閾値付近にあり判定結果の微調整が必要な細胞のみに限定することができる。
　また、各細胞の染色濃度が示す分布において領域を二分するような各種の自動計算方法を適用することができる。例えば前記した大津の方法、判別分析法や、サポートベクタマシン（ＳＶＭ）のような多変量解析や機械学習アルゴリズムを用いた計算方法などを適用可能である。機械学習法による場合、学習済みの状態から、ユーザーにより変更されたデータを用いて追加学習を行うファインチューニングを適用することも可能である。
　このような再計算により、図６Ｂに示すように、閾値は初期値Ｔｈ１から値Ｔｈ３に変更される。この値Ｔｈ３は、細胞Ｃ７を新たに陽性として判定するための閾値である。ここでは、もともと陰性と判定されていた細胞Ｃ７を陽性として扱う一方、陰性とした判定が変更されなかった細胞Ｃ１２については判定結果を維持するために、細胞Ｃ１２の染色濃度よりも高く細胞Ｃ７の染色濃度よりも低い値に閾値が設定されることになる。もし仮に細胞Ｃ１２についても判定が変更されていた場合には、その染色濃度よりも低い値となる。逆に、例えば細胞Ｃ１０の陽性判定が陰性に変更されていた場合には、閾値は細胞Ｃ１０を陰性と判定する方向に、つまりより大きな値に変更される。
　閾値の再設定後、新たな閾値に基づく再判定の結果が表示される（ステップＳ２０７、Ｓ２０８）。このとき、先の判定とは異なる結果が出た細胞領域については、その発見を容易にするために、他の細胞領域とは異なる視覚情報が付与されることが好ましい。例えば、当該細胞領域の輪郭を強調したり、当該細胞領域を点滅させたり、先の判定結果と新しい判定結果とを時間的に交互に表示したりすることができる。これにより、判定の変化した細胞をユーザーが見つけやすくすることができる。先の判定結果を表す画像と、新しい判定結果を表す画像とを並べて表示してもよい。
　また、個々の細胞に対する判定結果の確認およびそれを修正する作業においては、表示される画像は高倍率のものであることが好ましい。その一方で、全体の判定結果を概括的に確認するためには、より低倍率の画像の方が好ましい。そこで、それぞれに判定結果が重畳された高倍率画像と低倍率画像とが選択的に、あるいは同時に表示されるようにしてもよい。この場合、低倍率画像の視野が高倍率画像の視野の全体を含む、言い換えれば高倍率画像は低倍率画像の一部を拡大したものであることが好ましい。
　上記では、閾値決定処理の原理を理解しやすくするために、１種類の染色について、標本画像から当該染色に対応する閾値を決定する方法について説明した。この場合ユーザーは、標本画像中の染色された（あるいはされなかった）部分の位置とその濃度とだけから判定結果の適否を判断しなければならないこととなる。このため、染色の種類や状態によっては、熟練者であっても判断が容易でないケースもあり得る。次に説明するように、実際の処理では複数の染色結果を組み合わせて提示することで、閾値の決定作業をより効率的に行うことが可能である。
　図７Ａないし図７Ｃは複数の標本画像を組み合わせた閾値決定処理の原理を示す図である。図７Ａと図７Ｂとは、同一標本を互いに異なる２種類の染色方法でそれぞれ染色し撮像することで取得された画像を表すものとする。以下の説明では、図７Ａに対応する染色方法を「染色Ａ」、図７Ｂに対応する染色方法を「染色Ｂ」と、それぞれ称することとする。
　閾値を決定するという目的に関しては、これら２種類の染色方法は同じ細胞を染色するものでないことが好ましい。すなわち、同一の細胞が、染色Ａ、染色Ｂの両方で陽性となることはないものとする。このような組み合わせとしては多くのものが知られている。例えば、Ｔ細胞において発現することが知られているタンパク質ＣＤ３、ＣＤ４、ＣＤ８等はＢ細胞では発現せず、逆にＢ細胞で発現するタンパク質ＣＤ２０、ＣＤ７９ａ等はＴ細胞では発現しないとされている。
　このような関係にある染色方法で取得された標本画像を組み合わせることで、一の染色方法に対する判定結果の適否につき、他の染色方法に対する判定結果を加味した判断を行うことが可能になる。例えば、上記のように同一細胞で発現することのない染色を組み合わせた場合、いずれの染色についても陽性と判定される細胞については、少なくともいずれかの判定結果が不適切である可能性が高いと言える。逆に、同一細胞で発現するはずの染色の組み合わせにおいて一方のみが陽性と判定される場合にも、少なくともいずれかの判定結果が不適切であると考えることができる。このような組み合わせは、アーチファクトの発見を容易にする可能性を有している。
　以下、この技術思想を具現化した閾値決定処理方法の具体的な内容について説明する。図７Ａに示す画像Ｉａ５では、主として図の左上側に、染色Ａにより種々の濃度に染色された細胞が分布している。一方、図７Ｂに示す画像Ｉａ６では、主として図の右下側に、染色Ｂにより染色された細胞が分布している。前述した通り、本来的には染色Ａと染色Ｂとが１つの細胞で共に発現することはないものとする。染色Ａおよび染色Ｂにそれぞれ適宜の閾値を仮設定して行った染色状態の判定結果を互いに重畳表示した画像が、図７Ｃ上段に示す画像Ｉａ７である。
　この画像Ｉａ７においては、染色Ａに対応する画像Ｉａ５および染色Ｂに対応する画像Ｉａ６のそれぞれで閾値以上の染色濃度に染色された細胞が陽性と判定されている。ただし、細胞Ｃ３２～Ｃ３４については、染色Ａ、染色Ｂの両方で陽性と判定されている。また、細胞Ｃ３１，Ｃ３５については、画像Ｉａ５で一定の染色濃度を有しているものの、陰性と判断されている。このような結果の不整合は、閾値設定の不適切さに起因するアーチファクトと考えられる。
　このような不整合をユーザーが教示することで、閾値の再調整を行うことができる。すなわち、ユーザーは判定結果を確認し、修正が必要であると判断したときには、その細胞を指定して正しい判定を教示することができる。具体的には、例えば図７Ｃ下段に修正後の画像Ｉａ８として示すように、細胞Ｃ３１，Ｃ３５における判定を陰性から陽性に変更し、また染色Ａ、染色Ｂの両方で陽性と判定された細胞Ｃ３２～Ｃ３４については、染色状態や周囲の細胞との比較等に基づきいずれかの判定を変更することができる。この例では、細胞Ｃ３２については染色Ｂでの判定が陽性から陰性に変更され、細胞Ｃ３３，Ｃ３４については染色Ａでの判定が陰性から陽性に変更されている。このようにして、仮設定された閾値での判定結果における不整合を解消することができる。
　確認および修正作業は、染色結果を表す画像Ｉａ５，Ｉａ６や、個々の判定結果を併合した画像Ｉａ７を見てユーザーが総合的に行えることが望ましい。この意味において、画像Ｉａ５～Ｉａ７が同一画面に並べて表示されることが好ましい。または、これらの画像Ｉａ５～Ｉａ７のうち少なくとも２枚を互いに重ね合わせて表示してもよい。ユーザーは、表示画面を見ながら、各細胞の染色の程度や周囲の細胞との比較等に基づき、どの細胞が修正を要するかを判断することができる。
　判定結果が変更された染色方法については、当該染色についての閾値の再計算が行われ、新たな閾値が設定される。その具体的方法は上記した通りである。判定が変更されていなければ、当該染色については現在の閾値を最適値として確定させることができる。なお、ここでは染色Ａ、染色Ｂのいずれについても判定の変更が可能となっているが、例えば１種類の染色についてのみ判定の変更が可能となる仕様としてもよい。例えば染色Ａについて既に閾値が最適化された状態では、染色Ｂについての閾値を決定するために染色Ａの判定結果を変更することは好ましくない。この場合には、染色Ａについては変更が禁止されるようにすることができる。
　図８Ａおよび図８Ｂは複数の判定結果を併合して変更入力を受け付ける際のインターフェース画面の一例を示す図である。図８Ａに示すように、マウス操作等により、ユーザーが判定結果を確認したい細胞をポインター６１で指定すると、当該細胞における判定結果がポップアップ表示される。この例では、細胞Ｃ３３が指定され、ポップアップ画面Ｐでは染色Ａ、染色Ｂいずれのチェックボックスにもチェックが入っている。これは染色Ａ、染色Ｂのそれぞれで判定結果が陽性であったことを意味している。
　図８Ｂに示すように、ユーザーは判定を変更したい方の染色についてチェックを外す操作を行うことにより、判定を陽性から陰性に変更する旨の操作入力を行うことができる。逆に陰性から陽性への変更を行う場合には、該当する染色に対し新たにチェックを入れればよい。３以上の染色について併合した場合でも、それらの判定結果をポップアップ画面Ｐに表示し、同様に変更を行うことが可能である。
　なお、上記は一例を示したものであり、変更入力のためのユーザーインターフェースはこれに限定されるものではない。例えば上記のように、判定結果が併合表示されているが変更入力は染色Ｂについてのみ受け付ける場合には、先の例と同様に、当該細胞に対応する細胞領域がクリックされると判定を変更するようにしてもよい。
　次に、閾値決定処理の変形例について説明する。上記実施形態では、標本画像Ｉｓからユーザーにより選択された矩形の解析対象領域Ｒａに対して１つの閾値が設定される。しかしながら、解析対象領域内の組織中に互いに異なる複数の構造が含まれる場合には、同種の細胞であっても染色濃度が異なることもある。例えば組織が皮質と髄質とに分かれているような場合がこれに該当する。
　そのような場合、解析対象領域Ｒａの全体に対して単一の閾値を設定したとしても、全域を良好に解析することができないことがある。したがって、このように複数の構造が含まれる場合には、１つの解析対象領域Ｒａをさらに小領域に分割し、小領域ごとに閾値を設定することが望ましい。
　解析対象領域の分割は、例えば以下のようにして行うことができる。画像処理により自動的に分割を行う方法としては、各種の領域分割方法を用いることができる。例えば、解析対象領域内の画像をローパスフィルター処理により平滑化し、その濃度の違いにより画像を複数の領域に分割することができる。具体的な方法として、例えば、特定の領域に存在することがわかっている細胞が発現するタンパク質を染色した標本画像から、染色された細胞が高密度に存在する領域を抽出し、その領域と他の領域とに分割する方法が考えられる。
　また、領域指定に関するユーザーからの操作入力を受け付け、それに応じて分割を行う構成であってもよい。熟練したユーザーであれば、例えば細胞核が染色された画像を用いて、細胞の形状や配列から構造の違いを区別することが可能である。例えば画面に表示された解析対象領域の画像に対し自由曲線を描き込むことで、領域指定を行うことができる。
　また、上記実施形態では解析対象領域Ｒａがユーザーにより選択されるが、標本画像Ｉｓから自動的に解析対象領域Ｒａが決定される態様であってもよい。例えば、標本画像Ｉｓを互いに同一サイズのいくつかのブロックに自動分割し、それらのブロック画像に優先順位を設けて順に解析対象領域Ｒａとして提示するようにしてもよい。この場合、例えばアーチファクトを多く含む可能性のあるブロックを優先的に解析対象領域とすることは、アーチファクトの影響を低減する上で効果的である。
　例えば、２種の染色の間で陽性と判定される細胞の分布が似通っている、つまり分布範囲の重複が多いブロックでは、互いの染色結果を参考にしながらそれぞれの閾値を調整するという処理が有効に機能すると期待される。そのため、このようなブロックで優先的に閾値の最適化を行うことが好ましい。また、これとは逆に２種の染色の間で陽性と判定される細胞の分布に重なりが少ない場合、当該ブロックは異なる細胞または構造が接する境界を含んでいる可能性が高いため、閾値を調整するのに好適であると言える。
　以上説明したように、上記実施形態においては、組織標本Ｓが本発明の「標本」に相当し、これを撮像した標本画像Ｉｓおよび解析対象画像Ｉａが、それぞれ本発明の「原画像」および「被処理画像」に相当している。また、例えば図５Ｃ、図６Ａに示す画像が本発明の「結果画像」に相当している。
　また、上記実施形態の閾値決定処理（図３）のうち、ステップＳ２０１～Ｓ２０３が本発明の「領域特定工程」に相当し、ステップＳ２０５～Ｓ２０６が本発明の「判定工程」に相当している。また、ステップＳ２０７～Ｓ２１１が本発明の「受付工程」に、ステップＳ２１２が本発明の「再設定工程」に、それぞれ相当している。また、ステップＳ２１２の実行後に実行されるステップＳ２０７が、本発明の「再表示工程」に相当している。
　なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、同一の細胞で発現することのない２種類の染色結果を組み合わせることで、それぞれの染色に対応する閾値の最適化を効率よく行うことができるようにしている。しかしながら、複数種の染色結果の組み合わせはこのようなものに限定されず任意である。例えば核染色など、特定の細胞や生体由来物質を良好に染色することのできる染色方法で取得された標本画像は、他の染色方法で取得された標本画像との比較対象として有効に機能するものである。したがって、そのような画像を他の画像と組み合わせて、当該他の画像における閾値の最適化を行うことは合理的である。
　また、上記実施形態の閾値決定処理は、染色Ａおよび染色Ｂについての標本画像とそれぞれの判定結果とを用いて、染色Ａ、染色Ｂそれぞれの閾値を最適化する処理となっている。つまり、染色Ａと染色Ｂとは対等の扱いとなっている。しかしながら、例えば複数種の染色に対し優先順位を設け、その優先順位に沿って順に閾値の最適化を行うようにしてもよい。例えば他の染色における閾値を設定する際の基準として機能する染色に関してまず最適な閾値を確定し、その結果を用いて他の染色の閾値を最適化することができる。これにより、最適化の結果を安定させることができる。
　例えば染色Ａが基準となるものである場合、染色Ａについての閾値を染色Ｂ、染色Ｃ、…等の結果を加味して最適化し、それを基準として他の染色について閾値を最適化する、という方法を採ることができる。なお基準となる染色が複数種あってもよい。
　また、上記実施形態におけるユーザーインターフェースはその一例を示したものである。ユーザーへの判定結果を提示方法およびユーザーからの操作入力の受け付け方法としては上記に限定されず、任意のものを用いることができる。
　以上、具体的な実施形態を例示して説明してきたように、本発明に係る閾値決定方法では、例えば受付工程において、被処理画像に判定結果を表す情報を重畳した結果画像を表示するようにしてもよい。このような構成によれば、ユーザーにとって結果の確認および操作入力を行いやすい画像を提示することができ、閾値の決定を効率よく行うことが可能となる。この場合、被処理画像と結果画像とを同一画面に表示してもよい。判定結果と合わせて未加工の被処理画像を表示しておくことで、ユーザーは常に元の画像内容を確認することが可能となる。
　また例えば、生物標本は多重免疫組織染色されたものであってもよい。この場合、受付工程では、複数種の免疫組織染色における判定結果が表示されてもよい。このような構成によれば、ユーザーは他の染色結果および判定結果と比較考量して結果を確認することができる。そのため、単一の染色における判定結果のみを提示する場合に比べてより効率よく作業を行うことが可能となる。
　この場合、判定工程では、複数種の免疫組織染色のそれぞれについて染色状態の判定を行い、受付工程では、複数種の免疫組織染色のそれぞれについて操作入力を受け付け、再設定工程では、複数種の免疫組織染色のそれぞれについて閾値の再設定を行う構成でもよい。このような構成によれば、複数種の染色についての閾値の最適化を並行して進行させることができる。
　あるいは例えば、生物標本が多重免疫組織染色されたものである場合において、複数種の免疫組織染色のそれぞれについて、判定工程、受付工程および再設定工程を実行する構成であってもよい。例えば複数種の染色について１種ずつ順番に閾値を決定してゆく処理がこれに該当する。このような構成によれば、複数種の染色のうち優先度の高いものから閾値を最適化してゆくことで、作業を効率化することができる。
　また、本発明に係る閾値決定方法において、再設定工程では、再設定された閾値に基づき判定工程を実行した場合に得られる判定結果と操作入力に基づく変更後の判定結果との乖離が、仮設定された閾値に基づき実行された先の判定工程における判定結果と操作入力に基づく変更後の判定結果との乖離よりも小さくなるように閾値が再設定されることが好ましい。このような構成によれば、閾値の再設定によって、よりユーザーの主観的判断に近い判定結果を得られるようにすることができる。
　また例えば、被処理画像を複数の領域に分割し、該複数の領域に対し個別に閾値を設定するようにしてもよい。周囲の組織の状態や特定の構造を形成している場合など、同じ細胞であっても染色状態が異なるケースがあり得る。被処理画像を複数に分割した領域ごとに閾値を設定することで、このような染色状態の違いに関わらず適切な判定を行うことが可能になる。
　また例えば、被処理画像は、生物標本を撮像した原画像のうち一部領域を切り出したものであり、原画像中の位置が互いに異なる複数の被処理画像のそれぞれについて個別に閾値を設定するようにしてもよい。このような被処理画像の間でも、上記したような染色状態の違いが生じ得る。したがって、被処理画像のそれぞれについて個別に閾値を設定することで、同様の効果を得ることができる。
　また例えば、再設定された閾値に基づき判定工程を実行し、新たな判定結果を表示する結果表示工程が設けられてもよい。このような構成によれば、再設定された閾値に基づく判定結果をユーザーに提示することで、ユーザーは調整の結果を検証することができる。
　また例えば、再設定された閾値に基づき、判定工程、受付工程および再設定工程が再度実行されてもよい。このような構成によれば、閾値の再設定とその検証およびそれに基づく閾値の再調整を繰り返すことで、閾値をより最適なものに近づけることが可能となる。
　以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
　この発明は、医学・生物学研究の分野中、免疫組織染色された組織標本を撮像した画像に基づく染色状態の判定に適用可能なものである。特に、多重免疫染色された標本をシングルセル単位で解析する用途に好適である。
　Ｃ１～Ｃ１２，Ｃ３１～Ｃ３５　細胞
　Ｉａ　解析対象画像（被処理画像）
　Ｉｓ　標本画像（原画像）
　Ｒａ　解析対象領域
　Ｒｃ　細胞領域
　Ｓ　組織標本（標本）
　Ｓ２０１～Ｓ２０３　領域特定工程
　Ｓ２０５～Ｓ２０６　判定工程
　Ｓ２０７～Ｓ２１１　受付工程、再表示工程
　Ｓ２１２　再設定工程

Claims (11)

  1. 　染色された生物標本を評価するための閾値決定方法であって、
    　前記生物標本を撮像した被処理画像のうち個々の細胞に対応する細胞領域を特定する領域特定工程と、
    　前記被処理画像の画像濃度に対して閾値を仮設定し、前記細胞領域各々につきその濃度と前記閾値とを比較して、染色に対し陽性であるか陰性であるかの染色状態を判定する判定工程と、
    　前記細胞領域各々の前記染色状態の判定結果を表示し、前記判定結果を変更するためのユーザーの操作入力を前記細胞領域ごとに受け付ける受付工程と、
    　変更後の前記判定結果に応じて前記閾値を再設定する再設定工程と
    を備える閾値決定方法。
  2. 　前記受付工程では、前記被処理画像に前記判定結果を表す情報を重畳した結果画像を表示する請求項１に記載の閾値決定方法。
  3. 　前記被処理画像と前記結果画像とを同一画面に表示する請求項２に記載の閾値決定方法。
  4. 　前記生物標本は多重免疫組織染色されたものであり、前記受付工程では複数種の免疫組織染色における判定結果を表示する請求項１ないし３のいずれかに記載の閾値決定方法。
  5. 　前記判定工程では、複数種の免疫組織染色のそれぞれについて前記染色状態の判定を行い、
    　前記受付工程では、複数種の免疫組織染色のそれぞれについて前記操作入力を受け付け、
    　前記再設定工程では、複数種の免疫組織染色のそれぞれについて前記閾値の再設定を行う請求項４に記載の閾値決定方法。
  6. 　前記生物標本は多重免疫組織染色されたものであり、複数種の免疫組織染色のそれぞれについて、前記判定工程、前記受付工程および前記再設定工程を実行する請求項１ないし３のいずれかに記載の閾値決定方法。
  7. 　前記再設定工程では、再設定された前記閾値に基づき前記判定工程を実行した場合に得られる判定結果と前記操作入力に基づく変更後の判定結果との乖離が、仮設定された前記閾値に基づき実行された先の前記判定工程における判定結果と前記操作入力に基づく変更後の判定結果との乖離よりも小さくなるように、前記閾値を再設定する請求項１ないし６のいずれかに記載の閾値決定方法。
  8. 　前記被処理画像を複数の領域に分割し、該複数の領域に対し個別に前記閾値を設定する請求項１ないし７のいずれかに記載の閾値決定方法。
  9. 　前記被処理画像は、前記生物標本を撮像した原画像のうち一部領域を切り出したものであり、前記原画像中の位置が互いに異なる複数の前記被処理画像のそれぞれについて個別に前記閾値を設定する請求項１ないし８のいずれかに記載の閾値決定方法。
  10. 　再設定された前記閾値に基づき前記判定工程を実行し、新たな判定結果を表示する結果表示工程を備える請求項１ないし９のいずれかに記載の閾値決定方法。
  11. 　再設定された前記閾値に基づき、前記判定工程、前記受付工程および前記再設定工程を再度実行する請求項１ないし１０のいずれかに記載の閾値決定方法。
PCT/JP2022/004247 2021-02-12 2022-02-03 閾値決定方法 Ceased WO2022172852A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22752679.5A EP4293616A4 (en) 2021-02-12 2022-02-03 METHOD FOR DETERMINING THRESHOLD VALUE
US18/276,535 US12505542B2 (en) 2021-02-12 2022-02-03 Threshold determination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021020829A JP7653267B2 (ja) 2021-02-12 2021-02-12 閾値決定方法
JP2021-020829 2021-02-12

Publications (1)

Publication Number Publication Date
WO2022172852A1 true WO2022172852A1 (ja) 2022-08-18

Family

ID=82837839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004247 Ceased WO2022172852A1 (ja) 2021-02-12 2022-02-03 閾値決定方法

Country Status (4)

Country Link
US (1) US12505542B2 (ja)
EP (1) EP4293616A4 (ja)
JP (1) JP7653267B2 (ja)
WO (1) WO2022172852A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024176518A1 (ja) * 2023-02-21 2024-08-29 株式会社Ｓｃｒｅｅｎホールディングス 画像表示方法、画像表示装置およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024016378A (ja) * 2022-07-26 2024-02-07 株式会社Ｓｃｒｅｅｎホールディングス 解析支援方法、プログラムおよび解析支援装置
JP2024135131A (ja) * 2023-03-22 2024-10-04 株式会社Ｓｃｒｅｅｎホールディングス 領域選定支援方法、領域選定支援装置およびプログラム
JP2025044522A (ja) 2023-09-20 2025-04-02 株式会社Ｓｃｒｅｅｎホールディングス 染色強度取得方法、プログラムおよび染色強度取得装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252648A (ja) * 2009-04-22 2010-11-11 Olympus Corp 細胞解析方法
WO2016027542A1 (ja) * 2014-08-18 2016-02-25 株式会社Ｓｃｒｅｅｎホールディングス 閾値決定方法、画像処理方法および画像処理装置
JP6187989B2 (ja) 2012-04-30 2017-08-30 ゼネラル・エレクトリック・カンパニイ 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0410499D0 (en) 2004-05-11 2004-06-16 Fairfield Imaging Ltd Method and apparatus for use in the image analysis of biological specimens
KR20090074155A (ko) 2006-08-04 2009-07-06 아이코니시스 인코포레이티드 현미경 시스템의 이미지 처리 방법
US20100303809A1 (en) * 2009-06-01 2010-12-02 Targeted Molecular Diagnostics, Llc Methods for the detection and quantitation of pten
CA3012360C (en) * 2016-03-01 2021-12-14 Ventana Medical Systems, Inc. Improved image analysis algorithms using control slides
US12039796B2 (en) * 2019-02-01 2024-07-16 Sartorius Bioanalytical Instruments, Inc. Method for classifying cells

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252648A (ja) * 2009-04-22 2010-11-11 Olympus Corp 細胞解析方法
JP6187989B2 (ja) 2012-04-30 2017-08-30 ゼネラル・エレクトリック・カンパニイ 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法
WO2016027542A1 (ja) * 2014-08-18 2016-02-25 株式会社Ｓｃｒｅｅｎホールディングス 閾値決定方法、画像処理方法および画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4293616A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024176518A1 (ja) * 2023-02-21 2024-08-29 株式会社Ｓｃｒｅｅｎホールディングス 画像表示方法、画像表示装置およびプログラム

Also Published As

Publication number Publication date
EP4293616A4 (en) 2025-01-01
JP2022123488A (ja) 2022-08-24
JP7653267B2 (ja) 2025-03-28
US20230419483A1 (en) 2023-12-28
US12505542B2 (en) 2025-12-23
EP4293616A1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
WO2022172852A1 (ja) 閾値決定方法
EP3588382B1 (en) A deep learning method for tumor cell scoring on cancer biopsies
Gilles et al. DiAna, an ImageJ tool for object-based 3D co-localization and distance analysis
JP6763781B2 (ja) 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム
US10685045B2 (en) Systems and methods for cluster matching across samples and guided visualization of multidimensional cytometry data
JP2022527145A (ja) 予測的組織パターン特定のためのマルチプルインスタンスラーナ
US11062168B2 (en) Systems and methods of unmixing images with varying acquisition properties
Ozcan et al. Automated detection of soma location and morphology in neuronal network cultures
US10586376B2 (en) Automated method of predicting efficacy of immunotherapy approaches
WO2020004101A1 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
US12087454B2 (en) Systems and methods for the detection and classification of biological structures
Ferrer‐Font et al. Ensuring full spectrum flow cytometry data quality for high‐dimensional data analysis
US9785848B2 (en) Automated staining and segmentation quality control
Ramin et al. Counting the number of cells in immunocytochemical images using genetic algorithm
US20050273271A1 (en) Method of characterizing cell shape
EP3576096A1 (en) Sensitivity analysis for digital pathology
CN106802346A (zh) 一种基于免疫组化技术的病理辅助分析方法
US11908130B2 (en) Apparatuses and methods for digital pathology
Samanta et al. Deep learning fuzzy inference: An interpretable model for detecting indirect immunofluorescence patterns associated with nasopharyngeal cancer
Bannah et al. Real-Time Nuclei Classification and Allred Scoring in PR-IHC Stained Breast Cancer Histopathology Images
Saidul et al. The utility of a deep learning-based approach in Her-2/neu assessment in breast cancer
Sergeev et al. Development of automated computer vision methods for cell counting and endometrial gland detection for medical images processing
Shu et al. Biomarker detection in whole slide imaging based on statistical color models
Roszkowiak et al. Improvements to segmentation method of stained lymphoma tissue section images
US12620069B2 (en) Processing multiplex images and analysis of immune enriched spatial proteomic data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22752679

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18276535

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022752679

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022752679

Country of ref document: EP

Effective date: 20230912