WO2024157332A1 - 指標算出装置、指標算出方法、およびプログラム - Google Patents

指標算出装置、指標算出方法、およびプログラム Download PDF

Info

Publication number
WO2024157332A1
WO2024157332A1 PCT/JP2023/001955 JP2023001955W WO2024157332A1 WO 2024157332 A1 WO2024157332 A1 WO 2024157332A1 JP 2023001955 W JP2023001955 W JP 2023001955W WO 2024157332 A1 WO2024157332 A1 WO 2024157332A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
input
index
machine learning
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/001955
Other languages
English (en)
French (fr)
Inventor
康夫 尾見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2024572550A priority Critical patent/JPWO2024157332A1/ja
Priority to US18/288,859 priority patent/US20250078449A1/en
Priority to PCT/JP2023/001955 priority patent/WO2024157332A1/ja
Priority to EP23918305.6A priority patent/EP4657334A4/en
Publication of WO2024157332A1 publication Critical patent/WO2024157332A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to an index calculation device, an index calculation method, and a program for calculating an index related to a prediction result output by a machine learning model.
  • Machine learning models output a prediction result along with a confidence level that estimates how accurate the prediction result is.
  • the confidence level is high, the prediction result may still be wrong, so there is a demand for technology that can indicate how accurate a prediction result is in a way other than the confidence level.
  • Patent Document 1 discloses an image processing device that uses a trained model to generate a second medical image from a first medical image of a subject, the second medical image being generated by performing image quality improvement processing on the first medical image.
  • the image processing device described in Patent Document 1 calculates the difference in pixel values between images before and after image quality improvement processing using the trained model, and warns the operator if the difference is greater than a predetermined value (for example, if tissue that does not actually exist is generated).
  • Patent Document 1 does not take into account the case where the characteristics of the data between the training images used to train the trained model and the first medical image do not match (domain shift).
  • One aspect of the present invention has been made in consideration of the above problems, and one example of the purpose of the present invention is to provide a technology for calculating an index that appropriately indicates how accurate the prediction results output by a machine learning model are.
  • An index calculation device includes a comparison means for comparing, as an input, an image to be inferred, characteristics of a training image used in machine learning of a machine learning model that classifies the image, with characteristics of an input image input to the machine learning model during inference, and a calculation means for calculating an index indicating the possibility of an error in the classification result when the input image is input to the machine learning model, based on the difference between the characteristics of the training image and the characteristics of the input image compared by the comparison means.
  • An index calculation method includes an index calculation device that uses an image to be inferred as input, compares the characteristics of a training image used in machine learning of a machine learning model that classifies the image, and the characteristics of an input image input to the machine learning model during inference, and calculates an index indicating the possibility of an error in the classification result when the input image is input to the machine learning model based on the difference between the characteristics of the training image and the characteristics of the input image compared in the comparison.
  • a program according to one aspect of the present invention is a program that causes a computer to function as an index calculation device, and causes the computer to function as: a comparison means that uses an image to be inferred as input, and compares the characteristics of a training image used in machine learning of a machine learning model that classifies the image, with the characteristics of an input image input to the machine learning model during inference; and a calculation means that calculates an index that indicates the possibility of an error in the classification result when the input image is input to the machine learning model, based on the difference between the characteristics of the training image and the characteristics of the input image compared by the comparison means.
  • FIG. 1 is a block diagram showing a configuration of an index calculation device according to a first exemplary embodiment of the present invention.
  • FIG. 2 is a diagram showing the flow of an index calculation method according to the first exemplary embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of a prediction error notification device according to a second exemplary embodiment of the present invention.
  • 13A to 13C are diagrams illustrating an example of characteristics of a learning image and an input image in the exemplary embodiment 2 of the present invention.
  • FIG. 13 is a diagram illustrating an example of an autoencoder and a latent representation vector in exemplary embodiment 2 of the present invention.
  • FIG. 11 is a flow chart showing the flow of an error notification method according to an exemplary embodiment 2 of the present invention.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of an index calculation device and a prediction error notification device according to each exemplary embodiment of the present invention.
  • Example embodiment 1 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS
  • This exemplary embodiment is a basic form of the exemplary embodiments described below.
  • the index calculation device 1 is a device that uses an image to be inferred as an input, and compares the characteristics of a learning image used in machine learning of a machine learning model that classifies the image, and the characteristics of an input image input to the machine learning model at the time of inference. Furthermore, the index calculation device 1 according to this exemplary embodiment calculates an index indicating the possibility of an error in the classification result when an input image is input to the machine learning model at the time of inference, based on the difference between the compared characteristics of the learning image and the characteristics of the input image at the time of inference.
  • FIG. 1 is a block diagram showing the configuration of the index calculation device 1 according to this exemplary embodiment.
  • the index calculation device 1 includes a comparison unit 11 and a calculation unit 12.
  • the comparison unit 11 and the calculation unit 12 are components that respectively realize a comparison means and a calculation means in this exemplary embodiment.
  • the comparison unit 11 takes an image to be inferred as input and compares the characteristics of the learning image used in the machine learning of the machine learning model that classifies the image with the characteristics of the input image input to the machine learning model during inference.
  • the calculation unit 12 calculates an index indicating the possibility of an error in the classification result when the input image is input to the machine learning model, based on the difference between the characteristics of the learning image and the characteristics of the input image compared by the comparison unit 11.
  • the calculation unit 12 may use the difference between the characteristics of the learning image compared by the comparison unit 11 and the characteristics of the input image at the time of inference as an index indicating the possibility of an error in the classification result when an input image is input to the machine learning model at the time of inference.
  • the value of the index indicating the possibility of an error in the classification result when the input image is input to the machine learning model at the time of inference will be large.
  • the value of the index indicating the possibility of an error in the classification result when the input image is input to the machine learning model at the time of inference will be small.
  • the index calculation device 1 has a configuration including a comparison unit 11 that uses an image to be inferred as input and compares the characteristics of the training image used in the machine learning of a machine learning model that classifies the image with the characteristics of the input image input to the machine learning model during inference, and a calculation unit 12 that calculates an index indicating the possibility of an error in the classification result when an input image is input to the machine learning model based on the difference between the characteristics of the training image and the characteristics of the input image compared by the comparison unit 11.
  • the index calculation device 1 if the data properties between the learning image used in the machine learning of the machine learning model and the input image input to the machine learning at the time of inference do not match (domain shift), the value of the index indicating the possibility of an error in the classification result when the input image is input to the machine learning model at the time of inference becomes large.
  • the index calculation device 1 if there is a high possibility that a domain shift has occurred, an index is calculated that indicates that there is a high possibility that the classification result when the input image is input to the machine learning model at the time of inference is erroneous.
  • the index calculation device 1 has the effect of being able to calculate an index that appropriately indicates how accurate the prediction results output by the machine learning model are.
  • Flow of index calculation method S1 The flow of the index calculation method S1 according to this exemplary embodiment will be described with reference to Fig. 2.
  • Fig. 2 is a flow diagram showing the flow of the index calculation method S1 according to this exemplary embodiment.
  • step S11 the comparison unit 11 inputs an image to be inferred and compares the characteristics of the learning image used for machine learning of the machine learning model that classifies the image with the characteristics of the input image input to the machine learning model during inference.
  • Step S12 the calculation unit 12 calculates an index indicating the possibility of an error in the classification result when the input image is input into the machine learning model, based on the difference between the characteristics of the learning image and the characteristics of the input image compared by the comparison unit 11 in step S11.
  • the calculation unit 12 may use the difference between the characteristics of the learning image compared by the comparison unit 11 in step S11 and the characteristics of the input image at the time of inference as an index indicating the possibility of an error in the classification result when an input image is input to the machine learning model at the time of inference.
  • the value of the index indicating the possibility of an error in the classification result when the input image is input to the machine learning model at the time of inference will be large.
  • the value of the index indicating the possibility of an error in the classification result when the input image is input to the machine learning model at the time of inference will be small.
  • the index calculation method S1 employs a configuration including step S11 in which the comparison unit 11 uses an image to be inferred as input and compares the characteristics of the training image used in the machine learning of the machine learning model that classifies the image with the characteristics of the input image input to the machine learning model during inference, and step S12 in which the calculation unit 12 calculates an index indicating the possibility of an error in the classification result when an input image is input to the machine learning model based on the difference between the characteristics of the training image and the characteristics of the input image compared by the comparison unit 11 in step S11.
  • the index calculation method S1 provides the same effects as the index calculation device 1 described above.
  • Exemplary embodiment 2 A second exemplary embodiment of the present invention will be described in detail with reference to the drawings. Note that components having the same functions as those described in the first exemplary embodiment are denoted by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the prediction error notification device 2 is a device that takes an image to be inferred as input, and compares the characteristics of training images used in machine learning of a machine learning model that classifies the image, with the characteristics of an input image input to the machine learning model during inference.
  • An example of an image input to the machine learning model during inference is a pathology image that contains specimen cells as its subject.
  • the machine learning model may be configured to output a classification result indicating whether the specimen cells contained as the subject in the input pathology image are benign or malignant.
  • machine learning models examples include a Convolution Neural Network (CNN), a Recurrent Neural Network (RNN), or a combination of these.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • Non-neural network models such as random forests and support vector machines may also be used.
  • the characteristics of the training images and the input images at the time of inference are not particularly limited, but examples include the color or brightness of the input images at the time of inference and the training images, the noise level contained in the input images at the time of inference and the training images, and the latent representation vector obtained by inputting the training images and the input images at the time of inference to an autoencoder AE that has been trained using the training images.
  • the autoencoder AE and the latent representation vector will be described later.
  • the prediction error notification device 2 also calculates an index indicating the possibility of an error in the classification result when the input image at the time of inference is input to the machine learning model, based on the difference between the characteristics of the compared learning images and the characteristics of the input image at the time of inference.
  • the prediction error notification device 2 has the functions of the index calculation device 1 described above.
  • an indicator of the possibility of an error in the classification result when an input image is input to a machine learning model during inference may be the exact difference between the characteristics of the compared training image and the characteristics of the input image during inference.
  • an indicator of the possibility of an error in the classification result when an input image is input to a machine learning model during inference may be the probability that the classification result is estimated to be incorrect.
  • the prediction error notification device 2 determines that the classification result may be erroneous, it notifies the user that the classification result may be erroneous.
  • the manner in which the prediction error notification device 2 notifies the user that the classification result may be erroneous is not limited, and the prediction error notification device 2 may display an image including text indicating that the classification result may be erroneous, or may output an audio message indicating that the classification result may be erroneous.
  • Fig. 3 is a block diagram showing the configuration of the prediction error notifying device 2 according to this exemplary embodiment.
  • the prediction error notification device 2 includes a control unit 21, a memory unit 25, a communication unit 26, an input unit 27, and an output unit 28.
  • the memory unit 25 stores data referenced by the control unit 21. Examples of data stored in the memory unit 25 include input images and learning images used during inference.
  • the communication unit 26 is a communication module that communicates with other devices connected via a network.
  • the communication unit 26 receives learning images or input images used during inference, and outputs information indicating that the classification results may be erroneous.
  • the input unit 27 is an interface that acquires data from other connected devices. As an example, the input unit 27 acquires learning images or input images for inference.
  • the output unit 28 is an interface that outputs data to other connected devices. As an example, the output unit 28 outputs information indicating that the classification result may be erroneous.
  • the control unit 21 controls each component included in the prediction error notification device 2. As shown in Fig. 3, the control unit 21 also includes a comparison unit 11, a calculation unit 12, a learning unit 22, a determination unit 23, and a notification unit 24. In this exemplary embodiment, the comparison unit 11, the calculation unit 12, the determination unit 23, and the notification unit 24 respectively function as a comparison means, a calculation means, a determination means, and a notification means. Examples of processes executed by the comparison unit 11, the calculation unit 12, the determination unit 23, and the notification unit 24 will be described later.
  • the comparison unit 11 takes an image to be inferred as input and compares the characteristics of the learning image used in the machine learning of the machine learning model that classifies the image, and the characteristics of the input image input to the machine learning model during inference.
  • the comparison unit 11 stores the comparison result in the memory unit 25.
  • the characteristics of the training image and the characteristics of the input image at the time of inference may be analyzed by another device.
  • the comparison unit 11 compares the characteristics of the training image and the characteristics of the input image based on the analysis results of the other device.
  • the characteristics of the training image and the characteristics of the input image at the time of inference may also be analyzed by the comparison unit 11. The following describes the case where the comparison unit 11 analyzes the characteristics of the training image and the characteristics of the input image at the time of inference.
  • the calculation unit 12 calculates an index indicating the possibility of an error in the classification result when an input image is input to the machine learning model at the time of inference, based on the difference between the characteristics of the learning image compared by the comparison unit 11 and the characteristics of the input image at the time of inference.
  • the calculation unit 12 stores the calculated index in the memory unit 25.
  • the learning unit 22 trains the machine learning model using the training images stored in the memory unit 25.
  • the learning unit 22 trains the machine learning model to use pathological images containing specimen cells as subjects as training images, and output a classification result that classifies the specimen cells as benign or malignant.
  • the determination unit 23 determines whether the index calculated by the calculation unit 12 is equal to or greater than a threshold value. The determination unit 23 stores the determination result in the storage unit 25.
  • the notification unit 24 notifies the user of the classification result by the machine learning model.
  • the notification unit 24 may notify the user that the classification result is erroneous by outputting information indicating that the classification result is erroneous via the communication unit 26 or the output unit 28.
  • the notification unit 24 may further notify information about the index determined to be equal to or greater than the threshold. Examples of information about an index include the index itself and the characteristics compared by the comparison unit 11 to calculate the index.
  • the comparison unit 11 may compare the pixel values of each RGB color of the learning image and the input image at the time of inference as the characteristics of the learning image and the input image at the time of inference.
  • FIG. 4 is a diagram showing an example of the characteristics of the learning image and the input image at the time of inference in this exemplary embodiment.
  • the upper side of FIG. 4 is a histogram of the pixel values of each RGB color of the learning image.
  • the lower side of FIG. 4 is a histogram of the pixel values of each RGB color of the input image at the time of inference.
  • the comparison unit 11 compares the learning image and the input image at the time of inference using a histogram showing the relationship between the pixel values of each RGB color and the number of pixels for each of the learning image and the input image at the time of inference.
  • the comparison unit 11 calculates and compares the average value, median value, and mode value for each of the RGB colors.
  • FIG. 4 shows the average value A1, median value M1, and mode value F1 of R in the learning image, and the average value A2, median value M2, and mode value F2 of R in the input image at the time of inference.
  • the comparison unit 11 may compare the HSV (Hue, Saturation, Value) of the learning image and the input image at the time of inference, instead of each RGB color.
  • the comparison unit 11 may use a histogram showing the relationship between the pixel value of each HSV and the number of pixels.
  • the comparison unit 11 may compare the noise levels contained in the learning image and the input image at the time of inference as the characteristics of the learning image and the input image at the time of inference.
  • the comparison unit 11 makes the comparison using a histogram that shows the relationship between the pixel values (brightness values) and the number of pixels in the background regions (regions in the image other than the specimen cells) of the learning image and the input image at the time of inference.
  • the comparison unit 11 compares the pixel values in the background regions of the learning image and the input image at the time of inference as the noise levels of the learning image and the input image at the time of inference.
  • the comparison unit 11 calculates and compares the average, median, and 95% confidence interval of the noise levels of the learning images and the input images at the time of inference.
  • the comparison unit 11 may compare latent representation vectors obtained by inputting the learning image and the input image at the time of inference to an autoencoder AE that has been trained using the learning image as characteristics of the learning image and the input image at the time of inference.
  • the autoencoder AE and the latent representation vectors will be described with reference to Fig. 5.
  • Fig. 5 is a diagram showing an example of the autoencoder AE and the latent representation vectors in this exemplary embodiment.
  • the autoencoder AE includes an encoder and a decoder.
  • the autoencoder AE is generated by unsupervised learning using training images.
  • the autoencoder AE compresses the dimensions of the input image via the encoder, reducing the dimensions to a latent representation vector that represents important features.
  • the autoencoder AE then outputs an image that has been restored to its original dimensions via the decoder.
  • the comparison unit 11 inputs a training image and an input image at the time of inference to the autoencoder AE, and obtains and compares the latent representation vectors of the training image and the input image at the time of inference generated by the encoder of the autoencoder AE.
  • the comparison unit 11 may input multiple training images (or input images) to the autoencoder AE, and compare the average values of the multiple obtained latent representation vectors.
  • the latent representation vector obtained by inputting a learning image to the autoencoder AE is ( fL1 , fL2 , ..., fLn )
  • the latent representation vector obtained by inputting an input image at the time of inference to the autoencoder AE is ( fI1 , fI2 , ..., fIn ).
  • the comparison unit 11 compares fL1 with fI1 , fL2 with fI2 , ..., and fLn with fIn , respectively.
  • the comparison unit 11 makes a comparison using a histogram showing the relationship between the pixel value and the number of pixels for each RGB color of the learning image and the input image at the time of inference.
  • the calculation unit 12 first calculates the difference between the average value, median value, and mode value for each RGB color of the learning image and the input image at the time of inference. For example, it is assumed that the calculation unit 12 calculates the difference between the average value A1, median value M1, and mode value F1 of R of the learning image shown in FIG. 4, and the average value A2, median value M2, and mode value F2 of R of the input image at the time of inference. In this case, the calculation unit 12 calculates (A1-A2), (M1-M2), and (F1-F2). The calculation unit 12 performs similar calculations for each G and B color.
  • the calculation unit 12 calculates an index based on the calculated difference.
  • the calculation unit 12 may use the calculated differences (A1-A2), (M1-M2), and (F1-F2) as the index.
  • the comparison unit 11 compares the noise levels contained in the learning images and the input images at the time of inference as characteristics of the learning images and the input images at the time of inference.
  • the calculation unit 12 first calculates the differences between the average value, median, and 95% confidence interval of the noise level contained in the learning images and the average value, median, and 95% confidence interval of the noise level contained in the input images at the time of inference.
  • the calculation unit 12 calculates an index based on the calculated difference.
  • the calculation unit 12 may use the calculated difference as the index.
  • the comparison unit 11 compares latent representation vectors obtained by inputting the learning image and the input image at the time of inference into the autoencoder AE as characteristics of the learning image and the input image at the time of inference.
  • the calculation unit 12 first calculates the difference between the latent representation vectors of the learning image and the input image at the time of inference.
  • the comparison unit 11 calculates (f L 1-f I 1), (f L 2-f I 2), ..., (f L n-f I n) as the difference.
  • the calculation unit 12 calculates an index based on the calculated difference.
  • the calculation unit 12 may use the calculated difference as the index.
  • the calculation unit 12 may be configured to calculate the difference between the latent representation vectors of the learning image and the input image at the time of inference when there is a large difference between the input image at the time of inference input to the autoencoder AE and the output image output from the autoencoder AE, in other words, when the restoration accuracy is poor.
  • the calculation unit 12 calculates the mean squared error between the input image at the time of inference and the output image output when the input image at the time of inference is input to the autoencoder AE as the difference. In this case, if the calculated difference is greater than a predetermined value, the calculation unit 12 calculates the difference between the latent representation vectors of the learning image and the input image at the time of inference.
  • the autoencoder AE is generated by unsupervised learning using training images. Therefore, if an input image at the time of inference, in which the characteristics of the training image and the data do not match, is input to the autoencoder AE, an image that differs greatly from the input image at the time of inference is output from the autoencoder AE. On the other hand, if an input image at the time of inference, in which the characteristics of the training image and the data match, is input to the autoencoder AE, an image that differs little from the input image at the time of inference is output from the autoencoder AE.
  • the calculation unit 12 may calculate the difference in the latent representation vectors of the learning image and the input image at the time of inference.
  • the calculation unit 12 does not need to calculate the difference between the latent representation vectors of the learning image and the input image at the time of inference.
  • the calculation unit 12 may be configured to determine whether the difference is equal to or greater than a threshold and calculate a predetermined probability according to the determination result as the index, other than the calculated difference as the index. For example, when the difference is equal to or greater than the threshold, the calculation unit 12 calculates an index that is a probability of "80%" that the classification result is incorrect. On the other hand, when the difference is less than the threshold, the calculation unit 12 calculates an index that is a probability of "20%" that the classification result is incorrect.
  • the calculation unit 12 may be configured to use multiple thresholds to determine whether each of the multiple thresholds is equal to or greater than the threshold, and calculate the index. For example, when the difference is equal to or greater than a first threshold, the calculation unit 12 calculates an index that is a probability of "80%" that the classification result is incorrect. On the other hand, when the difference is less than the first threshold, the calculation unit 12 determines whether the difference is equal to or greater than a second threshold that is lower than the first threshold. When the difference is equal to or greater than the second threshold, the calculation unit 12 calculates an index that is a probability of "50%" that the classification result is incorrect.
  • the calculation unit 12 calculates an index that is a probability of "20%" that the classification result is incorrect. In this way, the calculation unit 12 calculates the difference such that the larger the value, the higher the probability that the classification result is incorrect.
  • the determination unit 23 determines whether each index is equal to or greater than a threshold value. That is, the determination unit 23 determines whether each index of the average value, median value, and mode value of R, the average value, median value, and mode value of G, the average value, median value, and mode value of B, is equal to or greater than a threshold value.
  • the determination unit 23 similarly determines whether each index is equal to or greater than a threshold value.
  • the determination unit 23 determines whether the index of each latent representation vector is equal to or greater than a threshold value.
  • the determination unit 23 determines whether each probability is equal to or greater than a threshold value.
  • Example 1 of Processing Executed by Notification Unit 24 When the judgment unit 23 judges whether or not multiple indicators are above a threshold, as an example, when it is judged that at least one indicator is above the threshold, the notification unit 24 may notify the classification result and a notice that the classification result may be erroneous.
  • the determination unit 23 determines whether each of the indices of the average value of R, the median value of R, the mode value of R, the average value of G, the median value of G, the mode value of G, the average value of B, the median value of B, and the mode value of B is equal to or greater than a threshold value, and the index of the median value of R is equal to or greater than the threshold value.
  • the notification unit 24 since it is determined that at least one of the multiple indices is equal to or greater than the threshold value, the notification unit 24 notifies the classification result and a fact that the classification result may be erroneous.
  • the notification unit 24 may notify the classification result and a message indicating that the classification result may be erroneous.
  • Example 2 of Processing Executed by Notification Unit 24 For example, assume that the input image is a pathology image containing specimen cells as subjects, the classification result is “benign”, and the determination unit 23 determines that the index is equal to or greater than the threshold. In this case, as an example, the notification unit 24 outputs, via the communication unit 26 or the output unit 28, the classification result of “benign” and the text “The classification result may be incorrect” as information indicating that the classification result may be incorrect.
  • the notification unit 24 may further notify information about the index determined to be equal to or greater than the threshold.
  • the notification unit 24 may notify the classification result, a message indicating that the classification result may be erroneous, and a message indicating that the median of R is different between the learning image and the input image at the time of inference.
  • the notification unit 24 may notify that the m-th latent representation vector is different, in addition to the classification result and a message that the classification result may be erroneous.
  • Flow of error notification method S2 The flow of the error notification method S2 according to this exemplary embodiment will be described with reference to Fig. 6.
  • Fig. 6 is a flow diagram showing the flow of the error notification method S2 according to this exemplary embodiment.
  • step S21 the learning unit 22 uses the learning images stored in the storage unit 25 to generate a machine learning model that classifies an image to be inferred as an input.
  • step S22 the comparison unit 11 analyzes the characteristics of the learning images stored in the storage unit 25.
  • the comparison unit 11 stores the analysis results in the storage unit 25.
  • step S23 the comparison unit 11 analyzes the characteristics of the input image at the time of inference stored in the storage unit 25.
  • the comparison unit 11 stores the analysis result in the storage unit 25.
  • step S24 the comparison unit 11 compares the characteristics of the learning image and the characteristics of the input image at the time of inference, based on the analysis result stored in the storage unit 25.
  • the comparison unit 11 stores the comparison result in the storage unit 25.
  • Step S25 the control unit 21 inputs the input image at the time of inference to the machine learning model generated in step S21, and obtains the classification result output from the machine learning model.
  • the control unit 21 stores the obtained classification result in the storage unit 25.
  • step S26 the calculation unit 12 acquires the comparison result stored in the storage unit 25. Based on the acquired comparison result, the calculation unit 12 calculates a difference between the characteristics of the learning image and the characteristics of the input image at the time of inference. Next, based on the calculated difference, the calculation unit 12 calculates an index indicating the possibility of an error in the classification result when the input image at the time of inference is input to the machine learning model.
  • the error notification method S2 includes the processing executed in the index calculation method S1 described above.
  • Step S27 the determination unit 23 determines whether the index calculated by the calculation unit 12 is equal to or greater than a threshold value.
  • Step S28 If it is determined in step S27 that the index is equal to or greater than the threshold (step S27: YES), in step S28, the notification unit 24 notifies the classification result stored in the storage unit 25 and a message indicating that the classification result may be erroneous. As described above, the notification unit 24 may notify information regarding the index determined to be equal to or greater than the threshold, in addition to the classification result and a message indicating that the classification result may be erroneous.
  • Step S29 On the other hand, if it is determined in step S27 that the index is less than the threshold value (step S27: NO), in step S29, the notification unit 24 notifies the classification result.
  • the prediction error notifying device 2 is configured to include a determination unit 23 that determines whether an index is equal to or greater than a threshold value, and a notification unit 24 that, when the determination unit 23 determines that the index is equal to or greater than the threshold value, notifies the user of the classification result and a possibility that the classification result is an error.
  • the prediction error notification device 2 when the index is equal to or greater than the threshold, i.e., when there is a high possibility that a domain shift has occurred, a notification is given that the classification result may be erroneous. Therefore, according to the prediction error notification device 2 according to this exemplary embodiment, it is possible to obtain the effect of being able to notify the user that the prediction result output by the machine learning model may be erroneous when there is a high possibility that a domain shift has occurred.
  • index calculation device 1 and the prediction error notification device 2 may be realized by hardware such as an integrated circuit (IC chip), or may be realized by software.
  • the index calculation device 1 and the prediction error notification device 2 are realized, for example, by a computer that executes instructions of a program, which is software that realizes each function.
  • a computer that executes instructions of a program, which is software that realizes each function.
  • FIG. 7 An example of such a computer (hereinafter referred to as computer C) is shown in FIG. 7.
  • the computer C has at least one processor C1 and at least one memory C2.
  • the memory C2 stores a program P for operating the computer C as the index calculation device 1 and the prediction error notification device 2.
  • the processor C1 reads and executes the program P from the memory C2, thereby realizing each function of the index calculation device 1 and the prediction error notification device 2.
  • the processor C1 may be, for example, a CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating point number Processing Unit), PPU (Physics Processing Unit), TPU (Tensor Processing Unit), quantum processor, microcontroller, or a combination of these.
  • the memory C2 may be, for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination of these.
  • Computer C may further include a RAM (Random Access Memory) for expanding program P during execution and for temporarily storing various data.
  • Computer C may further include a communications interface for sending and receiving data to and from other devices.
  • Computer C may further include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.
  • the program P can also be recorded on a non-transitory, tangible recording medium M that can be read by the computer C.
  • a recording medium M can be, for example, a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit.
  • the computer C can obtain the program P via such a recording medium M.
  • the program P can also be transmitted via a transmission medium.
  • a transmission medium can be, for example, a communications network or broadcast waves.
  • the computer C can also obtain the program P via such a transmission medium.
  • An index calculation device comprising: a comparison means for comparing, as input, an image to be inferred, characteristics of a training image used in machine learning of a machine learning model that classifies the image, with characteristics of an input image input to the machine learning model during inference; and a calculation means for calculating, based on the difference between the characteristics of the training image and the characteristics of the input image compared by the comparison means, an index indicating the possibility of an error in the classification result when the input image is input to the machine learning model.
  • (Appendix 2) 2.
  • Appendix 4 The index calculation device according to any one of appendices 1 to 3, wherein the characteristics are at least any of color or brightness in the input image and the training image, noise levels contained in the input image and the training image, and a latent representation vector obtained by inputting the training image and the input image to an autoencoder that has been trained using the training image.
  • An index calculation method including: an index calculation device that uses an image to be inferred as input, compares characteristics of a training image used in machine learning of a machine learning model that classifies the image, and characteristics of an input image input to the machine learning model at the time of inference; and calculates an index that indicates the possibility of an error in the classification result when the input image is input to the machine learning model based on a difference between the characteristics of the training image and the characteristics of the input image compared in the comparison.
  • a program that causes a computer to function as an index calculation device, the program causing the computer to function as: a comparison means that compares, using an image to be inferred as input, the characteristics of a training image used in machine learning of a machine learning model that classifies the image, with the characteristics of an input image input to the machine learning model at the time of inference; and a calculation means that calculates an index indicating the possibility of an error in the classification result when the input image is input to the machine learning model, based on the difference between the characteristics of the training image and the characteristics of the input image compared by the comparison means.
  • An index calculation device having at least one processor, the processor performing a comparison process in which an image to be inferred is used as input, and the characteristics of a training image used in machine learning of a machine learning model that classifies the image are compared with the characteristics of an input image input to the machine learning model at the time of inference, and a calculation process in which an index indicating the possibility of an error in the classification result when the input image is input to the machine learning model is calculated based on the difference between the characteristics of the training image and the characteristics of the input image compared in the comparison process.
  • the index calculation device may further include a memory, and the memory may store a program for causing the processor to execute the comparison process and the calculation process.
  • the program may also be recorded on a computer-readable, non-transitory, tangible recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

機械学習モデルが出力する予測結果がどの程度正確であるかを適切に示す指標を算出するために、指標算出装置は、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および機械学習モデルに推論時に入力する入力画像の特性を比較する比較部（１１）と、比較部（１１）が比較した学習用画像の特性および入力画像の特性の差異に基づいて、機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出部（１２）と、を備えている

Description

指標算出装置、指標算出方法、およびプログラム
　本発明は、機械学習モデルが出力する予測結果に関する指標を算出する指標算出装置、指標算出方法、およびプログラムに関する。
　機械学習モデルは、予測結果と共に、当該予測結果がどの程度正確であるかを推定した確信度を出力する。しかしながら、確信度が高くても予測結果が間違っている場合があるため、予測結果がどの程度正確であるかを確信度以外で示す技術が求められている。
　特許文献１には、学習済モデルを用いて、被検体の第１の医用画像から、第１の医用画像に対して画質向上処理を行った第２の医用画像を生成する画像処理装置が開示されている。特許文献１に記載の画像処理装置では、学習済モデルによる画質向上処理前後の画像における画素値の差分を算出し、差分が所定値よりも大きい場合（例えば、現実には存在しない組織が生成された場合）、操作者に注意を促す。
日本国特開２０２０－１０３８８０
　しかしながら、特許文献１に記載の画像処理装置では、学習済モデルの学習に使用した学習用画像と、第１の医用画像との間のデータの性質が一致しない場合（ドメインシフト）は想定されていない。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、機械学習モデルが出力する予測結果がどの程度正確であるかを適切に示す指標を算出する技術を提供することである。
　本発明の一側面に係る指標算出装置は、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および前記機械学習モデルに推論時に入力する入力画像の特性を比較する比較手段と、前記比較手段が比較した前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出手段と、を備える。
　本発明の一側面に係る指標算出方法は、指標算出装置が、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および前記機械学習モデルに推論時に入力する入力画像の特性を比較することと、前記比較することにおいて比較された前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出することと、を含む。
　本発明の一側面に係るプログラムは、コンピュータを指標算出装置として機能させるプログラムであって、前記コンピュータを、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および前記機械学習モデルに推論時に入力する入力画像の特性を比較する比較手段と、前記比較手段が比較した前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出手段と、として機能させる。
　本発明の一態様によれば、機械学習モデルが出力する予測結果がどの程度正確であるかを適切に示す指標を算出することができる。
本発明の例示的実施形態１に係る指標算出装置の構成を示すブロック図である。 本発明の例示的実施形態１に係る指標算出方法の流れを示す図である。 本発明の例示的実施形態２に係る予測誤り通知装置の構成を示すブロック図である。 本発明の例示的実施形態２における学習用画像および入力画像の特性の一例を示す図である。 本発明の例示的実施形態２におけるオートエンコーダおよび潜在表現ベクトルの例を示す図である。 本発明の例示的実施形態２に係る誤り通知方法の流れを示すフロー図である。 本発明の各例示的実施形態に係る指標算出装置および予測誤り通知装置のハードウェア構成の一例を示すブロック図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　（指標算出装置１の構成）
　本例示的実施形態に係る指標算出装置１は、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および当該機械学習モデルに推論時に入力する入力画像の特性を比較する装置である。また、本例示的実施形態に係る指標算出装置１は、比較した学習用画像の特性および推論時の入力画像の特性の差異に基づいて、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する。
　本例示的実施形態に係る指標算出装置１の構成について、図１を参照して説明する。図１は、本例示的実施形態に係る指標算出装置１の構成を示すブロック図である。
　本例示的実施形態に係る指標算出装置１は、図１に示すように、比較部１１および算出部１２を備えている。比較部１１および算出部１２は、それぞれ本例示的実施形態において、比較手段および算出手段を実現する構成である。
　比較部１１は、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および機械学習モデルに推論時に入力する入力画像の特性を比較する。
　算出部１２は、比較部１１が比較した学習用画像の特性および入力画像の特性の差異に基づいて、機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する。
　例えば、算出部１２は、比較部１１が比較した学習用画像の特性および推論時の入力画像の特性の差異を、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標としてもよい。
　この場合、比較部１１が比較した学習用画像の特性および推論時の入力画像の特性の差異が大きい場合、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標の値は大きくなる。一方、比較部１１が比較した学習用画像の特性および推論時の入力画像の特性の差異が小さい場合、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標の値は小さくなる。
　以上のように、本例示的実施形態に係る指標算出装置１においては、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および機械学習モデルに推論時に入力する入力画像の特性を比較する比較部１１と、比較部１１が比較した学習用画像の特性および入力画像の特性の差異に基づいて、機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出部１２とを備える構成が採用されている。
　当該構成により、本例示的実施形態に係る指標算出装置１においては、機械学習モデルの機械学習に使用した学習用画像と、推論時に機械学習に入力する入力画像との間のデータの性質が一致しない場合（ドメインシフト）、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標の値は大きくなる。換言すると、本例示的実施形態に係る指標算出装置１においては、ドメインシフトが生じている可能性が高い場合、推論時に機械学習モデルに入力画像を入力した場合の分類結果が誤りである可能性が高いことを示す指標が算出される。
　したがって、本例示的実施形態に係る指標算出装置１においては、機械学習モデルが出力する予測結果がどの程度正確であるかを適切に示す指標を算出することができるという効果が得られる。
　（指標算出方法Ｓ１の流れ）
　本例示的実施形態に係る指標算出方法Ｓ１の流れについて、図２を参照して説明する。図２は、本例示的実施形態に係る指標算出方法Ｓ１の流れを示すフロー図である。
　（ステップＳ１１）
　ステップＳ１１において、比較部１１は、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および機械学習モデルに推論時に入力する入力画像の特性を比較する。
　（ステップＳ１２）
　ステップＳ１２において、算出部１２は、ステップＳ１１において比較部１１が比較した学習用画像の特性および入力画像の特性の差異に基づいて、機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する。
　例えば、ステップＳ１２において算出部１２は、ステップＳ１１において比較部１１が比較した学習用画像の特性および推論時の入力画像の特性の差異を、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標としてもよい。
　この場合、比較部１１が比較した学習用画像の特性および推論時の入力画像の特性の差異が大きい場合、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標の値は大きくなる。一方、比較部１１が比較した学習用画像の特性および推論時の入力画像の特性の差異が小さい場合、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標の値は小さくなる。
　以上のように、本例示的実施形態に係る指標算出方法Ｓ１においては、比較部１１が、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および機械学習モデルに推論時に入力する入力画像の特性を比較するステップＳ１１と、算出部１２が、ステップＳ１１において比較部１１が比較した学習用画像の特性および入力画像の特性の差異に基づいて、機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出するステップＳ１２とを含む構成が採用されている。
　このため、本例示的実施形態に係る指標算出方法Ｓ１によれば、上述した指標算出装置１と同様の効果が得られる。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　（予測誤り通知装置２の概要）
　本例示的実施形態に係る予測誤り通知装置２は、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および当該機械学習モデルに推論時に入力する入力画像の特性を比較する装置である。
　機械学習モデルに推論時に入力される画像の一例として、検体細胞を被写体として含む病理画像が挙げられる。この場合、機械学習モデルは、入力された病理画像に被写体として含まれる検体細胞が良性であるか悪性であるかを示す分類結果を出力する構成であってもよい。
　機械学習モデルの一例として、ＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）、又はそれらの組み合わせを用いることができる。また、ランダムフォレストやサポートベクターマシンのような非ニューラルネットワーク型のモデルを用いてもよい。
　学習用画像および推論時の入力画像の特性は特に限定されないが、一例として、推論時の入力画像および学習用画像における色または輝度、推論時の入力画像および学習用画像に含まれるノイズレベル、ならびに学習用画像を用いて学習済のオートエンコーダＡＥに、学習用画像および推論時の入力画像を入力することによって得られる潜在表現ベクトルが挙げられる。オートエンコーダＡＥおよび潜在表現ベクトルについて、後述する。
　また、本例示的実施形態に係る予測誤り通知装置２は、比較した学習用画像の特性および推論時の入力画像の特性の差異に基づいて、機械学習モデルに推論時の入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する。すなわち、予測誤り通知装置２は、上述した指標算出装置１が備える機能を有している。
　一例として、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標は、比較した学習用画像の特性および推論時の入力画像の特性の差異そのものであってもよい。他の例として、推論時に機械学習モデルに入力画像を入力した場合の分類結果の誤りの可能性を示す指標は、分類結果が誤っていると推定される確率であってもよい。
　また、本例示的実施形態に係る予測誤り通知装置２は、分類結果が誤りの可能性があると判定した場合、分類結果が誤りの可能性がある旨を通知する。分類結果が誤りの可能性がある旨を予測誤り通知装置２が通知する態様は限定されず、分類結果が誤りの可能性がある旨を示すテキストを含む画像を表示してもよいし、分類結果が誤りの可能性がある旨を音声出力してもよい。
　（予測誤り通知装置２の構成）
　本例示的実施形態に係る予測誤り通知装置２の構成について、図３を参照して説明する。図３は、本例示的実施形態に係る予測誤り通知装置２の構成を示すブロック図である。
　本例示的実施形態に係る予測誤り通知装置２は、図３に示すように、制御部２１、記憶部２５、通信部２６、入力部２７、および出力部２８を備えている。
　記憶部２５には、制御部２１が参照するデータが格納されている。記憶部２５に格納されているデータの一例として、推論時の入力画像および学習用画像が挙げられる。
　通信部２６は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、通信部２６は、学習用画像または推論時の入力画像を受信したり、分類結果が誤りの可能性がある旨を示す情報を出力したりする。
　入力部２７は、接続されている他の装置からデータを取得するインタフェースである。一例として、入力部２７は、学習用画像または推論時の入力画像を取得する。
　出力部２８は、接続されている他の装置にデータを出力するインタフェースである。一例として、出力部２８は、分類結果が誤りの可能性がある旨を示す情報を出力する。
　（制御部２１の機能）
　制御部２１は、予測誤り通知装置２が備える各構成要素を制御する。また、制御部２１は、図３に示すように、比較部１１、算出部１２、学習部２２、判定部２３、および通知部２４を備える。比較部１１、算出部１２、判定部２３、および通知部２４は、それぞれ本例示的実施形態において、比較手段、算出手段、判定手段、および通知手段を実現する構成である。比較部１１、算出部１２、判定部２３、および通知部２４が実行する処理の例については後述する。
　比較部１１は、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および機械学習モデルに推論時に入力する入力画像の特性を比較する。比較部１１は、比較結果を記憶部２５に格納する。
　学習用画像の特性および推論時の入力画像の特性は、他の装置によって解析されてもよい。この場合、比較部１１は、当該他の装置が解析した解析結果に基づき、学習用画像の特性および入力画像の特性を比較する。また、学習用画像の特性および推論時の入力画像の特性は、比較部１１が解析してもよい。以下では、比較部１１が学習用画像の特性および推論時の入力画像の特性を解析する場合について説明する。
　算出部１２は、比較部１１が比較した学習用画像の特性および推論時の入力画像の特性の差異に基づいて、機械学習モデルに推論時に入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する。算出部１２は、算出した指標を記憶部２５に格納する。
　学習部２２は、記憶部２５に格納されている学習用画像を用いて機械学習モデルを学習させる。一例として、学習部２２は、検体細胞を被写体として含む病理画像を学習用画像として用いて、当該検体細胞が良性であるか悪性であるかを分類した分類結果を出力するように、機械学習モデルを学習させる。
　判定部２３は、算出部１２が算出した指標が閾値以上であるか否かを判定する。判定部２３は、判定結果を記憶部２５に格納する。
　通知部２４は、機械学習モデルによる分類結果をユーザに通知する。一例として、通知部２４は、判定部２３が指標は閾値以上であると判定した場合、分類結果と、分類結果が誤りの可能性がある旨とを通知する。通知部２４は、分類結果が誤りの可能性がある旨を示す情報を通信部２６または出力部２８を介して出力することにより、分類結果が誤りの可能性がある旨を通知してもよい。
　さらに、通知部２４は、判定部２３が指標は閾値以上であると判定した場合、閾値以上であると判定された指標に関する情報をさらに通知してもよい。指標に関する情報の一例として、当該指標そのもの、および当該指標を算出するために比較部１１によって比較された特性が挙げられる。
　（比較部１１が実行する処理の例１）
　比較部１１は、学習用画像および推論時の入力画像の特性として、学習用画像および推論時の入力画像のＲＧＢ各色の画素値を比較してもよい。当該構成において比較部１１が比較する特性の一例を、図４に示す。図４は、本例示的実施形態における学習用画像および推論時の入力画像の特性の一例を示す図である。図４の上側は、学習用画像のＲＧＢ各色の画素値のヒストグラムである。図４の下側は、推論時の入力画像のＲＧＢ各色の画素値のヒストグラムである。図４に示すように、比較部１１は、学習用画像および推論時の入力画像のそれぞれについて、ＲＧＢ各色の画素値と画素数との関係を示すヒストグラムを用いて比較する。
　一例として、比較部１１は、ＲＧＢ各色について、平均値、中央値、および最頻値をそれぞれ算出し、比較する。図４では一例として、学習用画像のＲの平均値Ａ１、中央値Ｍ１、および最頻値Ｆ１、ならびに推論時の入力画像のＲの平均値Ａ２、中央値Ｍ２、および最頻値Ｆ２を示している。
　他の例として、比較部１１は、ＲＧＢ各色に替えて、学習用画像および推論時の入力画像のＨＳＶ（Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｖａｌｕｅ（輝度））を比較してもよい。この場合も同様に、比較部１１は、ＨＳＶそれぞれの画素値と画素数との関係を示すヒストグラムを用いて比較してもよい。
　（比較部１１が実行する処理の例２）
　比較部１１は、学習用画像および推論時の入力画像の特性として、学習用画像および推論時の入力画像に含まれるノイズレベルを比較してもよい。
　一例として、学習用画像および推論時の入力画像が、検体細胞を被写体として含む病理画像の場合を想定する。この場合、比較部１１は、学習用画像および推論時の入力画像のそれぞれの背景領域（画像における検体細胞以外の領域）の画素値（輝度値）と画素数との関係を示すヒストグラムを用いて比較する。換言すると、比較部１１は、学習用画像および推論時の入力画像のそれぞれの背景領域における画素値を学習用画像および推論時の入力画像のそれぞれのノイズレベルとして、比較する。
　一例として、比較部１１は、学習用画像および推論時の入力画像それぞれのノイズレベルの平均値、中央値、および９５％信頼区間を算出し、比較する。
　（比較部１１が実行する処理の例３）
　比較部１１は、学習用画像および推論時の入力画像の特性として、学習用画像を用いて学習済のオートエンコーダＡＥに学習用画像および推論時の入力画像を入力することによって得られる潜在表現ベクトルを比較してもよい。オートエンコーダＡＥおよび潜在表現ベクトルについて、図５を参照して説明する。図５は、本例示的実施形態におけるオートエンコーダＡＥおよび潜在表現ベクトルの例を示す図である。
　図５に示すように、オートエンコーダＡＥは、ＥｎｃｏｄｅｒおよびＤｅｃｏｄｅｒを備えている。オートエンコーダＡＥは、学習用画像を使用した教師なし学習によって生成される。オートエンコーダＡＥは、入力された画像をＥｎｃｏｄｅｒを介して次元を圧縮し、重要な特徴表現である潜在表現ベクトルに次元を縮減する。その後、オートエンコーダＡＥは、Ｄｅｃｏｄｅｒを介して再度、元の次元に復元処理をした画像を出力する。
　比較部１１は、オートエンコーダＡＥに学習用画像および推論時の入力画像を入力し、オートエンコーダＡＥのＥｎｃｏｄｅｒによって生成される学習用画像および推論時の入力画像それぞれの潜在表現ベクトルを取得し、比較する。比較部１１は、複数の学習用画像（または入力画像）をオートエンコーダＡＥに入力し、取得した複数の潜在表現ベクトルの平均値を比較結してもよい。
　一例として、オートエンコーダＡＥに学習用画像を入力して得られた潜在表現ベクトルが（ｆＬ１、ｆＬ２、・・・、ｆＬｎ）であり、オートエンコーダＡＥに推論時の入力画像を入力して得られた潜在表現ベクトルが（ｆＩ１、ｆＩ２、・・・、ｆＩｎ）であった場合を想定する。この場合、比較部１１は、ｆＬ１とｆＩ１、ｆＬ２とｆＩ２、・・・、およびｆＬｎとｆＩｎをそれぞれ比較する。
　（算出部１２が実行する処理の例１）
　比較部１１が学習用画像および推論時の入力画像のＲＧＢ各色の画素値を特性として比較した場合に、算出部１２が指標を算出する処理の一例について、再び図４を参照して説明する。
　比較部１１が、学習用画像および推論時の入力画像のそれぞれのＲＧＢ各色の画素値と画素数との関係を示すヒストグラムを用いて比較した場合を想定する。この場合、算出部１２はまず、学習用画像および推論時の入力画像のそれぞれのＲＧＢ各色についての平均値、中央値、および最頻値の差異を算出する。例えば、算出部１２が、図４に示す学習用画像のＲの平均値Ａ１、中央値Ｍ１、および最頻値Ｆ１、ならびに推論時の入力画像のＲの平均値Ａ２、中央値Ｍ２、および最頻値Ｆ２のそれぞれの差異を算出する場合を想定する。、この場合、算出部１２は、（Ａ１－Ａ２）、（Ｍ１－Ｍ２）、および（Ｆ１－Ｆ２）を算出する。算出部１２は、ＧＢ各色についても同様に算出する。
　続いて、算出部１２は、算出した差異に基づいて、指標を算出する。一例として、算出部１２は、算出した差異である（Ａ１－Ａ２）、（Ｍ１－Ｍ２）、および（Ｆ１－Ｆ２）を、指標としてもよい。
　（算出部１２が実行する処理の例２）
　比較部１１が学習用画像および推論時の入力画像の特性として、学習用画像および推論時の入力画像に含まれるノイズレベルを比較した場合を想定する。この場合、算出部１２はまず、学習用画像に含まれるノイズレベルの平均値、中央値、および９５％信頼区間と、推論時の入力画像に含まれるノイズレベルの平均値、中央値、および９５％信頼区間との差異をそれぞれ算出する。
　続いて、算出部１２は、算出した差異に基づいて、指標を算出する。一例として、算出部１２は、算出した差異を指標としてもよい。
　（算出部１２が実行する処理の例３）
　比較部１１が学習用画像および推論時の入力画像の特性として、オートエンコーダＡＥに学習用画像および推論時の入力画像を入力することによって得られる潜在表現ベクトルを比較した場合を想定する、この場合、算出部１２はまず、学習用画像および推論時の入力画像それぞれの潜在表現ベクトルの差異を算出する。
　例えば、オートエンコーダＡＥに学習用画像を入力して得られた潜在表現ベクトルが（ｆＬ１、ｆＬ２、・・・、ｆＬｎ）であり、オートエンコーダＡＥに推論時の入力画像を入力して得られた潜在表現ベクトルが（ｆＩ１、ｆＩ２、・・・、ｆＩｎ）であった場合を想定する。この場合、比較部１１は、差異として、（ｆＬ１－ｆＩ１）、（ｆＬ２－ｆＩ２）、・・・、（ｆＬｎ－ｆＩｎ）を算出する。
　続いて、算出部１２は、算出した差異に基づいて、指標を算出する。一例として、算出部１２は、算出した差異を指標としてもよい。
　ここで、算出部１２は、オートエンコーダＡＥに入力した推論時の入力画像と、オートエンコーダＡＥから出力された出力画像との差異が大きい場合に、換言するならば復元精度が良くない場合に、学習用画像および推論時の入力画像それぞれの潜在表現ベクトルの差異を算出する構成であってもよい。一例として、算出部１２は、推論時の入力画像と、当該推論時の入力画像をオートエンコーダＡＥに入力した場合に出力される出力画像との平均二乗誤差を、差異として算出する。この場合、算出された差異が所定の値より大きい場合、算出部１２は、学習用画像および推論時の入力画像それぞれの潜在表現ベクトルの差異を算出する。
　上述したように、オートエンコーダＡＥは、学習用画像を使用した教師なし学習によって生成される。そのため、学習用画像とデータの性質が一致しない推論時の入力画像をオートエンコーダＡＥに入力した場合、推論時の入力画像との差異が大きい画像がオートエンコーダＡＥから出力される。一方、学習用画像とデータの性質が一致する推論時の入力画像をオートエンコーダＡＥに入力した場合、推論時の入力画像との差異が小さい画像がオートエンコーダＡＥから出力される。
　このように、オートエンコーダＡＥに入力した推論時の入力画像と、オートエンコーダＡＥから出力された出力画像との差異が所定の値より大きい場合、学習用画像と推論時の入力画像とのデータの性質が一致しないドメインシフトが生じている可能性が高い。そのため、算出部１２は、オートエンコーダＡＥに入力した推論時の入力画像と、オートエンコーダＡＥから出力された出力画像との差異が所定の値より大きい場合に、学習用画像および推論時の入力画像それぞれの潜在表現ベクトルの差異を算出してもよい。
　一方、オートエンコーダＡＥに入力した推論時の入力画像と、オートエンコーダＡＥから出力された出力画像との差異が所定の値より小さい場合、ドメインシフトは生じていない可能性が高い。この場合、算出部１２は、学習用画像および推論時の入力画像それぞれの潜在表現ベクトルの差異を算出しなくてもよい。
　（算出部１２が実行する処理の例４）
　算出部１２は、算出した差異を指標とする構成以外の構成として、差異が閾値以上であるか否かを判定し、判定結果に応じた所定の確率を指標として算出してもよい。例えば、差異が閾値以上の場合、分類結果が誤っている確率「８０％」を、指標として算出する。一方、差異が閾値未満の場合、分類結果が誤っている確率「２０％」を、指標として算出する。
　当該構成では、算出部１２は、複数の閾値を用いて、当該複数の閾値のそれぞれについて閾値以上であるか否かを判定し、指標を算出する構成であってもよい。例えば、算出部１２は、差異が第１の閾値以上である場合、分類結果が誤っている確率「８０％」を、指標として算出する。一方、差異が第１の閾値未満である場合、算出部１２は、差異が、第１の閾値より低い値である第２の閾値以上であるか否かを判定する。差異が第２の閾値以上である場合、算出部１２は、分類結果が誤っている確率「５０％」を、指標として算出する。一方、差異が第２の閾値未満の場合、算出部１２は、分類結果が誤っている確率「２０％」を、指標として算出する。このように、算出部１２は、値が大きくなるほど分類結果が誤っている確率が高くなるように、差異を算出する。
　（判定部２３が実行する処理の例）
　算出部１２が、学習用画像および推論時の入力画像のＲＧＢ各色の平均値、中央値、および最頻値のそれぞれの差異を指標として算出した場合、判定部２３は、各指標が閾値以上であるか否かを判定する。すなわち、判定部２３は、Ｒの平均値、Ｒの中央値、Ｒの最頻値、Ｇの平均値、Ｇの中央値、Ｇの最頻値、Ｂの平均値、Ｂの中央値、およびＢの最頻値のそれぞれの指標が閾値以上であるか否かを判定する。
　また、算出部１２が、学習用画像および推論時の入力画像にそれぞれ含まれるノイズレベルの平均値、中央値、および９５％信頼区間の差異を指標として算出した場合も同様に、判定部２３は、各指標が閾値以上であるか否かを判定する。
　また、算出部１２が、学習用画像および推論時の入力画像それぞれの潜在表現ベクトルの差異を指標として算出した場合、判定部２３は、各潜在表現ベクトルの指標が閾値以上であるか否かを判定する。
　また、算出部１２が、確率を指標として算出した場合、判定部２３は、各確率が閾値以上であるか否かを判定する。
　（通知部２４が実行する処理の例１）
　判定部２３が複数の指標について閾値以上であるか否かを判定した場合、一例として、少なくとも１つの指標が閾値以上であると判定された場合に、通知部２４は、分類結果と、分類結果が誤りの可能性がある旨とを通知してもよい。
　例えば、判定部２３がＲの平均値、Ｒの中央値、Ｒの最頻値、Ｇの平均値、Ｇの中央値、Ｇの最頻値、Ｂの平均値、Ｂの中央値、およびＢの最頻値のそれぞれの指標が閾値以上であるか否かを判定し、Ｒの中央値の指標が閾値以上であった場合を想定する。この場合、複数の指標のうち、少なくとも１つの指標が閾値以上であると判定されたので、通知部２４は、分類結果と、分類結果が誤りの可能性がある旨とを通知する。
　他の例として、判定部２３が複数の指標について閾値以上であるか否かを判定した場合、所定の数以上の指標が閾値以上であると判定された場合に、通知部２４は、分類結果と、分類結果が誤りの可能性がある旨とを通知してもよい。
　（通知部２４が実行する処理の例２）
　例えば、入力画像が検体細胞を被写体として含む病理画像であり、分類結果が「良性」であり、判定部２３が指標は閾値以上であると判定した場合を想定する。この場合、通知部２４は一例として、分類結果である「良性」と、分類結果が誤りの可能性がある旨を示す情報として、「分類結果が誤っている可能性があります」というテキストとを、通信部２６または出力部２８を介して出力する。
　（通知部２４が実行する処理の例３）
　通知部２４は、閾値以上であると判定された指標に関する情報をさらに通知してもよい。一例として、Ｒの中央値の指標が閾値以上であった場合、通知部２４は、分類結果と、分類結果が誤りの可能性がある旨と、Ｒの中央値が学習用画像および推論時の入力画像において異なる旨を通知してもよい。
　閾値以上であると判定された指標に関する情報を通知部２４が通知する他の例として、判定部２３によって、潜在表現ベクトルの差異（ｆＬｍ－ｆＩｍ）が閾値以上であったと判定された場合、通知部２４は、分類結果と、分類結果が誤りの可能性がある旨とに加えて、ｍ番目の潜在表現ベクトルが違う旨を通知してもよい。
　（誤り通知方法Ｓ２の流れ）
　本例示的実施形態に係る誤り通知方法Ｓ２の流れについて、図６を参照して説明する。図６は、本例示的実施形態に係る誤り通知方法Ｓ２の流れを示すフロー図である。
　（ステップＳ２１）
　ステップＳ２１において、学習部２２は、記憶部２５に格納されている学習用画像を使用して、推論対象の画像を入力として、当該画像を分類する機械学習モデルを生成する。
　（ステップＳ２２）
　ステップＳ２２において、比較部１１は記憶部２５に格納されている学習用画像の特性を解析する。比較部１１は、解析結果を記憶部２５に格納する。
　（ステップＳ２３）
　ステップＳ２３において、比較部１１は記憶部２５に格納されている推論時の入力画像の特性を解析する。比較部１１は、解析結果を記憶部２５に格納する。
　（ステップＳ２４）
　ステップＳ２４において、比較部１１は、記憶部２５に格納されている解析結果に基づき、学習用画像の特性、および推論時の入力画像の特性を比較する。比較部１１は、比較結果を記憶部２５に格納する。
　（ステップＳ２５）
　ステップＳ２５において、制御部２１はステップＳ２１において生成された機械学習モデルに推論時の入力画像を入力し、機械学習モデルから出力された分類結果を取得する。制御部２１は、取得した分類結果を記憶部２５に格納する。
　（ステップＳ２６）
　ステップＳ２６において、算出部１２は、記憶部２５に格納されている比較結果を取得する。算出部１２は、取得した比較結果に基づき、学習用画像の特性および推論時の入力画像の特性の差異を算出する。続いて、算出部１２は、算出した差異に基づいて、機械学習モデルに推論時の入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する。
　このように、誤り通知方法Ｓ２は、上述した指標算出方法Ｓ１において実行される処理を含んでいる。
　（ステップＳ２７）
　ステップＳ２７において、判定部２３は、算出部１２が算出した指標が閾値以上であるか否かを判定する。
　（ステップＳ２８）
　ステップＳ２７において、指標は閾値以上であると判定された場合（ステップＳ２７：ＹＥＳ）、ステップＳ２８において、通知部２４は、記憶部２５に格納されている分類結果と、分類結果が誤りの可能性がある旨とを通知する。ここで、上述したように、通知部２４は、分類結果と分類結果が誤りの可能性がある旨とに加えて、閾値以上であると判定された指標に関する情報を通知してもよい。
　（ステップＳ２９）
　一方、ステップＳ２７において、指標は閾値未満であると判定された場合（ステップＳ２７：ＮＯ）、ステップＳ２９において、通知部２４は、分類結果を通知する。
　（予測誤り通知装置２の効果）
　以上のように、本例示的実施形態に係る予測誤り通知装置２においては、指標が閾値以上であるか否かを判定する判定部２３と、判定部２３が、指標は閾値以上であると判定した場合、分類結果と、分類結果が誤りの可能性がある旨とを通知する通知部２４とを備える構成が採用されている。
　このため、本例示的実施形態に係る予測誤り通知装置２においては、指標が閾値以上の場合、すなわち、ドメインシフトが生じている可能性が高い場合、分類結果が誤りの可能性がある旨を通知する。したがって、本例示的実施形態に係る予測誤り通知装置２によれば、ドメインシフトが生じている可能性が高い場合に、機械学習モデルが出力する予測結果が誤っている可能性をユーザに通知することができるという効果が得られる。
　〔ソフトウェアによる実現例〕
　指標算出装置１、および予測誤り通知装置２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、指標算出装置１、および予測誤り通知装置２は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図７に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを指標算出装置１、および予測誤り通知装置２として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、指標算出装置１、および予測誤り通知装置２の各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および前記機械学習モデルに推論時に入力する入力画像の特性を比較する比較手段と、前記比較手段が比較した前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出手段と、を備える指標算出装置。
　（付記２）
　前記指標が閾値以上であるか否かを判定する判定手段と、前記判定手段が、前記指標は閾値以上であると判定した場合、前記分類結果と、前記分類結果が誤りの可能性がある旨とを通知する通知手段と、をさらに備える付記１に記載の指標算出装置。
　（付記３）
　前記判定手段が、前記指標は閾値以上であると判定した場合、前記通知手段は、閾値以上であると判定された前記指標に関する情報をさらに通知する、付記２に記載の指標算出装置。
　（付記４）
　前記特性は、前記入力画像および前記学習用画像における色または輝度、前記入力画像および前記学習用画像に含まれるノイズレベル、ならびに前記学習用画像を用いて学習済のオートエンコーダに、前記学習用画像および前記入力画像を入力することによって得られる潜在表現ベクトル、の少なくとも何れかである、付記１～３の何れかに記載の指標算出装置。
　（付記５）
　指標算出装置が、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および前記機械学習モデルに推論時に入力する入力画像の特性を比較することと、前記比較することにおいて比較された前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出することと、を含む指標算出方法。
　（付記６）
　コンピュータを指標算出装置として機能させるプログラムであって、前記コンピュータを、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および前記機械学習モデルに推論時に入力する入力画像の特性を比較する比較手段と、前記比較手段が比較した前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出手段と、として機能させるプログラム。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　少なくとも１つのプロセッサを備え、前記プロセッサは、推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および前記機械学習モデルに推論時に入力する入力画像の特性を比較する比較処理と、前記比較処理において比較された前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出処理と、を実行する指標算出装置。
　なお、この指標算出装置は、更にメモリを備えていてもよく、このメモリには、前記比較処理と、前記算出処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　１　指標算出装置
　２　予測誤り通知装置
　１１　比較部
　１２　算出部
　２３　判定部
　２４　通知部

 

Claims (6)

  1. 　　推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および
    　　前記機械学習モデルに推論時に入力する入力画像の特性
    　を比較する比較手段と、
    　前記比較手段が比較した前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出手段と、
    を備える指標算出装置。
  2. 　前記指標が閾値以上であるか否かを判定する判定手段と、
    　前記判定手段が、前記指標は閾値以上であると判定した場合、前記分類結果と、前記分類結果が誤りの可能性がある旨とを通知する通知手段と、
    をさらに備える請求項１に記載の指標算出装置。
  3. 　前記判定手段が、前記指標は閾値以上であると判定した場合、前記通知手段は、閾値以上であると判定された前記指標に関する情報をさらに通知する、
    請求項２に記載の指標算出装置。
  4. 　前記特性は、
    　　前記入力画像および前記学習用画像における色または輝度、
    　　前記入力画像および前記学習用画像に含まれるノイズレベル、ならびに
    　　前記学習用画像を用いて学習済のオートエンコーダに、前記学習用画像および前記入力画像を入力することによって得られる潜在表現ベクトル、
    の少なくとも何れかである、
    請求項１～３の何れか１項に記載の指標算出装置。
  5. 　指標算出装置が、
    　　推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および
    　　前記機械学習モデルに推論時に入力する入力画像の特性
    　を比較することと、
    　前記比較することにおいて比較された前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出することと、
    を含む指標算出方法。
  6. 　コンピュータを指標算出装置として機能させるプログラムであって、
    　前記コンピュータを、
    　　推論対象の画像を入力として、当該画像を分類する機械学習モデルの機械学習に使用した学習用画像の特性、および
    　　前記機械学習モデルに推論時に入力する入力画像の特性
    　を比較する比較手段と、
    　前記比較手段が比較した前記学習用画像の特性および前記入力画像の特性の差異に基づいて、前記機械学習モデルに前記入力画像を入力した場合の分類結果の誤りの可能性を示す指標を算出する算出手段と、
    として機能させるプログラム。

     
PCT/JP2023/001955 2023-01-23 2023-01-23 指標算出装置、指標算出方法、およびプログラム Ceased WO2024157332A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2024572550A JPWO2024157332A1 (ja) 2023-01-23 2023-01-23
US18/288,859 US20250078449A1 (en) 2023-01-23 2023-01-23 Index calculating apparatus, index calculation method, and recording medium
PCT/JP2023/001955 WO2024157332A1 (ja) 2023-01-23 2023-01-23 指標算出装置、指標算出方法、およびプログラム
EP23918305.6A EP4657334A4 (en) 2023-01-23 2023-01-23 Index calculation device, index calculation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/001955 WO2024157332A1 (ja) 2023-01-23 2023-01-23 指標算出装置、指標算出方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024157332A1 true WO2024157332A1 (ja) 2024-08-02

Family

ID=91970253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001955 Ceased WO2024157332A1 (ja) 2023-01-23 2023-01-23 指標算出装置、指標算出方法、およびプログラム

Country Status (4)

Country Link
US (1) US20250078449A1 (ja)
EP (1) EP4657334A4 (ja)
JP (1) JPWO2024157332A1 (ja)
WO (1) WO2024157332A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250077650A1 (en) * 2023-08-31 2025-03-06 Dell Products L.P. Managing impact of poisoned inferences on inference consumers based on use of the inferences by the inference consumers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020103880A (ja) 2018-12-26 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022076203A (ja) * 2020-11-09 2022-05-19 富士通株式会社 データ生成プログラム、データ生成方法および情報処理装置
JP2022142197A (ja) * 2021-03-16 2022-09-30 国立大学法人室蘭工業大学 制御装置、制御方法、及びプログラム
WO2022244787A1 (ja) * 2021-05-19 2022-11-24 京セラ株式会社 情報処理方法、プログラム及び情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6757378B2 (ja) * 2018-08-28 2020-09-16 株式会社モルフォ 画像識別装置、画像識別方法及び画像識別プログラム
JP7381942B2 (ja) * 2020-01-17 2023-11-16 富士通株式会社 制御方法、情報処理装置および制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020103880A (ja) 2018-12-26 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022076203A (ja) * 2020-11-09 2022-05-19 富士通株式会社 データ生成プログラム、データ生成方法および情報処理装置
JP2022142197A (ja) * 2021-03-16 2022-09-30 国立大学法人室蘭工業大学 制御装置、制御方法、及びプログラム
WO2022244787A1 (ja) * 2021-05-19 2022-11-24 京セラ株式会社 情報処理方法、プログラム及び情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4657334A1

Also Published As

Publication number Publication date
JPWO2024157332A1 (ja) 2024-08-02
EP4657334A1 (en) 2025-12-03
US20250078449A1 (en) 2025-03-06
EP4657334A4 (en) 2026-03-04

Similar Documents

Publication Publication Date Title
US20210056711A1 (en) Arithmetic processing apparatus and method
US20200175377A1 (en) Training apparatus, processing apparatus, neural network, training method, and medium
CN112598579A (zh) 面向监控场景的图像超分辨率方法、装置及存储介质
US8693791B2 (en) Object detection apparatus and object detection method
US20210019636A1 (en) Prediction model construction device, prediction model construction method and prediction model construction program recording medium
WO2024157332A1 (ja) 指標算出装置、指標算出方法、およびプログラム
US12561966B2 (en) Learning apparatus, recognition apparatus, learning method, and storage medium
CN113344907B (zh) 一种图像检测方法及装置
US20210210393A1 (en) Information processing apparatus and information processing method
US11869492B2 (en) Anomaly detection system and method using noise signal and adversarial neural network
US11854204B2 (en) Information processing device, information processing method, and computer program product
JP7322358B2 (ja) 情報処理プログラム、情報処理方法、及び情報処理装置
US20230196746A1 (en) Data generation method, data generation apparatus and program
JP7841648B2 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
CN117651957A (zh) 稳定范围决定系统、稳定范围决定方法以及稳定范围决定程序
JP2023069081A (ja) 説明プログラム、説明方法および情報処理装置
US20250384571A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable recording medium
JP7680659B2 (ja) 学習装置、学習方法、及び学習プログラム、並びに、分類装置、分類方法、及び分類プログラム
JP7779372B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230409924A1 (en) Processing device
US12288385B2 (en) Learning device, detection device, learning system, learning method, computer program product for learning, detection method, and computer program product for detecting
US11922710B2 (en) Character recognition method, character recognition device and non-transitory computer readable medium
US20240104908A1 (en) Evaluation method
JP2025112795A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
WO2024232048A1 (ja) モデル評価装置、モデル評価方法、プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18288859

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23918305

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18288859

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2024572550

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023918305

Country of ref document: EP