WO2018180407A1 - 情報処理装置、その制御方法及びプログラム - Google Patents

情報処理装置、その制御方法及びプログラム Download PDF

Info

Publication number
WO2018180407A1
WO2018180407A1 PCT/JP2018/009404 JP2018009404W WO2018180407A1 WO 2018180407 A1 WO2018180407 A1 WO 2018180407A1 JP 2018009404 W JP2018009404 W JP 2018009404W WO 2018180407 A1 WO2018180407 A1 WO 2018180407A1
Authority
WO
WIPO (PCT)
Prior art keywords
inference
image
information
medical image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/009404
Other languages
English (en)
French (fr)
Inventor
将実 川岸
山本　裕之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP18776363.6A priority Critical patent/EP3582178B1/en
Priority to EP25206650.1A priority patent/EP4664484A3/en
Publication of WO2018180407A1 publication Critical patent/WO2018180407A1/ja
Priority to US16/570,463 priority patent/US11424033B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an information processing apparatus, a control method thereof, and a program.
  • Patent Document 1 describes a technique of deriving an image finding from a medical image and presenting it to a doctor by converting an image processing result that is an objective evaluation value into an image finding that is a subjective evaluation value.
  • the conventional technique derives the image findings from the image feature amount that is the image processing result of the medical image, the derived image findings may not match the image findings that the doctor recalls from the medical image. It was.
  • the object of the present invention is to derive information relating to image findings that can appropriately support a doctor's interpretation.
  • the information processing apparatus performs first inference using medical image data, and derives information on a diagnosis name specified from the medical image data as a first inference result.
  • First inference means, and second inference means for performing second inference using the medical image data and the information on the diagnosis name, and deriving information on the image findings as a second inference result. It is characterized by that.
  • the information processing apparatus performs first inference using medical image data, and derives information relating to the likelihood of malignancy of a disease specified from the medical image data as a first inference result.
  • a second inference means that performs second inference using the inference means of the medical image data and information on the likelihood of malignancy of the disease, and derives information on the image findings as a second inference result; It is characterized by providing.
  • FIG. 3 is a diagram illustrating another example of the hardware configuration of the information processing apparatus.
  • 12 is a flowchart illustrating another example of processing of the information processing apparatus.
  • FIG. 25 is a diagram illustrating still another example of the hardware configuration of the information processing apparatus.
  • 14 is a flowchart illustrating still another example of processing of the information processing apparatus.
  • It is a figure which shows an example of a process of the 2nd image process part.
  • 1 is a diagram showing an overview of Embodiment 1.
  • FIG. 1 is a diagram showing an overview of Embodiment 1.
  • the information processing apparatus derives an image finding of a medical image that is a target of medical diagnosis (interpretation).
  • a medical image (synonymous with medical image data; hereinafter the same) is a chest X-ray CT image
  • the information processing apparatus uses a diagnostic name (first) based on the medical image related to the interpretation of an abnormal shadow of the lung.
  • the inference result is derived.
  • An example in which an image finding (second inference result) regarding an abnormal shadow of the lung is derived using a medical image and a diagnosis name will be described.
  • diagnosis names, image feature amounts, image findings, and the like are merely examples for explaining the processing steps of the information processing apparatus.
  • the information processing apparatus causes the first inference unit 102 included in the information processing apparatus to execute the first inference using the medical image 1101.
  • the first inference unit 102 derives the diagnosis name 1102 as the first inference result. That is, the first inference unit 102 infers a diagnosis name 1102 related to an abnormal shadow that appears in the medical image 1101 using the image feature amount of the medical image 1101 and the like.
  • the information processing apparatus causes the second inference unit 104 included in the information processing apparatus to execute the second inference using the medical image 1101 and the diagnosis name 1102.
  • the second inference unit 104 derives an image finding 1103 as the second inference result.
  • the second reasoning unit 104 uses the image feature amount of the medical image 1101 and the diagnosis name 1102 derived by the first reasoning unit 102 to use the image findings 1103 regarding the abnormal shadow appearing in the medical image 1101. Is derived.
  • the second inference unit 104 can derive a matching image finding based on the image finding that the doctor recalls from the medical image.
  • diagnosis name which is the first inference result
  • the diagnosis name is used in the second inference together with the medical image
  • FIG. 1 is a diagram illustrating an example of a functional configuration of the information processing apparatus 100 according to the first embodiment.
  • the information processing apparatus 100 in this embodiment is connected to the case information terminal 200.
  • the case information terminal 200 acquires a medical image from a server (not shown) regarding a case to be diagnosed.
  • a server not shown
  • an external storage device such as an HDD or a DVD drive may be connected, and the case information terminal 200 may acquire a medical image from these external storage devices.
  • the case information terminal 200 transmits a medical image to the information processing apparatus 100 via a LAN or the like in accordance with an operation input from the user.
  • the information processing apparatus 100 includes a first inference unit 102 and a second inference unit 104.
  • the first inference unit 102 performs first inference using a medical image and derives a diagnosis name.
  • the second reasoning unit 104 performs second reasoning using the medical image and the diagnosis name, and derives an image finding.
  • each part of the information processing apparatus 100 shown in FIG. 1 may be realized as an independent apparatus. That is, the information processing apparatus having the first inference unit 102 and the information processing apparatus having the second inference unit may cooperate to realize an information processing system. Alternatively, it may be realized as a virtual server by virtualization technology.
  • the information processing apparatus of the present invention includes in its category forms realized by such a plurality of apparatuses. Moreover, you may implement
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 100.
  • the information processing apparatus 100 of the present embodiment will be described using a general-purpose computer (for example, a PC or a server) as an example, but is not limited thereto.
  • the CPU 1001 mainly controls the operation of each component.
  • the main memory 1002 stores a control program executed by the CPU 1001 or provides a work area when the CPU 1001 executes the program.
  • the magnetic disk 1003 stores an operating system (OS), device drivers for peripheral devices, programs for realizing various application software including programs for performing processing described later.
  • OS operating system
  • the CPU 1001 executes the program stored in the main memory 1002 and the magnetic disk 1003, the functions (software) of the information processing apparatus 100 shown in FIG.
  • Display memory 1004 temporarily stores display data.
  • the monitor 1005 is, for example, a CRT monitor or a liquid crystal monitor, and displays an image, text, or the like based on data from the display memory 1004.
  • a mouse 1006 and a keyboard 1007 perform pointing input and character input by the user, respectively.
  • the above components are connected to each other via a common bus 1008 so that they can communicate with each other.
  • FIG. 3 is a flowchart illustrating an example of processing performed by the information processing apparatus 100.
  • the processing shown in FIG. 3 is realized by the CPU 1001 executing a program that realizes the function of each unit stored in the main memory 1002.
  • the first inference unit 102 performs the first inference using the medical image transmitted via the case information terminal 200, and derives a diagnosis name (inference diagnosis name) of the abnormal shadow in the medical image.
  • a diagnosis name is inferred by using a learned neural network (CNN) as the first inference unit 102.
  • the information relating to the first inference result may be a character string indicating the first inference result (diagnosis name) itself, or a symbol representing the first inference result (diagnosis name). Or a code or a character string obtained by omitting the character string.
  • Fig. 4 shows an example of CNN.
  • a CNN is generally composed of an input layer, an intermediate layer, a total coupling layer, and an output layer.
  • the intermediate layer includes a plurality of convolution layers (FIG. 4A) and a pooling layer (FIG. 4B).
  • the convolution layer is a layer that performs convolution by applying a filter to the input, and an output value corresponding to each filter is obtained.
  • the pooling layer is a layer that outputs a single value with a plurality of output values as input values. For example, the pooling layer outputs the maximum value of the plurality of input values.
  • the output of the convolution layer and the output of the pooling layer may be referred to as a feature map.
  • the fully connected layer is a layer that combines the outputs of the intermediate layer, and converts the feature map into a certain number of output values.
  • the output layer is composed of the number of nodes corresponding to the target label (here, the diagnosis name), and the final value is output from the output of all the connection layers.
  • the sum of the output values of the nodes corresponding to the respective labels is generally set to 1.
  • the label corresponding to the node having the maximum output value is output as the inference result.
  • the connection weights of the filters, the intermediate layer and the total connection layer, and the total connection layer and the output layer are learned from the learning data including the image and the correct label as a set so that the error is minimized.
  • FIG. 1 An example of the CNN in the present embodiment is shown in FIG.
  • medical data and ternary diagnosis names primary lung cancer, lung metastasis of cancer, benign nodules
  • learning data in which values are assigned to the items of N image findings
  • the learning of CNN performed in advance will be described.
  • the use of image findings will be described later in step S30.
  • the CNN is learned from a set of medical images and diagnosis names that are input in three dimensions and normalized in size to 64 ⁇ 64 ⁇ 64.
  • the intermediate layer is converted into 16 feature maps of 8 ⁇ 8 ⁇ 8 using two convolution layers and a pooling layer.
  • the 16 feature maps of 8 ⁇ 8 ⁇ 8 are converted into 1024 node values by the network layer using ReLU (Rectified Linear Unit) as the activation function.
  • classification is performed from 1024 node values into three values of diagnosis names by the network layer using the Softmax function as an activation function.
  • a new medical image is generated by adding rotation, enlargement / reduction, movement, etc.
  • the number of normalized pixels (voxels), the number of stages in the intermediate layer, the number of all connected layers, the number of output layers, and the expansion of learning data are merely examples, and different conditions may naturally be used.
  • the size of the transmitted medical image is normalized so as to be the same as the input of the CNN, and the normalized image is input to the learned CNN to derive a diagnosis name (inference diagnosis name). For example, it is inferred whether the abnormal shadow in the medical image is primary lung cancer, lung metastasis of cancer, or benign nodule.
  • the second reasoning unit 104 performs second reasoning using the medical image transmitted through the case information terminal 200 and the diagnosis name (inference diagnosis name) derived in step S20, and performs the medical Deriving the image findings of the image. That is, the second inference means performs the second inference using the medical image data and the information on the first inference result (for example, information on the diagnosis name), and derives the information on the image finding as the second inference result. It corresponds to.
  • the information related to the image finding may be a character string indicating the image finding itself, a symbol or code representing the image finding, or a character string obtained by omitting the character string.
  • the second inference is performed using the CNN as in step S20. More specifically, the second inference is performed using the CNN learned for each set of diagnosis name / image finding items to derive the image findings.
  • an example of a case where an image finding item is a sawtooth edge and the values of the sawtooth edge are four values of “many”, “medium”, “small”, and “none” are performed in advance.
  • the learning data is divided for each diagnosis name. That is, the data is divided into a data group whose diagnosis name is primary lung cancer, a data group which is lung metastasis of cancer, and a data group which is benign nodule.
  • a CNN is learned in which the value of the image finding item is used as a correct label, the normalized medical image is input, and the value of the image finding item is output.
  • the input layer, intermediate layer, and all coupling layers of the CNN are the same as those of the CNN shown in FIG.
  • three CNNs that infer values (four values) of the serrated edge are learned. Since learning is performed independently according to the diagnosis name at this time, different parameters are learned according to the diagnosis name (first inference result) even for the same image findings.
  • CNN learning for other image finding items learning is performed with different parameters for each combination of the diagnosis name (three types in this embodiment) and the image finding items (N types in this embodiment). 3 ⁇ N CNNs are generated.
  • the second inference unit 104 derives the value of each image finding using N CNNs corresponding to the inference diagnosis name derived in step S20. That is, the second inference is performed with the parameter and / or the inference method according to the first inference result, and information about the image findings is derived using the medical image as input information.
  • the second inference means further includes a discriminator that derives information related to image findings from medical image data for each combination of diagnosis name and image findings. Then, the second inference means derives information on the image findings using a discriminator corresponding to the combination including the diagnosis name as the first inference result. For example, when the inference diagnosis name derived in step S20 is primary lung cancer, N learned CNNs corresponding to the primary lung cancer are selected, and the values of the image findings are derived.
  • the information processing apparatus 100 derives an inference diagnosis name from a medical image and derives an image finding using the medical image and the derived inference diagnosis name. This makes it possible to derive an image finding that matches the image finding that the doctor recalls from the medical image.
  • the inference diagnosis name that is the first inference result is used in the second inference together with the medical image, it matches the image findings that would be given to the interpretation report when the doctor interprets the inference diagnosis name. It is possible to derive an image finding that is highly likely to be performed.
  • the medical image is used as the CNN input in step S20 and step S30.
  • the region of interest of the medical image that is, the region near the lesion including the lesion
  • the acquired region of interest is stored in the CNN. It may be used as input.
  • a method for acquiring a region of interest will be described later in a second embodiment.
  • different CNNs are used for each diagnosis name in step S30, but different CNNs are not necessarily used for all diagnosis names.
  • a common CNN may be used for primary lung cancer and lung metastasis of cancer, and a CNN for benign nodules may be used for benign nodules. According to this, since the CNN corresponding to the characteristic of the abnormal shadow can be used, it is possible to derive a matching image finding by the image finding recalled from the medical image by the doctor.
  • step S30 the second inference is performed using the inference diagnosis name derived in step S20, and the image findings are derived.
  • the second inference is performed using the diagnosis name acquired by other methods. Inferences may be made to derive image findings. For example, a diagnosis name input by a doctor via the case information terminal 200 may be acquired and used. According to this, since the second inference can be performed using the diagnosis name considered by the doctor, it is possible to derive an image finding that matches the image finding that the doctor recalls from the medical image.
  • the information processing apparatus 100 acquires a region of interest from a medical image, performs image processing, and infers an abnormal shadow in the region of interest using a first image feature amount obtained as a result of the image processing. Derived and presented the diagnosis name and image findings.
  • FIG. 6 is a diagram illustrating an example of a functional configuration of the information processing apparatus 100 according to the present embodiment.
  • symbol same as FIG. 1 was provided, only a different part from Embodiment 1 is demonstrated.
  • the information processing apparatus 100 includes a region of interest acquisition unit 106, a first image processing unit 108, a first inference unit 102, a second inference unit 104, and a presentation unit 110.
  • the region of interest acquisition unit 106 acquires a region of interest to be subjected to image processing from the medical image.
  • the first image processing unit 108 performs image processing on the region of interest and calculates a first image feature amount.
  • the first inference unit 102 derives an inference diagnosis name of an abnormal shadow in the region of interest using the first image feature amount.
  • the second inference unit 104 derives an image finding in the region of interest using the first image feature amount and the inference diagnosis name.
  • the presentation unit 110 presents the derived image findings.
  • the hardware configuration of the information processing apparatus 100 is the same as that in FIG.
  • step S ⁇ b> 10 the region of interest acquisition unit 106 acquires the region of interest from the medical image transmitted via the case information terminal 200.
  • the rectangular parallelepiped region set by the user using the viewer on the case information terminal 200 is further transmitted from the case information terminal 200, and the transmitted rectangular parallelepiped region is acquired as the region of interest.
  • Other examples will be described later in Embodiments 3 and 4.
  • the first image processing unit 108 calculates a first image feature amount from the region of interest acquired in step S10. That is, it corresponds to a first image processing means for performing image processing on medical image data and acquiring a first image feature amount.
  • the image feature amount calculated here may be any feature amount, but in the present embodiment, the image feature amount is acquired as follows. First, an abnormal shadow region is further extracted from the region of interest using a known segmentation technique (threshold processing, region expansion method, Level-set method, Graph-cut method, etc.). Then, general statistics such as the average value, variance, kurtosis, and skewness of the luminance (density) of the extracted abnormal shadow region are calculated as image feature amounts.
  • image features calculated by other methods may be used.
  • a CNN having a normalized region of interest as an input and a correct label as a diagnosis name may be learned, and the output value of all connected layers may be used as an image feature amount.
  • step S20 the first inference unit 102 performs the first inference using the first image feature amount calculated in step S15, and derives an inference diagnosis name of the abnormal shadow in the region of interest.
  • an inference diagnosis name is derived using a learned support vector machine (SVM).
  • the learning of the first reasoning unit 102 is performed in advance as follows. Although the learning data described in the first embodiment is used, it is assumed that the region of interest is given to the medical image manually. First, an image feature amount is extracted from the assigned region of interest by the same method as that in step S15. Then, a support vector machine that derives a diagnosis name from the set of the extracted image feature quantity and diagnosis name is learned.
  • step S30 the second inference unit 104 performs second inference using the first image feature amount calculated in step S15 and the inference diagnosis name derived in step S20, and derives image findings in the region of interest. To do.
  • the value of the image finding is derived by using the same inference method for each diagnosis name / image finding item, specifically, a learned Random Forest classifier.
  • a learned Random Forest classifier e.g., a neural network, a support vector machine, and a Bayesian network.
  • the learning of the second reasoning unit 104 is performed in advance as follows.
  • a region of interest is assigned to the medical image, and the image feature amount is calculated by the same method as in step S15.
  • a data group having the same label for example, primary lung cancer
  • the Random Forest discriminator is trained using a set of image feature values of each data and values of image findings (for example, serrated edges) assigned to the data as learning data.
  • image findings for example, serrated edges
  • the second reasoning unit 104 uses the N Random Forest discriminators corresponding to the diagnosis name derived in step S20 to obtain the first image feature quantity of the region of interest obtained in step S15.
  • the value of each image finding is derived as input information. That is, an image finding is derived by using a medical image as input information by using a parameter and / or an inference method according to the first inference result. For example, if the diagnosis name derived in step S20 is primary lung cancer, N learned Random Forest discriminators corresponding to the primary lung cancer are selected, and the value of each image finding is derived.
  • step S35 the presentation unit 110 presents the diagnosis name derived in step S20 and the image findings derived in step S30 to the user as support information.
  • the information processing apparatus 100 acquires a region of interest from a medical image, performs image processing on the region of interest, and calculates a first image feature amount. Then, an inference diagnosis name is derived using the calculated first image feature quantity, and an image finding is derived based on the derived inference diagnosis name and the first image feature quantity. Therefore, an image finding that matches the image finding that is recalled from the feature related to the region of interest of the medical image can be presented as support information.
  • the image findings are derived using the same inference method for the inference diagnosis name (first inference result).
  • the same inference method is not necessarily used.
  • different inference methods may be used depending on the diagnosis name, such as a Random Forest discriminator in the case of primary lung cancer and a support vector machine in the case of lung metastasis of cancer.
  • Different inference methods may be used depending on the image finding items.
  • different inference methods may be used depending on the combination of the diagnosis name and the image findings.
  • the image findings are derived by inputting the image feature amount for every diagnosis name / image finding item, but this is not necessarily the case.
  • some diagnosis names / image findings are derived by CNN using medical images as in the first embodiment, and other diagnosis names / image findings are derived using image feature amounts. It may be.
  • step S20 the inference diagnosis name may be derived by CNN, and in step S30, the image findings may be derived using the image feature amount.
  • the image findings may be derived with the various combinations described above.
  • the information processing apparatus 100 uses the first inference result of the likelihood of malignancy of the target disease depicted in the medical image based on the first image feature amount obtained by performing image processing on the region of interest. Derived as That is, the information related to the first inference result is information related to the likelihood of malignancy of the disease specified from the medical image data. Then, an image finding in the region of interest is derived using the derived malignant likelihood and the first image feature amount as inputs to the second inference unit.
  • the information on the likelihood of malignancy of the disease may be a character string indicating the malignant likelihood of the disease itself, a symbol or code indicating the likelihood of malignancy of the disease, or a character string abbreviating the character string It may be.
  • the information processing apparatus 100 in the present embodiment has the same functional configuration as that in FIG. 6 in the second embodiment.
  • a flowchart for explaining the overall processing performed by the information processing apparatus 100 is the same as that in FIG. However, part of the processing is different from that of the second embodiment.
  • FIG. 7 Only differences from the second embodiment will be described for the entire processing performed by the information processing apparatus 100 according to the present embodiment.
  • steps S10 and S15 is the same as the processing in the second embodiment.
  • step S20 the first inference unit 102 derives the likelihood of malignancy of the target disease rendered using the first image feature amount calculated in step S15.
  • the first reasoning unit 102 may be anything as long as it can derive the likelihood (regression equation or the like), but here, it is assumed that the malignant likelihood of the target disease is derived using a Bayesian network.
  • step S30 the second inference unit 104 derives an image finding using the first image feature amount calculated in step S15 and the malignant likelihood inferred in step S20.
  • the first image feature value and likelihood are input to the second inference unit, and the value of each image finding is derived by an inference method learned for each item of image finding.
  • various known methods such as a neural network and a support vector machine can be used to derive the image findings.
  • the likelihood may be 1.0 in the case of primary lung cancer and lung metastasis of cancer, and the likelihood may be 0 in the case of benign nodules.
  • the information processing apparatus 100 uses the likelihood of malignancy for an abnormal shadow in the region of interest as one of the inputs of the second inference unit, and the malignant likelihood is determined by the second inference unit. Deriving image findings in consideration. Therefore, an image finding that matches the image finding that is recalled from the feature related to the region of interest of the medical image can be presented as support information.
  • the parameters of the inference method are determined by learning in step S30.
  • the parameters may be manually adjusted so that the influence of the likelihood of malignancy on the derivation result (that is, the value of the image finding) is increased.
  • the influence of the features obtained from the region of interest on the derivation result can be set larger, so that the image findings that match the image findings recalled from the features related to the region of interest in the medical image are presented as support information can do.
  • a malignant likelihood is derived in step S20, and an image finding is derived using the malignant likelihood inferred in step S20 in step S30.
  • the likelihood inferred in step S20 is not necessarily a malignant likelihood.
  • it may be a benign likelihood or another likelihood.
  • the information processing apparatus 100 performs the second image feature amount (the shape of the contour line) by performing further image processing on the region of interest according to the first inference result (malignant likelihood). And the shape feature amount such as the length of the straight line of the contour line). Then, an image finding is derived based on the calculated second image feature amount.
  • FIG. 8 is a diagram illustrating an example of a functional configuration of the information processing apparatus 100 according to the present embodiment.
  • symbol same as FIG. 6 was provided, only a different part from Embodiment 2 and 3 is demonstrated.
  • the information processing apparatus 100 includes a region of interest acquisition unit 106, a first image processing unit 108, a first inference unit 102, a second image processing unit 112, a second inference unit 104, and a presentation unit 110.
  • the region-of-interest acquisition unit 106 Since the region-of-interest acquisition unit 106, the first image processing unit 108, the first inference unit 102, and the presentation unit 110 have the same functions as those in the second and third embodiments, description thereof is omitted.
  • the second image processing unit 108 performs image processing according to the first inference result (malignant likelihood).
  • the second inference unit 104 derives an image finding using the second image feature amount (the shape of the contour line or the length of the straight line of the contour line).
  • the hardware configuration of the information processing apparatus 100 is the same as that in FIG. 2 in the first to third embodiments.
  • steps S10 to S20 are the same as those in the third embodiment.
  • the second image processing unit 108 performs image processing according to the likelihood of malignancy derived in step S20, and calculates a second image feature amount. That is, it corresponds to a second image processing unit that performs image processing on the medical image data according to the first inference result and acquires the second image feature amount. Specifically, the shape feature amount such as the shape of the contour line and the length of the straight line of the contour line is calculated.
  • contour lines as shown in FIGS. 10A and 10B are extracted in the image processing in step S15.
  • the curvature at each pixel (voxel) is calculated, it is determined whether the contour line is a straight line according to the curvature, and the length of the straight line is measured.
  • the likelihood of malignancy calculated in step S20 is greater than a predetermined value (for example, 0.3), it is determined that the line is bent if the curvature exceeds a threshold value. As a result, it is converted into a contour line such as a thick line A, and the length of the straight line is measured based on the contour line to obtain a feature amount.
  • a predetermined value for example, 0.3
  • the threshold value for the curvature is increased, and the contour is regarded as a straight line even if the curvature is somewhat large.
  • it is converted into a contour line such as a B thick line, and the length of the straight line is measured based on the contour line to obtain a feature amount. This simulates that doctors generally tend to consider the outline of the same contour as a straight line when the possibility of benign is strong (that is, the likelihood of malignancy is low).
  • step S25 image processing is performed according to the likelihood of malignancy (that is, the first inference result), and the second image feature amount is calculated.
  • step S30 the second inference unit 104 derives an image finding using the second image feature amount calculated in step S25 as an input.
  • the inference of the image findings can be performed by using various known methods such as a neural network and a support vector machine as in the third embodiment.
  • step S35 is the same as the processing in the third embodiment.
  • the information processing apparatus 100 calculates a second image feature amount corresponding to the likelihood of malignancy (first inference result), and derives an image finding using the second image feature amount as an input. . That is, an image finding inferred based on an image feature amount considering a doctor's thought process is presented. Therefore, an image finding that matches the image finding that is recalled from the feature related to the region of interest of the medical image can be presented as support information.
  • step S30 an image finding is derived using only the calculated second image feature amount as an input.
  • the image findings may be derived using the first image feature amount in combination.
  • image findings may be derived by adding the likelihood of malignancy as a feature amount.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

情報処理装置１００は、医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論手段と、前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、前記画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、を備えることを特徴とする。

Description

情報処理装置、その制御方法及びプログラム
　本発明は、情報処理装置、その制御方法及びプログラムに関する。
　計算機で医用画像を解析し、医師の読影の助けとなる情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。特許文献１には、客観評価値である画像処理結果を主観評価値である画像所見へと変換することで医用画像から画像所見を導出して医師に提示する技術が記載されている。
特開２００９－２０７５８５号公報
　しかしながら、従来の技術では、医用画像の画像処理結果である画像特徴量から画像所見を導出しているため、導出された画像所見と医師が医用画像から想起する画像所見とが合致しない場合があった。
　本発明は、医師の読影を適切に支援可能な画像所見に関する情報を導出することを目的とする。
　上記の目的を達成するために本発明の情報処理装置は、医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論手段と、前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、を備えることを特徴とする。また、本発明の情報処理装置は、医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論手段と、前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、を備えることを特徴とする。
　本発明によれば、医師の読影を適切に支援可能な画像所見に関する情報を導出することが可能となる。
情報処理装置の機能構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 第１の推論手段の一例を示す図である。 ３次元畳み込みニューラルネットワークの例である。 情報処理装置のハードウェア構成の他の一例を示す図である。 情報処理装置の処理の他の一例を示すフローチャートである。 情報処理装置のハードウェア構成のさらに他の一例を示す図である。 情報処理装置の処理のさらに他の一例を示すフローチャートである。 第２の画像処理部の処理の一例を示す図である。 第２の画像処理部の処理の一例を示す図である。 実施形態１の概要を示す図である。
　以下、本発明を実施するための形態について図面を用いて説明する。
　＜実施形態１＞
　実施形態１における情報処理装置は、医療診断（読影）の対象となる医用画像の画像所見を導出する。
　なお、以下では、医用画像（医用画像データと同義。以下、同じ。）は胸部Ｘ線ＣＴ画像とし、情報処理装置は、肺の異常陰影の読影に係る医用画像を基に診断名（第１の推論結果）を導出するものとする。そして、医用画像と診断名を用いて肺の異常陰影に関する画像所見（第２の推論結果）を導出する場合を例として説明する。もちろん対象はこれに限定されるものではなく、以下に示す診断名や画像特徴量、画像所見等は、何れも情報処理装置の処理の工程を説明するための一例に過ぎない。
　まず、図１１を用いて実施形態１の概要を説明する。情報処理装置は、情報処理装置が備える第１の推論部１０２に医用画像１１０１を用いた第１の推論を実行させる。これにより第１の推論部１０２は、第１の推論結果として診断名１１０２を導出する。すなわち、第１の推論部１０２は、医用画像１１０１の画像特徴量等を用いて、医用画像１１０１に写る異常陰影に関する診断名１１０２を推論する。
　次に、情報処理装置は、情報処理装置が備える第２の推論部１０４に医用画像１１０１と診断名１１０２とを用いた第２の推論を実行させる。これにより第２の推論部１０４は、第２の推論結果として画像所見１１０３を導出する。すなわち、第２の推論部１０４は、医用画像１１０１の画像特徴量等と、更に第１の推論部１０２により導出された診断名１１０２とを用いて、医用画像１１０１に写る異常陰影に関する画像所見１１０３を導出する。
　以上のように情報処理装置を動作させることで、第２の推論部１０４は、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。また、第１の推論結果である診断名を医用画像と共に第２の推論で用いるため、医師が診断名を想定して読影した場合に読影レポートに付与するであろう画像所見と一致する可能性が高い画像所見を導出することが可能となる。以下、この詳細を説明する。
　図１は、実施形態１における情報処理装置１００の機能構成の一例を示す図である。本実施形態における情報処理装置１００は、症例情報端末２００に接続されている。症例情報端末２００は、診断対象である症例に関して、医用画像を不図示のサーバから取得する。或いは、例えばＨＤＤやＤＶＤドライブ等の外部記憶装置を接続し、症例情報端末２００は、それらの外部記憶装置から医用画像を取得するようにしてもよい。
　そして、症例情報端末２００は、ユーザからの操作入力に従い、医用画像を、ＬＡＮ等を介して情報処理装置１００へと送信する。
　情報処理装置１００は、第１の推論部１０２と、第２の推論部１０４とを備える。第１の推論部１０２は、医用画像を用いて第１の推論を行い、診断名を導出する。第２の推論部１０４は、医用画像と診断名を用いて第２の推論を行い、画像所見を導出する。
　なお、図１に示した情報処理装置１００の各部の少なくとも一部は独立した装置として実現してもよい。すなわち、第１の推論部１０２を有する情報処理装置と第２の推論部を有する情報処理装置とが協働することにより情報処理システムとして実現してもよい。または、仮想化技術により仮想サーバとして実現してもよい。本発明の情報処理装置は、このような複数の装置によって実現される形態もその範疇に含む。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。
　図２は、情報処理装置１００のハードウェア構成の一例を示す図である。本実施形態の情報処理装置１００は、汎用的なコンピュータ（例えば、ＰＣやサーバ）を例に説明するが、これに限らない。ＣＰＵ１００１は、主として各構成要素の動作を制御する。主メモリ１００２は、ＣＰＵ１００１が実行する制御プログラムを格納したり、ＣＰＵ１００１によるプログラム実行時の作業領域を提供したりする。磁気ディスク１００３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ１００１が主メモリ１００２、磁気ディスク１００３に格納されているプログラムを実行することにより、図１に示した情報処理装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。
　表示メモリ１００４は、表示用データを一時記憶する。モニタ１００５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１００４からのデータに基づいて画像やテキスト等の表示を行う。マウス１００６及びキーボード１００７は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス１００８により互いに通信可能に接続されている。
　次に、図３のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。図３は、情報処理装置１００が行う処理の一例を示すフローチャートである。本実施形態では、ＣＰＵ１００１が主メモリ１００２に格納されている各部の機能を実現するプログラムを実行することにより図３に示す処理が実現される。
　ステップＳ２０において、第１の推論部１０２は、症例情報端末２００を介して送信された医用画像を用いて第１の推論を行い、医用画像中の異常陰影の診断名（推論診断名）を導出する。すなわち、医用画像データを用いて第１の推論を行い、画像所見とは異なる第１の推論結果に関する情報（例えば、医用画像データから特定される診断名に関する情報）を導出する第１の推論手段に相当する。本実施形態では、第１の推論部１０２として学習済みのＣｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて診断名を推論する。なお、第１の推論結果に関する情報（診断名に関する情報）は、第１の推論結果（診断名）そのものを示す文字列であってもよいし、第１の推論結果（診断名）を表す記号やコード、該文字列を略した文字列であってもよい。
　図４にＣＮＮの例を示す。ＣＮＮは一般に、入力層、中間層、全結合層、出力層から構成される。入力層では、一定のサイズに正規化された画像を入力する。中間層は、複数の畳み込み層（図４（ａ））とプーリング層（図４（ｂ））から構成される。畳み込み層は、入力に対してフィルタをかけて畳み込みを行う層であり、各フィルタに対応する出力値が得られる。プーリング層は、複数の出力値を入力値として一つの値を出力する層であり、例えば複数の入力値の最大値を出力とする。なお、畳み込み層の出力やプーリング層の出力は特徴マップと呼ばれることがある。全結合層は、中間層の出力を結合する層であり、特徴マップからある個数の出力値へと変換する。出力層は対象となるラベル（ここでは診断名）の数のノードで構成され、全結合層の出力から最終的な値を出力する。この時、一般には各ラベルに対応するノードの出力値の和が１となるように構成される。そして、最大となる出力値をとるノードに対応するラベルを推論結果として出力する。各フィルタや、中間層と全結合層、全結合層と出力層の結合重みは、画像と正解ラベルをセットとした学習データから誤差が最少となるように学習される。
　本実施形態におけるＣＮＮの例を図５に示す。以下では、医用画像と３値の診断名（原発性肺癌、癌の肺転移、良性結節）、及び、Ｎ個の画像所見の項目に対して夫々値が付与された学習データがあるものとして、事前に実施されるＣＮＮの学習について説明する。なお、画像所見の利用についてはステップＳ３０で後述する。
　ここでは、入力は３次元のまま用い、サイズを６４×６４×６４に正規化した医用画像と診断名のセットからＣＮＮを学習する。中間層は夫々２層の畳み込み層とプーリング層を用い、８×８×８の１６個の特徴マップに変換する。そして、８×８×８の１６個の特徴マップから、活性化関数にＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）を用いたネットワーク層により１０２４個のノード値へと変換する。最後に１０２４個のノード値から活性化関数にＳｏｆｔｍａｘ関数を用いたネットワーク層により診断名の３値へと分類（推論）を行う。一般に、ＣＮＮは学習データ数が多いほど精度が高くなる傾向があるため、医用画像に回転、拡大・縮小、移動などを加えて新たな医用画像を生成し、学習データを増やすようにする。なお、例示した、正規化の画素（ボクセル）数、中間層の段数、全結合層、出力層の個数、学習データの拡張は一例に過ぎず、異なる条件を用いても当然構わない。
　ステップＳ２０の実施時には、送信された医用画像を当該ＣＮＮの入力と同一になるようサイズを正規化し、正規化した画像を学習されたＣＮＮに入力して診断名（推論診断名）を導出する。例えば、医用画像中の異常陰影が原発性肺癌か、癌の肺転移か、良性結節の何れであるかを推論する。
　ステップＳ３０において、第２の推論部１０４は、症例情報端末２００を介して送信された医用画像と、ステップＳ２０で導出した診断名（推論診断名）を用いて第２の推論を行い、当該医用画像の画像所見を導出する。すなわち、医用画像データと第１の推論結果に関する情報（例えば、診断名に関する情報）とを用いて第２の推論を行い、第２の推論結果として画像所見に関する情報を導出する第２の推論手段に相当する。なお、画像所見に関する情報は、画像所見そのものを示す文字列であってもよいし、画像所見を表す記号やコード、該文字列を略した文字列であってもよい。
　本実施形態では、ステップＳ２０と同様にＣＮＮを用いて第２の推論を行う。より具体的には、診断名・画像所見の項目の組毎に学習されたＣＮＮを用いて第２の推論を行い、画像所見を導出する。
　ここでは、画像所見の項目を鋸葉状辺縁とし、鋸葉状辺縁の値が「多い」「中程度」「少ない」「なし」の４値である場合を例として、事前に実施されるＣＮＮの学習を説明する。まず、診断名ごとに学習データを分割する。すなわち、診断名が原発性肺癌であるデータ群、癌の肺転移であるデータ群、良性結節であるデータ群に分割する。次に、分割されたデータに対して、画像所見の項目の値を正解ラベルとし、正規化された医用画像を入力、画像所見の項目の値を出力とするＣＮＮを学習する。ここでＣＮＮの入力層、中間層、全結合層は図５で示したＣＮＮと同様とし、出力は４値（すなわち、１０２４個のノードから４値に分類（推論））であるものとする。こうすることにより、鋸葉状辺縁の値（４値）を推論する３つのＣＮＮが学習される。この時学習は診断名に応じて独立に行われるため、同一の画像所見であっても、診断名（第１の推論結果）に応じて異なるパラメータが学習される。同様に他の画像所見の項目においてもＣＮＮの学習を行うことで、診断名（本実施例では３種）と画像所見の項目（本実施例ではＮ種）の組み合わせ毎に異なるパラメータで学習された３×Ｎ個のＣＮＮが生成される。
　ステップＳ３０の実施時には、第２の推論部１０４は、ステップＳ２０で導出した推論診断名に対応するＮ個のＣＮＮを用いて各画像所見の値を導出する。すなわち、第１の推論結果に応じたパラメータおよび／または推論手法で第２の推論を行い、医用画像を入力情報として画像所見に関する情報を導出する。具体的には、第２の推論手段は、診断名と画像所見の項目の組み合わせごとに、医用画像データから画像所見に関する情報を導出する識別器をさらに備える。そして、第２の推論手段は、第１の推論結果としての診断名を含む組み合わせに対応する識別器を用いて、画像所見に関する情報を導出する。例えば、ステップＳ２０で導出された推論診断名が原発性肺癌である場合、原発性肺癌に対応するＮ個の学習済みのＣＮＮを選択し、各画像所見の値を導出する。
　本実施形態によれば、情報処理装置１００は、医用画像から推論診断名を導出し、医用画像と導出した推論診断名を用いて画像所見を導出する。これにより、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。また、第１の推論結果である推論診断名を医用画像と共に第２の推論で用いるため、医師が該推論診断名を想定して読影した場合に読影レポートに付与するであろう画像所見と一致する可能性が高い画像所見を導出することが可能となる。
　（実施形態１の変形例１）
　本実施形態では、ステップＳ２０及びステップＳ３０において医用画像をＣＮＮの入力として用いていたが、医用画像の関心領域（すなわち、病変を含む病変近傍の領域）を取得し、取得した関心領域をＣＮＮの入力として用いてもよい。なお、関心領域の取得方法に関しては実施形態２で後述する。
　（実施形態１の変形例２）
　本実施形態では、ステップＳ３０において診断名毎に異なるＣＮＮを用いていたが、全ての診断名に必ず異なるＣＮＮを用いなくてもよい。例えば、複数の診断名で共通のＣＮＮがあってもよい。例えば、原発性肺癌と癌の肺転移は共通のＣＮＮを用いて、良性結節は良性結節用のＣＮＮを用いるようにしてもよい。これによると、異常陰影の特性に応じたＣＮＮを用いることができるため、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。
　（実施形態１の変形例３）
　本実施形態では、ステップＳ３０において、ステップＳ２０で導出した推論診断名を用いて第２の推論を行い、画像所見を導出していたが、その他の手法で取得した診断名を用いて第２の推論を行い、画像所見を導出するようにしてもよい。例えば、医師により、症例情報端末２００を介して入力された診断名を取得し、用いるようにしてもよい。これによると、医師の考える診断名を利用して第２の推論を行うことができるため、医師が医用画像から想起する画像所見により合致する画像所見を導出することができる。
　＜実施形態２＞
　本実施形態に係る情報処理装置１００は、医用画像から関心領域を取得して画像処理を行い、画像処理の結果得られた第１の画像特徴量を利用して関心領域内の異常陰影の推論診断名および画像所見を導出し、提示する。
　図６は、本実施形態における情報処理装置１００の機能構成の一例を示す図である。なお、図１と同一の符号が付与された構成部については、実施形態１との差異部分のみ説明する。
　情報処理装置１００は、関心領域取得部１０６と、第１の画像処理部１０８と、第１の推論部１０２と、第２の推論部１０４と、提示部１１０とを有する。関心領域取得部１０６は、医用画像から画像処理の対象となる関心領域を取得する。第１の画像処理部１０８は、関心領域に対して画像処理を行い、第１の画像特徴量を算出する。第１の推論部１０２は、第１の画像特徴量を用いて関心領域内の異常陰影の推論診断名を導出する。第２の推論部１０４は、第１の画像特徴量と推論診断名を用いて関心領域内の画像所見を導出する。提示部１１０は、導出した画像所見を提示する。
　情報処理装置１００のハードウェア構成は実施形態１における図２と同様である。
　次に、図７のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。なお、図３と同一の符号が付与された処理については実施形態１との差異部分のみ説明する。
　ステップＳ１０において、関心領域取得部１０６は、症例情報端末２００を介して送信された医用画像から関心領域を取得する。本実施形態では、ユーザが症例情報端末２００上のＶｉｅｗｅｒを用いて設定した直方体領域が更に症例情報端末２００から送信されるものとし、送信された直方体領域を関心領域として取得するものとする。なお、他の例については実施形態３、４で後述する。
　ステップＳ１５において、第１の画像処理部１０８は、ステップＳ１０で取得した関心領域から第１の画像特徴量を算出する。すなわち、医用画像データに対して画像処理を行い第１の画像特徴量を取得する第１の画像処理手段に相当する。ここで算出する画像特徴量はどのような特徴量であってもよいが、本実施形態では、以下のように画像特徴量を取得する。まず、公知のセグメンテーション技術（しきい値処理、領域拡張法、Ｌｅｖｅｌ－ｓｅｔ法、Ｇｒａｐｈ－ｃｕｔ法等）を用いて関心領域から異常陰影領域をさらに抽出する。そして、抽出した異常陰影領域の輝度（濃度）の平均値、分散、尖度、歪度など一般統計量を画像特徴量として算出する。
　もちろん他の方法により算出した画像特徴量を利用してもよい。例えば、正規化した関心領域を入力、正解ラベルを診断名とするＣＮＮを学習し、全結合層の出力値を画像特徴量として用いるようにしてもよい。
　ステップＳ２０において、第１の推論部１０２は、ステップＳ１５で算出した第１の画像特徴量を用いて第１の推論を行い、関心領域内の異常陰影の推論診断名を導出する。本実施形態では、第１の推論部１０２として、学習済みのサポートベクターマシン（ＳＶＭ）を用いて推論診断名を導出する。
　ここで第１の推論部１０２の学習は、事前に、以下のように行われる。なお、学習データは実施形態１で説明したものを用いるが、さらに医用画像に対して手作業により関心領域が付与されているものとする。まず、付与された関心領域に対してステップＳ１５の方法と同一の方法で画像特徴量を抽出する。そして、抽出した画像特徴量と診断名の組から診断名を導出するサポートベクターマシンを学習する。
　ここではＳＶＭを用いるものとして説明をしたが、もちろんニューラルネットワークやベイジアンネットワークなど他の推論手法を学習し、学習した推論手法を用いて診断名を導出するようにしてもよい。
　ステップＳ３０において、第２の推論部１０４は、ステップＳ１５で算出した第１の画像特徴量とステップＳ２０で導出した推論診断名を用いて第２の推論を行い、関心領域内の画像所見を導出する。
　本実施形態では、診断名・画像所見の項目毎に同一の推論手法、具体的には学習済みのＲａｎｄｏｍ　Ｆｏｒｅｓｔ識別器を用いて画像所見の値を導出する。もちろん推論手法としてニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク等、他の公知の手法を用いてもよい。
　この時、第２の推論部１０４の学習は、事前に、以下のように行われる。なお、学習データにはステップＳ２０での説明と同様に、医用画像には関心領域が付与されており、ステップＳ１５と同一の方法で画像特徴量が算出されているものとする。ここではまず、学習データの中から同一のラベル（例えば原発性肺癌）を有するデータ群を抽出する。次に、各データの画像特徴量と、データに付与された画像所見（例えば鋸歯状辺縁）の値のセットを学習データとして、Ｒａｎｄｏｍ　Ｆｏｒｅｓｔ識別器を学習する。第１実施例と同様に、学習は診断名に応じて独立に行われるため、同一の画像所見項目であっても、診断名（第１の推論結果）に応じて異なるパラメータが学習される。最終的に、３×Ｎ個のＲａｎｄｏｍ　Ｆｏｒｅｓｔ識別器が学習される。
　ステップＳ３０の実施時には、第２の推論部１０４は、ステップＳ２０で導出した診断名に対応するＮ個のＲａｎｄｏｍ　Ｆｏｒｅｓｔ識別器を用いて、ステップＳ１５で得た関心領域の第１の画像特徴量を入力情報として、各画像所見の値を導出する。すなわち、第１の推論結果に応じたパラメータおよび／または推論手法で、医用画像を入力情報として画像所見を導出する。例えば、ステップＳ２０で導出された診断名が原発性肺癌である場合、原発性肺癌に対応するＮ個の学習済みのＲａｎｄｏｍ　Ｆｏｒｅｓｔ識別器を選択し、各画像所見の値を導出する。
　ステップＳ３５において、提示部１１０は、ステップＳ２０において導出した診断名と、ステップＳ３０において導出した画像所見を、支援情報としてユーザに提示する。
　本実施形態によれば、情報処理装置１００は医用画像から関心領域を取得し、関心領域に対して画像処理を行い、第１の画像特徴量を算出する。そして、算出した第１の画像特徴量を用いて推論診断名を導出し、導出した推論診断名と第１の画像特徴量を基に画像所見を導出する。したがって、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。
　（実施形態２の変形例１）
　本実施形態では、ステップＳ３０において、推論診断名（第１の推論結果）に対して同一の推論手法を用いて画像所見の導出をしていた。しかし、必ずしも同一の推論手法を用いなくてもよい。例えば、原発性肺癌の場合はＲａｎｄｏｍ　Ｆｏｒｅｓｔ識別器、癌の肺転移の場合はサポートベクターマシンといったように、診断名に応じて異なる推論手法を用いてもよい。また、画像所見項目に応じて異なる推論手法を用いてもよい。さらに、診断名と画像所見の組に応じて異なる推論手法を用いてもよい。
　また、本実施形態では全ての診断名・画像所見項目毎に画像特徴量を入力として画像所見の導出を行っていたが、必ずしもそうでなくてもよい。具体的には、一部の診断名・画像所見項目では実施形態１と同様に医用画像を用いてＣＮＮにより導出を行い、他の診断名・画像所見では画像特徴量を用いた導出を行うようにしてもよい。
　さらに、ステップＳ２０ではＣＮＮで推論診断名を導出し、ステップＳ３０では画像特徴量を用いて画像所見を導出するようにしてもよい。もちろんこの場合もステップＳ３０では前述した様々な組み合わせで画像所見を導出するようにしてよい。
　以上の方法によれば、推論診断名、あるいは、推論診断名と画像所見項目の組み合わせ毎に最も適切な推論手法を適用できるため、より適切な画像所見を導出することができる。
　＜実施形態３＞
　本実施形態に係る情報処理装置１００は、関心領域に画像処理を施すことで得た第１の画像特徴量に基づき、医用画像に描出された対象疾患の悪性の尤度を第１の推論結果として導出する。すなわち、第１の推論結果に関する情報は、医用画像データから特定される疾患の悪性の尤度に関する情報である。そして、導出した悪性の尤度と第１の画像特徴量を第２の推論部の入力として関心領域内の画像所見を導出する。なお、疾患の悪性の尤度に関する情報は、疾患の悪性の尤度そのものを示す文字列であってもよいし、疾患の悪性の尤度を表す記号やコード、該文字列を略した文字列であってもよい。
　本実施形態における情報処理装置１００は、実施形態２における図６と同様の機能構成から成る。また、情報処理装置１００が行う全体の処理を説明するフローチャートは図７と同様である。但し、処理の一部が実施形態２とは異なっている。以下、図７のフローチャートを参照して、本実施形態における情報処理装置１００が行う全体の処理について、実施形態２との相違部分についてのみ説明する。
　ステップＳ１０、Ｓ１５の処理は実施形態２における処理と同様である。
　ステップＳ２０において、第１の推論部１０２は、ステップＳ１５で算出した第１の画像特徴量を用いて描出された対象疾患の悪性の尤度を導出する。第１の推論部１０２は尤度を導出できる手法（回帰式等）であれば何でもよいが、ここではベイジアンネットワークを用いて対象疾患の悪性の尤度を導出するものとする。
　なお、学習時には、原発性肺癌と癌の肺転移を悪性、良性結節を良性として２値のカテゴリ値に変換して学習し、導出時には悪性に対する推論確率を尤度として出力すればよい。
　ステップＳ３０において、第２の推論部１０４は、ステップＳ１５で算出した第１の画像特徴量とステップＳ２０で推論した悪性の尤度を用いて画像所見を導出する。
　本実施形態では、第１の画像特徴量と尤度を第２の推論部への入力とし、画像所見の項目ごとに学習された推論手法で、各画像所見の値を導出する。ここで画像所見の導出は、ニューラルネットワークやサポートベクターマシンなど種々の公知の手法を用いることができる。
　なお、学習時には、原発性肺癌と癌の肺転移の場合には尤度を１．０、良性結節の場合には尤度を０として学習すればよい。
　本実施形態によれば、情報処理装置１００は、関心領域内の異常陰影に対する悪性の尤度を第２の推論部の入力の一つとして利用し、第２の推論部により悪性の尤度を考慮して画像所見を導出する。したがって、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。
　（実施形態３の変形例１）
　本実施形態では、ステップＳ３０において学習により推論手法のパラメータを決定していた。しかし、必ずしも学習のみでパラメータを設定しなくてもよい。例えば、悪性の尤度が導出結果（すなわち、画像所見の値）に与える影響が大きくなるよう、人手でパラメータを調整してもよい。
　以上の方法によれば、関心領域から得られる特徴が導出結果に与える影響を、より大きく設定できるため、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。
　（実施形態３の変形例２）
　本実施形態では、ステップＳ２０において悪性の尤度を導出し、ステップＳ３０においてステップＳ２０で推論した悪性の尤度を用いて画像所見を導出していた。しかし、ステップＳ２０で推論する尤度は必ずしも悪性の尤度でなくてもよい。例えば、良性の尤度であってもよいし、その他の尤度であってもよい。
　＜実施形態４＞
　本実施形態に係る情報処理装置１００は、関心領域に対して第１の推論結果（悪性の尤度）に応じた更なる画像処理を施すことで、第２の画像特徴量（輪郭線の形状や輪郭線の直線の長さ等の形状特徴量）を算出する。そして、算出した第２の画像特徴量に基づいて画像所見を導出する。
　図８は、本実施形態における情報処理装置１００の機能構成の一例を示す図である。なお、図６と同一の符号が付与された構成部については、実施形態２及び３との差異部分のみ説明する。
　情報処理装置１００は、関心領域取得部１０６と、第１の画像処理部１０８と、第１の推論部１０２と、第２の画像処理部１１２と、第２の推論部１０４と、提示部１１０を有する。
　関心領域取得部１０６、第１の画像処理部１０８、第１の推論部１０２、提示部１１０は実施形態２及び３と同じ機能のため説明を省略する。
　第２の画像処理部１０８は、第１の推論結果（悪性の尤度）に応じた画像処理を行う。
　第２の推論部１０４は、第２の画像特徴量（輪郭線の形状や輪郭線の直線の長さ）を用いて画像所見を導出する。
　情報処理装置１００のハードウェア構成は、実施形態１乃至３における図２と同様である。
　次に、図９のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。なお、図７と同一の符号が付与された処理については実施形態３との差異部分のみ説明する。
　ステップＳ１０乃至Ｓ２０の処理は実施形態３の処理と同様である。
　ステップＳ２５において、第２の画像処理部１０８はステップＳ２０で導出した悪性の尤度に応じた画像処理を行い、第２の画像特徴量を算出する。すなわち、医用画像データに対して第１の推論結果に応じた画像処理を行い第２の画像特徴量を取得する第２の画像処理手段に相当する。具体的には、輪郭線の形状や、輪郭線の直線の長さ等の形状特徴量を算出する。
　算出の一例を、図１０を用いて説明する。ステップＳ１５の画像処理において図１０Ａ，Ｂのような輪郭線が抽出されたとする。この例では各ピクセル（ボクセル）における曲率を計算し、曲率に応じて輪郭線が直線であるかどうかを判定し、直線の長さを計測するものとする。
　ステップＳ２０で計算された悪性の尤度が所定値（例えば０．３）より大きい場合、曲率が閾値を超えた場合は線が曲がったと判定する。結果として、Ａの太線のような輪郭線に変換され、これを基に直線の長さを計測し、特徴量とする。一方、悪性の尤度が所定値以下の場合は、曲率に対する閾値を大きくし、曲率が多少大きくても輪郭線は直線のままであると見なす。結果として、Ｂの太線のような輪郭線に変換され、これを基に直線の長さを計測し、特徴量とする。これは医師が、一般に良性の可能性が強い（つまり、悪性の尤度が低い）場合は同じ輪郭線の概形でも直線とみなす傾向があることを模擬したものである。
　このように、ステップＳ２５では、悪性の尤度（すなわち第１の推論結果）に応じた画像処理を行い、第２の画像特徴量を算出する。
　ステップＳ３０において、第２の推論部１０４は、ステップＳ２５で算出した第２の画像特徴量を入力として画像所見を導出する。ここでの画像所見の推論は、実施形態３と同様にニューラルネットワークやサポートベクターマシンなど種々の公知の手法を用いるとことができる。
　ステップＳ３５の処理は実施形態３の処理と同様である。
　本実施形態によれば、情報処理装置１００は悪性の尤度（第１の推論結果）に応じた第２の画像特徴量を算出し、第２の画像特徴量を入力として画像所見を導出する。すなわち、医師の思考プロセスを考慮した画像特徴量を基に推論した画像所見を提示する。したがって、医用画像の関心領域に関する特徴から想起する画像所見により合致する画像所見を、支援情報として提示することができる。
　（実施形態４の変形例１）
　本実施形態では、ステップＳ３０において、算出した第２の画像特徴量のみを入力として画像所見を導出していた。しかし、第１の画像特徴量を併用して画像所見を導出してもよい。さらに、実施形態３と同様に悪性の尤度を特徴量として加えて画像所見を導出してもよい。
　（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、各実施形態の組み合わせも本発明の技術的範囲に含まれる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年３月３０日提出の日本国特許出願特願２０１７－０６８６９１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (10)

  1. 　医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論手段と、
    　前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、
    　を備えることを特徴とする情報処理装置。
  2. 　医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論手段と、
    　前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段と、
    　を備えることを特徴とする情報処理装置。
  3. 　前記第２の推論手段は、前記第１の推論結果に応じたパラメータおよび／または推論手法で前記第２の推論を行い、前記画像所見に関する情報を導出することを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記第２の推論手段は、前記診断名と前記画像所見の項目の組み合わせごとに、前記画像所見に関する情報を導出する識別器をさらに備え、前記第１の推論結果としての前記診断名を含む組み合わせに対応する前記識別器を用いて、前記画像所見に関する情報を導出することを特徴とする請求項１に記載の情報処理装置。
  5. 　前記情報処理装置は、
    　前記医用画像データに対して画像処理を行い第１の画像特徴量を取得する第１の画像処理手段
    　をさらに備え、
    　前記第１の推論手段は、前記第１の画像特徴量を用いて前記第１の推論を行い、
    　前記第２の推論手段は、前記第１の画像特徴量と前記第１の推論結果を用いて前記第２の推論を行うことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 　前記情報処理装置は、
    　前記医用画像データに対して前記第１の推論結果に応じた画像処理を行い第２の画像特徴量を取得する第２の画像処理手段
    　をさらに備え、
    　前記第２の推論手段は、前記第２の画像特徴量を用いて前記第２の推論を行うことを特徴とする請求項２に記載の情報処理装置。
  7. 　医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論ステップと、
    　前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論ステップと、
    　を備えることを特徴とする情報処理装置の制御方法。
  8. 　情報処理装置を、
    　医用画像データを用いて第１の推論を行い、前記医用画像データから特定される診断名に関する情報を第１の推論結果として導出する第１の推論手段と、
    　前記医用画像データと前記診断名に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段、
    　として機能させることを特徴とするプログラム。
  9. 　医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論ステップと、
    　前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論ステップと、
    　を備えることを特徴とする情報処理装置の制御方法。
  10. 　情報処理装置を、
    　医用画像データを用いて第１の推論を行い、前記医用画像データから特定される疾患の悪性の尤度に関する情報を第１の推論結果として導出する第１の推論手段と、
    　前記医用画像データと前記疾患の悪性の尤度に関する情報とを用いて第２の推論を行い、画像所見に関する情報を第２の推論結果として導出する第２の推論手段、
    　として機能させることを特徴とするプログラム。
PCT/JP2018/009404 2017-03-30 2018-03-12 情報処理装置、その制御方法及びプログラム Ceased WO2018180407A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18776363.6A EP3582178B1 (en) 2017-03-30 2018-03-12 Information processing device, control method therefor and program
EP25206650.1A EP4664484A3 (en) 2017-03-30 2018-03-12 Information processing device, control method therefor and program
US16/570,463 US11424033B2 (en) 2017-03-30 2019-09-13 Information processing apparatus, control method therefor, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017068691A JP6808557B2 (ja) 2017-03-30 2017-03-30 情報処理装置、その制御方法及びプログラム
JP2017-068691 2017-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/570,463 Continuation US11424033B2 (en) 2017-03-30 2019-09-13 Information processing apparatus, control method therefor, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2018180407A1 true WO2018180407A1 (ja) 2018-10-04

Family

ID=63675779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009404 Ceased WO2018180407A1 (ja) 2017-03-30 2018-03-12 情報処理装置、その制御方法及びプログラム

Country Status (4)

Country Link
US (1) US11424033B2 (ja)
EP (2) EP3582178B1 (ja)
JP (1) JP6808557B2 (ja)
WO (1) WO2018180407A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
CN110235146A (zh) * 2017-02-03 2019-09-13 西门子股份公司 用于检测图像中的感兴趣对象的方法和装置
JP6862310B2 (ja) * 2017-08-10 2021-04-21 株式会社日立製作所 パラメータ推定方法及びｘ線ｃｔシステム
JP7058988B2 (ja) 2017-11-30 2022-04-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2020209382A1 (ja) * 2019-04-11 2020-10-15 富士フイルム株式会社 医療文書作成装置、方法およびプログラム
JP7358120B2 (ja) * 2019-08-30 2023-10-10 キヤノン株式会社 情報処理装置、断層撮影装置、情報処理方法およびプログラム
JP7238705B2 (ja) * 2019-09-05 2023-03-14 株式会社島津製作所 診療支援方法、診療支援システム、学習モデルの生成方法、および、診療支援プログラム
JP7436636B2 (ja) 2020-03-23 2024-02-21 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
JP7706958B2 (ja) * 2021-06-30 2025-07-14 キヤノン株式会社 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP7613725B2 (ja) * 2021-02-03 2025-01-15 国立大学法人東海国立大学機構 診断支援装置、コンピュータプログラムおよびガス拡散能推定方法
WO2022215530A1 (ja) * 2021-04-07 2022-10-13 富士フイルム株式会社 医用画像装置、医用画像方法、及び医用画像プログラム
US20230230352A1 (en) * 2021-10-11 2023-07-20 Babu Vinod Methods and systems for contextual smart computer vision with action(s)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001511372A (ja) * 1997-07-25 2001-08-14 アーチ・デベロップメント・コーポレーション 放射線検査での識別診断における精度を向上させるための方法
JP2009207585A (ja) 2008-03-03 2009-09-17 Fuji Xerox Co Ltd 医用画像解析システム、コンピュータプログラム及び医用画像解析方法
JP2010017274A (ja) * 2008-07-09 2010-01-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2013027635A (ja) * 2011-07-29 2013-02-07 Canon Inc 画像処理装置及び画像処理方法
JP2013172940A (ja) * 2011-03-28 2013-09-05 Canon Inc 医療診断支援装置及び医療診断支援方法
JP2017068691A (ja) 2015-09-30 2017-04-06 富士通株式会社 診断プログラム、診断方法および診断装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117693A1 (en) * 2004-05-27 2005-12-15 Children's Medical Center Corporation Patient-specific seizure onset detection system
US7965736B2 (en) 2005-08-24 2011-06-21 Qualcomm Incorporated Transmission of multiplex protocol data units in physical layer packets
JP2009205410A (ja) 2008-02-27 2009-09-10 Toshiba Corp メモリコントローラおよびメモリシステム
JP5398518B2 (ja) * 2009-12-25 2014-01-29 キヤノン株式会社 医療診断支援装置
US10049445B2 (en) 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
JP5875285B2 (ja) * 2011-08-16 2016-03-02 キヤノン株式会社 医療診断支援装置、情報処理方法及びプログラム
JP5952568B2 (ja) * 2012-01-24 2016-07-13 キヤノン株式会社 画像診断支援装置、その処理方法及びプログラム
JP6021346B2 (ja) * 2012-02-14 2016-11-09 キヤノン株式会社 診断支援装置及びその制御方法
JP5972609B2 (ja) * 2012-03-05 2016-08-17 東芝メディカルシステムズ株式会社 管理オブジェクト生成装置および画像表示システム
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
JP2017011392A (ja) 2015-06-18 2017-01-12 株式会社リコー 復号回路、これを用いた通信装置、及び通信システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001511372A (ja) * 1997-07-25 2001-08-14 アーチ・デベロップメント・コーポレーション 放射線検査での識別診断における精度を向上させるための方法
JP2009207585A (ja) 2008-03-03 2009-09-17 Fuji Xerox Co Ltd 医用画像解析システム、コンピュータプログラム及び医用画像解析方法
JP2010017274A (ja) * 2008-07-09 2010-01-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2013172940A (ja) * 2011-03-28 2013-09-05 Canon Inc 医療診断支援装置及び医療診断支援方法
JP2013027635A (ja) * 2011-07-29 2013-02-07 Canon Inc 画像処理装置及び画像処理方法
JP2017068691A (ja) 2015-09-30 2017-04-06 富士通株式会社 診断プログラム、診断方法および診断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3582178A4

Also Published As

Publication number Publication date
EP3582178B1 (en) 2025-11-12
JP6808557B2 (ja) 2021-01-06
US20200005942A1 (en) 2020-01-02
EP4664484A2 (en) 2025-12-17
US11424033B2 (en) 2022-08-23
EP4664484A3 (en) 2026-02-25
EP3582178A4 (en) 2020-12-30
EP3582178A1 (en) 2019-12-18
JP2018166961A (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6808557B2 (ja) 情報処理装置、その制御方法及びプログラム
US20210319258A1 (en) Method and apparatus for training classification task model, device, and storage medium
Ghayvat et al. AI-enabled radiologist in the loop: novel AI-based framework to augment radiologist performance for COVID-19 chest CT medical image annotation and classification from pneumonia
Jaeger et al. Automatic screening for tuberculosis in chest radiographs: a survey
US10748282B2 (en) Image processing system, apparatus, method and storage medium
JP6532287B2 (ja) 医療診断支援装置、情報処理方法及びプログラム
Luo et al. Pseudo bias-balanced learning for debiased chest x-ray classification
JP7066385B2 (ja) 情報処理方法、情報処理装置、情報処理システム及びプログラム
JP7058988B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9734299B2 (en) Diagnosis support system, method of controlling the same, and storage medium
US20220285024A1 (en) Facilitating interpretability of classification model
US20230334663A1 (en) Development of medical imaging ai analysis algorithms leveraging image segmentation
Liu et al. 3d tomographic pattern synthesis for enhancing the quantification of covid-19
EP4235566A1 (en) Method and system for determining a change of an anatomical abnormality depicted in medical image data
Tsymbal et al. Towards cloud-based image-integrated similarity search in big data
WO2018088055A1 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
Rashmi et al. Lateral cephalometric landmark annotation using histogram oriented gradients extracted from region of interest patches
WO2014030262A1 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
JP6220435B2 (ja) 診断支援装置及びその制御方法
WO2019203092A1 (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
CN115527655A (zh) 提供第二结果数据集的方法、系统和计算机可读存储介质
US11983798B2 (en) AI-based region-of-interest masks for improved data reconstruction
Khowaja et al. Supervised method for blood vessel segmentation from coronary angiogram images using 7-D feature vector
Lu et al. MERA: Multimodal and Multiscale Self-Explanatory Model with Considerably Reduced Annotation for Lung Nodule Diagnosis
JP7777956B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776363

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018776363

Country of ref document: EP

Effective date: 20190913

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 2018776363

Country of ref document: EP