WO2021015231A1 - 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル - Google Patents

学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル Download PDF

Info

Publication number
WO2021015231A1
WO2021015231A1 PCT/JP2020/028415 JP2020028415W WO2021015231A1 WO 2021015231 A1 WO2021015231 A1 WO 2021015231A1 JP 2020028415 W JP2020028415 W JP 2020028415W WO 2021015231 A1 WO2021015231 A1 WO 2021015231A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
decoder
discriminator
encoder
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/028415
Other languages
English (en)
French (fr)
Inventor
工藤　彰
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to EP20844578.3A priority Critical patent/EP4006830B1/en
Priority to JP2021534066A priority patent/JP7203978B2/ja
Publication of WO2021015231A1 publication Critical patent/WO2021015231A1/ja
Priority to US17/578,465 priority patent/US12608900B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to a learning device, a method and a program for learning an extraction model for extracting an area of interest from an image, an area of interest extraction device, a method and a program for extracting an area of interest from an image, and a trained extraction model.
  • GAN Generic Adversarial Networks
  • Non-Patent Document 2 below also proposes a technique for performing domain adaptation between two different domains, source and target.
  • the method described in Non-Patent Document 2 is based on the idea of learning so that the feature space of the source image and the target image are close to each other, and the method described in Non-Patent Document 2 has a sufficient teacher label.
  • the source domain can be used to learn the target domain with no or few teacher labels with high accuracy.
  • Non-Patent Document 3 proposes a network that realizes multimodal domain conversion by using a single generator and a discriminator.
  • the method described in Non-Patent Document 3 simultaneously gives various facial expressions (for example, blonde hair, black hair, smiling face, angry face, etc.) of the image to be converted (for example, a person's face image) as domain labels to the input of the generator, and discs.
  • facial expressions for example, blonde hair, black hair, smiling face, angry face, etc.
  • the facial expression is determined to learn the generator and the discriminator.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • a technique has been proposed in which a machine learning model such as a neural network is learned by using a learning image and a correct mask of the region of interest to extract the region of interest from an input image.
  • Non-Patent Document 1 Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio "Generative Adversarial Nets", arXiv: 1406.2661
  • Non-Patent Document 2 Judy Hoffman, Eric Tzeng, Taesung Park, Jun-Yan Zhu, Phillip Isola, Kate Saenko, Alexei A.
  • Non-Patent Document 3 Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation", arXiv: 1711.09020
  • medical images have different image representation formats when the modality for generating images is different, such as CT devices and MRI devices.
  • the MRI image has various imaging conditions such as a T1-weighted image, a T2-weighted image, a fat-suppressed image, and a diffusion-weighted image, and the expression format differs depending on the imaging conditions.
  • T1-weighted images predominantly adipose tissue appears white, water, humoral components and cysts appear black, and tumors appear slightly black.
  • Non-Patent Document 2 only supports one-to-one domain conversion of one source and one target. Therefore, in order to correspond to medical images having various expression formats, it is necessary to prepare a model for each domain, that is, a combination of expression formats. Further, in the method described in Non-Patent Document 3, the method described in Non-Patent Document 3 can be applied only to the process of converting an image. Further, the method described in Non-Patent Document 3 requires a domain label for the input of the generator at the time of discrimination.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to enable extraction of an area of interest included in a target image regardless of the expression format of the target image.
  • the first learning device is a learning device for an extraction model that extracts a region of interest from images having a plurality of different expression formats.
  • the extraction model is An encoder that derives a feature map of the first image by extracting the feature amount of the first image in the first expression format.
  • a first decoder that derives a second virtual image of a second representation format different from the representation format of the first image based on a feature map,
  • a first discriminator that determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the first decoder and outputs the first determination result.
  • the second decoder that extracts the region of interest of the first image based on the feature map, and the extraction result of the region of interest by the second decoder are the extraction result of the first image with the correct answer mask, or the first without the correct answer mask. It has a second discriminator that determines whether it is the extraction result of one image and outputs the second determination result.
  • a learning unit is provided that learns the encoder, the first decoder, and the first discriminator based on the first discrimination result, and learns the encoder, the second decoder, and the second discriminator based on the second discrimination result.
  • the learning unit inputs the second virtual image to the encoder to derive the feature map of the second virtual image.
  • the first decoder is made to derive the first virtual image of the first expression format based on the feature map of the second virtual image.
  • the encoder, the first decoder, and the first discriminator may be learned based on the difference between the first image and the first virtual image.
  • the learning unit learns the second decoder based on the extraction result of the region of interest and the correct answer mask. It may be.
  • the extraction model is a third discriminator that discriminates the expression format of the first image input to the encoder based on the feature map and outputs the third discriminant result.
  • the learning unit may learn the encoder and the third discriminator based on the third determination result.
  • the second learning device is a learning device for an extraction model that extracts a region of interest from images having a plurality of different expression formats.
  • the extraction model is An encoder that derives a feature map of the first image by extracting the feature amount of the first image in the first expression format.
  • a first decoder that derives a second virtual image of a second representation format different from the representation format of the first image based on a feature map,
  • a first discriminator that determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the first decoder and outputs the first determination result.
  • a second decoder that extracts the region of interest of the first image based on the feature map, and a third that discriminates the expression format of the first image input to the encoder based on the feature map and outputs the third discrimination result.
  • a learning unit is provided that learns the encoder, the first decoder, and the first discriminator based on the first discrimination result, and learns the encoder and the third discriminator based on the third discrimination result.
  • the image is a three-dimensional medical image
  • the expression format may include the expression format of the CT image and the MRI image.
  • the expression formats are T1-weighted image, T2-weighted image, diffusion-weighted image, FLAIR image, pre-contrast T1-weighted image, and post-contrast-enhanced T1-weighted image in the MRI image. It may include at least one representation form of the image.
  • the region of interest extraction device has an encoder and a second decoder in the extraction model learned by the first or second learning device according to the present disclosure, and extracts the region of interest of an image from an image of an arbitrary expression format. It has an extraction unit.
  • the trained extraction model according to the present disclosure includes an encoder and a second decoder in the extraction model learned by the first or second learning device according to the present disclosure.
  • the first learning method is a learning method of an extraction model that extracts an area of interest from an image having a plurality of different expression formats.
  • the extraction model is An encoder that derives a feature map of the first image by extracting the feature amount of the first image in the first expression format.
  • a first decoder that derives a second virtual image of a second representation format different from the representation format of the first image based on a feature map,
  • a first discriminator that determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the first decoder and outputs the first determination result.
  • the second decoder that extracts the region of interest of the first image based on the feature map, and the extraction result of the region of interest by the second decoder are the extraction result of the first image with the correct answer mask, or the first without the correct answer mask. It has a second discriminator that determines whether it is the extraction result of one image and outputs the second determination result. Based on the first discrimination result, the encoder, the first decoder and the first discriminator are learned, and The encoder, the second decoder, and the second discriminator are learned based on the second determination result.
  • the second learning method is a learning method of an extraction model that extracts an area of interest from an image having a plurality of different expression formats.
  • the extraction model is An encoder that derives a feature map of the first image by extracting the feature amount of the first image in the first expression format.
  • a first decoder that derives a second virtual image of a second representation format different from the representation format of the first image based on a feature map,
  • a first discriminator that determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the first decoder and outputs the first determination result.
  • a second decoder that extracts the region of interest of the first image based on the feature map, and a third that discriminates the expression format of the first image input to the encoder based on the feature map and outputs the third discrimination result.
  • Has a discriminator Based on the first discrimination result, the encoder, the first decoder and the first discriminator are learned, and The encoder and the third discriminator are learned based on the third determination result.
  • the region of interest extraction method has an encoder and a second decoder in the extraction model learned by the first or second learning method according to the present disclosure, and extracts an region of interest of an image from an image of an arbitrary expression format. ..
  • first and second learning methods according to the present disclosure and the method of extracting the region of interest may be provided as a program for causing the computer to execute.
  • the third learning device is a learning device for an extraction model that extracts a region of interest from images having a plurality of different expression formats.
  • a memory that stores instructions for the computer to execute, Equipped with a processor configured to execute stored instructions
  • the extraction model is An encoder that derives a feature map of the first image by extracting the feature amount of the first image in the first expression format.
  • a first decoder that derives a second virtual image of a second representation format different from the representation format of the first image based on a feature map,
  • a first discriminator that determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the first decoder and outputs the first determination result.
  • the second decoder that extracts the region of interest of the first image based on the feature map, and the extraction result of the region of interest by the second decoder are the extraction result of the first image with the correct answer mask, or the first without the correct answer mask. It has a second discriminator that determines whether it is the extraction result of one image and outputs the second determination result.
  • the processor is The encoder, the first decoder, and the first discriminator are learned based on the first discrimination result, and the encoder, the second decoder, and the second discriminator are trained based on the second discrimination result.
  • the fourth learning device is a learning device for an extraction model that extracts a region of interest from images having a plurality of different expression formats.
  • a memory that stores instructions for the computer to execute, Equipped with a processor configured to execute stored instructions
  • the extraction model is An encoder that derives a feature map of the first image by extracting the feature amount of the first image in the first expression format.
  • a first decoder that derives a second virtual image of a second representation format different from the representation format of the first image based on a feature map,
  • a first discriminator that determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the first decoder and outputs the first determination result.
  • a second decoder that extracts the region of interest of the first image based on the feature map, and a third that discriminates the expression format of the first image input to the encoder based on the feature map and outputs the third discrimination result.
  • the processor is The encoder, the first decoder, and the first discriminator are learned based on the first discrimination result, and the encoder and the third discriminator are trained based on the third discrimination result.
  • the other region of interest extraction device includes a memory for storing an instruction to be executed by a computer and a memory.
  • the processor comprises a processor configured to execute a stored instruction. It functions as an encoder and a second decoder in the extraction model learned by the first or second learning method according to the present disclosure, and executes a process of extracting an area of interest of an image from an image of an arbitrary expression format.
  • the region of interest included in the target image can be extracted regardless of the expression format of the target image.
  • Schematic block diagram showing the configuration of the extraction model in the first embodiment Schematic block diagram showing the configuration of the extraction model in the first embodiment
  • Diagram showing the representation format of the input real image and the representation format of the converted virtual image Diagram showing the labeled target image
  • a flowchart showing a learning process performed in the first embodiment A flowchart showing the region of interest extraction process performed in the second embodiment.
  • Schematic block diagram showing the configuration of the extraction model in the second embodiment Schematic block diagram showing the configuration of the extraction model in the third embodiment
  • FIG. 1 is a hardware configuration diagram showing an outline of a diagnostic support system to which the learning device and the region of interest extraction device according to the first embodiment of the present disclosure are applied.
  • the learning device and the region of interest extraction device (hereinafter, represented by the region of interest extraction device) according to the first embodiment, a plurality of three-dimensional image capturing devices 2A, 2B, and The image storage server 3 is connected in a communicable state via the network 4.
  • the three-dimensional image capturing devices 2A and 2B are devices that generate a three-dimensional image representing the site by photographing the site to be diagnosed of the subject. Specifically, the CT device, the MRI device, and the PET device. (Positron Emission Tomography) Equipment, etc.
  • the three-dimensional images generated by the three-dimensional image capturing devices 2A and 2B are transmitted to the image storage server 3 and stored.
  • the three-dimensional image capturing device 2A is a CT device
  • the three-dimensional image capturing device 2B is an MRI device
  • the CT image and the MRI image including the part to be diagnosed of the subject are regarded as three-dimensional images, respectively. Generate.
  • the three-dimensional image capturing apparatus 2B shall generate a T1-weighted image and a T2-weighted image as MRI images, respectively.
  • the three-dimensional image consists of a plurality of tomographic images. Further, in the present embodiment, the three-dimensional image is obtained by photographing the abdomen of the subject, and the liver included in the abdomen is the region of interest to be extracted.
  • the medical image has a different representation format of the image if the acquired modality is different like the CT device and the MRI device.
  • the expression format is different between the T1-weighted image and the T2-weighted image.
  • T1-weighted images mainly adipose tissue appears white, water, humoral components and cysts appear black, and tumors appear slightly black.
  • T2-weighted images not only adipose tissue, but also water, humoral components and cysts appear white. Therefore, the CT image, the T1-weighted image, and the T2-weighted image have different expression formats.
  • the expression form corresponds to the domain, and different expression forms are synonymous with different domains.
  • the image storage server 3 is a computer that stores and manages various data, and is equipped with a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with another device via a wired or wireless network 4 to send and receive image data and the like.
  • various data including the image data of the three-dimensional image generated by the three-dimensional image capturing device 2 are acquired via the network and stored in a recording medium such as a large-capacity external storage device for management.
  • the storage format of the image data and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • DICOM Digital Imaging and Communication in Medicine
  • the image storage server 3 also stores and manages images for learning for learning the extraction model described later.
  • the region of interest extraction device 1 including the learning device of the present embodiment is one in which the learning program of the first embodiment and the region of interest extraction program are installed on one computer.
  • the computer may be a workstation or personal computer operated directly by the diagnosing doctor, or it may be a server computer connected to them via a network.
  • the learning program and the region of interest extraction program are stored in the storage device of the server computer connected to the network or in the network storage in a state of being accessible from the outside, and are downloaded and installed on the computer used by the doctor upon request. To. Alternatively, it is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and installed on a computer from the recording medium.
  • FIG. 2 is a diagram showing a schematic configuration of an interest region extraction device realized by installing a learning program and an interest region extraction program on a computer.
  • the region of interest extraction device 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration. Further, a display unit 14 such as a liquid crystal display and an input unit 15 such as a keyboard and a mouse are connected to the region of interest extraction device 1.
  • a CPU Central Processing Unit
  • memory 12 main memory
  • storage 13 as a standard workstation configuration
  • a display unit 14 such as a liquid crystal display
  • an input unit 15 such as a keyboard and a mouse are connected to the region of interest extraction device 1.
  • the storage 13 is composed of a hard disk drive or the like, and is a target image to be extracted from the image storage server 3 acquired from the image storage server 3 via the network 4, and an image for learning for learning the extraction model 30 as described later. And various information including information necessary for processing is stored.
  • the learning program and the region of interest extraction program are stored in the memory 12.
  • the learning program acquires a learning image for learning the extraction model, a target image for extracting the region of interest, and various information for learning and extracting the region of interest.
  • the information acquisition process to be performed and the learning process to learn the extraction model are defined.
  • the interest area extraction program extracts the area of interest included in the target image to be extracted by the information acquisition process, and sets the target image according to the result of extracting the area of interest.
  • a labeling process for labeling the included region of interest and a display control process for displaying the labeled target image on the display unit 14 are defined.
  • the computer functions as an information acquisition unit 21, a learning unit 22, an extraction unit 23, a labeling unit 24, and a display control unit 25.
  • the information acquisition unit 21 acquires a three-dimensional image of the abdomen of the subject as a target image from the image storage server 3 via an interface (not shown) connected to the network.
  • an image for learning and a correct answer mask described later are acquired.
  • various information for learning by the learning unit 22 is acquired.
  • the information for learning is, for example, information on the expression format (that is, the target) after conversion of the image for learning, which will be described later.
  • the learning unit 22 learns an extraction model that extracts an area of interest from an image having a plurality of different expression formats.
  • 3 and 4 are schematic block diagrams showing the configuration of the extraction model according to the first embodiment.
  • the extraction model 30 has an encoder 31, a first decoder 32, a first discriminator 33, a second decoder 34, and a second discriminator 35.
  • the encoder 31, the first decoder 32, and the first discriminator 33 included in the extraction model 30 form a domain conversion network for converting the representation format of the input image, that is, for converting the domain.
  • the encoder 31, the second decoder 34, and the second discriminator 35 included in the extraction model 30 form a region extraction network for extracting the region of interest from the input image.
  • the encoder 31 is shared in the domain conversion network and the area extraction network.
  • the domain conversion network constitutes a hostile generation network (Generative Adversarial Networks: GAN).
  • GAN includes a "Generator” that creates data and a "Discriminator” that identifies the data.
  • the combination of the encoder 31 and the first decoder 32 corresponds to the generator, and the first discriminator 33 corresponds to the discriminator.
  • the area extraction network also constitutes a hostile generation network
  • the combination of the encoder 31 and the second decoder 34 corresponds to the generator
  • the second discriminator 35 corresponds to the discriminator
  • the encoder 31 is composed of a convolutional neural network (CNN), which is one of a multi-layer neural network in which a plurality of processing layers are hierarchically connected, and provides a feature map representing a feature amount of an input image. Derived. Specifically, as shown in FIG. 3, the encoder 31 derives a feature map F1 representing the feature amount of the first image GR1 when the first image GR1 of the first expression format is input.
  • the first image GR1 is an actual image (actual image) generated by the three-dimensional image capturing devices 2A and 2B.
  • a convolutional neural network consists of multiple convolutional layers.
  • the convolution layer performs convolution processing using various kernels on the input image, and outputs a feature map consisting of feature data obtained by the convolution processing.
  • the number of channels of the first convolution layer (that is, the input layer) is 48 or more, but the number is not limited to this.
  • the convolution layer applies the kernel to the entire input image or feature map output from the previous processing layer, shifting the pixels of interest of the kernel.
  • the convolution layer applies an activation function such as a sigmoid function to the convolution value, and outputs the feature map F1.
  • an activation function such as a sigmoid function
  • the kernel is applied to the input image or feature map while being shifted by two or more strides during the convolutional process.
  • a plurality of types of images having different expression formats that is, different domains, such as CT images, T1-weighted images, and T2-weighted images, are used for learning the extraction model 30.
  • a label indicating the expression format is given to the input image as a class label.
  • the first image GR1 shown in FIG. 3 is given a class label representing the expression format class of the first image GR1.
  • the images used during learning are prepared with and without a correct mask.
  • FIG. 5 is a diagram showing an example of the first image GR1 having the correct answer mask M1
  • FIG. 6 is a diagram showing an example of the first image GR1 having no correct answer mask.
  • the first image GR1 shown in FIGS. 5 and 6 is given the class label CL1.
  • the class label CL1 is a vector having three elements for identifying the classes of the three expression formats, and the element to which 1 is assigned represents the expression format of the image.
  • the three elements are a CT image, a T1-weighted image, and a T2-weighted image from the top.
  • the expression format is a CT image.
  • the expression format is a T2-weighted image.
  • the expression format given to the input image is used as the first expression format.
  • the first decoder 32 derives a virtual image by converting the first expression format of the input image into a second expression format different from the first expression format based on the feature map. That is, as shown in FIG. 3, when the feature map F1 of the first image GR1 is input, the first decoder 32 changes the first expression format of the first image GR1 to a different expression format from the first expression format.
  • the second virtual image GV2 is derived by converting to the expression format of 2.
  • the first expression format corresponds to the source domain that is the conversion source
  • the second expression format corresponds to the target domain that is the conversion destination.
  • the information TD2 of the target domain which is the second expression format, is input to the first decoder 32.
  • the second expression format is input from, for example, the input unit 15.
  • the information TD2 of the second expression form is a vector representing the class label of the second expression form, and has three elements like the class label CL1.
  • the first decoder 32 has a plurality of deconvolution layers.
  • the deconvolution layer performs the same processing as the deconvolution layer of the encoder 31, but applies the kernel for the deconvolution calculation to the feature map while upsampling the input feature map.
  • the first decoder 32 increases the resolution of the feature map F1 output by the encoder 31 so as to have the resolution of the first image GR1, and expresses the first image GR1. Is converted into the second expression format, and the second virtual image GV2 in the second expression format is derived.
  • the first discriminator 33 is composed of, for example, a convolutional neural network, and determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the first decoder 32. , The first determination result is output.
  • the first determination result includes the determination result RF1 as to whether the input image is a real image or a virtual image.
  • the first discrimination result includes the discrimination result DC1 of the expression format of the input image.
  • the real image is not an image generated by the first decoder 32, but an image generated by the three-dimensional image generators 2A and 2B, so to speak, a real image.
  • the discrimination result RF1 is correct, and when it is determined to be a virtual image, the discrimination result RF1 is not. The answer is correct. Further, when the first discriminator 33 determines that the input virtual image is a real image, the discrimination result RF1 is an incorrect answer, and when it is determined to be a virtual image, the discrimination result RF1 is a correct answer. Is. In the present embodiment, as shown in FIG. 3, when the second virtual image GV2 is input to the first discriminator 33 at the time of learning, if the discrimination result RF1 is a virtual image, the discrimination result RF1 is correct.
  • the learning unit 22 derives the loss based on the discrimination result RF1 output by the first discriminator 33. This loss is called adversarial loss.
  • the adversarial loss in the first discriminator 33 is defined as the first loss L1.
  • the determination result DC1 is correct and is determined to be other than the CT image. If so, the determination result DC1 is incorrect. Further, when the expression format of the input image is a T2-weighted image and the first discriminator 33 determines that the expression format is a T2-weighted image, the discrimination result DC1 is the correct answer and the T2-weighted image. If it is determined to be other than, the determination result DC1 is incorrect.
  • the second image GR2 which is a real image, is input to the first discriminator 33.
  • the virtual image derived by the first decoder 32 is input to the first discriminator 33, and the discrimination result DC1 is obtained. It is output.
  • the second virtual image GV2 is generated using the T2-weighted image as the second expression format. Therefore, when the second virtual image GV2 which is a T2-weighted image is input to the first discriminator 33 and the discrimination result DC1 is a T2-weighted image, the discrimination result DC1 is a correct answer and is other than the T2-weighted image. In the case of the CT image or the T1-weighted image, the discrimination result DC1 is incorrect.
  • the discrimination result DC1 output from the first discriminator 33 is referred to as the discrimination result DC1d, and for the learning of the encoder 31 and the first decoder 32.
  • the discrimination result DC1 output from the first discriminator 33 is referred to as a discrimination result DC1g.
  • the learning unit 22 derives the loss based on the discrimination results DC1d and DC1g output by the first discriminator 33. This loss is called classification loss.
  • the classification loss derived based on the discrimination results DC1d and DC1g is defined as the second loss L2d and L2g, respectively.
  • the discrimination results DC1d and DC1g may be represented by the discrimination result DC1
  • the second losses L2d and L2g may be represented by the second loss L2.
  • the second virtual image GV2 is input to the encoder 31, the feature map F1 derived by the encoder 31 is input to the first decoder 32, and further to the first decoder 32.
  • the information TD1 in the first expression format of the first image GR1 is input.
  • the first decoder 32 derives the first virtual image GV1. It is desirable that the first virtual image GV1 derived in this way completely matches the first image GR1, but since it has undergone processing by the encoder 31 and the first decoder 32, the first virtual image GV1 and the first virtual image GV1 There is a difference from one image GR1.
  • the learning unit 22 derives the difference between the first virtual image GV1 and the first image GR1 as a loss. This loss is called cycle loss.
  • the cycle loss is defined as the third loss L3.
  • the learning unit 22 correctly answers the determination result RF1 of whether the input image is a real image or a virtual image generated by the first decoder 32, and represents the input image.
  • the first discriminator 33 is learned so that the format determination result DC1d is correctly answered. That is, the first discriminator 33 is learned so as to maximize the first loss L1 and minimize the second loss L2d. Specifically, the first discriminator 33 is learned so that ⁇ L1 + L2d is equal to or less than a predetermined threshold value.
  • the learning unit 22 derives a virtual image of the specified expression format from the input image, and the first discriminator 33 sets the discrimination result RF1 as an incorrect answer and corrects the discrimination result DC1g.
  • the decoder 32 is learned. Further, the learning unit 22 learns the encoder 31 so that the first discriminator 33 sets the discrimination result RF1 as an incorrect answer and derives a feature map F1 that can generate a virtual image that correctly answers the discrimination result DC1. That is, the encoder 31 and the first decoder 32 are learned so as to minimize the first loss L1 and the second loss L2g. Specifically, the encoder 31 and the first decoder 32 are learned so that L1 + L2g is equal to or less than a predetermined threshold value.
  • the learning unit 22 learns the first decoder 32 so that the first virtual image GV1 generated from the second virtual image GV2 matches the first image GR1. Further, the learning unit 22 learns the encoder 31 so as to derive the feature map F1 from which the first decoder 32 can derive the first virtual image GV1 that matches the first image GR1. That is, the encoder 31 and the first decoder 32 are learned so as to minimize the third loss L3. Specifically, the encoder 31 and the first decoder 32 are learned so that L3 is equal to or less than a predetermined threshold value.
  • the encoder 31, the first decoder 32, and the first discriminator 33 improve the accuracy, and the first discriminator 33 is a real image or a virtual image regardless of the input format of the image. It becomes possible to discriminate whether it is an image with higher accuracy.
  • the encoder 31 and the first decoder 32 can generate a virtual image closer to an image in a real expression format, which is not discriminated by the first discriminator 33.
  • FIG. 7 is a diagram showing an input real image expression format and a converted virtual image expression format.
  • the left column is an input real image
  • the expression formats are CT image, T1-weighted image, and T1-weighted image in order from the top.
  • the second to fourth columns from the left show the converted virtual image in the representation format.
  • the expression formats are a CT image, a T1-weighted image, and a T2-weighted image, respectively, in order from the second column on the left side. According to the present embodiment, as shown in FIG. 7, a virtual image close to the instructed expression format is generated regardless of the expression format of the input real image.
  • the second decoder 34 extracts the region of interest of the image input to the encoder 31 by using the feature map derived by the encoder 31.
  • the feature map F1 of the first image GR1 is used to extract the region of interest of the first image GR1.
  • the second decoder 34 is composed of a convolutional neural network having a plurality of deconvolution layers.
  • the second decoder 34 is a region of interest (liver in the present embodiment) included in the first image GR1 while increasing the resolution of the feature map F1 output by the encoder 31 to the resolution of the first image GR1.
  • the process of deriving the probability of this and extracting the pixels whose probability is equal to or greater than the threshold value as the region of interest is performed.
  • the second decoder 34 outputs the liver extraction result PM1 in the first image GR1.
  • the learning unit 22 derives the difference between the extraction result PM1 of the region of interest output by the second decoder 34 and the correct mask M1 as a loss, as shown in FIG. To do.
  • This loss is called task loss.
  • the task loss is defined as the fourth loss L4.
  • the second discriminator 35 is composed of, for example, a convolutional neural network, and whether the extraction result PM1 of the region of interest by the second decoder 34 is the extraction result of the first image GR1 with the correct mask M1 as shown in FIG. It is determined whether it is the extraction result of the first image GR1 without the correct answer mask as shown in FIG. 6, and the second determination result RF2 is output.
  • the second discriminator 35 determines that the correct answer mask is present, the second discriminator 35 is present.
  • the determination result RF2 is a correct answer, and when it is determined that there is no correct answer mask, the second determination result RF2 is an incorrect answer.
  • the second determination result RF2 is incorrect. If it is determined that there is no correct answer mask, the second determination result RF2 is the correct answer.
  • the learning unit 22 derives the loss based on the output of the second discriminator 35 with respect to the second determination result RF2. This loss is called adversarial loss.
  • the adversarial loss in the second discriminator 35 is defined as the fifth loss L5.
  • the learning unit 22 correctly answers the second determination result RF2, which is the extraction result of the first image GR1 with the correct answer mask or the extraction result of the first image GR1 without the correct answer mask.
  • the second discriminator 35 is learned. That is, the second discriminator 35 is learned so as to maximize the fifth loss L5. Specifically, the second discriminator 35 is learned so that ⁇ L5 is equal to or less than a predetermined threshold value.
  • the first image GR1 with the correct answer mask and the first image GR1 without the correct answer mask are alternately used for learning.
  • the learning unit 22 learns the second decoder 34 so that the extraction result PM1 and the correct answer mask M1 match when the feature map F1 of the first image GR1 with the correct answer mask M1 is input. Further, the learning unit 22 learns the encoder 31 so as to derive the feature map F1 from which the extraction result PM1 that matches the correct answer mask M1 is obtained. That is, the encoder 31 and the second decoder 34 are learned so as to minimize the fourth loss L4. Specifically, the encoder 31 and the second decoder 34 are learned so that L4 is equal to or less than a predetermined threshold value.
  • the learning unit 22 learns the second decoder 34 so that the second discriminator 35 outputs the extraction result PM1 in which the second discrimination result RF2 is an incorrect answer. Further, the learning unit 22 learns the encoder 31 so that the second discriminator 35 derives the feature map F1 that outputs the extraction result PM1 in which the second discrimination result RF2 is an incorrect answer. That is, the encoder 31 and the first decoder 32 are learned so as to minimize the fifth loss L5. Specifically, the encoder 31 and the first decoder 32 are learned so that L5 is equal to or less than a predetermined threshold value.
  • the encoder 31, the first decoder 32, and the first discriminator 33 improve the accuracy, and the second discriminator 35 determines whether the input image has a correct answer mask or no correct answer mask. It will be possible to discriminate with high accuracy.
  • the encoder 31 and the second decoder 34 are more accurate in their interest because the presence or absence of the correct answer mask is not determined by the second discriminator 35 regardless of whether the image has the correct answer mask or the image without the correct answer mask.
  • the area extraction result can be output.
  • the learning unit 22 learning the extraction model 30 as described above, the region of interest included in the target image is selected regardless of the expression format of the target image.
  • the extraction model 30 to be extracted is constructed.
  • the encoder 31 and the second decoder 34 in the trained extraction model 30 are applied to the extraction unit 23 as the trained extraction model 40.
  • the extraction unit 23 extracts the region of interest included in the target image by the trained extraction model 40 and outputs the extraction result.
  • the labeling unit 24 labels the region of interest included in the target image based on the extraction result of the region of interest output by the extraction unit 23.
  • FIG. 8 is a diagram showing a display screen of the labeled target image. As shown in FIG. 8, the target image 51 is displayed on the display screen 60, and the target image 51 is labeled 52 in the region of interest. Although the labeling 52 is shown by hatching in FIG. 8, the labeling may be performed by changing the color or surrounding with a line.
  • FIG. 9 is a flowchart showing the learning process performed in the first embodiment. It is assumed that the first image GR1 for learning and the correct answer mask M1 when there is a correct answer mask are acquired from the image storage server 3 by the information acquisition unit 21 and stored in the storage 13.
  • the learning unit 22 acquires the first image GR1 for learning stored in the storage 13 (step ST1).
  • the learning unit 22 inputs the first image GR1 to the encoder 31 to derive the feature map F1 (step ST2). Further, the learning unit 22 inputs the feature map F1 and the information TD2 in the second expression format to the first decoder 32, and causes the second virtual image GV2 to be derived (step ST3).
  • the learning unit 22 inputs the second image GR2 or the second virtual image GV2 to the first discriminator 33, and outputs the discrimination result RF1 and the discrimination result DC1 which are the first discrimination results (first discrimination result output). , Step ST4).
  • the learning unit 22 derives the first loss L1 and the second loss L2 based on the first determination result. Further, the learning unit 22 inputs the second virtual image GV2 to the encoder 31 to derive the feature map of the second virtual image GV2, inputs the feature map of the second virtual image GV2 to the first decoder 32, and secondarily 1 Output the virtual image GV1. Then, the learning unit 22 derives the third loss L3 from the first image GR1 and the first virtual image GV1 (loss derivation; step ST5).
  • the learning unit 22 learns the encoder 31, the first decoder 32, and the first discriminator 33 based on the first loss L1, the second loss L2, and the third loss L3 (first learning, step ST6). ..
  • the learning unit 22 inputs the feature map F1 to the second decoder 34 and outputs the extraction result PM1 of the region of interest (step ST7). Further, the learning unit 22 inputs the extraction result PM1 to the second discriminator 35 and outputs the second discrimination result RF2 (step ST8). Then, the learning unit 22 derives the fifth loss L5 based on the second determination result RF2. When the first image GR1 has the correct mask M1, the learning unit 22 derives the fourth loss L4 (loss derivation; step ST9).
  • the learning unit 22 learns the encoder 31, the second decoder 34, and the second discriminator 35 based on the fourth loss L4 (if any) and the fifth loss L5 (second learning, step ST10). .. Then, the process returns to step ST1, the first image GR1 for the next learning is acquired from the storage 13, and the processes of steps ST1 to ST10 are repeated. As a result, the trained extraction model 30 is constructed.
  • the processes of steps ST3 to ST6 and the processes of steps ST7 to ST10 may be performed in parallel, and the processes of steps ST7 to ST10 may be performed before the processes of steps ST3 to ST6.
  • the learning unit 22 repeats learning until the various losses L1 to L5 become equal to or less than a predetermined threshold value, the learning unit 22 may repeat learning a predetermined number of times.
  • FIG. 10 is a flowchart of the region of interest extraction process performed in the present embodiment.
  • the information acquisition unit 21 acquires the target image (step ST11), and the extraction unit 23 outputs the extraction result of the region of interest included in the target image (step ST12).
  • the labeling unit 24 performs labeling 52 of the region of interest included in the target image 51 based on the extraction result of the region of interest (step ST13).
  • the display control unit 25 displays the labeled target image on the display unit 14 (step ST14), and ends the process.
  • the expression format of the input image and whether the input image is a real image or a virtual image generated by the first decoder 32 are determined, and the first determination result is obtained. Is output. Further, it is determined whether the extraction result PM1 of the region of interest by the second decoder 34 is the extraction result of the first image with the correct answer mask or the extraction result of the first image without the correct answer mask, and the second determination is made. The result is output. Then, the encoder 31, the first decoder 32, and the first discriminator 33 are learned based on the first discrimination result, and the encoder 31, the second decoder 34, and the second discriminator 35 are learned based on the second discrimination result. I tried to learn.
  • the encoder 31, the first decoder 32, and the first discriminator 33 improve the accuracy, and the first discriminator 33 inputs an image in any expression format. Even if it is done, it will be possible to distinguish between a real image and a virtual image with higher accuracy. Further, the encoder 31 and the first decoder 32 can generate a virtual image closer to an image in a real expression format, which is not discriminated by the first discriminator 33. Further, the encoder 31, the first decoder 32, and the first discriminator 33 enhance the accuracy of each other, and the second discriminator 35 makes the input image more accurate whether the input image has the correct answer mask or not. You will be able to distinguish. Further, the encoder 31 and the second decoder 34 are more accurate in that the presence or absence of the correct answer mask is not determined by the second discriminator 35 regardless of whether the image has the correct answer mask or the image without the correct answer mask. The area extraction result can be output.
  • the trained extraction model 40 having the trained encoder 31 and the second decoder 34, it is not patentable without preparing a model for each expression format as in the method described in Non-Patent Document 2.
  • the region of interest contained in the target image can be extracted regardless of the expression format of the target image without inputting the domain label at the time of extraction.
  • FIG. 11 is a schematic block diagram showing the configuration of the extraction model according to the second embodiment.
  • the extraction model 30A in the second embodiment is different from the first embodiment in that it includes a third discriminator 36 instead of the second discriminator 35.
  • the encoder 31 and the third discriminator 36 form a GAN. Since the learning of the first decoder 32, the first discriminator 33, and the second decoder 34 is the same as that of the first embodiment, detailed description thereof will be omitted here.
  • the third discriminator 36 is composed of, for example, a convolutional neural network, determines the representation format of the input image based on the feature map output by the encoder 31, and outputs the third discrimination result DC2. That is, as shown in FIG. 11, the third discriminator 36 determines from which representation format the feature map F1 of the first image GR1 derived by the encoder 31 is derived from the third image.
  • the determination result DC2 is output. For example, when the expression format of the input image is a CT image and the third discriminator 36 determines that it is a CT image, the third determination result DC2 is the correct answer and it is determined that it is not a CT image. The third determination result DC2 is incorrect.
  • the third discrimination result DC2 is a T2-weighted image
  • the third discrimination result DC2 is a correct answer
  • a CT image other than the T2-weighted image or T1-weighted image is used.
  • the third determination result DC2 is an incorrect answer.
  • the learning unit 22 derives the loss based on the output of the third discriminator 36 with respect to the third determination result DC2. This loss is called classification loss.
  • the classification loss is defined as the sixth loss L6.
  • the learning unit 22 learns the third discriminator 36 so as to correctly answer the third discrimination result DC2 of the input image expression format. Further, the learning unit 22 learns the encoder 31 so that the third discriminator 36 derives the feature map F1 in which the third determination result DC2 is an incorrect answer. That is, the encoder 31 and the third discriminator 36 are learned so as to minimize the first loss L1 and the sixth loss L6. Specifically, the encoder 31 and the third discriminator 36 are learned so that L1 + L6 are equal to or less than a predetermined threshold value.
  • the encoder 31 and the third discriminator 36 improve the accuracy, and the third discriminator 36 can discriminate the expression format with higher accuracy no matter what kind of image is input. Become.
  • the encoder 31 can generate the same feature map F1 regardless of the expression format, which is not discriminated by the third discriminator 36 no matter what kind of image is input.
  • the second decoder 34 can extract the region of interest regardless of the expression format of the image input to the extraction model 30A.
  • the expression format of the input image and whether the input image is a real image or a virtual image generated by the first decoder 32 are determined and the first determination is made.
  • the result is output, the expression format of the input image is discriminated based on the feature map F1 derived by the encoder 31, and the third discriminant result is output.
  • the encoder 31, the first decoder 32, and the first discriminator 33 are learned based on the first discrimination result, and the encoder 31 and the third discriminator 36 are learned based on the third discrimination result. did. Therefore, as in the first embodiment, the region of interest included in the target image can be extracted regardless of the expression format of the target image.
  • the third discriminator 36 may be provided without omitting the second discriminator 35 as in the extraction model 30B shown in FIG.
  • the encoder 31 and the second decoder 34 included in the trained extraction models 30A and 30B are used as the trained extraction model 40.
  • the region of interest is extracted from the three-dimensional image of the abdomen of the human body, but the present invention is not limited to this.
  • the technique of the present disclosure can be applied to extraction of a region of interest from a simple X-ray image, an ultrasonic image, or the like, in addition to a three-dimensional image such as a CT image or an MRI image.
  • a T1-weighted image and a T2-weighted image are used as the MRI image, but the MRI image is not limited to this.
  • the MRI image may include at least one expression format of a diffusion-weighted image, a FLAIR image, a pre-contrast T1-weighted image, and a post-contrast-enhanced T1-weighted image, in addition to the T1-weighted image and the T2-weighted image.
  • the liver is extracted as an area of interest, but the present invention is not limited to this.
  • the techniques of the present disclosure can also be applied when extracting regions of various structures in the human body such as lungs, heart, kidneys and brain as regions of interest.
  • a hardware structure of a processing unit that executes various processes such as an information acquisition unit 21, a learning unit 22, an extraction unit 23, a labeling unit 24, and a display control unit 25.
  • various processors processors shown below can be used.
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

第１の表現形式の第１画像の特徴量を抽出して第１画像の特徴マップを導出するエンコーダ、特徴マップに基づいて第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、入力画像の表現形式および入力画像が実画像であるか仮想画像であるかを判別して第１判別結果として出力する第１ディスクリミネータ、特徴マップに基づいて第１画像の関心領域を抽出する第２デコーダ、および第２デコーダによる関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータにより抽出モデルを構成する。

Description

学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
　本開示は、画像から関心領域を抽出する抽出モデルを学習する学習装置、方法およびプログラム、画像から関心領域を抽出する関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデルに関するものである。
　データを作り出す「Generator」（ジェネレータ）と、データを識別する「Discriminator」（ディスクリミネータ）とを交互に学習する敵対的生成ネットワーク（Generative Adversarial Networks：GAN）が提案されている。例えば、下記の非特許文献１には、ＧＡＮに関する研究が記載されている。ＧＡＮによれば、学習データの特徴に沿った精度の高いデータを生成する生成モデルを学習することができる。
　また、下記の非特許文献２には、ソースおよびターゲットという２つの異なるドメイン間において、ドメイン適応を行う技術も提案されている。非特許文献２に記載された手法は、ソース画像とターゲット画像の特徴量空間を近づけるように学習をするアイデアに基づくものであり、非特許文献２に記載の手法により、十分な教師ラベルを持つソースドメインを利用して、教師ラベルがないかまたは少ないターゲットドメインを、高い精度で学習することができる。
　また、下記の非特許文献３には、単一のジェネレータとディスクリミネータとを用いて、マルチモーダルなドメイン変換を実現するネットワークが提案されている。非特許文献３に記載された手法は、ジェネレータの入力に変換対象の画像（例えば人物の顔画像）の各種表情（例えば、金髪、黒髪、笑顔および怒り顔等）をドメインラベルとして同時に与え、ディスクリミネータにおいては、入力された画像の真偽のみならず、ドメインすなわち表情の判定も行って、ジェネレータおよびディスクリミネータを学習している。
　一方、医療分野においては、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の各種モダリティの進歩により、より質の高い医用画像を用いての画像診断が可能となってきている。このような医用画像に含まれる臓器および病変等の関心領域を自動で抽出することも行われている。例えば、ニューラルネットワーク等の機械学習モデルを、学習用画像と関心領域の正解マスクとを用いて学習することにより、入力画像から関心領域を抽出する技術が提案されている。
　非特許文献１：Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu,David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio "GenerativeAdversarial Nets", arXiv:1406.2661
　非特許文献２：Judy Hoffman, Eric Tzeng, Taesung Park, Jun-Yan Zhu, Phillip Isola, Kate Saenko, Alexei A. Efros, Trevor Darrell　"CyCADA: Cycle-Consistent Adversarial Domain Adaptation"， arXiv:1711.03213
　非特許文献３：Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo　"StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation"，arXiv:1711.09020
　ところで、医用画像はＣＴ装置およびＭＲＩ装置のように画像を生成するモダリティが異なると、画像の表現形式が異なる。例えば、画像に含まれる人体の組織が同じであっても、ＣＴ画像とＭＲＩ画像とでは濃度が異なるものとなる。また、ＭＲＩ画像には、Ｔ１強調画像、Ｔ２強調画像、脂肪抑制画像および拡散強調画像等の多様な撮影条件があり、撮影条件に応じて表現形式がそれぞれ異なる。例えば、Ｔ１強調画像では、主に脂肪組織が白く見え、水、液性成分および嚢胞は黒く見え、腫瘍はやや黒く見える。また、Ｔ２強調画像では、脂肪組織だけでなく、水、液性成分および嚢胞も白く見える。このため、各種表現形式の医用画像に対応させた関心領域の抽出を行うためには、医用画像の表現形式毎、すなわちドメイン毎に正解マスクを用意して機械学習モデルを学習させる必要がある。しかしながら、ドメイン毎に正解マスクを用意すると、正解マスクの作成、画像の収集および学習時における機械学習モデルのパラメータの調整等に多大なコストが必要となる。この場合、上記非特許文献２および非特許文献３に記載された手法を、医用画像からの関心領域の抽出に適用することが考えられる。
　しかしながら、上記非特許文献２に記載された手法は、１つのソースおよび１つのターゲットという１対１のドメイン変換のみにしか対応していない。このため、多様な表現形式を有する医用画像に対応させるためには、ドメイン、すなわち表現形式の組み合わせ毎にモデルを用意する必要がある。また、非特許文献３に記載された手法では、非特許文献３に記載された手法は、画像を変換する処理のみにしか適用することができない。さらに、非特許文献３に記載された手法は、判別時において、ジェネレータの入力に、ドメインラベルが必要となる。
　本開示は上記事情に鑑みなされたものであり、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できるようにすることを目的とする。
　本開示による第１の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
　抽出モデルは、
　第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
　特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
　入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
　特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
　第２デコーダによる関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
　第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第２判別結果に基づいて、エンコーダ、第２デコーダおよび第２ディスクリミネータを学習する学習部を備える。
　なお、本開示による第１の学習装置においては、学習部は、エンコーダに第２仮想画像を入力して第２仮想画像の特徴マップを導出させ、
　第１デコーダに、第２仮想画像の特徴マップに基づいて、第１の表現形式の第１仮想画像を導出させ、
　第１画像および第１仮想画像との相違にも基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習するものであってもよい。
　また、本開示による第１の学習装置においては、第１画像が関心領域についての正解マスクを有する場合、学習部は、関心領域の抽出結果および正解マスクに基づいて、第２デコーダを学習するものであってもよい。
　また、本開示による第１の学習装置においては、抽出モデルは、特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータをさらに有し、
　学習部は、第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習するものであってもよい。
　本開示による第２の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
　抽出モデルは、
　第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
　特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
　入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
　特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
　特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
　第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習する学習部を備える。
　なお、本開示による第１および第２の学習装置においては、画像は３次元の医用画像であり、表現形式は、ＣＴ画像およびＭＲＩ画像の表現形式を含むものであってもよい。
　また、本開示による第１および第２の学習装置においては、表現形式は、ＭＲＩ画像における、Ｔ１強調画像、Ｔ２強調画像、拡散強調画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、および造影後Ｔ１強調画像の少なくとも１つの表現形式を含むものであってもよい。
　本開示による関心領域抽出装置は、本開示による第１または第２の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から画像の関心領域を抽出する抽出部を備える。
　本開示による学習済み抽出モデルは、本開示による第１または第２の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを備える。
　本開示による第１の学習方法は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
　抽出モデルは、
　第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
　特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
　入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
　特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
　第２デコーダによる関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
　第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、
　第２判別結果に基づいて、エンコーダ、第２デコーダおよび第２ディスクリミネータを学習する。
　本開示による第２の学習方法は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
　抽出モデルは、
　第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
　特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
　入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
　特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
　特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
　第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、
　第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習する。
　本開示による関心領域抽出方法は、本開示による第１または第２の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から画像の関心領域を抽出する。
　なお、本開示による第１および第２の学習方法、並びに関心領域抽出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による第３の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
　コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、
　抽出モデルは、
　第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
　特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
　入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
　特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
　第２デコーダによる関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
　プロセッサは、
　第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第２判別結果に基づいて、エンコーダ、第２デコーダおよび第２ディスクリミネータを学習する処理を実行する。
　本開示による第４の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
　コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、
　抽出モデルは、
　第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
　特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
　入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
　特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
　特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
　プロセッサは、
　第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習する処理を実行する。
　本開示による他の関心領域抽出装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　本開示による第１または第２の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダとして機能し、任意の表現形式の画像から画像の関心領域を抽出する処理を実行する。
　本開示によれば、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できる。
本開示の第１の実施形態による学習装置および関心領域抽出装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の第１の実施形態による関心領域抽出装置の概略構成を示す図 第１の実施形態における抽出モデルの構成を示す概略ブロック図 第１の実施形態における抽出モデルの構成を示す概略ブロック図 正解マスクを有する第１画像の例を示す図 正解マスクを有さない第１画像の例を示す図 入力される実画像の表現形式および変換された仮想画像の表現形式を示す図 ラベリングされた対象画像を示す図 第１の実施形態において行われる学習処理を示すフローチャート 第２の実施形態において行われる関心領域抽出処理を示すフローチャート 第２の実施形態における抽出モデルの構成を示す概略ブロック図 第３の実施形態における抽出モデルの構成を示す概略ブロック図
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による学習装置および関心領域抽出装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、第１の実施形態による学習装置および関心領域抽出装置（以下、関心領域抽出装置で代表させる）１、複数の３次元画像撮影装置２Ａ，２Ｂ、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２Ａ，２Ｂは、被写体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２Ａ，２Ｂにより生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２ＡはＣＴ装置、３次元画像撮影装置２ＢはＭＲＩ装置であり、被写体の診断対象となる部位を含むＣＴ画像およびＭＲＩ画像をそれぞれ３次元画像として生成する。また、本実施形態においては、３次元画像撮影装置２Ｂは、ＭＲＩ画像としてＴ１強調画像およびＴ２強調画像をそれぞれ生成するものとする。３次元画像は複数の断層画像からなる。また、本実施形態においては、３次元画像は被写体の腹部を撮影することにより取得されたものであり、腹部に含まれる肝臓を抽出対象の関心領域とするものとする。
　ここで、医用画像はＣＴ装置およびＭＲＩ装置のように取得されるモダリティが異なると、画像の表現形式が異なる。例えば、画像に含まれる人体の組織が同じであっても、ＣＴ画像とＭＲＩ画像とでは濃度が異なるものとなる。また、同じＭＲＩ画像であっても、Ｔ１強調画像とＴ２強調画像とでは、それぞれ表現形式が異なる。具体的には、Ｔ１強調画像では、主に脂肪組織が白く見え、水、液性成分および嚢胞は黒く見え、腫瘍はやや黒く見える。また、Ｔ２強調画像では、脂肪組織だけでなく、水、液性成分および嚢胞も白く見える。このため、ＣＴ画像、Ｔ１強調画像およびＴ２強調画像はそれぞれ表現形式が異なる画像となる。本実施形態においては、表現形式がドメインに対応し、表現形式が異なることとドメインが異なることとは同義である。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、画像保管サーバ３は、後述する抽出モデルの学習のための学習用の画像も保管して管理している。
　本実施形態の学習装置を含む関心領域抽出装置１は、１台のコンピュータに、第１の実施形態の学習プログラムおよび関心領域抽出プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラムおよび関心領域抽出プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
　図２は、コンピュータに学習プログラムおよび関心領域抽出プログラムをインストールすることにより実現される関心領域抽出装置の概略構成を示す図である。図２に示すように、関心領域抽出装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、関心領域抽出装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
　ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した関心領域抽出の対象となる対象画像、後述するように抽出モデル３０の学習を行うための学習用の画像、および処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、学習プログラムおよび関心領域抽出プログラムが記憶されている。学習プログラムは、ＣＰＵ１１に実行させる処理として、抽出モデルを学習するための学習用の画像および関心領域を抽出する対象となる対象画像、並びに学習のためおよび関心領域を抽出するための各種情報を取得する情報取得処理、並びに抽出モデルを学習する学習処理を規定する。
　関心領域抽出プログラムは、ＣＰＵ１１に実行させる処理として、情報取得処理により取得した関心領域抽出の対象となる対象画像に含まれる関心領域を抽出する抽出処理、関心領域抽出結果に応じて、対象画像に含まれる関心領域にラベリングを行うラベリング処理、およびラベリングされた対象画像を表示部１４に表示する表示制御処理を規定する。
　そして、ＣＰＵ１１が学習プログラムおよび関心領域抽出プログラムに従いこれらの処理を実行することで、コンピュータは、情報取得部２１、学習部２２、抽出部２３、ラベリング部２４および表示制御部２５として機能する。
　情報取得部２１は、ネットワークに接続されたインターフェース（不図示）を介して、画像保管サーバ３から、被写体の腹部の３次元画像を対象画像として取得する。また、学習用の画像および後述する正解マスクを取得する。さらに、学習部２２による学習のための各種情報を取得する。学習のための情報としては、例えば後述する学習用の画像の変換後の表現形式（すなわちターゲット）の情報等である。
　学習部２２は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルを学習する。図３および図４は第１の実施形態における抽出モデルの構成を示す概略ブロック図である。図３，４に示すように、抽出モデル３０は、エンコーダ３１、第１デコーダ３２、第１ディスクリミネータ３３、第２デコーダ３４および第２ディスクリミネータ３５を有する。抽出モデル３０に含まれるエンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３が、入力された画像の表現形式を変換するための、すなわちドメインを変換するためのドメイン変換ネットワークを構成する。また、抽出モデル３０に含まれるエンコーダ３１、第２デコーダ３４および第２ディスクリミネータ３５が、入力された画像から関心領域を抽出するための領域抽出ネットワークを構成する。本実施形態においては、ドメイン変換ネットワークおよび領域抽出ネットワークにおいて、エンコーダ３１が共有されてなる。
　本実施形態においては、ドメイン変換ネットワークは敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を構成している。ＧＡＮは、データを作り出す「Generator」（ジェネレータ）と、データを識別する「Discriminator」（ディスクリミネータ）とを備える。本実施形態においては、エンコーダ３１および第１デコーダ３２の組み合わせがジェネレータに、第１ディスクリミネータ３３がディスクリミネータに相当する。
　また、本実施形態においては、領域抽出ネットワークも敵対的生成ネットワークを構成しており、エンコーダ３１および第２デコーダ３４の組み合わせがジェネレータに、第２ディスクリミネータ３５がディスクリミネータに相当する。
　エンコーダ３１は、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなり、入力された画像の特徴量を表す特徴マップを導出する。具体的には、図３に示すように、エンコーダ３１は、第１の表現形式の第１画像ＧＲ１が入力されると、第１画像ＧＲ１の特徴量を表す特徴マップＦ１を導出する。なお、本実施形態においては、第１画像ＧＲ１は、３次元画像撮影装置２Ａ，２Ｂにより生成された実際の画像（実画像）である。
　畳み込みニューラルネットワークは、複数の畳み込み層からなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴マップを出力する。なお、本実施形態においては最初の畳み込み層（すなわち入力層）のチャンネル数は４８以上とするが、これに限定されるものではない。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップＦ１を出力する。なお、本実施形態においては、畳み込みニューラルネットワークはプーリング層を有さないため、畳み込み処理時にはカーネルは２以上のストライドによりずらされながら、入力された画像または特徴マップに適用される。
　ここで、本実施形態においては、ＣＴ画像、Ｔ１強調画像およびＴ２強調画像のように表現形式が異なる、すなわちドメインが異なる複数種類の画像が抽出モデル３０の学習に使用される。学習時には、入力される画像にはその表現形式を表すラベルが、クラスラベルとして付与される。例えば、図３に示す第１画像ＧＲ１には、第１画像ＧＲ１の表現形式のクラスを表すクラスラベルが付与される。また、学習時に使用する画像は、正解マスクを有するものと有さないものが用意される。図５は、正解マスクＭ１を有する第１画像ＧＲ１の例を示す図、図６は正解マスクを有さない第１画像ＧＲ１の例を示す図である。図５および図６に示す第１画像ＧＲ１には、クラスラベルＣＬ１が付与されている。
　本実施形態において、クラスラベルＣＬ１は３つの表現形式のクラスを識別するための３つの要素を有するベクトルであり、１が付与された要素がその画像の表現形式を表すものとなっている。図５，６においては、３つの要素は上からＣＴ画像、Ｔ１強調画像およびＴ２強調画像となっている。図５に示す第１画像ＧＲ１は、クラスラベルＣＬ１の一番上の要素に１が付与されているため、表現形式はＣＴ画像である。また、図６に示す第１画像ＧＲ１は、クラスラベルの３番目の要素に１が付与されているため、表現形式はＴ２強調画像である。本実施形態においては、入力される画像に付与された表現形式を第１の表現形式とする。
　第１デコーダ３２は、特徴マップに基づいて、入力された画像の第１の表現形式を第１の表現形式とは異なる第２の表現形式に変換することにより、仮想画像を導出する。すなわち、図３に示すように、第１デコーダ３２は、第１画像ＧＲ１の特徴マップＦ１が入力されると、第１画像ＧＲ１の第１の表現形式を、第１の表現形式とは異なる第２の表現形式に変換することにより、第２仮想画像ＧＶ２を導出する。なお、第１の表現形式が変換元となるソースドメイン、第２の表現形式が変換先となるターゲットドメインにそれぞれ対応する。このために、第１デコーダ３２には第２の表現形式であるターゲットドメインの情報ＴＤ２が入力される。第２の表現形式は、例えば入力部１５から入力される。第２の表現形式の情報ＴＤ２は、第２の表現形式のクラスラベルを表すベクトルであり、クラスラベルＣＬ１と同様に３つの要素を有する。
　第１デコーダ３２は、複数の逆畳み込み層を有する。逆畳み込み層はエンコーダ３１の畳み込み層と同様の処理を行うが、入力された特徴マップをアップサンプリングしつつ、逆畳み込みの演算のためのカーネルを特徴マップに適用する。具体的には、図３に示すように、第１デコーダ３２は、エンコーダ３１が出力した特徴マップＦ１を、第１画像ＧＲ１の解像度となるように高解像度化しつつ、第１画像ＧＲ１の表現形式を第２の表現形式に変換する処理を行い、第２の表現形式の第２仮想画像ＧＶ２を導出する。
　第１ディスクリミネータ３３は、例えば畳み込みニューラルネットワークからなり、入力された画像の表現形式および入力された画像が実画像であるか第１デコーダ３２により生成された仮想画像であるかを判別して、第１判別結果を出力する。第１判別結果は、入力された画像が実画像であるか仮想画像であるかの判別結果ＲＦ１を含む。また、第１判別結果は入力された画像の表現形式の判別結果ＤＣ１を含む。ここで、実画像とは、第１デコーダ３２が生成した画像ではなく、３次元画像生成装置２Ａ，２Ｂにより生成された画像、いわば本物の画像である。
　このため、第１ディスクリミネータ３３が、入力された実画像を実画像であると判別した場合には、判別結果ＲＦ１は正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は不正解である。また、第１ディスクリミネータ３３が、入力された仮想画像を実画像であると判別した場合には、判別結果ＲＦ１は不正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は正解である。本実施形態においては、図３に示すように、学習時において第１ディスクリミネータ３３に第２仮想画像ＧＶ２が入力された場合、判別結果ＲＦ１が仮想画像であれば判別結果ＲＦ１は正解であり、判別結果が実画像であれば不正解となる。また、図３に示すように、学習時において第１ディスクリミネータ３３に実画像である第２画像ＧＲ２が入力された場合、判別結果ＲＦ１が実画像であれば判別結果ＲＦ１は正解であり、判別結果が仮想画像であれば不正解となる。
　学習部２２は、第１ディスクリミネータ３３が出力した判別結果ＲＦ１に基づいて損失を導出する。この損失は、adversarial lossと称される。本実施形態においては、第１ディスクリミネータ３３におけるadversarial lossを第１損失Ｌ１とする。
　また、入力された画像の表現形式がＣＴ画像である場合に、第１ディスクリミネータ３３が、表現形式をＣＴ画像と判別した場合には、判別結果ＤＣ１は正解であり、ＣＴ画像以外と判別した場合には判別結果ＤＣ１は不正解である。また、入力された画像の表現形式がＴ２強調画像である場合に、第１ディスクリミネータ３３が、表現形式をＴ２強調画像と判別した場合には、判別結果ＤＣ１は正解であり、Ｔ２強調画像以外と判別した場合には判別結果ＤＣ１は不正解である。なお、本実施形態においては、判別結果ＤＣ１を出力させるための第１ディスクリミネータ３３の学習時においては、第１ディスクリミネータ３３には実画像である第２画像ＧＲ２が入力される。
　一方、本実施形態においては、後述するようにエンコーダ３１および第１デコーダ３２を学習させるために、第１デコーダ３２が導出した仮想画像が第１ディスクリミネータ３３に入力されて、判別結果ＤＣ１が出力される。例えば、本実施形態においては、Ｔ２強調画像を第２の表現形式として第２仮想画像ＧＶ２が生成されている。このため、Ｔ２強調画像である第２仮想画像ＧＶ２が第１ディスクリミネータ３３に入力された場合において、判別結果ＤＣ１がＴ２強調画像である場合、判別結果ＤＣ１は正解であり、Ｔ２強調画像以外のＣＴ画像またはＴ１強調画像の場合、判別結果ＤＣ１は不正解である。なお、以降の説明においては、第１ディスクリミネータ３３の学習のために、第１ディスクリミネータ３３から出力した判別結果ＤＣ１を判別結果ＤＣ１ｄとし、エンコーダ３１および第１デコーダ３２の学習のために、第１ディスクリミネータ３３から出力した判別結果ＤＣ１を判別結果ＤＣ１ｇと称する。
　学習部２２は、第１ディスクリミネータ３３が出力した判別結果ＤＣ１ｄ，ＤＣ１ｇに基づいて損失を導出する。この損失は、classification lossと称される。本実施形態においては、判別結果ＤＣ１ｄ，ＤＣ１ｇに基づいて導出されたclassification lossをそれぞれ第２損失Ｌ２ｄ，Ｌ２ｇとする。なお、以降の説明において、判別結果ＤＣ１ｄ，ＤＣ１ｇを判別結果ＤＣ１で代表させ、第２損失Ｌ２ｄ，Ｌ２ｇを第２損失Ｌ２で代表させることがあるものとする。
　一方、本実施形態においては、図４に示すように、第２仮想画像ＧＶ２がエンコーダ３１に入力され、エンコーダ３１が導出した特徴マップＦ１が第１デコーダ３２に入力され、さらに第１デコーダ３２に対して第１画像ＧＲ１の第１の表現形式の情報ＴＤ１が入力される。これにより、第１デコーダ３２が、第１仮想画像ＧＶ１を導出する。このように導出された第１仮想画像ＧＶ１は、第１画像ＧＲ１と完全に一致することが望ましいが、エンコーダ３１および第１デコーダ３２による処理を経たものであるため、第１仮想画像ＧＶ１と第１画像ＧＲ１との間に相違が生じる。本実施形態においては、学習部２２は、第１仮想画像ＧＶ１と第１画像ＧＲ１との相違を損失として導出する。この損失は、cycle lossと称される。本実施形態においては、cycle lossを第３損失Ｌ３とする。
　本実施形態においては、学習部２２は、入力された画像が実画像であるか、第１デコーダ３２により生成された仮想画像であるかの判別結果ＲＦ１を正解し、かつ入力された画像の表現形式の判別結果ＤＣ１ｄを正解するように、第１ディスクリミネータ３３を学習する。すなわち、第１損失Ｌ１を最大にし、かつ第２損失Ｌ２ｄを最小にするように、第１ディスクリミネータ３３を学習する。具体的には、－Ｌ１＋Ｌ２ｄが予め定められたしきい値以下となるように、第１ディスクリミネータ３３を学習する。
　また、学習部２２は、入力された画像から指定された表現形式の仮想画像を導出し、第１ディスクリミネータ３３が判別結果ＲＦ１を不正解とし、判別結果ＤＣ１ｇを正解するように、第１デコーダ３２を学習する。また、学習部２２は、第１ディスクリミネータ３３が判別結果ＲＦ１を不正解とし、判別結果ＤＣ１を正解する仮想画像を生成できるような特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第１損失Ｌ１および第２損失Ｌ２ｇを最小とするように、エンコーダ３１および第１デコーダ３２を学習する。具体的には、Ｌ１＋Ｌ２ｇが予め定められたしきい値以下となるように、エンコーダ３１および第１デコーダ３２を学習する。
　また、学習部２２は、第２仮想画像ＧＶ２から生成された第１仮想画像ＧＶ１が第１画像ＧＲ１と一致するように、第１デコーダ３２を学習する。また、学習部２２は、第１画像ＧＲ１と一致する第１仮想画像ＧＶ１を第１デコーダ３２が導出できる特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第３損失Ｌ３を最小とするように、エンコーダ３１および第１デコーダ３２を学習する。具体的には、Ｌ３が予め定められたしきい値以下となるように、エンコーダ３１および第１デコーダ３２を学習する。
　学習が進行すると、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第１ディスクリミネータ３３は、どのような表現形式の画像が入力されても実画像か仮想画像かをより高精度に判別できるようになる。一方、エンコーダ３１および第１デコーダ３２は、第１ディスクリミネータ３３により判別されない、より本物の表現形式の画像に近い仮想画像を生成できるようになる。
　図７は入力される実画像の表現形式および変換された仮想画像の表現形式を示す図である。なお、図７においては、左側の列が入力される実画像であり、表現形式が上から順にＣＴ画像、Ｔ１強調画像およびＴ１強調画像となっている。また、左側から２列目から４列目が変換された表現形式の仮想画像を示している。表現形式は、左側２列目から順に、それぞれＣＴ画像、Ｔ１強調画像およびＴ２強調画像である。本実施形態によれば、図７に示すように、入力される実画像の表現形式に拘わらず、指示された表現形式に近い仮想画像が生成されるようになる。
　一方、第２デコーダ３４は、エンコーダ３１が導出した特徴マップを用いて、エンコーダ３１に入力された画像の関心領域を抽出する。具体的には、図３に示すように、第１画像ＧＲ１の特徴マップＦ１を用いて、第１画像ＧＲ１の関心領域を抽出する。第２デコーダ３４は、複数の逆畳み込み層を有する畳み込みニューラルネットワークからなる。第２デコーダ３４は、エンコーダ３１が出力した特徴マップＦ１を、第１画像ＧＲ１の解像度となるように高解像度化しつつ、第１画像ＧＲ１に含まれる関心領域（本実施形態においては肝臓）であることの確率を導出し、確率がしきい値以上の画素を関心領域として抽出する処理を行う。これにより、図３に示すように、第２デコーダ３４からは、第１画像ＧＲ１における肝臓の抽出結果ＰＭ１が出力される。
　なお、第１画像ＧＲ１が正解マスクＭ１を有する場合、学習部２２は、図３に示すように、第２デコーダ３４が出力した関心領域の抽出結果ＰＭ１と正解マスクＭ１との相違を損失として導出する。この損失は、task lossと称される。本実施形態においては、task lossを第４損失Ｌ４とする。
　第２ディスクリミネータ３５は、例えば畳み込みニューラルネットワークからなり、第２デコーダ３４による関心領域の抽出結果ＰＭ１が、図５に示すような正解マスクＭ１有りの第１画像ＧＲ１の抽出結果であるか、図６に示すような正解マスク無しの第１画像ＧＲ１の抽出結果であるかを判別して、第２判別結果ＲＦ２を出力する。ここで、図３に示すように、正解マスクＭ１を有する第１画像ＧＲ１についての抽出結果ＰＭ１が入力された場合に、第２ディスクリミネータ３５が正解マスク有りと判別した場合には、第２判別結果ＲＦ２は正解であり、正解マスク無しと判別した場合には第２判別結果ＲＦ２は不正解である。一方、正解マスクＭ１がない第１画像ＧＲ１についての抽出結果ＰＭ１が入力された場合に、第２ディスクリミネータ３５が正解マスク有りと判別した場合には、第２判別結果ＲＦ２は不正解であり、正解マスク無しと判別した場合には第２判別結果ＲＦ２は正解である。学習部２２は、第２判別結果ＲＦ２に関する第２ディスクリミネータ３５の出力に基づいて損失を導出する。この損失は、adversarial lossと称される。本実施形態においては、第２ディスクリミネータ３５におけるadversarial lossを第５損失Ｌ５とする。
　本実施形態においては、学習部２２は、正解マスク有りの第１画像ＧＲ１の抽出結果であるか正解マスク無しの第１の画像ＧＲ１の抽出結果であるかの第２判別結果ＲＦ２を正解するように、第２ディスクリミネータ３５を学習する。すなわち、第５損失Ｌ５を最大とするように、第２ディスクリミネータ３５を学習する。具体的には、－Ｌ５が予め定められたしきい値以下となるように、第２ディスクリミネータ３５を学習する。
　なお、本実施形態においては、学習時には、正解マスク有りの第１画像ＧＲ１と正解マスク無しの第１画像ＧＲ１とを交互に用いて学習を行う。
　また、学習部２２は、正解マスクＭ１有りの第１画像ＧＲ１の特徴マップＦ１が入力された場合に、抽出結果ＰＭ１と正解マスクＭ１とが一致するように、第２デコーダ３４を学習する。また、学習部２２は、正解マスクＭ１と一致する抽出結果ＰＭ１が得られる特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第４損失Ｌ４を最小とするようにエンコーダ３１および第２デコーダ３４を学習する。具体的には、Ｌ４が予め定められたしきい値以下となるように、エンコーダ３１および第２デコーダ３４を学習する。
　また、学習部２２は、第２ディスクリミネータ３５が、第２判別結果ＲＦ２を不正解とする抽出結果ＰＭ１を出力するように、第２デコーダ３４を学習する。また、学習部２２は、第２ディスクリミネータ３５が第２判別結果ＲＦ２を不正解とする抽出結果ＰＭ１を出力する特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第５損失Ｌ５を最小とするように、エンコーダ３１および第１デコーダ３２を学習する。具体的には、Ｌ５が予め定められたしきい値以下となるように、エンコーダ３１および第１デコーダ３２を学習する。
　学習が進行すると、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第２ディスクリミネータ３５は、入力された画像が正解マスク有りか、正解マスク無しかをより高精度に判別できるようになる。一方、エンコーダ３１および第２デコーダ３４は、正解マスク有りの画像であっても正解マスク無しの画像であっても、第２ディスクリミネータ３５により正解マスクの有無が判別されない、より精度のよい関心領域の抽出結果を出力できるようになる。
　上記のように学習部２２が抽出モデル３０の学習を行うことにより、関心領域抽出の対象となる対象画像が入力されると、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出する抽出モデル３０が構築される。本実施形態においては、学習済みの抽出モデル３０におけるエンコーダ３１および第２デコーダ３４が、学習済み抽出モデル４０として抽出部２３に適用される。
　抽出部２３は、対象画像が入力されると、学習済み抽出モデル４０により、対象画像に含まれる関心領域を抽出して、抽出結果を出力する。
　ラベリング部２４は、抽出部２３が出力した関心領域の抽出結果に基づいて、対象画像に含まれる関心領域のラベリングを行う。
　表示制御部２５は、ラベリングされた対象画像を表示部１４に表示する。図８はラベリングされた対象画像の表示画面を示す図である。図８に示すように、表示画面６０には、対象画像５１が表示され、対象画像５１に関心領域にラベリング５２がなされている。なお、図８においてはラベリング５２をハッチングにて示しているが、色を変更するまたは線で囲む等によりラベリングを行うようにしてもよい。
　次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる学習処理を示すフローチャートである。なお、学習用の第１画像ＧＲ１および正解マスク有りの場合の正解マスクＭ１は、情報取得部２１により画像保管サーバ３から取得されて、ストレージ１３に保存されているものとする。まず、学習部２２がストレージ１３に保存された学習用の第１画像ＧＲ１を取得する（ステップＳＴ１）。学習部２２は、エンコーダ３１に第１画像ＧＲ１を入力して特徴マップＦ１を導出させる（ステップＳＴ２）。また、学習部２２は、第１デコーダ３２に特徴マップＦ１および第２の表現形式の情報ＴＤ２を入力し、第２仮想画像ＧＶ２を導出させる（ステップＳＴ３）。そして、学習部２２は、第１ディスクリミネータ３３に第２画像ＧＲ２または第２仮想画像ＧＶ２を入力し、第１判別結果である判別結果ＲＦ１および判別結果ＤＣ１を出力させる（第１判別結果出力、ステップＳＴ４）。
　次いで、学習部２２は、第１判別結果に基づいて第１損失Ｌ１および第２損失Ｌ２を導出する。また、学習部２２は、エンコーダ３１に第２仮想画像ＧＶ２を入力して第２仮想画像ＧＶ２の特徴マップを導出させ、第２仮想画像ＧＶ２の特徴マップを第１デコーダ３２に入力して、第１仮想画像ＧＶ１を出力させる。そして、学習部２２は、第１画像ＧＲ１および第１仮想画像ＧＶ１から第３損失Ｌ３を導出する（損失導出；ステップＳＴ５）。
　さらに、学習部２２は、第１損失Ｌ１、第２損失Ｌ２および第３損失Ｌ３に基づいて、エンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３を学習する（第１学習、ステップＳＴ６）。
　一方、学習部２２は第２デコーダ３４に特徴マップＦ１を入力し、関心領域の抽出結果ＰＭ１を出力させる（ステップＳＴ７）。また、学習部２２は、第２ディスクリミネータ３５に抽出結果ＰＭ１を入力し、第２判別結果ＲＦ２を出力させる（ステップＳＴ８）。そして、学習部２２は、第２判別結果ＲＦ２に基づいて、第５損失Ｌ５を導出する。なお、学習部２２は、第１画像ＧＲ１が正解マスクＭ１を有する場合、第４損失Ｌ４を導出する（損失導出；ステップＳＴ９）。
　さらに、学習部２２は、第４損失Ｌ４（有れば）および第５損失Ｌ５に基づいて、エンコーダ３１、第２デコーダ３４および第２ディスクリミネータ３５を学習する（第２学習、ステップＳＴ１０）。そして、ステップＳＴ１にリターンし、次の学習用の第１画像ＧＲ１をストレージ１３から取得して、ステップＳＴ１～ステップＳＴ１０の処理を繰り返す。これにより、学習済みの抽出モデル３０が構築される。なお、ステップＳＴ３～ステップＳＴ６の処理とステップＳＴ７～ステップＳＴ１０の処理を並列に行ってもよく、ステップＳＴ７～ステップＳＴ１０の処理をステップＳＴ３～ステップＳＴ６の処理よりも先に行ってもよい。
　なお、学習部２２は、各種損失Ｌ１～Ｌ５が予め定められたしきい値以下となるまで学習を繰り返すものとしているが、予め定められた回数の学習を繰り返すものであってもよい。
　次いで、本実施形態において行われる関心領域抽出処理について説明する。図１０は本実施形態において行われる関心領域抽出処理のフローチャートである。情報取得部２１が対象画像を取得し（ステップＳＴ１１）、抽出部２３が対象画像に含まれる関心領域抽出結果を出力する（ステップＳＴ１２）。次いで、ラベリング部２４が、関心領域抽出結果に基づいて対象画像５１に含まれる関心領域のラベリング５２を行う（ステップＳＴ１３）。そして、表示制御部２５がラベリングされた対象画像を表示部１４に表示し（ステップＳＴ１４）、処理を終了する。
　このように、本実施形態においては、入力された画像の表現形式および入力された画像が実画像であるか第１デコーダ３２により生成された仮想画像であるかを判別して、第１判別結果を出力するようにした。また、第２デコーダ３４による関心領域の抽出結果ＰＭ１が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力するようにした。そして、第１判別結果に基づいて、エンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３を学習し、第２判別結果に基づいて、エンコーダ３１、第２デコーダ３４および第２ディスクリミネータ３５を学習するようにした。
　このため、上述したように学習が進行すると、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第１ディスクリミネータ３３は、どのような表現形式の画像が入力されても実画像か仮想画像かをより高精度に判別できるようになる。また、エンコーダ３１および第１デコーダ３２は、第１ディスクリミネータ３３により判別されない、より本物の表現形式の画像に近い仮想画像を生成できるようになる。また、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第２ディスクリミネータ３５は、入力された画像が正解マスク有りか、正解マスク無しかをより高精度に判別できるようになる。さらに、エンコーダ３１および第２デコーダ３４は、正解マスク有りの画像であっても正解マスク無しの画像であっても、第２ディスクリミネータ３５により正解マスクの有無が判別されない、より精度のよい関心領域の抽出結果を出力できるようになる。
　したがって、学習されたエンコーダ３１および第２デコーダ３４を有する学習済み抽出モデル４０を用いることにより、非特許文献２に記載された手法のように、表現形式毎にモデルを用意することなく、非特許文献３に記載された手法のように、抽出時にドメインラベルを入力することなく、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できる。
　次いで、本開示の第２の実施形態について説明する。図１１は第２の実施形態による抽出モデルの構成を示す概略ブロック図である。なお、図１１において図３と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第２の実施形態における抽出モデル３０Ａは、第２ディスクリミネータ３５に代えて、第３ディスクリミネータ３６を備えた点が第１の実施形態と異なる。第２の実施形態においては、エンコーダ３１と第３ディスクリミネータ３６とがＧＡＮを構成している。なお、第１デコーダ３２、第１ディスクリミネータ３３および第２デコーダ３４の学習については、上記第１の実施形態と同様であるため、ここでは詳細な説明は省略する。
　第３ディスクリミネータ３６は、例えば畳み込みニューラルネットワークからなり、エンコーダ３１が出力した特徴マップに基づいて、入力された画像の表現形式を判別して、第３判別結果ＤＣ２を出力する。すなわち、図１１に示すように、第３ディスクリミネータ３６は、エンコーダ３１が導出した第１画像ＧＲ１の特徴マップＦ１がいずれの表現形式の画像から導出したものであるかを判別して第３判別結果ＤＣ２を出力する。例えば、入力された画像の表現形式がＣＴ画像である場合に、第３ディスクリミネータ３６がＣＴ画像と判別した場合には、第３判別結果ＤＣ２は正解であり、ＣＴ画像以外と判別した場合には第３判別結果ＤＣ２は不正解である。また、入力された画像の表現形式がＴ２強調画像である場合、第３判別結果ＤＣ２がＴ２強調画像である場合、第３判別結果ＤＣ２は正解であり、Ｔ２強調画像以外のＣＴ画像またはＴ１強調画像の場合、第３判別結果ＤＣ２は不正解である。学習部２２は、第３判別結果ＤＣ２に関する第３ディスクリミネータ３６の出力に基づいて損失を導出する。この損失は、classification lossと称される。本実施形態においては、classification lossを第６損失Ｌ６とする。
　第２の実施形態においては、第３ディスクリミネータ３６に関して、学習部２２は、入力された画像の表現形式の第３判別結果ＤＣ２を正解するように、第３ディスクリミネータ３６を学習する。また、学習部２２は、第３ディスクリミネータ３６が第３判別結果ＤＣ２を不正解とする特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第１損失Ｌ１および第６損失Ｌ６を最小とするように、エンコーダ３１および第３ディスクリミネータ３６を学習する。具体的には、Ｌ１＋Ｌ６が予め定められたしきい値以下となるように、エンコーダ３１および第３ディスクリミネータ３６を学習する。
　学習が進行すると、エンコーダ３１と第３ディスクリミネータ３６とが精度を高めあい、第３ディスクリミネータ３６は、どのような画像が入力されてもその表現形式をより高精度に判別できるようになる。一方、エンコーダ３１は、どのような画像が入力されても第３ディスクリミネータ３６により判別されない、表現形式に拘わらず同様の特徴マップＦ１を生成できるようになる。また、これにより、第２デコーダ３４は、抽出モデル３０Ａにどのような表現形式の画像が入力されても、関心領域を抽出できることとなる。
　このように、第２の実施形態においては、入力された画像の表現形式および入力された画像が実画像であるか第１デコーダ３２により生成された仮想画像であるかを判別して第１判別結果を出力し、エンコーダ３１が導出した特徴マップＦ１に基づいて入力された画像の表現形式を判別して、第３判別結果を出力するようにした。そして、第１判別結果に基づいて、エンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３を学習し、第３判別結果に基づいて、エンコーダ３１および第３ディスクリミネータ３６を学習するようにした。このため、上記第１の実施形態と同様に、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できる。
　なお、上記第１の実施形態において、図１２に示す抽出モデル３０Ｂのように、第２ディスクリミネータ３５を省略することなく、第３ディスクリミネータ３６を設けるようにしてもよい。
　ここで、第２の実施形態においても、学習済みの抽出モデル３０Ａ，３０Ｂに含まれるエンコーダ３１および第２デコーダ３４が学習済み抽出モデル４０として使用される。
　また、上記各実施形態においては、人体の腹部の３次元画像から関心領域を抽出しているが、これに限定されるものではない。ＣＴ画像およびＭＲＩ画像等の３次元画像の他、単純Ｘ線画像および超音波画像等からの関心領域の抽出にも、本開示の技術を適用することが可能である。
　また、上記各実施形態においては、ＭＲＩ画像としてＴ１強調画像およびＴ２強調画像を用いているが、これに限定されるものではない。ＭＲＩ画像としては、Ｔ１強調画像およびＴ２強調画像の他、拡散強調画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、造影後Ｔ１強調画像の少なくとも１つの表現形式を含むものであってもよい。
　また、上記各実施形態においては、関心領域として肝臓を抽出しているが、これに限定されるものではない。肝臓の他、肺、心臓、腎臓および脳等の人体内の各種構造物の領域を関心領域として抽出する場合にも、本開示の技術を適用することができる。
　また、上記各実施形態において、例えば、情報取得部２１、学習部２２、抽出部２３、ラベリング部２４および表示制御部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　関心領域抽出装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力部
　　　２１　　情報取得部
　　　２２　　学習部
　　　２３　　抽出部
　　　２４　　ラベリング部
　　　２５　　表示制御部
　　　３０，３０Ａ，３０Ｂ　　抽出モデル
　　　３１　　エンコーダ
　　　３２　　第１デコーダ
　　　３３　　第１ディスクリミネータ
　　　３４　　第２デコーダ
　　　３５　　第２ディスクリミネータ
　　　３６　　第３ディスクリミネータ
　　　４０　　学習済み抽出モデル
　　　５１　　対象画像
　　　５２　　ラベリング
　　　６０　　表示画面
　　　ＤＣ１，ＤＣ２ｄ，ＤＣ２ｇ，ＤＣ３，ＲＦ１，ＲＦ２　　判別結果
　　　Ｆ１　　特徴マップ
　　　ＧＲ１　　第１画像
　　　ＧＲ２　　第２画像
　　　ＧＶ１　　第１仮想画像
　　　ＧＶ２　　第２仮想画像
　　　Ｌ１～Ｌ６　　損失
　　　Ｍ１　　　正解マスク
　　　ＰＭ１　抽出結果

Claims (15)

  1. 　複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
    　前記抽出モデルは、
    　第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    　前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    　入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    　前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    　前記第２デコーダによる前記関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
    　前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、前記第２判別結果に基づいて、前記エンコーダ、第２デコーダおよび前記第２ディスクリミネータを学習する学習部を備えた学習装置。
  2. 　前記学習部は、前記エンコーダに前記第２仮想画像を入力して該第２仮想画像の特徴マップを導出させ、
    　前記第１デコーダに、前記第２仮想画像の特徴マップに基づいて、前記第１の表現形式の第１仮想画像を導出させ、
    　前記第１画像および前記第１仮想画像との相違にも基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習する請求項１に記載の学習装置。
  3. 　前記第１画像が前記関心領域についての正解マスクを有する場合、前記学習部は、前記関心領域の抽出結果および前記正解マスクに基づいて、前記第２デコーダを学習する請求項１または２に記載の学習装置。
  4. 　前記抽出モデルは、前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータをさらに有し、
    　前記学習部は、前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する請求項１から３のいずれか１項に記載の学習装置。
  5. 　複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
    　前記抽出モデルは、
    　第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    　前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    　入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    　前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    　前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
    　前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する学習部を備えた学習装置。
  6. 　前記画像は３次元の医用画像であり、前記表現形式は、ＣＴ画像およびＭＲＩ画像の表現形式を含む請求項１から５のいずれか１項に記載の学習装置。
  7. 　前記表現形式は、ＭＲＩ画像における、Ｔ１強調画像、Ｔ２強調画像、拡散強調画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、および造影後Ｔ１強調画像の少なくとも１つの表現形式を含む請求項６に記載の学習装置。
  8. 　請求項１から７のいずれか１項に記載の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から該画像の関心領域を抽出する抽出部を備えた関心領域抽出装置。
  9. 請求項１から７のいずれか１項に記載の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを備えた学習済み抽出モデル。
  10. 　複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
    　前記抽出モデルは、
    　第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    　前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    　入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    　前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    　前記第２デコーダによる前記関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
    　前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、
    　前記第２判別結果に基づいて、前記エンコーダ、第２デコーダおよび前記第２ディスクリミネータを学習する学習方法。
  11. 　複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
    　前記抽出モデルは、
    　第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    　前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    　入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    　前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    　前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
    　前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、
    　前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する学習方法。
  12. 　請求項１０または１１に記載の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から該画像の関心領域を抽出する関心領域抽出方法。
  13. 　複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法をコンピュータに実行させる学習プログラムであって、
    　前記抽出モデルは、
    　第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    　前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    　入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    　前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    　前記第２デコーダによる前記関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
    　前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習する手順と、
    　前記第２判別結果に基づいて、前記エンコーダ、第２デコーダおよび前記第２ディスクリミネータを学習する手順とをコンピュータに実行させる学習プログラム。
  14. 　複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法をコンピュータに実行させる学習プログラムであって、
    　前記抽出モデルは、
    　第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    　前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    　入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    　前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    　前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
    　前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習する手順と、
    　前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する手順とをコンピュータに実行させる学習プログラム。
  15. 　請求項１０または１１に記載の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から該画像の関心領域を抽出する手順をコンピュータに実行させる関心領域抽出プログラム。
PCT/JP2020/028415 2019-07-25 2020-07-22 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル Ceased WO2021015231A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20844578.3A EP4006830B1 (en) 2019-07-25 2020-07-22 Learning device, method, and program, region of interest extracting device, method, and program, and learned extraction model
JP2021534066A JP7203978B2 (ja) 2019-07-25 2020-07-22 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
US17/578,465 US12608900B2 (en) 2019-07-25 2022-01-19 Learning apparatus, learning method, and learning program, region-of-interest extraction apparatus, region-of-interest extraction method, and region-of-interest extraction program, and learned extraction model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019137033 2019-07-25
JP2019-137033 2019-07-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/578,465 Continuation US12608900B2 (en) 2019-07-25 2022-01-19 Learning apparatus, learning method, and learning program, region-of-interest extraction apparatus, region-of-interest extraction method, and region-of-interest extraction program, and learned extraction model

Publications (1)

Publication Number Publication Date
WO2021015231A1 true WO2021015231A1 (ja) 2021-01-28

Family

ID=74194213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028415 Ceased WO2021015231A1 (ja) 2019-07-25 2020-07-22 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル

Country Status (4)

Country Link
US (1) US12608900B2 (ja)
EP (1) EP4006830B1 (ja)
JP (1) JP7203978B2 (ja)
WO (1) WO2021015231A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077491A (zh) * 2021-04-02 2021-07-06 安徽大学 基于跨模态共享和特定表示形式的rgbt目标跟踪方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3767536B1 (en) * 2019-07-17 2025-02-19 Naver Corporation Latent code for unsupervised domain adaptation
US11657292B1 (en) * 2020-01-15 2023-05-23 Architecture Technology Corporation Systems and methods for machine learning dataset generation
KR102159052B1 (ko) * 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
CN114581558B (zh) * 2022-02-25 2023-07-07 北京百度网讯科技有限公司 图像处理方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) * 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US20190220977A1 (en) * 2018-01-16 2019-07-18 Siemens Healthcare Gmbh Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
WO2019241659A1 (en) * 2018-06-15 2019-12-19 Subtle Medical, Inc. Systems and methods for magnetic resonance imaging standardization using deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) * 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US20190220977A1 (en) * 2018-01-16 2019-07-18 Siemens Healthcare Gmbh Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IAN J. GOODFELLOWJEAN POUGET-ABADIEMEHDI MIRZABING XUDAVID WARDE-FARLEYSHERJIL OZAIRAARON COURVILLEYOSHUA BENGIO: "Generative Adversarial Nets", ARXIV: 1406.2661
JUDY HOFFMANERIC TZENGTAESUNG PARKJUN-YAN ZHUPHILLIP ISOLAKATE SAENKOALEXEI A. EFROSTREVOR DARRELL: "CyCADA: Cycle-Consistent Adversarial Domain Adaptation", ARXIV: 1711.03213
See also references of EP4006830A4
YUNJEY CHOIMINJE CHOIMUNYOUNG KIMJUNG-WOO HASUNGHUN KIMJAEGUL CHOO: "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-image Translation", ARXIV: 1711.09020

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077491A (zh) * 2021-04-02 2021-07-06 安徽大学 基于跨模态共享和特定表示形式的rgbt目标跟踪方法

Also Published As

Publication number Publication date
EP4006830A1 (en) 2022-06-01
EP4006830A4 (en) 2022-09-28
EP4006830B1 (en) 2026-03-18
JPWO2021015231A1 (ja) 2021-01-28
US12608900B2 (en) 2026-04-21
US20220139062A1 (en) 2022-05-05
JP7203978B2 (ja) 2023-01-13

Similar Documents

Publication Publication Date Title
JP7203978B2 (ja) 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
US12254553B2 (en) Learning device, learning method, learning program, image generation device, image generation method, image generation program, and image generation model
JP2024150400A (ja) 医用画像処理装置及び方法
JP7840661B2 (ja) 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム
US20200134876A1 (en) Generating simulated body parts for images
CN110852993B (zh) 一种造影剂作用下的成像方法与设备
JP7662654B2 (ja) 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、学習済みモデル、仮想画像並びに記録媒体
JP7765415B2 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
JP7795352B2 (ja) 画像処理方法、画像処理装置およびプログラム
EP4285828B1 (en) Learned model generation method, machine learning system, program, and medical image processing device
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
JP2024155904A (ja) 画像データ処理装置および方法
Liu et al. Decompose to manipulate: Manipulable object synthesis in 3D medical images with structured image decomposition
CN114387259A (zh) 用于预测缺失牙坐标的方法与装置及识别模型的训练方法
Li et al. Anatomy completor: A multi-class completion framework for 3D anatomy reconstruction
Amara et al. Augmented reality for medical practice: a comparative study of deep learning models for ct-scan segmentation
Athreya et al. Ultrasound image enhancement using CycleGAN and perceptual loss
WO2020175445A1 (ja) 学習方法、学習装置、生成モデル及びプログラム
Piao et al. Segmentation of cysts in kidney and 3-D volume calculation from CT images
Kerfoot et al. Synthesising images and labels between MR sequence types with CycleGAN
Andreini et al. Multi-stage synthetic image generation for the semantic segmentation of medical images
Wijethilake et al. crossMoDA Challenge: Evolution of Cross-Modality Domain Adaptation Techniques for Vestibular Schwannoma and Cochlea Segmentation from 2021 to 2023
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
WO2020246192A1 (ja) 修正指示領域表示装置、方法およびプログラム
Raza et al. CycleGAN with mutual information loss constraint generates structurally aligned CT images from functional EIT images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844578

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021534066

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020844578

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 2020844578

Country of ref document: EP