WO2022045210A1 - 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム Download PDF

Info

Publication number
WO2022045210A1
WO2022045210A1 PCT/JP2021/031218 JP2021031218W WO2022045210A1 WO 2022045210 A1 WO2022045210 A1 WO 2022045210A1 JP 2021031218 W JP2021031218 W JP 2021031218W WO 2022045210 A1 WO2022045210 A1 WO 2022045210A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
noise
radiation
radiographic
radiation image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/031218
Other languages
English (en)
French (fr)
Inventor
剛 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021123329A external-priority patent/JP7566696B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP21861633.2A priority Critical patent/EP4190243A4/en
Priority to CN202180051396.0A priority patent/CN115943420A/zh
Publication of WO2022045210A1 publication Critical patent/WO2022045210A1/ja
Priority to US18/169,262 priority patent/US12499517B2/en
Anticipated expiration legal-status Critical
Priority to US19/387,844 priority patent/US20260073487A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4225—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using image intensifiers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4233—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using matrix detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58—Testing, adjusting or calibrating thereof
    • A61B6/582—Calibration
    • A61B6/585—Calibration of detector units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This disclosure relates to an image processing device, an image processing method, a learning device, a learning method, and a program.
  • Patent Document 1 discloses a rule-based noise reduction processing technique for creating a rule based on the noise characteristics of a digital radiography apparatus and switching the characteristics of a smoothing filter.
  • the digital radiation photographing apparatus detects the radiation transmitted through the subject as an electric signal
  • the radiation is converted into visible light by a phosphor such as CsI or GOS (Gd 2 O 2 S) and then detected by the semiconductor sensor.
  • a phosphor such as CsI or GOS (Gd 2 O 2 S)
  • the semiconductor sensor It is common to adopt a configuration that does. Since the converted visible light is diffused by passing through the phosphor and reaching the semiconductor sensor, the noise caused by the fluctuation of the radiation quantum (hereinafter referred to as quantum noise) is smoothed and the high frequency is attenuated. It becomes.
  • noise generated from the detector, circuit, etc. hereinafter referred to as system noise
  • system noise Since the noise in digital radiography equipment is mainly the sum of system noise and quantum noise, the content ratio of both changes depending on the input signal, and the frequency characteristics differ depending on the signal strength. It has characteristics.
  • Non-Patent Document 1 proposes a technique capable of realizing suitable noise reduction processing for more subjects by increasing the number of images used for learning.
  • this technology when considering the application of this technology to digital radiography equipment, it is difficult to learn a neural network that realizes suitable noise reduction because the above-mentioned characteristics of the digital radiography equipment that have noise cannot be taken into consideration. There was a case.
  • the present disclosure has been made in view of the above problems, and includes an image processing device, an image processing method, a learning device, a learning method, and a program capable of performing suitable noise reduction processing in a digital radiography apparatus.
  • One of the purposes is to provide.
  • the image processing apparatus learns using a learning unit including an acquisition unit that acquires a first radiation image of an object to be inspected and a radiation image obtained by adding noise with attenuated high-frequency components.
  • a generation unit that generates a second radiation image with less noise than the first radiation image.
  • a schematic configuration of the radiography system according to the first embodiment is shown.
  • a schematic configuration of the radiation detector according to the first embodiment is shown.
  • a schematic configuration of the control unit according to the first embodiment is shown.
  • a schematic configuration of the noise reduction processing unit according to the first embodiment is shown.
  • An example of the schematic configuration of the trained model according to the first embodiment is shown.
  • An example of the schematic configuration of the trained model according to the first embodiment is shown. It is a figure for demonstrating the operation example of the learning process which concerns on Example 1.
  • FIG. It is a figure for demonstrating the area division processing which concerns on Example 1.
  • FIG. It is a figure for demonstrating the area division processing which concerns on Example 1.
  • FIG. It is a figure for demonstrating the area division processing which concerns on Example 1.
  • FIG. It is a figure which shows the spatial frequency characteristic of noise which differs depending on a dose.
  • FIG. It is a flowchart of the inference processing which concerns on Example 1.
  • An example of the image before and after the image processing according to the first embodiment is shown.
  • It is a flowchart of the learning process which concerns on Example 2.
  • An example of the relationship between the spatial frequency and the MTF in a radiation detector is shown.
  • the radiation includes ⁇ -rays, ⁇ -rays, ⁇ -rays, which are beams produced by particles (including photons) emitted by radiation decay, and more than the same degree. It also includes beams having energy, such as X-rays, particle rays, and cosmic rays. Further, in the following, dark current, electrical noise, and the like that do not depend on the signal magnitude of the radiographic image are referred to as system noise.
  • the machine learning model refers to a learning model based on a machine learning algorithm.
  • Specific algorithms for machine learning include the nearest neighbor method, the naive Bayes method, the decision tree, and the support vector machine. Further, a neural network or deep learning may be used. As appropriate, any of the above algorithms that can be used can be applied to the following examples and modifications.
  • the training data refers to a data set used for training a machine learning model, and is composed of a pair of input data input to the machine learning model and correct data that is the correct answer of the output result of the machine learning model. ..
  • the trained model is a model in which a machine learning model according to an arbitrary machine learning algorithm such as deep learning is trained using appropriate learning data in advance.
  • the trained model is obtained by learning using appropriate learning data in advance, it is not that no further learning is performed, and additional learning can be performed. Additional learning can be done even after the device has been installed at the site of use.
  • FIG. 1A shows a schematic configuration of the radiography system 1 according to the present embodiment.
  • the inspected object O will be described as a human body, but the inspected object O photographed by the radiography system according to the present disclosure is not limited to the human body, but is used for other animals, plants, and non-destructive inspection. It may be an object or the like.
  • the radiography system 1 is provided with a radiation detector 10, a control unit 20, a radiation generator 30, an input unit 40, and a display unit 50.
  • the radiography system 1 may include an external storage device 70 such as a server connected to the control unit 20 via a network 60 such as the Internet or an intranet.
  • the radiation generator 30 includes a radiation source such as an X-ray tube and can emit radiation.
  • the radiation detector 10 can detect the radiation emitted from the radiation generator 30 and generate a radiation image corresponding to the detected radiation. Therefore, the radiation detector 10 can generate a radiation image of the inspected object O by detecting the radiation emitted from the radiation generator 30 and passing through the inspected object O.
  • FIG. 1B shows a schematic configuration of the radiation detector 10 according to this embodiment.
  • the radiation detector 10 is provided with a phosphor 11 and a photographing sensor 12.
  • the phosphor 11 converts the radiation incident on the radiation detector 10 into light having a wavelength that can be detected by the photographing sensor 12.
  • the phosphor 11 may contain, for example, CsI, GOS (Gd 2 O 2 S), or the like.
  • the photographing sensor 12 includes, for example, a photoelectric conversion element composed of a-Si or crystalline Si, can detect light corresponding to the radiation converted by the phosphor 11, and output a signal corresponding to the detected light. can.
  • the radiation detector 10 can generate a radiation image by performing A / D conversion or the like on the signal output by the photographing sensor 12.
  • the radiation detector 10 may include a calculation unit, an A / D conversion unit, and the like.
  • the control unit 20 is connected to the radiation detector 10, the radiation generator 30, the input unit 40, and the display unit 50.
  • the control unit 20 can acquire a radiation image output from the radiation detector 10 and perform image processing on the radiation image, or control the drive of the radiation detector 10 and the radiation generator 30. Therefore, the control unit 20 can function as an example of the image processing device.
  • the control unit 20 may be connected to the external storage device 70 via an arbitrary network 60 such as the Internet or an intranet, or may acquire a radiographic image or the like from the external storage device 70. Further, the control unit 20 may be connected to another radiation detector, a radiation generator, or the like via the network 60.
  • the control unit 20 may be connected to the external storage device 70 or the like by wire or wirelessly.
  • the input unit 40 is provided with input devices such as a mouse, keyboard, trackball, and touch panel, and can be operated by an operator to input instructions to the control unit 20.
  • the display unit 50 includes, for example, an arbitrary monitor, and can display information and images output from the control unit 20, information input by the input unit 40, and the like.
  • control unit 20 the input unit 40, the display unit 50, and the like are configured by separate devices in the present embodiment, they may be integrally configured.
  • the input unit 40 and the display unit 50 may be configured by a touch panel display.
  • the image processing device is configured by the control unit 20, but the image processing device only needs to be able to acquire a radiation image and perform image processing on the radiation image, and the radiation detector 10 and the radiation generator 30 are sufficient. It is not necessary to control the drive of.
  • control unit 20, the radiation detector 10, the radiation generator 30, and the like may be connected by wire or wirelessly.
  • the external storage device 70 may configure an image system such as a PACS in the hospital, or may be a server or the like outside the hospital.
  • FIG. 2A shows a schematic configuration of the control unit 20 according to this embodiment.
  • FIG. 2B shows a schematic configuration of the noise reduction processing unit 26 included in the control unit 20.
  • the control unit 20 is provided with an acquisition unit 21, an image processing unit 22, a display control unit 23, a drive control unit 24, and a storage unit 25.
  • the acquisition unit 21 can acquire a radiation image output by the radiation detector 10, various information input by the input unit 40, and the like. In addition, the acquisition unit 21 can also acquire radiographic images, patient information, and the like from the external storage device 70 and the like.
  • the image processing unit 22 is provided with a noise reduction processing unit 26 and a diagnostic image processing unit 27, and can perform image processing according to the present disclosure on the radiographic image acquired by the acquisition unit 21.
  • the noise reduction processing unit 26 is provided with a learning processing unit 261 and an inference processing unit 262.
  • the inference processing unit 262 is provided with a division unit 263, an uncorrelated unit 264, a DC removal unit 265, and an arithmetic processing unit 266.
  • the learning processing unit 261 is further provided with an artificial noise addition unit 267 and a parameter update unit 268. With this configuration, the noise reduction processing unit 26 can learn a machine learning model for performing the noise reduction processing, and can apply the noise reduction processing suitable for the radiographic image by using the machine learning model.
  • the diagnostic image processing unit 27 can perform diagnostic image processing for converting the noise-reduced image in the noise reduction processing unit 26 into an image suitable for diagnosis.
  • the diagnostic image processing includes, for example, gradation processing, enhancement processing, grid fringe reduction processing, and the like.
  • the inference processing unit 262 can apply the trained model to the input of an arbitrary radiographic image and perform inference processing to output the result.
  • the dividing unit 263 can divide the radiographic image into images of a plurality of regions. Further, the division unit 263 can also combine images in a plurality of regions to generate a single image.
  • the uncorrelated unit 264 performs a process of eliminating (uncorrelated) the correlation between the magnitude of the quantum noise caused by the fluctuation of the radiation contained in the radiation image and the magnitude of the signal corresponding to the detected radiation. ..
  • the dispersion (hereinafter referred to as the magnitude of noise) of quantum noise is proportional to the amount of radiation. Therefore, the magnitude of the quantum noise is proportional to the signal amount (hereinafter referred to as a pixel value) related to each pixel of the radiation image corresponding to the detected radiation dose.
  • the uncorrelated unit 264 according to the present embodiment performs the uncorrelated processing on the radiographic image so that the magnitude of the quantum noise is substantially constant regardless of the magnitude of the pixel value of each pixel in the radiographic image. Can be done. A specific method of uncorrelated processing will be described later.
  • the uncorrelated unit 264 applies the inverse conversion process of the conversion process related to the uncorrelated process to the radiographic image to which the uncorrelated process is performed, so that the magnitude of the quantum noise and the pixel value are correlated. It can be undone. It should be noted that a separate component that performs each of the noise uncorrelated processing and the inverse conversion of the uncorrelated processing may be provided. In this case, the functional block including each component is provided as the uncorrelated unit 264. Can be.
  • the DC removing unit 265 performs a process of subtracting the DC component of the image and leveling the average signal level of the image. Specifically, the DC component of the radiation image is removed by subtracting the average pixel value of the image from each pixel value of the radiation image so that the average pixel value of the radiation image becomes 0. Further, the DC removal unit 265 returns the average signal level of the radiographic image to the one before conversion by adding the subtracted average pixel value to each pixel value for the image subjected to the DC removal processing. Can be done. It should be noted that a separate component for performing the DC removal process and the DC addition process may be provided, and in this case, the functional block including each component can be the DC removal unit 265. Further, the removal of the DC component may be performed on each of the images divided by the dividing unit 263, or may be performed on the entire radiation image before being divided by the dividing unit 263.
  • the arithmetic processing unit 266 takes an image to which the processing by the division unit 263, the uncorrelated unit 264, and the DC removal unit 265 is applied as an input, performs processing using a trained model described later, and performs noise included in the input image. It is possible to generate an image with reduced noise.
  • the noise reduced in this embodiment includes system noise such as dark current and electrical noise generated by the photographing sensor 12 and quantum noise caused by radiation fluctuation.
  • the learning processing unit 261 performs learning processing applied when learning a machine learning model.
  • the learning processing unit 261 also has an artificial noise addition unit 267 and parameter update. A portion 268 is provided.
  • Learning data is required when performing learning processing.
  • processing by the division unit 263, the uncorrelated unit 264, and the DC removal unit 265 is applied to both the input data and the correct answer data.
  • the artificial noise addition unit 267 performs a process of adding artificial noise created by simulating the characteristics of a radiation image to the learning data.
  • the addition of artificial noise is performed on the input data only or the input data and the correct answer data among the training data.
  • the artificial noise adding unit 267 inputs the input data so that the amount of noise added to the input data is larger than the amount of noise added to the correct answer data. And add noise to the correct answer data.
  • the method of adding artificial noise to the input data and the correct answer data is not limited to the above, and the artificial noise may be added so as to cause a difference between the input data and the correct answer data.
  • the timing of adding the artificial noise may be any timing between the processes performed by the inference processing unit 262.
  • the artificial noise is added to the radiation image input to the inference processing unit 262, or no artificial noise is added. It can be performed at any timing, such as adding artificial noise after the correlation processing.
  • the image after adding artificial noise is input to the arithmetic processing unit 266 after being appropriately processed.
  • the details of the artificial noise to be added will be described later.
  • the parameter update unit 268 performs a process of updating the parameters of the machine learning model possessed by the arithmetic processing unit 266 based on the arithmetic result of the arithmetic processing unit 266 and the correct answer data. The details of the operation of the parameter update unit 268 will be described later.
  • the learning processing unit 261 does not necessarily have to be included in the radiography system 1.
  • a learning processing unit 261 is configured on hardware different from the radiography system, and learning is performed in advance using appropriate learning data to create a trained model. In the radiography system, inference is made. Only the processing by the processing unit 262 may be performed. Alternatively, by including the learning processing unit 261 in the radiography system 1, additional learning may be performed using the learning data acquired after the installation.
  • the display control unit 23 can control the display of the display unit 50, and can display the radiographic image, patient information, and the like before and after image processing by the image processing unit 22 on the display unit 50.
  • the drive control unit 24 can control the drive of the radiation detector 10, the radiation generator 30, and the like. Therefore, the control unit 20 can control the photographing of the radiation image by controlling the driveability of the radiation detector 10 and the radiation generator 30 by the drive control unit 24.
  • the storage unit 25 can store a program for realizing various application software including an operating system (OS), a device driver of a peripheral device, and a program for performing processing described later. Further, the storage unit 25 can also store the information acquired by the acquisition unit 21, the radiographic image processed by the image processing unit 22, and the like. For example, the storage unit 25 can store a radiation image acquired by the acquisition unit 21 or store a radiation image that has undergone noise reduction processing, which will be described later.
  • OS operating system
  • a device driver of a peripheral device a program for performing processing described later.
  • the storage unit 25 can also store the information acquired by the acquisition unit 21, the radiographic image processed by the image processing unit 22, and the like.
  • the storage unit 25 can store a radiation image acquired by the acquisition unit 21 or store a radiation image that has undergone noise reduction processing, which will be described later.
  • the control unit 20 can be configured by using a general computer including a processor, a memory, and the like, but may be configured as a dedicated computer of the radiography system 1.
  • the control unit 20 functions as an example of the image processing device according to the present embodiment, and the image processing device according to the present embodiment is a separate (external) computer communicably connected to the control unit 20. It may be.
  • the control unit 20 and the image processing device may be, for example, a personal computer, or a desktop PC, a notebook PC, or a tablet PC (portable information terminal) may be used.
  • the processor may be a CPU (Central Processing Unit). Further, the processor may be, for example, an MPU (Micro Processing Unit), a GPU (Graphical Processing Unit), an FPGA (Field-Programmable Gate Array), or the like.
  • MPU Micro Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • Each function of the control unit 20 may be realized by executing a software module stored in the storage unit 25 by a processor such as a CPU or MPU. Further, each function may be configured by a circuit or the like that performs a specific function such as an ASIC.
  • the image processing unit 22 may be realized by using dedicated hardware such as an ASIC, or the display control unit 23 may be realized by using a dedicated processor such as a GPU different from the CPU.
  • the storage unit 25 may be composed of, for example, an optical disk such as a hard disk or an arbitrary storage medium such as a memory.
  • An example of the machine learning model used by the arithmetic processing unit 266 according to this embodiment is a multi-layer neural network.
  • FIG. 3A shows a schematic configuration example of the neural network model according to this embodiment.
  • the neural network model 33 shown in FIG. 3A is designed to output inference data 32 with reduced noise according to a tendency learned in advance with respect to the input data 31.
  • the output noise-reduced radiation image is based on the learning content in the machine learning process, and the neural network according to this embodiment has features for separating the signal and noise contained in the radiation image. I'm learning.
  • a convolutional neural network (hereinafter referred to as CNN: Convolutional Neural Network) can be used.
  • a technique related to an autoencoder self-encoder may be used for at least a part of the multi-layer neural network.
  • FIG. 3B shows an example of a schematic configuration of a CNN constituting the neural network model 33 according to this embodiment.
  • the inference data 32 with reduced noise can be output.
  • the CNN shown in FIG. 3B is composed of a plurality of layers responsible for processing and outputting an input value group.
  • the types of layers included in the CNN configuration include a convolution layer, a Downsampling layer, an Upsampling layer, and a Merge layer.
  • the convolution layer is a layer that performs convolution processing on the input value group according to parameters such as the kernel size of the set filter, the number of filters, the stride value, and the dilation value.
  • the number of dimensions of the kernel size of the filter may be changed according to the number of dimensions of the input image.
  • the downsampling layer is a layer that performs processing to reduce the number of output value groups to less than the number of input value groups by thinning out or synthesizing input value groups. Specifically, as such a process, for example, there is a Max Polling process.
  • the upsampling layer is a layer that performs processing to increase the number of output value groups to be larger than the number of input value groups by duplicating the input value group or adding the interpolated value from the input value group. Specifically, as such a process, for example, there is an upsampling process by deconvolution.
  • the composite layer is a layer in which a value group such as an output value group of a certain layer or a pixel value group constituting an image is input from a plurality of sources, and the processing is performed by concatenating or adding them.
  • the neural network may have an addition layer 34 that adds the input data to the data output from the first convolution layer on the decoder side.
  • the input data is added before the output. It is good to configure a shortcut to do.
  • the CNN can adopt a configuration for learning the difference between the input data and the correct answer data, and can preferably handle a system targeting noise.
  • the degree of reproducibility of the tendency trained from the training data may differ at the time of inference. That is, in many cases, the appropriate parameters differ depending on the embodiment, and therefore, the values can be changed to preferable values as needed.
  • the CNN can obtain better characteristics by changing the configuration of the CNN.
  • Better characteristics include, for example, a more accurate output of a noise-reduced radiographic image, shorter processing time, shorter training time for a machine learning model, and the like.
  • the configuration of the CNN used in this embodiment is a U-net having a function of an encoder composed of a plurality of layers including a plurality of downsampling layers and a function of a decoder composed of a plurality of layers including a plurality of upsampling layers. It is a type machine learning model. That is, the configuration of the CNN includes a U-shaped structure having an encoder function and a decoder function. In the U-net type machine learning model, position information (spatial information) that is ambiguous in a plurality of layers configured as an encoder is displayed in the same-dimensional layer (layers corresponding to each other) in a plurality of layers configured as a decoder. ) (For example, using a skip connection).
  • an activation function for example, ReLu: Rectifier Liner Unit
  • batch normalization Batch Normalization
  • noise features can be extracted from the input radiographic image.
  • the learning processing unit 261 includes a parameter updating unit 268.
  • the parameter update unit 268 calculates the loss function from the inference data 32 in which the neural network model 33 of the arithmetic processing unit 266 is applied to the input data 31 in the training data and the correct answer data 35 in the training data. Perform processing. Further, the parameter update unit 268 performs a process of updating the parameters of the neural network model 33 based on the calculated loss function.
  • the loss function indicates an error between the inference data 32 and the correct answer data 35.
  • the parameter update unit 268 uses, for example, an error backpropagation method to reduce the error between the inference data 32 represented by the loss function and the correct answer data 35, such as the filter coefficient of the convolution layer.
  • the error back propagation method is a method of adjusting parameters and the like between each node of a neural network so that the above error becomes small.
  • a method (dropout) of randomly inactivating the units (each neuron or each node) constituting the CNN may be used.
  • the trained model used by the arithmetic processing unit 266 may be one generated by using transfer learning.
  • transfer learning may be performed on a machine learning model learned from a radiographic image of an object O of a different type or the like to generate a trained model used for noise reduction processing.
  • transfer learning it is possible to efficiently generate a trained model even for the inspected object O for which it is difficult to obtain a large amount of training data.
  • the inspected object O having a different type and the like here may be, for example, an animal, a plant, an object for non-destructive inspection, or the like.
  • the GPU can perform efficient operations by processing more data in parallel. Therefore, when learning is performed a plurality of times using the learning model using CNN as described above, it is effective to perform processing on the GPU. Therefore, a GPU is used in addition to the CPU for the learning processing unit 261 according to this embodiment. Specifically, when a learning program including a learning model is executed, learning is performed by the CPU and the GPU collaborating to perform calculations. In the learning process, the calculation may be performed only by the CPU or GPU. Further, each process of the inference processing unit 262 may be realized by using the GPU in the same manner as the learning processing unit 261.
  • the configuration of the machine learning model has been explained above, but it is not limited to the model using CNN as shown so far.
  • the learning of the machine learning model may be similar to machine learning using a model that can extract (express) the features of learning data such as images by learning.
  • the processing flow of the learning processing unit 261 according to this embodiment will be described.
  • the training data used by the learning processing unit 261 it is ideally desirable to use a set of a radiation image containing noise as input data and a radiation image containing substantially no noise as correct answer data.
  • the same inspected object may be photographed multiple times to create an average image, and a method of canceling a noise component that does not correlate with the signal can be mentioned.
  • it is not realistic to perform the above means using an actual human body in view of the invasiveness of radiography, and the radiographic image containing noise as training data and noise are not included in the abbreviated form. It is difficult to prepare a set of radiographic images.
  • the radiation image obtained by photographing the human body for medical purposes is used as the correct answer data of the training data
  • the image obtained by adding the artificial noise corresponding to the noise generated in the radiation image to the radiation image is used as the input data of the training data.
  • the noise to be added is not limited to artificial noise.
  • a difference processing is performed using a radiation image obtained by photographing the inspected object and an average image obtained by photographing the same inspected object multiple times.
  • the noise component to be added to the radiographic image may be acquired.
  • the present inventor has suitably reduced the noise even when the actual radiation image is input when the artificial noise is given in a form simulating the noise characteristics of the actual radiation image in a manner as described later.
  • FIG. 4 is a flowchart showing a processing flow of the learning processing unit 261 according to the present embodiment.
  • the artificial noise addition processing is performed before the preprocessing including the noise uncorrelated processing and the DC removal processing.
  • step S401 learning data is input to the learning processing unit 261.
  • the acquisition of the input learning data is performed by the acquisition unit 21, and in this embodiment, an appropriate radiographic image is acquired as the learning data.
  • the acquisition unit 21 may acquire a radiation image stored in the storage unit 25, or may acquire a radiation image from an external storage device 70 or the like. Further, the acquisition unit 21 may acquire a radiation image output by the radiation detector 10.
  • the learning data in this embodiment is the radiation image as input data and correct answer data. After the same data is input to the learning processing unit 261, an appropriate artificial noise is added to the input data or the input data and the correct answer data inside the learning processing unit, so that a difference occurs between the input data and the correct answer data. It becomes a state.
  • step S402 the region division processing is performed on the radiographic image input by the division unit 263.
  • 5A to 5C are images for explaining the area division process according to the present embodiment.
  • the division unit 263 divides the area of the radiation image 501 and creates an appropriate divided image 502.
  • the learning data input to the learning processing unit 261 is composed of input data and correct answer data, and the division unit 263 operates so as to divide both images into regions at the same position.
  • the number of pixels of the divided image 502 is within the range of pixels that can be processed at one time in the arithmetic unit in which the arithmetic processing unit 266 operates, and the feature amount related to noise in the image can be extracted. Any number can be set as long as it is.
  • the radiation detector 10 is often of high definition, and the radiation image 501 may have pixels exceeding, for example, 2688 pix ⁇ 2688 pix, and the arithmetic unit in which the arithmetic processing unit 266 operates calculates.
  • the number of possible pixels may be exceeded.
  • the number of pixels of the divided image 502 can be about 256 pix ⁇ 256 pix.
  • steps S401 to S407 are repeatedly processed, but in the area division processing in step S402, the area image is included so as to include a portion overlapping with the area image created during the loop. You may set the range. In this case, more training data can be generated from one radiographic image.
  • various types of data expansion may be performed. For example, rotation / reduction / enlargement / skew, change in signal amount, addition of offset, and the like can be mentioned.
  • the learning data may be expanded by using a hostile generation network (GAN: Generative Adversarial Networks).
  • GAN Generative Adversarial Networks
  • step S403 artificial noise is added to the divided image 502 by the artificial noise adding unit 267.
  • the artificial noise can be close to the noise actually generated in the radiographic image.
  • an example of artificial noise to be added in this embodiment will be described.
  • the noise contained in the radiation image is roughly classified into the quantum noise generated by the fluctuation of the radiation quantum and the system noise generated from the detector, the circuit, and the like.
  • the radiation detector 10 adopts a configuration in which radiation is converted into visible light by the phosphor 11, high-frequency attenuation occurs in the radiation signal according to the modulation transfer function (MTF: Modulation Transfer Function) of the phosphor 11.
  • MTF Modulation Transfer Function
  • FIG. 12 shows an example of the relationship between the spatial frequency and the MTF in the radiation detector 10 having a pixel size of 125 ⁇ m.
  • the MTF is monotonically decreasing towards the Nyquist frequency.
  • the MTF at a Nyquist frequency of 4 lp / mm is, for example, about 0.2, and the high frequency signal is attenuated.
  • Quantum noise generated by fluctuations in radiation quantum also undergoes high-frequency attenuation due to the same modulation transfer function.
  • the system noise generated from the detector, the circuit and the like is not affected by the phosphor.
  • the noise contained in the radiographic image is the sum of the system noise that does not depend on the dose at the time of imaging and the quantum noise that changes depending on the dose at the time of imaging. From this, the noise in the digital radiography apparatus has a feature that the frequency characteristics (NPS: Noise Power Spectrum) differ depending on the intensity of the input radiation.
  • NPS Noise Power Spectrum
  • Graph 601 shows an example of the spatial frequency characteristic of system noise only.
  • Graph 604 shows an example of the spatial frequency characteristics of quantum noise according to the MTF of the phosphor 11.
  • Graphs 602 and 603 show examples of the spatial frequency characteristics of the synthesized system noise and the spatial frequency characteristics of the quantum noise, respectively.
  • the noise When there is no input signal, the noise has an NPS with white noise-like characteristics derived from system noise, as shown in Graph 601.
  • the noise becomes an NPS with less high frequency attenuation as shown in Graph 602, and when the input signal is larger than Graph 602, it has an NPS with higher high frequency attenuation as shown in Graph 603.
  • the noise has an NPS according to the MTF of the phosphor 11 as shown in the graph 604.
  • the noise obtained by synthesizing the white noise corresponding to the system noise of the radiation detector 10 and the quantum noise affected by the MTF of the phosphor 11 is treated as artificial noise.
  • the characteristics of the radiation detector 10 can be simulated by using, for example, the following relational expressions (Equation 1) to (Equation 4).
  • the standard deviation of the quantum noise is ⁇ q
  • the standard deviation of the system noise by the radiation detector 10 is ⁇ s
  • the signal of the input image is I sig
  • the standard deviation ⁇ q of the quantum noise is proportional to the signal I sig , so the coefficient q of the quantum noise is used.
  • the artificial noise can be obtained as follows.
  • the artificial system noise sNoise simulating the system noise is referred to as additive white Gaussian noise (AWGN: Additive White Gaussian Noise) having a standard deviation of ⁇ s .
  • the artificial quantum noise qNoise simulating the quantum noise is defined as noise having an NPS according to the Poisson distribution of the variance ⁇ q 2 and according to the MTF of the phosphor 11. For example, when fMTF is an approximation of the MTF of the phosphor 11 with a two-dimensional filter, it can be created by convolving the fMTF into a noise image that follows a Poisson distribution.
  • the coefficients q and s indicate the performance of the radiation detector 10, and can be obtained by measuring in advance. For example, it is preferable to plot the measured values taken a plurality of times by changing the dose, approximate the series of measured values to (Equation 1), and obtain the quantum noise coefficient q and the system noise coefficient s. As a result, the standard deviation ⁇ q of the quantum noise and the standard deviation ⁇ s of the system noise can be obtained at any signal I sig .
  • the method for acquiring the standard deviation ⁇ q of the quantum noise and the standard deviation ⁇ s of the system noise is not limited to this, and any known method may be used.
  • the standard deviation ⁇ q of the quantum noise and the standard deviation ⁇ s of the system noise may be stored in advance in the storage unit 25 for each radiation detector 10 used for acquiring the radiation image, or may be performed prior to photographing. May be obtained by measurement.
  • the radiation detector 10 a method called an indirect conversion method for converting radiation into visible light by a phosphor 11 is shown, but in the radiation detector 10, radiation is directly converted into an electric signal. There is also what is called a direct conversion method. Even in that case, the quantum noise is equivalent in that it has an NPS affected by the MTF, and it is possible to perform suitable learning by adding the artificial noise represented by the above (Equation 4).
  • step S404 the uncorrelated unit 264 performs noise uncorrelated processing on the divided image to which artificial noise is added.
  • the noise uncorrelated processing will be described with reference to FIGS. 7A and 7B.
  • FIG. 7A shows the relationship between the noise dispersion in the radiographic image and the input signal of the image.
  • FIG. 7B is a diagram showing the relationship between the noise after the noise uncorrelated processing and the signal value after the conversion.
  • Noise uncorrelated processing refers to processing that eliminates the correlation between noise dispersion and signals.
  • the radiographic image contains quantum noise proportional to the magnitude of the signal and system noise not proportional to the magnitude of the signal, and includes (Equation 1) to (Equation 3) and FIG. 7A.
  • the noise dispersion ⁇ all 2 in the radiographic image has a characteristic that it is proportional to the signal I.
  • the noise is converted into a format in which the noise is substantially constant regardless of the signal. It is desirable to handle additive noise. Since quantum noise follows a Poisson distribution, it can be made substantially constant regardless of the intensity of input radiation by performing square root transformation, logarithmic transformation, or the like.
  • the system noise component I 0 is obtained from the above (Equation 1) to (Equation 3).
  • the input image is Im
  • the input image Im is transformed into a square root so as to obtain the noise-uncorrelated image Im'.
  • the uncorrelated unit 264 sets the standard deviation of the converted noise to 1.
  • the uncorrelated processing according to the above may be performed. By these processes, the magnitude of the noise and the magnitude of the signal can be uncorrelated with respect to the noise contained in the radiographic image.
  • the DC removal unit 265 performs DC removal processing on the uncorrelated divided image to remove the DC component (average signal level of the image) for each divided image.
  • the DC component is removed from the pixel value of the region image by the DC removing unit 265.
  • the DC component for each divided image is removed by subtracting the average pixel value of the image from each pixel value of the divided image so that the average pixel value of the divided image becomes 0.
  • step S406 the arithmetic processing unit 266 performs inference processing using the machine learning model possessed by the arithmetic processing unit 266.
  • the inference process using the machine learning model such as CNN described above is performed by inputting the images created up to step S405.
  • the input data 31 for example, the signal obtained by removing the direct current in step S405 can be used, and the inference data 32 can be output.
  • the input data may have a plurality of channels (here, an example of two channels is shown), and the inference data may have a plurality of channels.
  • the noise dispersion (which can be said to be the magnitude) becomes substantially constant regardless of the signal value by the noise uncorrelated processing in step S404. There is.
  • the NPS of the noise is still in a state of having a correlation with the input signal amount. Therefore, it is desirable that the signal amount information is input as the information used for learning, but on the other hand, the signal amount information is lost due to the DC removal processing performed in step S405 for stabilizing the learning. It has become.
  • the image to which the direct current is removed is used as the input data 36 of the first channel, and in addition, the image including the signal amount information is input as the input data 37 of the second channel.
  • the image that has been normalized in a state where the signal amount information is stored for the image that has been noise-uncorrelated in step S404 it is possible to use an image that has been normalized in a state where the signal amount information is stored for the image that has been noise-uncorrelated in step S404.
  • the square root transformation of (Equation 6) or (Equation 7) is divided by the value performed by the maximum value max (Im) (for example, 65535) assumed in Im. , Normalized so that the maximum value is 0 to 1 can be used.
  • the inference data includes inference data 38 in which the noise of the input data 36 of the first channel from which DC has been removed is reduced, and inference data 39 in which the noise of the input data 37 of the second channel including signal amount information is reduced. It will be a configuration to have.
  • the input data may have a plurality of channels (here, an example of two channels is shown), and the inference data may have one channel.
  • the inference data may have the inference data 43 in which the noise of the input data 36 of the first channel from which the direct current has been removed is reduced.
  • the parameter update unit 268 compares the inference data and the correct answer data, and calculates a loss function that quantifies the error between the two.
  • the parameters of the machine learning model for example, the filter coefficient of the convolutional layer in CNN
  • the loss function include mean absolute error (L1loss) and mean square error (L2loss).
  • L1loss mean absolute error
  • L2loss mean square error
  • FIG. 3C when the inference data is data of a single channel, the pair of inference data 32 and the correct answer data 35 (the same applies to the example shown in FIG. 3E, the pair of the inference data 43 and the correct answer data 44). Compare with. As shown in FIG.
  • the inference data is data of a plurality of channels
  • comparison is performed in the corresponding sets.
  • the loss function with the corresponding normalized correct answer data 42 is calculated.
  • the distribution of the noise generated in the radiographic image and the artificial noise added in step S403 can be approximated to the normal distribution in which the mean value and the median value are 0.
  • the loss function is set to the mean absolute error (L1loss) or the mean square error (L2loss) as described above, the noise-derived component is approximately canceled by the averaging process in the loss function calculation. Therefore, the main factor that affects the loss function is the error of the noise-free signal component contained in the data. That is, the machine learning model possessed by the arithmetic processing unit 266 can adopt a configuration in which learning proceeds so as to reproduce a signal containing no noise from the input data containing noise.
  • step S408 the end of learning is determined, and if it is determined to be the end, the flow is terminated. If not, the process returns to step S401, and the flow of steps S401 to S407 is repeated using another data.
  • the criterion for the end determination it is possible to use an appropriate criterion generally used in general machine learning. For example, whether or not a specific number of loops has been executed, whether or not the loss function is below a certain level, whether or not overfitting has been performed, or PSNR, which is an index indicating the noise reduction performance in the inference data, The SSIM may be evaluated to determine if the performance has reached a sufficient level.
  • the learning processing unit 261 in the present embodiment is a machine learning model capable of outputting a radiation image with appropriately reduced noise by adding artificial noise simulating the noise characteristics of an actual radiation image. Can be generated.
  • FIG. 9 is a flowchart showing a series of image processing of the inference processing unit 262 according to the present embodiment.
  • the radiation image to be processed is subjected to region division and preprocessing, and is input to the trained model.
  • the output from the trained model is subjected to post-processing corresponding to the pre-processing, and finally the divided image is combined to obtain a noise-reduced radiation image corresponding to the original radiation image.
  • the image processing performed on the image before being input to the inference processing is referred to as pre-processing
  • the image processing performed on the image after being output by the inference processing is referred to as post-processing.
  • the pre-processing includes noise uncorrelated processing and DC removal processing
  • the post-processing includes DC addition processing corresponding to DC removal processing and inverse conversion processing corresponding to noise uncorrelated processing.
  • the acquisition unit 21 acquires a radiographic image in step S901.
  • the acquisition unit 21 may acquire a radiation image generated by the radiation detector 10, or may acquire a radiation image from a storage unit 25, an external storage device 70, or the like.
  • step S902 the division unit 263 performs region division processing on the acquired radiation image and generates a plurality of division images (a plurality of radiation images) in the same manner as in step S402.
  • step S902 the division unit 263 divides the radiation image 501 into a plurality of divided images R11 to Rij, as shown in FIG. 5B.
  • the number of pixels of the divided image is within the number of pixels that can be processed at one time by the machine learning model used by the arithmetic processing unit 266 (for example, 256 pix ⁇ 256 pix), and the feature amount related to noise in the image can be extracted. Any number may be set as long as it is a degree.
  • the division unit 263 can set the division area so that the areas do not overlap. Further, as shown in FIG. 5C, the division unit 263 sets the division area so that a part of the adjacent areas overlaps so that the overlapping areas can be combined when the divided images are combined. good. In this case, in the combined radiographic image, when a slight difference in the calculation result occurs at the boundary of each combined region, the influence can be alleviated. Further, in the inference processing, the convolution operation is performed, and for the edge processing of the image at that time, as shown in FIG. 5C, an appropriate padding area 503 is provided in the radiation image 501, and the divided area is also appropriately used. Subsequent processing may be performed after providing a padding area.
  • step S903 the uncorrelated unit 264 performs noise uncorrelated processing on the divided image generated in step S902 in the same manner as in step S404.
  • the uncorrelated processing is performed with the same parameters as the uncorrelated processing performed in the learning process. For example, when the standard deviation of the converted noise is set to 1 as in (Equation 7) in the learning process, it is preferable to perform the uncorrelated processing according to (Equation 7) in the same manner.
  • the effect of the noise reduction processing in the inference processing of step S905 by adopting a configuration in which the magnitude of the standard deviation of the noise after conversion is changed.
  • the standard deviation of the noise after conversion is 1.2
  • the noise is larger than that of the uncorrelated processing in the learning process. Since the trained model operates so as to reduce noise by assuming noise having a standard deviation of 1 of noise, it is possible to obtain an effect of alleviating the noise reduction effect as a result.
  • the magnitude of the noise reduction effect can be determined according to the request of the diagnostician who diagnoses the image subjected to the noise reduction process. Can be adjusted.
  • step S904 the DC removal unit 265 performs the same DC removal processing as in step S405 for each divided image that has undergone noise uncorrelated processing in step S903.
  • step S905 the arithmetic processing unit 266 uses the trained model described above to perform inference processing based on the divided image subjected to the DC removal processing in step S904 to reduce noise. Generate.
  • the trained model may be a machine learning model that has been trained in advance, and it is not necessary to train each time the series of image processing is performed. As shown in step S406 and FIGS. 3C to 3E, the arithmetic processing unit 266 is given an input matching the learning model.
  • the trained model is configured to be provided in the control unit 20, but the trained model may be provided in the external storage device 70 or the like connected to the control unit 20.
  • the noise-reduced divided image generation process by the arithmetic processing unit 266 was generated based on the divided image transmitted from the control unit 20 by using a trained model in, for example, an external storage device 70 or the like. It may include acquiring a radiographic image with reduced noise.
  • the system as shown in FIG. 3E is dealt with.
  • the image to which the direct current removal processing is performed is input to the first channel, and the divided image having the uncorrelated processed image normalized so that the maximum value is 0 to 1 is input to the second channel. ..
  • an image obtained by performing noise reduction on the image subjected to the direct current removal process (noise reduction image of the first channel) is output.
  • FIG. 8 is a schematic diagram showing an example of the noise reduction processing effect adjusting means.
  • an image 84 in which the input image 81 and the output image 83 of the inference processing by the machine learning model 82 using the trained model are blended with a specific coefficient ⁇ is used.
  • the size of ⁇ ( ⁇ : a real number from 0 to 1) may be changed according to the user's preference.
  • the adjustment process may be performed by, for example, an inference processing unit 262, an arithmetic processing unit 266, or the like.
  • step S906 the DC component of the divided image removed in step S904 is added to the divided image in which the noise generated in step S905 is reduced by the DC removing unit 265.
  • step S907 the uncorrelated unit 264 performs the inverse conversion processing of the noise uncorrelated processing in step S903 for the divided image to which the DC addition processing was performed in step S906. Specifically, in step S903, when the square root conversion is performed according to (Equation 6), the uncorrelated unit 264 determines that the divided image is Im 2 . Perform the inverse transformation so that Further, in step S903, when the square root conversion is performed according to (Equation 7), the uncorrelated unit 264 determines that the divided image is Im 2 . Perform the inverse transformation so that By these processes, each pixel value in each divided image can be returned to the pixel value corresponding to the pixel value of each divided image before the noise uncorrelated processing. However, since the noise reduction processing is performed on the divided image in step S905, each pixel value is a pixel value in which noise is reduced.
  • step S908 the end determination is performed, and if the post-processing is completed for all the divided images, the process proceeds to step S909. If not, the flow of steps S903 to S907 is repeated.
  • step S909 the division unit 263 arranges each of the divided images subjected to the inverse conversion process in step S907 at the positions where the radiation images are divided during the area division process in step S902, and performs a combination process. Combine the split images to generate the entire radiographic image.
  • step S902 when the divided images are divided so that a part of the adjacent regions overlaps, the overlapping portion is subjected to addition averaging processing in which the weight of the distance from each original image is used. May be performed to synthesize an image so that a step in the pixel value is not created in the overlapping portion.
  • FIG. 10 shows an example of a series of pre-processed radiographic images 1001 and post-processed radiographic images 1002 according to this embodiment. Comparing the radiation image 1001 and the radiation image 1002, in the radiation image 1002 subjected to a series of image processing according to the present embodiment, the noise contained in the radiation image 1001 is reduced, and the inspected object O included in the radiation image is clear. It can be seen that it is shown in.
  • the uncorrelated unit 264 is configured to perform square root conversion as noise uncorrelated processing.
  • the noise uncorrelated processing is not limited to this, and other processing may be used as long as it can stabilize the dispersion of the Poisson distribution.
  • the uncorrelated unit 264 may perform noise uncorrelated processing by logarithmically converting a radiographic image. Specifically, when the radiographic image (input image) is Im, The radiographic image is logarithmically converted so as to be. In this case, in the inverse conversion process in step S907, the uncorrelated unit 264 determines that the radiographic image is Im 2 . Inverse conversion is performed on the radiation image so as to be. Even in such a case, the correlation between the noise contained in the radiographic image and the signal magnitude can be eliminated, and learning by a machine learning model using learning data based on such an image can be simplified. Can be done.
  • the inference processing unit 262 is processed by using the trained model created by the learning processing unit 261 to reduce noise suitable for the digital radiography apparatus. Radiation images can be generated.
  • the control unit 20 includes an acquisition unit 21 and an arithmetic processing unit 266.
  • the acquisition unit 21 acquires the first radiographic image of the object O to be inspected.
  • the arithmetic processing unit 266 inputs the first radiation image acquired by the acquisition unit 21 into the trained model obtained by training using the training data including the radiation image obtained by adding the noise with the attenuated high frequency component.
  • the noise includes noise in which the high frequency component is attenuated.
  • it includes noise according to the modulation transfer function (MTF) of the phosphor 11 included in the radiation detector 10.
  • MTF modulation transfer function
  • the artificial noise is, for example, noise imitating the system noise of the radiation detector 10 such as additive white noise, and quantum noise (high frequency component attenuated) in consideration of the influence of MTF on the noise following the Poisson distribution. Noise) and combined noise are included.
  • the artificial noise may include noise imitating the system noise of the radiation detector 10 and noise in which high frequency components are attenuated and synthesized at a predetermined synthesis ratio.
  • the artificial noise includes noise imitating the system noise of the radiation detector 10 and noise attenuated by high frequency components, and disperses the entire noise included in the radiation image of the object O to be inspected used for training data.
  • the artificial noise includes noise obtained by synthesizing noise imitating the system noise of the radiation detector 10 and noise attenuated by high frequency components at the first synthesis ratio, and a second synthesis ratio different from the first synthesis ratio. It may include the noise synthesized in. Further, the artificial noise may include random noise and noise different from random noise.
  • control unit 20 uses the trained model to reduce noise including noise caused by blurring due to the phosphor (noise in which high frequency components are attenuated) from the radiation image. It is possible to generate a radiofrequency image. By using such a radiographic image, it is possible to support more appropriate image analysis and support an appropriate image diagnosis by a doctor.
  • control unit 20 further includes an uncorrelated unit 264.
  • the uncorrelated unit 264 performs a conversion process on the radiographic image of the inspected object O so as to stabilize (make it substantially constant) the dispersion of noise according to the Poisson distribution contained in the radiographic image of the inspected object O. It functions as an example of the conversion unit to be performed.
  • the uncorrelated unit 264 performs a conversion process on the first radiation image, and the arithmetic processing unit 266 generates a second radiation image based on the first radiation image on which the conversion process has been performed. Further, the uncorrelated unit 264 performs an inverse conversion process of the conversion process on the second radiographic image.
  • the uncorrelated unit 264 performs a square root conversion process on the first radiographic image and an inverse conversion process of the square root conversion process on the second radiographic image.
  • learning by a machine learning model can be further simplified, and the accuracy of noise reduction processing using the trained model can be improved.
  • control unit 20 further includes a DC removal unit 265.
  • the DC removing unit 265 functions as an example of an adjusting unit that adjusts the average value of the pixel values included in the radiographic image of the object O to be inspected.
  • the DC removing unit 265 subtracts the average value of the pixel values from each pixel value included in the first radiation image subjected to the conversion process by the uncorrelated unit 264.
  • the arithmetic processing unit 266 generates a second radiographic image based on the first radiographic image from which the average value has been subtracted.
  • the DC removing unit 265 adds the subtracted average value to each pixel value included in the second radiation image.
  • the uncorrelated unit 264 performs an inverse conversion process on the second radiographic image to which the average value is added.
  • the variation in brightness for each input image can be suppressed, and the machine learning model can easily learn the characteristics of the shape (distribution) of noise in the image, and the trained model can be learned. It is possible to improve the accuracy of the noise reduction processing using.
  • the learning data can include a radiation image obtained by performing a conversion process related to noise uncorrelated processing on the radiation image of the object O to be inspected. Further, the training data can include a radiation image obtained by subtracting the average value of the pixel values from each pixel value included in the radiation image subjected to the conversion process. Further, the training data can include a radiation image subjected to square root conversion so that the standard deviation of noise is larger than the standard deviation of noise in the square root conversion performed on the first radiation image.
  • the learning data can include data in which the radiation image obtained by adding artificial noise to the radiation image of the object O to be inspected is used as input data and the radiation image of the object O to be inspected is used as correct answer data.
  • the training data includes data in which the radiation image obtained by adding artificial noise to the radiation image subjected to the conversion processing related to the noise uncorrelated processing is used as input data and the radiation image subjected to the conversion processing is used as the correct answer data. Can be done.
  • the training data includes data in which the radiation image obtained by adding artificial noise to the radiation image obtained by subtracting the average value of the pixel values is used as the input data and the radiation image obtained by subtracting the average value of the pixel values is used as the correct answer data. Can be done.
  • control unit 20 further includes a division unit 263.
  • the dividing unit 263 functions as an example of a dividing unit that divides a radiographic image into a plurality of radiographic images.
  • the dividing unit 263 divides the radiographic image of the object O to be inspected into a plurality of first radiographic images.
  • the arithmetic processing unit 266 generates a plurality of second radiation images based on the plurality of first radiation images.
  • the dividing unit 263 combines a plurality of second radiographic images to generate a third radiographic image with reduced noise.
  • the radiation image used for the training data can include a plurality of radiation images obtained by dividing the radiation image of the object O to be inspected. With such a configuration, even if the number of pixels of the radiation image exceeds the number of pixels that can be processed at one time by the trained model, it is possible to generate the radiation image subjected to noise reduction processing. can.
  • step S402 and step S902 the dividing unit 263 divided the acquired radiographic image into a plurality of divided images.
  • the processes after step S402 and step S902 may be performed on the entire acquired radiographic image.
  • the DC removal processing in steps S405 and S904 and the DC addition processing in step S906 can be performed. In this case, it is possible to suppress the variation in brightness for each radiation image and suppress the variation in brightness for each image output from the trained model to be emphasized.
  • the uncorrelated unit 264 is configured to perform square root conversion as noise uncorrelated processing.
  • the noise uncorrelated processing is not limited to this, and other processing may be used as long as it can stabilize the dispersion of the Poisson distribution.
  • the uncorrelated unit 264 may perform noise uncorrelated processing by logarithmically converting a radiographic image. Specifically, when the radiographic image (input image) is Im, The radiographic image is logarithmically converted so as to be. In this case, in the inverse conversion process in step S907, the uncorrelated unit 264 determines that the radiographic image is Im 2 . Inverse conversion is performed on the radiation image so as to be. Even in such a case, the correlation between the noise contained in the radiographic image and the signal magnitude can be eliminated, and learning by a machine learning model using learning data based on such an image can be simplified. Can be done.
  • the learning device for learning the machine learning model and generating the learning data may be provided separately from the control unit 20, and the learning device functions as an example of the acquisition unit 21 and the learning unit. It suffices to have a configuration corresponding to the unit 22.
  • the trained model may be any machine learning model that has been trained in advance, and it is not necessary to perform training every time image processing including noise reduction processing using the trained model is performed.
  • the trained model may be provided in an external storage device 70 or the like connected to the control unit 20, for example, a cloud server, a fog server, or an edge server connected to the control unit 20 via a network 60 such as the Internet. Etc. may be provided.
  • the timing of addition of artificial noise may be any timing between each processing performed in the inference processing unit.
  • the artificial noise addition processing is performed after the preprocessing including the noise uncorrelated processing and the DC removal processing. Since the learning processing unit that generates the learning data has the same configuration as that described in the first embodiment, the description will be omitted by using the reference code for the learning processing unit 261 according to the first embodiment.
  • Steps S1101 and S1102, and steps S1103 and S1104 are the same as steps S401 and S402, and steps S404 and S405 relating to the method for generating learning data according to the first embodiment.
  • the artificial noise addition unit 267 adds artificial noise to the image after the direct current is removed in step S1104. Therefore, in the artificial noise addition process (step S1105) according to the present embodiment, the artificial noise addition unit 267 adds the artificial noise addNoise2 different from the artificial noise addNoise according to the first embodiment.
  • the artificial noise addedNoise2 will be described in more detail.
  • the artificial system noise sNoise2 simulating the system noise is referred to as AWGN.
  • the artificial quantum noise qNoise2 simulating the quantum noise is noise that follows the Poisson distribution and whose spatial frequency characteristic follows the MTF of the phosphor 11.
  • the MTF of the phosphor 11 is approximated by a two-dimensional filter and the fMTF is used, the fMTF is convoluted into the noise image pNoise that follows the Poisson distribution.
  • qNoise2 pNoise ⁇ fMTF (Equation 13) And.
  • the artificial noise addedNoise is Can be.
  • the synthesis ratio ⁇ takes a value of 0 to 1, and can be given as an appropriate fixed value or a value (arbitrary value) that is randomly changed.
  • the standard deviation of the artificial system noise sNoise2, the standard deviation of the artificial quantum noise qNoise2, and the standard deviation of the artificial noise addedNoise2 to be added are set to be the same.
  • step S1103 for example, when the standard deviation is normalized to 1 according to (Equation 7), the standard deviation of the artificial system noise sNoise2, the standard deviation of the artificial quantum noise qNoise2, and the standard of the artificial noise addedNoise2 to be added.
  • the deviation may be set to 1.
  • the composite ratio ⁇ may be determined according to the signal I sig of the radiographic image by using the relationship between the noise and the signal represented by (Equation 1) regarding the dispersion ⁇ all 2 of the noise in the radiographic image. for example, When Can be.
  • the method of determining the composition ratio ⁇ using the relationship between the noise and the signal represented by (Equation 1) is an example, and the relationship between the noise and the signal represented by (Equation 1) and the signal I are also used.
  • the synthesis ratio ⁇ may be determined according to the sig .
  • the divided image Image'that has been DC-removed in step S1104 is used as the correct answer data for the training data
  • the divided image Imadd to which the artificial noise addNoise2 is added in step S1105 is used as the input data for the training data.
  • the trained model obtained by training such training data can learn the tendency of the characteristics of artificial noise corresponding to the noise generated in the radiation image, and can obtain a radiation image in which noise is reduced from the radiation image. Can be output.
  • Step S1106, S1107, and S1108 are the same as those of Step S406, Step S407, and Step S408 according to the first embodiment.
  • the artificial noise addedNoise2 obtained by adding (synthesizing) the artificial system noise sNoise2 and the artificial quantum noise qNoise2 simulating the quantum noise to the input data of the training data is noise-uncorrelated processing. It was added to the later radiographic image. Even when learning is performed in the order of such processing, the learning processing unit 261 can create an appropriate trained model as in the first embodiment, and the inference processing unit 262 processes the digital radiation. It is possible to generate a radiation image with suitable noise reduction in a photographing device. Although an example in which artificial noise addition is performed after DC removal is shown here, the same effect can be obtained even if noise uncorrelated is performed.
  • the trained model used for the noise reduction processing may be prepared for each type of the inspected object O of the radiation image to be subjected to the noise reduction processing. For example, a trained model using a radiographic image with the chest and abdomen of the human body as the inspected object O as training data, and a trained model using a radiographic image with the object related to nondestructive inspection as the inspected object O as training data. A model may be prepared. In this case, the arithmetic processing unit 266 can select a trained model to be used for noise reduction processing for each type of the inspected object O of the radiographic image to be processed.
  • the arithmetic processing unit 266 can change the type of the inspected object O. Accordingly, it is possible to generate a radiographic image with noise reduced more appropriately.
  • a trained model may be prepared for each object O to be inspected, for example, for each patient, for each imaging site, and for each type of non-destructive inspection object. It should be noted that these trained models may be generated by performing transfer learning or by performing training using each set of training data, as in the case of variant 2 described later. ..
  • the trained model used for noise reduction processing may be trained to be adjusted (tuned) for each radiation detector, and a trained model dedicated to the radiation detector may be generated.
  • a general-purpose trained model for generating a radiation image with reduced noise is subjected to transfer learning using a radiation image acquired by a certain radiation detector, and a trained model dedicated to the radiation detector is performed. Can be generated.
  • the trained model dedicated to each radiation detector can be associated with the ID of the radiation detector and stored in an external storage device 70 such as a storage unit 25 or a server. In this case, when the control unit 20 performs noise reduction processing of the radiation image acquired by using the radiation detector, the control unit 20 learns for the radiation detector from a plurality of trained models based on the ID of the radiation detector.
  • the completed model can be specified and used.
  • a trained model dedicated to the radiation detector By using such a trained model dedicated to the radiation detector, the accuracy of noise reduction processing can be improved.
  • the method of generating a trained model dedicated to each radiation detector is not limited to transfer learning, and each has been trained by learning with training data using radiation images acquired using each radiation detector. You may generate a model.
  • the arithmetic processing unit 266 transforms the radiation image for which noise reduction processing is performed using the trained model based on the MTF of the phosphor of the radiation detector used for acquiring the radiation image, and then inputs the radiation image to the trained model. You may. If the MTF of the phosphor of the radiation detector used to acquire the radiation image for noise reduction is different from the MTF of the phosphor of the radiation detector used to acquire the radiation image used for the training data, noise reduction processing is performed. The effect of may not be suitable. Therefore, the arithmetic processing unit 266 is included in the radiation detector used for acquiring the radiation image for noise reduction processing for the MTF of the phosphor contained in the radiation detector used for acquiring the radiation image used for the training data. The radiographic image may be deformed according to the ratio of the MTF of the phosphor.
  • the arithmetic processing unit 266 inputs the deformed radiation image into the trained model. Further, the arithmetic processing unit 266 uses the reciprocal of the MTF ratio of the phosphor to transform the radiation image in which the noise output from the trained model is reduced. As a result, when the MTF of the phosphor of the radiation detector used for acquiring the radiation image for noise reduction is different from the MTF of the phosphor of the radiation detector used for acquiring the radiation image used for the training data, noise is generated. It is possible to suppress the reduction effect from being weakened.
  • the conversion process of the radiation image may be performed before the noise reduction process (step S905).
  • the inverse conversion process of the radiation image may be performed after the noise reduction process (step S905) in an order corresponding to the order of the processes in which the conversion of the radiation image is performed. For example, if the conversion process is performed before the noise uncorrelated process (step S903), the inverse conversion process may be performed after the inverse conversion process (step S907) related to the noise uncorrelated process. good.
  • a separate component that performs noise reduction processing, conversion processing of the radiation image, and its inverse conversion processing may be provided.
  • a functional block including each component may be provided as a calculation processing unit. It can be 266.
  • any layer configuration such as a variational autoencoder (VAE: Variational Auto-Encoder), FCN (Full Convolutional Network), or SegNet or SenseNet is combined as the configuration of the CNN. Can also be used.
  • VAE Variational Auto-Encoder
  • FCN Full Convolutional Network
  • SegNet or SenseNet is combined as the configuration of the CNN.
  • each unit is configured to output a scalar value, so that, for example, spatial information regarding the spatial positional relationship (relative position) between features in an image can be obtained. It is configured to be reduced. Thereby, for example, learning can be performed so as to reduce the influence of local distortion, translation, and the like of the image.
  • each unit is configured to output spatial information as a vector, so that, for example, spatial information is retained. This makes it possible to perform learning in which, for example, the spatial positional relationship between features in an image is taken into consideration.
  • the training data of various trained models is not limited to the data obtained by using the radiation detector itself for actual imaging, but also the data obtained by using the same type of radiation detector according to the desired configuration. It may be data obtained by using the same type of radiation detector.
  • the trained model for noise reduction processing according to the above-described examples and modifications is characterized by, for example, the magnitude of the luminance value of the radiation image, the order and inclination of the bright and dark areas, the position, the distribution, the continuity, and the like. It is considered that it is extracted as a part of the quantity and used for the estimation process related to the generation of the radiographic image with reduced noise.
  • the trained model can be provided in the control unit 20.
  • the trained model may be composed of, for example, a CPU, a software module executed by a processor such as an MPU, GPU, or FPGA, or a circuit or the like that performs a specific function such as an ASIC.
  • these learned models may be provided in a device of another server connected to the control unit 20 or the like.
  • the control unit 20 can use the trained model by connecting to a server or the like provided with the trained model via an arbitrary network such as the Internet.
  • the server provided with the trained model may be, for example, a cloud server, a fog server, an edge server, or the like.
  • the present invention supplies software (programs) that realize one or more of the functions of the various embodiments and modifications described above to a system or device via a network or storage medium, and the computer of the system or device provides the program. It can also be realized by the process of reading and executing.
  • a computer may have one or more processors or circuits and may include multiple separate computers or a network of separate processors or circuits for reading and executing computer-executable instructions.
  • the processor or circuit may include a central processing unit (CPU), a microprocessing unit (MPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or a field programmable gateway (FPGA). Also, the processor or circuit may include a digital signal processor (DSP), a data flow processor (DFP), or a neural processing unit (NPU).
  • CPU central processing unit
  • MPU microprocessing unit
  • GPU graphics processing unit
  • ASIC application specific integrated circuit
  • FPGA field programmable gateway
  • DSP digital signal processor
  • DFP data flow processor
  • NPU neural processing unit
  • Control unit image processing device
  • 21 Acquisition unit
  • 266 Arithmetic processing unit (generation unit)

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

被検査物の第１の放射線画像を取得する取得部と、高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに取得部により取得された第１の放射線画像を入力することにより、第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部と、を備える画像処理装置。

Description

画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
　本開示は、画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関する。
　近年、Ｘ線などの放射線を検出するための検出部を備えた放射線検出器が、産業や医療などの分野で広く用いられている。特に、半導体センサを用いて放射線画像を得るデジタル放射線撮影（ＤＲ：Ｄｉｇｉｔａｌ　Ｒａｄｉｏｇｒａｐｈｙ）装置が普及してきている。
　このようなデジタル放射線撮影装置においては、撮影画像の画質向上のために種々の画像処理を行うことが一般的であり、撮影画像の粒状性を改善し、診断したい領域の視認性を向上するノイズ低減処理もその１つである。
　このようなノイズの低減の方法としては従来から様々な方法が提案されている。例えば、特許文献１には、デジタル放射線撮影装置のノイズ特性に基づいてルールを作成し、平滑化フィルタの特性を切り替えるルールベースのノイズ低減処理技術が開示されている。
特許第４６７９７１０号公報
"Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections", Xiao-Jiao Mao, Chunhua Shen, and Yu-Bin Yang, ArXiv : 1606.08921, 2016
　しかしながら、前述のような従来技術には、以下のような課題が生じる場合がある。特許文献１で提案されているルールベースのノイズ低減処理では、撮影画像に含まれる様々な被写体構造のあらゆるケースで適切なルールを作成するのは難しく、被写体によっては好適なノイズ低減性能が得られない場合があった。
　ここで、デジタル放射線撮影装置は、被写体を透過した放射線を電気信号として検出する際、放射線をＣｓＩやＧＯＳ（Ｇｄ２Ｏ２Ｓ）等の蛍光体によって可視光に変換してから半導体センサによって検出する構成を採るのが一般的である。変換された可視光は蛍光体内を通って半導体センサに到達するまでに拡散されるため、放射線量子の揺らぎに起因するノイズ（以後、量子ノイズと呼称する）は平滑化され、高周波が減衰した状態となる。一方で、検出器及び回路等から発生するノイズ（以後、システムノイズと呼称する）は蛍光体の影響を受けない。デジタル放射線撮影装置におけるノイズは、主にシステムノイズと量子ノイズを合計したものが支配的であるため、入力される信号によって両者の含有比率が変化し、信号の強度に応じて周波数特性が異なるという特徴を持つ。
　非特許文献１は、学習に用いる画像を増やすことによって、より多くの被写体で好適なノイズ低減処理を実現しうる技術を提案している。しかしながら、当該技術のデジタル放射線撮影装置への適用を考えたとき、デジタル放射線撮影装置のノイズを有する上記の特徴を考慮できていないため、好適なノイズ低減を実現するニューラルネットワークを学習するのが難しい場合があった。
　本開示は、以上の問題点に鑑みてなされたものであって、デジタル放射線撮影装置において好適なノイズ低減処理を行うことができる画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムを提供することを目的の一つとする。
　本開示の一実施態様による画像処理装置は、被検査物の第１の放射線画像を取得する取得部と、高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得部により取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部と、を備える。
実施例１に係る放射線撮影システムの概略的な構成を示す。 実施例１に係る放射線検出器の概略的な構成を示す。 実施例１に係る制御部の概略的な構成を示す。 実施例１に係るノイズ低減処理部の概略的な構成を示す。 実施例１に係る学習済モデルの概略的な構成の一例を示す。 実施例１に係る学習済モデルの概略的な構成の一例を示す。 実施例１に係る学習処理の動作例を説明するための図である。 実施例１に係る学習処理の動作例を説明するための図である。 実施例１に係る学習処理の動作例を説明するための図である。 実施例１に係る学習処理のフローチャートである。 実施例１に係る領域分割処理を説明するための図である。 実施例１に係る領域分割処理を説明するための図である。 実施例１に係る領域分割処理を説明するための図である。 線量によって異なるノイズの空間周波数特性を示す図である。 ノイズ無相関化処理を説明するための図である。 ノイズ無相関化処理を説明するための図である。 実施例１に係る推論処理におけるノイズ低減処理強度の調整例の模式図である。 実施例１に係る推論処理のフローチャートである。 実施例１に係る画像処理前後の画像の一例を示す。 実施例２に係る学習処理のフローチャートである。 放射線検出器における空間周波数とＭＴＦの関係性の一例を示す。
　以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
　なお、以下に記載する本開示の実施例において、放射線には、放射線崩壊によって放出される粒子（光子を含む）が作るビームであるα線やβ線、γ線、さらには、同程度以上のエネルギーを有するビームである、例えばＸ線や粒子線、宇宙線等も含む。また、以下において、放射線画像の信号の大きさに依存しない暗電流や電気的なノイズ等をシステムノイズという。
　なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、及びサポートベクターマシンなどが挙げられる。また、ニューラルネットワークや、深層学習（ディープラーニング）を利用してもよい。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、学習データとは、機械学習モデルの学習に用いるデータセットのことをいい、機械学習モデルに入力される入力データ及び、機械学習モデルの出力結果の正解となる正解データのペアで構成される。
　なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いた学習によって得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
（実施例１）
（放射線システムの構成）
　以下、図１Ａ乃至図１０を参照して、本開示の実施例１に係る放射線撮影システムについて説明する。図１Ａは、本実施例に係る放射線撮影システム１の概略的な構成を示す。なお、以下の説明において、被検査物Ｏを人体として説明するが、本開示に係る放射線撮影システムによって撮影される被検査物Ｏは人体に限られず、他の動物や植物、及び非破壊検査の対象物等であってもよい。
　本実施例に係る放射線撮影システム１には、放射線検出器１０、制御部２０、放射線発生器３０、入力部４０、及び表示部５０が設けられている。なお、放射線撮影システム１は、インターネットやイントラネット等のネットワーク６０を介して制御部２０に接続されるサーバ等の外部記憶装置７０が含まれてもよい。
　放射線発生器３０は、例えば、Ｘ線管等の放射線発生源を備え、放射線を発することができる。放射線検出器１０は、放射線発生器３０より発せられた放射線を検出し、検出した放射線に対応する放射線画像を生成することができる。このため、放射線検出器１０は、放射線発生器３０より発せられ、被検査物Ｏを通った放射線を検出することで、被検査物Ｏの放射線画像を生成することができる。
　ここで、図１Ｂは、本実施例に係る放射線検出器１０の概略的な構成を示す。放射線検出器１０には、蛍光体１１及び撮影センサ１２が設けられている。蛍光体１１は、放射線検出器１０に入射した放射線を撮影センサ１２によって検出可能な波長の光に変換する。蛍光体１１は、例えば、ＣｓＩやＧＯＳ（Ｇｄ２Ｏ２Ｓ）等を含んでよい。撮影センサ１２は、例えばａ－Ｓｉや結晶Ｓｉで構成される光電変換素子を含み、蛍光体１１によって変換された放射線に対応する光を検出し、検出した光に対応する信号を出力することができる。放射線検出器１０は、撮影センサ１２によって出力された信号についてＡ／Ｄ変換等を行うことで、放射線画像を生成することができる。なお、図１Ｂでは省略されているが、放射線検出器１０は演算部やＡ／Ｄ変換部等を備えていてよい。
　制御部２０は、放射線検出器１０、放射線発生器３０、入力部４０、及び表示部５０に接続されている。制御部２０は、放射線検出器１０から出力される放射線画像を取得して放射線画像に画像処理を施したり、放射線検出器１０や放射線発生器３０の駆動を制御したりすることができる。このため、制御部２０は、画像処理装置の一例として機能することができる。また、制御部２０は、インターネットやイントラネット等の任意のネットワーク６０を介して外部記憶装置７０に接続されてもよく、外部記憶装置７０から放射線画像等を取得してもよい。さらに、制御部２０は、ネットワーク６０を介して他の放射線検出器や放射線発生器等と接続されてもよい。なお、制御部２０は、外部記憶装置７０等に有線で接続されてもよいし、無線で接続されてもよい。
　入力部４０は、マウスやキーボード、トラックボール、タッチパネル等の入力機器を備え、操作者によって操作されることで、制御部２０に指示を入力することができる。表示部５０は、例えば、任意のモニターを含み、制御部２０から出力された情報や画像、及び入力部４０によって入力された情報等を表示することができる。
　なお、本実施例において、制御部２０や入力部４０、表示部５０等は別個の装置によって構成されているが、これらは一体的に構成されてもよい。例えば、タッチパネルディスプレイによって入力部４０及び表示部５０を構成してもよい。また、本実施例では、制御部２０により画像処理装置を構成したが、画像処理装置は放射線画像を取得し、放射線画像に画像処理を施すことができればよく、放射線検出器１０や放射線発生器３０の駆動を制御しなくてもよい。
　また、制御部２０と、放射線検出器１０及び放射線発生器３０等は有線で接続されてもよいし、無線で接続されてもよい。さらに、外部記憶装置７０は、病院内のＰＡＣＳ等の画像システムを構成してもよいし、病院外のサーバ等であってもよい。
（制御部の構成）
　次に、図２Ａ及び図２Ｂを参照して、制御部２０のより具体的な構成について説明する。図２Ａは、本実施例に係る制御部２０の概略的な構成を示す。図２Ｂは、制御部２０に含まれるノイズ低減処理部２６の概略的な構成を示す。図２Ａに示されるように、制御部２０には、取得部２１、画像処理部２２、表示制御部２３、駆動制御部２４、及び記憶部２５が設けられている。
　取得部２１は、放射線検出器１０によって出力された放射線画像や、入力部４０によって入力された各種情報等を取得することができる。また、取得部２１は、外部記憶装置７０等から放射線画像や患者情報等を取得することもできる。
　画像処理部２２には、ノイズ低減処理部２６及び診断用画像処理部２７が設けられており、取得部２１によって取得された放射線画像に対して本開示に係る画像処理を施すことができる。ノイズ低減処理部２６には、図２Ｂに示されるように、学習処理部２６１、及び推論処理部２６２が設けられている。推論処理部２６２には、分割部２６３、無相関化部２６４、直流除去部２６５、及び演算処理部２６６が設けられている。学習処理部２６１には、推論処理部２６２の構成に加えて、さらに人工ノイズ加算部２６７、及びパラメータ更新部２６８が設けられている。この構成により、ノイズ低減処理部２６は、ノイズ低減処理を行うための機械学習モデルの学習を行い、当該機械学習モデルを用いて放射線画像に好適なノイズ低減処理を適用することができる。
　また、診断用画像処理部２７は、ノイズ低減処理部２６でノイズ低減を施した画像に対して、診断に適した画像に変換するための診断用画像処理を行うことができる。診断用画像処理としては、例えば階調処理や強調処理、グリッド縞低減処理などが含まれる。
　次に、推論処理部２６２の構成について説明する。推論処理部２６２は、任意の放射線画像の入力に対して学習済モデルを適用し、その結果を出力する推論処理を行うことができる。
　分割部２６３は、放射線画像を複数の領域の画像に分割することができる。また、分割部２６３は、複数の領域の画像を結合し、一枚の画像を生成することもできる。
　無相関化部２６４は、放射線画像に含まれる放射線の揺らぎに起因する量子ノイズの大きさについて、検出した放射線に対応する信号の大きさとの相関関係を解消する（無相関化する）処理を行う。ここで、量子ノイズは、その分散（以下、ノイズの大きさと呼称する）が放射線量に比例することが知られている。このため、量子ノイズの大きさは、検出した放射線量に対応する放射線画像の各画素に係る信号量（以下、画素値と呼称する）に比例している。本実施例に係る無相関化部２６４は、放射線画像に対して無相関化処理を施すことで、量子ノイズの大きさを放射線画像における各画素の画素値の大小に関わらず略一定とすることができる。具体的な無相関化処理の手法については後述する。
　また、無相関化部２６４は、無相関化処理に係る変換処理の逆変換処理を、無相関化処理が施された放射線画像に施すことで、量子ノイズの大きさと画素値との相関関係を元に戻すことができる。なお、ノイズの無相関化処理及び当該無相関化処理の逆変換のそれぞれを行う別個の構成要素を設けてもよく、この場合には、それぞれの構成要素を含む機能ブロックを無相関化部２６４とすることができる。
　直流除去部２６５は、画像の直流成分を減算し、画像の平均信号レベルを平準化する処理を行う。具体的には、放射線画像の平均画素値が０になるように、放射線画像の各画素値から当該画像の平均画素値を減算することで、放射線画像の直流成分を除去する。また、直流除去部２６５は、直流除去処理が行われた画像に対して、減算された平均画素値を各画素値に加算することで、放射線画像の平均信号レベルを変換前のものに戻すことができる。なお、直流除去処理及び直流加算処理のそれぞれを行う別個の構成要素を設けてもよく、この場合には、それぞれの構成要素を含む機能ブロックを直流除去部２６５とすることができる。また、直流成分の除去は、分割部２６３によって分割された画像それぞれに対して行ってもよいし、分割部２６３によって分割される前の放射線画像全体に対して行ってもよい。
　演算処理部２６６は、分割部２６３、無相関化部２６４、及び直流除去部２６５による処理が適用された画像を入力とし、後述する学習済モデルを用いた処理を行い、入力画像に含まれるノイズを低減した画像を生成することができる。なお、本実施例で低減されるノイズには、撮影センサ１２によって生じる暗電流や電気ノイズ等のシステムノイズ及び放射線の揺らぎに起因する量子ノイズが含まれる。
　次に、学習処理部２６１の構成について説明する。学習処理部２６１は、機械学習モデルを学習する際に適用される学習処理を行うもので、学習処理部２６１には、推論処理部２６２の構成に加え、さらに人工ノイズ加算部２６７、及びパラメータ更新部２６８が設けられている。
　学習処理を行う際は、学習データが必要である。学習データは、入力データと正解データともに、分割部２６３、無相関化部２６４、及び直流除去部２６５による処理が適用される。
　ここで、人工ノイズ加算部２６７は、学習データに、放射線画像の特徴を模擬して作成した人工ノイズを加算する処理を行う。人工ノイズの加算は、学習データのうち、入力データのみか、あるいは入力データと正解データに対して行われる。なお、入力データと正解データに人工ノイズを加算する場合、例えば、人工ノイズ加算部２６７は、入力データに加算するノイズの量が正解データに加算するノイズの量に比べて大きくなるように入力データと正解データにノイズを加算する。しかしながら、入力データと正解データに人工ノイズを加算する方法は上記に限定されず、入力データと正解データに差異が発生するように人工ノイズが加算されればよい。また、人工ノイズの加算のタイミングは、推論処理部２６２で行われる各処理の間の任意のタイミングで良く、例えば、推論処理部２６２に入力される放射線画像に人工ノイズを加算する、あるいは、無相関化処理後に人工ノイズを加算するなど、任意のタイミングで行われうる。
　人工ノイズ加算後の画像は、適宜の処理を施された後、演算処理部２６６に入力される。なお、加算する人工ノイズの詳細については後述する。
　パラメータ更新部２６８は、演算処理部２６６の演算結果と、正解データをもとに、演算処理部２６６が持つ機械学習モデルのパラメータを更新する処理を行う。パラメータ更新部２６８の動作の詳細については後述する。
　ここで、学習処理部２６１は、放射線撮影システム１に必ずしも含まれる必要はない。例えば、放射線撮影システムとは別のハードウェア上に学習処理部２６１を構成し、事前に適切な学習データを用いて学習を行って学習済モデルを作成しておき、放射線撮影システムにおいては、推論処理部２６２による処理だけを行うようにしてもよい。又は、学習処理部２６１を放射線撮影システム１に含めることで、設置後に取得した学習データで追加学習を行うことができる構成としてもよい。
　表示制御部２３は、表示部５０の表示を制御することができ、画像処理部２２による画像処理前後の放射線画像や患者情報等を表示部５０に表示させることができる。駆動制御部２４は、放射線検出器１０及び放射線発生器３０等の駆動を制御することができる。そのため、制御部２０は、駆動制御部２４によって放射線検出器１０及び放射線発生器３０の駆動性を制御することで、放射線画像の撮影を制御することができる。
　記憶部２５は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、及び後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを記憶することができる。また、記憶部２５は、取得部２１によって取得された情報や、画像処理部２２で画像処理された放射線画像等を記憶することもできる。例えば、記憶部２５は、取得部２１により取得された放射線画像を記憶したり、後述するノイズ低減処理がなされた放射線画像を記憶したりすることができる。
　なお、制御部２０は、プロセッサーやメモリ等を含む一般的なコンピュータを用いて構成することができるが、放射線撮影システム１の専用のコンピュータとして構成されてもよい。ここで、制御部２０は、本実施例に係る画像処理装置の一例として機能するが、本実施例に係る画像処理装置は、制御部２０に通信可能に接続された別体（外部）のコンピュータであってもよい。また、制御部２０や画像処理装置は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣや、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。
　なお、プロセッサーは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってよい。また、プロセッサーは、例えば、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等であってもよい。
　制御部２０の各機能は、ＣＰＵやＭＰＵ等のプロセッサーが記憶部２５に記憶されたソフトウェアモジュールを実行することで実現されてよい。また、各機能は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。例えば、画像処理部２２をＡＳＩＣ等の専用のハードウェアで実現してもよいし、表示制御部２３をＣＰＵとは異なるＧＰＵ等の専用のプロセッサーを用いて実現してもよい。記憶部２５は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
（機械学習モデルの構成）
　次に、図３Ａ乃至図３Ｃを参照して、本実施例に係る学習済モデルを構成する機械学習モデルの例について説明する。本実施例に係る演算処理部２６６が用いる機械学習モデルの一例は多層のニューラルネットワークである。
　図３Ａは、本実施例に係るニューラルネットワークモデルの概略的な構成例を示している。図３Ａに示すニューラルネットワークモデル３３は、入力データ３１に対して、予め学習した傾向に応じて、ノイズが低減された推論データ３２を出力するように設計されている。出力されるノイズが低減された放射線画像は、機械学習プロセスでの学習内容に基づくものであり、本実施例に係るニューラルネットワークは、放射線画像に含まれる信号とノイズを分別するための特徴量を学習している。
　なお、多層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（以後、ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋと呼称する）を用いることができる。また、多層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。
　ここで、放射線画像のノイズ低減処理用の機械学習モデルとして、ＣＮＮを用いる場合について説明する。図３Ｂは、本実施例に係るニューラルネットワークモデル３３を構成するＣＮＮの概略的な構成の一例を示す。本実施例に係る学習済モデルの例では、入力データ３１として放射線画像が入力されると、ノイズが低減された推論データ３２を出力することができる。
　図３Ｂに示すＣＮＮは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該ＣＮＮの構成に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅ）層がある。
　畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
　ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ　Ｐｏｏｌｉｎｇ処理がある。
　アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、逆畳み込みによるアップサンプリング処理がある。
　合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
　また、ニューラルネットワークは、デコーダー側の１層目の畳み込み層から出力されるデータに入力データを加算する加算層３４を有してもよく、この場合には、出力の前に、入力データを加算するショートカットを構成するとよい。これにより、当該ＣＮＮは、入力データと正解データの差分を学習する構成を採ることができ、好適にノイズをターゲットとした系を取り扱うことができる。
　なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向について、推論時に再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
　また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度良くノイズが低減された放射線画像を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
　なお、本実施例で用いるＣＮＮの構成は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルである。すなわち、ＣＮＮの構成は、エンコーダー機能とデコーダー機能とを有するＵ字型の構造を含む。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
　図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の前後に活性化関数（例えばＲｅＬｕ：Ｒｅｃｔｉｆｉｅｒ　Ｌｉｎｅａｒ　Ｕｎｉｔ）の層や、さらにその前後にバッチ正規化（Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ）などの各種の正規化処理を行う層を組み込んでもよい。
　ＣＮＮのこれらのステップを通して、入力される放射線画像からノイズの特徴を抽出することができる。
　ここで、学習処理部２６１は、パラメータ更新部２６８を備える。パラメータ更新部２６８は、図３Ｃに示すように、学習データにおける入力データ３１に演算処理部２６６のニューラルネットワークモデル３３を適用した推論データ３２と、学習データにおける正解データ３５から、損失関数を算出する処理を行う。さらに、パラメータ更新部２６８は、算出した損失関数に基づいてニューラルネットワークモデル３３のパラメータを更新する処理を行う。ここで、損失関数は、推論データ３２と、正解データ３５の誤差を示すものである。
　より具体的には、パラメータ更新部２６８は、損失関数によって表される推論データ３２と正解データ３５との誤差が小さくなるように、例えば、誤差逆伝播法を用いて、畳み込み層のフィルタ係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、ニューラルネットワークの各ノード間のパラメータ等を調整する手法である。なお、学習には、ＣＮＮを構成するユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。
　さらに、演算処理部２６６が用いる学習済モデルは、転移学習を用いて生成されたものでもよい。この場合には、例えば、種類等が異なる被検査物Ｏの放射線画像で学習された機械学習モデルについて転移学習を行って、ノイズ低減処理に用いる学習済モデルを生成してもよい。このような転移学習を行うことによって、学習データを数多く入手するのが難しい被検査物Ｏについても、効率的に学習済モデルを生成することができる。ここでいう種類等が異なる被検査物Ｏは、例えば、動物や植物、非破壊検査の対象物等であってよい。
　ここで、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、上記のようなＣＮＮを利用した学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施例に係る学習処理部２６１には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習処理では、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、推論処理部２６２の各処理についても、学習処理部２６１と同様にＧＰＵを用いて実現してもよい。
　以上、機械学習モデルの構成について説明したが、これまでに示したようなＣＮＮを用いたモデルに制限するものではない。機械学習モデルの学習は、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた機械学習に類するものであればよい。
（学習処理）
　次に、本実施例に係る学習処理部２６１の処理の流れについて説明する。ここで、学習処理部２６１で用いる学習データとして、理想的には入力データとしてノイズを含んだ放射線画像と、正解データとしてノイズを略含まない放射線画像との組を用いるのが望ましい。ノイズを略含まない放射線画像を得るためには、例えば同じ被検査物を複数回撮影して平均画像を作成するなどして、信号と相関のないノイズ成分をキャンセルする方法が挙げられる。しかしながら、特に医用分野においては、放射線撮影の侵襲性を鑑みると実際の人体を用いて上記の手段を行うことは現実的でなく、学習データとしてノイズを含んだ放射線画像と、ノイズを略含まない放射線画像の組を用意することは困難である。
　そこで、本実施例では、人体を医用目的で撮影した放射線画像を学習データの正解データとし、放射線画像に生じるノイズに相当する人工ノイズを放射線画像に加算した画像を学習データの入力データとして用いる。このような学習データを用いて学習を行うことで、放射線画像の画像特徴と、人工ノイズの特徴を学習することができる。なお、加算するノイズは人工ノイズに限定されない。例えば、同じ被検査物を複数回撮影できる場合には、被検査物を撮影して得た放射線画像と、同じ被検査物を複数回撮影して得た平均画像とを用いて差分処理を行い、放射線画像に加算するノイズ成分を取得してもよい。
　本発明者は、人工ノイズを後述するような様式によって実際の放射線画像のノイズの特徴を模擬した形で与えたとき、実際の放射線画像が入力された場合においても、好適にノイズが低減された放射線画像を出力できる機械学習モデルを生成できることを見出した。
　以上を踏まえ、図３Ｄ乃至図７Ｂ及び図１２を参照して、本実施例に係る学習処理部２６１の処理の流れについて説明する。図４は、本実施例に係る学習処理部２６１の処理の流れを示すフローチャートである。本実施例に係る学習データの生成方法では、人工ノイズの加算処理を、ノイズの無相関化処理及び直流除去処理を含む前処理の前に行う。
　ステップＳ４０１では、学習処理部２６１に学習データが入力される。入力される学習データの取得は、取得部２１にて行われ、本実施例では、学習データとして適宜の放射線画像が取得される。なお、取得部２１は、記憶部２５に記憶された放射線画像を取得してもよいし、外部記憶装置７０等から放射線画像を取得してもよい。また、取得部２１は、放射線検出器１０によって出力された放射線画像を取得してもよい。なお、本実施例における学習データとは、上記放射線画像を入力データ及び正解データとしたものとなる。学習処理部２６１に同じデータとして入力された後、学習処理部内部で、入力データか、入力データ及び正解データに適宜の人工ノイズが加算されることで、入力データと正解データに差異が発生する状態となる。
　ステップＳ４０２では、分割部２６３によって入力された放射線画像に対して領域分割処理が行われる。図５Ａ乃至図５Ｃは、本実施例に係る領域分割処理を説明するための画像である。図５Ａに示す例では、分割部２６３は、放射線画像５０１の領域分割を行い、適宜の分割画像５０２を作成する。なお、学習処理部２６１に入力される学習データは入力データと正解データからなるが、分割部２６３は、両画像を同じ位置で領域分割するように動作する。
　ここで、分割画像５０２の画素数は、演算処理部２６６が動作する演算装置において、一度に処理を行うことができる範囲の画素数内であって、画像内のノイズに関する特徴量を抽出できる程度の数であれば任意に設定されてよい。なお、医用の放射線画像では、放射線検出器１０は高精細であることが多く、放射線画像５０１は、例えば２６８８ｐｉｘ×２６８８ｐｉｘを超える画素を有することがあり、演算処理部２６６が動作する演算装置が演算可能な画素数を超えてしまう場合がある。例えば、分割画像５０２の画素数としては、２５６ｐｉｘ×２５６ｐｉｘ程度とすることができる。
　なお、学習処理部２６１の動作において、ステップＳ４０１～ステップＳ４０７は繰り返し処理されるが、ステップＳ４０２における領域分割処理においては、ループの間に作成した領域画像と重複する部分を含むように領域画像の範囲を設定してもよい。この場合、一枚の放射線画像から、より多くの学習データを生成することができる。また、各種のデータ拡張を行ってもよい。例えば、回転・縮小・拡大・スキューや、信号量の変化、オフセットの加算などが挙げられる。また、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を用いて学習データの拡張を行ってもよい。
　ステップＳ４０３において、人工ノイズ加算部２６７によって、分割画像５０２に対して人工ノイズが加算される。上述の通り、人工ノイズは、実際に放射線画像に生じるノイズに近いものとすることができる。以下、本実施例にて加算する人工ノイズの例を説明する。
　これまで述べたように、放射線画像に含まれるノイズは、主に放射線量子の揺らぎによって発生する量子ノイズと、検出器及び回路等から発生するシステムノイズに大別される。
　放射線検出器１０は、蛍光体１１によって放射線を可視光に変換する構成を採ることから、放射線の信号には蛍光体１１の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）に応じて高周波の減衰が生じることが知られている。例えば、図１２は、ピクセルサイズが１２５μｍである放射線検出器１０における空間周波数とＭＴＦの関係性の一例を示す。この例では、ＭＴＦはナイキスト周波数に向かって単調に減少している。ナイキスト周波数４ｌｐ／ｍｍにおけるＭＴＦは例えば０．２程度となっており、高周波信号が減衰している状態となっている。
　放射線量子の揺らぎによって発生する量子ノイズも同様の変調伝達関数によって高周波の減衰が発生する。一方で、検出器及び回路等から発生するシステムノイズは蛍光体の影響を受けない。放射線画像に含まれるノイズは、撮影時の線量によらないシステムノイズと、撮影時の線量によって変化する量子ノイズを加算したものとなる。このことから、デジタル放射線撮影装置におけるノイズは、入力される放射線の強度に応じて周波数特性（ＮＰＳ：Ｎｏｉｓｅ　Ｐｏｗｅｒ　Ｓｐｅｃｔｒｕｍ）が異なるという特徴を持つ。当該ノイズのＮＰＳと入力される信号の強度（線量）との関係は、図６に示すような関係になる。なお、図６の縦軸は入力される信号の強度を示し、横軸はノイズの空間周波数を示している。グラフ６０１はシステムノイズのみの空間周波数特性の例を示す。グラフ６０４は、蛍光体１１のＭＴＦに従う量子ノイズの空間周波数特性の例を示す。グラフ６０２及び６０３は合成されたシステムノイズの空間周波数特性と量子ノイズの空間周波数特性の例をそれぞれ示す。
　入力信号がない場合は、グラフ６０１のように、ノイズはシステムノイズ由来の白色雑音様の特徴を持つＮＰＳを持つ。入力信号が小さい場合、ノイズはグラフ６０２のように高周波の減衰が少ないＮＰＳとなり、グラフ６０２より入力信号が大きい場合はグラフ６０３のようにより高周波が減衰したＮＰＳを持つ。また、十分に入力信号が大きく、量子ノイズが支配的になる場合は、ノイズはグラフ６０４のように蛍光体１１のＭＴＦに従ったＮＰＳを持つ。
　以上を踏まえ、本実施例では、放射線検出器１０のシステムノイズに対応する白色雑音と、蛍光体１１のＭＴＦの影響を受けた量子ノイズとを合成したノイズを人工ノイズとして扱うものとする。
　ここで、量子ノイズとシステムノイズとの合成比率に関しては、例えば以下（式１）～（式４）の関係式を用いて、放射線検出器１０の特性を模擬することができる。いま、量子ノイズの標準偏差をσｑとし、放射線検出器１０によるシステムノイズの標準偏差をσｓとすると、放射線画像におけるノイズの分散σａｌｌ ２は、
　σall ２＝σq 2+σs 2（式１）
の関係を満たす。また、入力画像の信号をＩｓｉｇとすると、量子ノイズの標準偏差σｑは、信号Ｉｓｉｇに比例することから、量子ノイズの係数ｑを用いて、
　σｑ ２＝ｑ２×Ｉｓｉｇ（式２）
と書ける。また、システムノイズの標準偏差σｓは、信号Ｉｓｉｇに比例しない一定値であるため、システムノイズの係数ｓを用いて、
　σｓ ２＝ｓ２（式３）
と書ける。
　上記を踏まえ、人工ノイズ（ａｄｄＮｏｉｓｅ）は、以下のように求めることができる。まず、システムノイズを模擬した人工システムノイズｓＮｏｉｓｅを、標準偏差σｓの加法性白色ガウス雑音（ＡＷＧＮ：Ａｄｄｉｔｉｖｅ　Ｗｈｉｔｅ　Ｇａｕｓｓｉａｎ　Ｎｏｉｓｅ）とする。次に、量子ノイズを模擬した人工量子ノイズｑＮｏｉｓｅを、分散σｑ ２のポアソン分布に従い、かつ蛍光体１１のＭＴＦに従ったＮＰＳを持つノイズとする。例えば、蛍光体１１のＭＴＦを２次元フィルタで近似したものをｆＭＴＦとしたとき、ポアソン分布に従うノイズ画像にｆＭＴＦを畳み込むことで作成することができる。なお、ポアソン分布は分散が十分大きいとき正規分布と近似できるため、ｑＮｏｉｓｅを正規分布に従ったノイズとして扱ってもよい。このとき、人工ノイズ（ａｄｄＮｏｉｓｅ）を、
　ａｄｄＮｏｉｓｅ＝ｓＮｏｉｓｅ＋ｑＮｏｉｓｅ（式４）
と表すことができる。
　放射線画像に生じるノイズの分布は、実験的に平均値及び中央値が略０である正規分布に近似することが知られているが、上記のように得られる人工ノイズについても、平均値及び中央値が略０となる分布とすることができる。
　なお、係数ｑ及びｓは、放射線検出器１０の性能を示すもので、予め測定を行うことで取得することができる。例えば、線量を変更して複数回撮影した測定値をプロットし、一連の測定値を（式１）に近似し、量子ノイズの係数ｑ及びシステムノイズの係数ｓを得るとよい。これにより、任意の信号Ｉｓｉｇにおいて、量子ノイズの標準偏差σｑ及びシステムノイズの標準偏差σｓを得ることができる。ただし、量子ノイズの標準偏差σｑ及びシステムノイズの標準偏差σｓの取得方法はこれに限られず、公知の任意の方法を用いてよい。量子ノイズの標準偏差σｑ及びシステムノイズの標準偏差σｓは、放射線画像の取得に用いられた放射線検出器１０毎に記憶部２５に予め記憶されていてもよいし、撮影に先立って実施される測定により取得されてもよい。
　また、ここでは放射線検出器１０の例として、蛍光体１１によって放射線を可視光に変える間接変換方式と呼ばれるものを示しているが、放射線検出器１０の中には、放射線を電気信号に直接変換する直接変換方式と呼ばれるものも存在する。その場合についても、量子ノイズがＭＴＦに影響されたＮＰＳを持つ点では同等であり、上記（式４）で示される人工ノイズを加算することで、好適な学習を行うことが可能である。
　ステップＳ４０４において、無相関化部２６４によって、人工ノイズが加算された分割画像に対して、ノイズ無相関化処理が行われる。ここで、図７Ａ及び図７Ｂを参照してノイズ無相関化処理について説明する。図７Ａは放射線画像におけるノイズの分散と画像の入力信号との関係を示す。図７Ｂはノイズ無相関化処理を行った後のノイズと変換後の信号値の関係を示した図である。ノイズ無相関化処理とは、ノイズの分散と信号の相関関係を解消する処理を指す。
　上述のように、放射線画像には、信号の大きさに比例する量子ノイズと、信号の大きさに比例しないシステムノイズとが含まれており、（式１）～（式３）及び、図７Ａに示すように、放射線画像におけるノイズの分散σａｌｌ ２は信号Ｉに比例する特徴がある。ノイズ低減をより好適に学習するためには、信号Ｉによって大きさが変わる乗法性のノイズを取り扱うよりも、図７Ｂに示すように、ノイズが信号によらず略一定となる形式に変換し、加法性のノイズを取り扱うことが望ましい。量子ノイズはポアソン分布に従うことから、平方根変換や対数変換等を行うことで、入力される放射線の強さによらず略一定とできる。
　本実施例では、ノイズ無相関化処理として、上記（式１）～（式３）から、システムノイズの成分Ｉ０を
Figure JPOXMLDOC01-appb-M000001
 とし、入力画像をＩｍとしたとき、
Figure JPOXMLDOC01-appb-M000002
 となるように、入力画像Ｉｍを平方根変換し、ノイズ無相関化画像Ｉｍ’を得る。
　なお、無相関化部２６４は、平方根変換において、変換後のノイズの標準偏差を１とするような、
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-I000004

に従う無相関化処理を行ってもよい。これらの処理により、放射線画像に含まれるノイズについて、ノイズの大きさと信号の大きさを無相関化することができる。
　ステップＳ４０５では、直流除去部２６５によって、無相関化された分割画像に対して直流除去処理が行われ、分割画像毎の直流成分（画像の平均信号レベル）を除去する。特に医用で扱われる放射線画像においては、被検査物信号のダイナミックレンジが広く、分割された領域に応じて画像内の平均信号レベルが大きく異なる場合があり、損失関数に影響して学習がうまく進まない場合がある。そこで、本実施例では、直流除去部２６５によって、領域画像の画素値から直流成分が除去される。具体的には、分割画像の平均画素値が０になるように、分割画像の各画素値から当該画像の平均画素値を減算することで、分割画像毎の直流成分を除去する。この操作により、ノイズの大きさや、ノイズの周波数特性に影響を及ぼすことなく、分割画像毎の平均信号レベルの差を平準化することができ、学習を安定して進めることができる。
　ステップＳ４０６において、演算処理部２６６によって、演算処理部２６６が有する機械学習モデルを用いた推論処理が行われる。本処理は、ステップＳ４０５までに作成した画像を入力として、前述のＣＮＮなどの機械学習モデルを用いた推論処理が行われる。例えば、図３Ｃに示すように、入力データ３１として、例えばステップＳ４０５において直流除去を行った信号を用い、推論データ３２を出力する構成を採ることができる。
　又は、図３Ｄに示すように、入力データについて複数チャンネル（ここでは２チャンネルの例を示す）を持ち、推論データについて複数チャンネルを持つ構成とすることもできる。
　ここで、学習すべき対象となるノイズの特徴を考えると、ステップＳ４０４のノイズ無相関化処理によって、ノイズの分散（大きさともいえる）は信号値によらず略一定となった状態となっている。しかしながら、先に述べたように、放射線画像におけるノイズの成り立ちを鑑みると、依然としてノイズのＮＰＳは入力される信号量との相関性を有した状態となっている。従って、学習に用いる情報としては信号量の情報が入力されることが望ましいが、一方で、学習を安定させるために行ったステップＳ４０５による直流除去処理により、信号量の情報が失われた状態となっている。
　これを踏まえ、直流除去を加えた画像を１チャンネル目の入力データ３６とし、それに加えて、信号量の情報が含まれた画像を２チャンネル目の入力データ３７として入力する。例えば、ステップＳ４０４においてノイズ無相関化を行った画像に対して、信号量の情報を保存した状態での正規化を行った画像を用いることができる。具体的には、以下（式８）のように、（式６）又は（式７）の平方根変換を、Ｉｍで想定される最大値ｍａｘ（Ｉｍ）（例えば６５５３５）で行った値で除算し、最大値が０～１となるように正規化したものを用いることができる。
Figure JPOXMLDOC01-appb-M000005
　これにより、学習を安定して進めつつ、かつ直流除去によって失われる信号量の情報を含めて学習を行うことができるため、より好適にノイズの特徴を学習することができる。推論データとしては、直流除去された１チャンネル目の入力データ３６のノイズを低減した推論データ３８と、信号量の情報が含まれた２チャンネル目の入力データ３７のノイズを低減した推論データ３９を持つ構成となる。
　あるいは、図３Ｅに示すように、入力データについて複数チャンネル（ここでは２チャンネルの例を示す）を持ち、推論データについては、１つのチャンネルを持つ構成としてもよい。この場合、推論データとしては、直流除去された１チャンネル目の入力データ３６のノイズを低減した推論データ４３を持つ構成とすることができる。
　ステップＳ４０７では、パラメータ更新部２６８により推論データと正解データが比較され、両者の誤差を数値化した損失関数が算出される。また、損失関数に基づいて、機械学習モデルのパラメータ（例えばＣＮＮにおける畳み込み層のフィルタ係数等）が更新されるようになっている。損失関数の例としては、平均絶対誤差（Ｌ１ｌｏｓｓ）や、平均二乗誤差（Ｌ２ｌｏｓｓ）が挙げられる。なお、図３Ｃに示すように推論データが単一のチャンネルのデータの場合は、推論データ３２と正解データ３５の組（図３Ｅに示す例でも同様で、推論データ４３と正解データ４４の組）で比較する。図３Ｄに示すように、推論データが複数のチャンネルのデータの場合は、各々相当する組での比較を行う。具体的には、例えば、１チャンネル目の直流除去済みの推論データ３８と、それに対応する直流除去された正解データ４１との損失関数、及び２チャンネル目の正規化された推論データ３９と、それに対応する正規化された正解データ４２との損失関数を算出する。
　ここで、放射線画像に生じるノイズ、及びステップＳ４０３で加算した人工ノイズの分布は、平均値及び中央値が０である正規分布と近似できる。このとき、上記のように損失関数を平均絶対誤差（Ｌ１ｌｏｓｓ）や平均二乗誤差（Ｌ２ｌｏｓｓ）とすれば、ノイズ由来の成分は損失関数算出における平均処理によって凡そキャンセルされる。そのため、損失関数に影響を与える主な要因はデータに含まれるノイズを含まない信号成分の誤差となる。すなわち、演算処理部２６６が有する機械学習モデルは、ノイズの含まれた入力データから、ノイズを含まない信号を再現するように学習が進む構成を採ることができる。
　ステップＳ４０８において、学習の終了判定を行い、終了と判定された場合はフローを終了し、そうでない場合はステップＳ４０１に戻り、別のデータを用いてステップＳ４０１～ステップＳ４０７のフローを繰り返す。終了判定の基準としては、一般的な機械学習において一般的に用いられる適宜の判定基準を使用することが可能である。例えば、特定のループ回数が実行されたか否か、損失関数が一定以下であるか否か、過学習が行われていないか否か、又は推論データにおけるノイズ低減の性能を示す指標であるＰＳＮＲやＳＳＩＭを評価し、性能が十分な水準に達しているか否かを判定してよい。
　上記説明したように、本実施形における学習処理部２６１は、実際の放射線画像のノイズの特徴を模擬した人工ノイズを加算することによって、好適にノイズが低減された放射線画像を出力できる機械学習モデルを生成することができる。
（推論処理部）
　次に、図３Ｃ乃至図３Ｅ、図５Ｂ、図５Ｃ、及び図９を参照して、本実施例に係る推論処理部２６２の処理の流れについて説明する。図９は、本実施例に係る推論処理部２６２の一連の画像処理を示すフローチャートである。
　本実施例に係る一連の画像処理では、処理の対象となる放射線画像に対して、領域分割や前処理を行い、学習済モデルへの入力とする。その後、学習済モデルからの出力に対して、前処理に対応する後処理を行い、最後に分割画像の結合処理を行うことで、元の放射線画像に対応する、ノイズの低減された放射線画像を生成する。なお、本実施例では、推論処理に入力する前の画像に対して行う画像処理を前処理といい、推論処理で出力された後の画像に対して行う画像処理を後処理という。本実施例では、前処理はノイズの無相関化処理及び直流除去処理を含み、後処理は、直流除去処理に対応する直流加算処理及びノイズの無相関化処理に対応する逆変換処理を含む。
　本実施例に係る一連の画像処理が開始されると、ステップＳ９０１において、取得部２１が放射線画像を取得する。取得部２１は、放射線検出器１０によって生成された放射線画像を取得してもよいし、記憶部２５や外部記憶装置７０等から放射線画像を取得してもよい。
　ステップＳ９０２では、分割部２６３が、ステップＳ４０２と同様に、取得された放射線画像について領域分割処理を行い、複数の分割画像（複数の放射線画像）を生成する。なお、ステップＳ９０２では、分割部２６３が、図５Ｂに示すように、放射線画像５０１を複数の分割画像Ｒ１１～Ｒｉｊに分割する。なお、分割画像の画素数は、演算処理部２６６が用いる機械学習モデルによって一度に処理を行うことができる画素数内（例えば２５６ｐｉｘ×２５６ｐｉｘ）であって、画像内のノイズに関する特徴量を抽出できる程度の数であれば任意に設定されてよい。
　なお、分割部２６３は、図５Ｂに示すように、領域の重複がないように分割領域を設定することができる。また、分割部２６３は、図５Ｃに示すように、隣接する領域の一部が重複するように分割領域を設定し、分割画像の結合時に重複している部分の領域を合成できるようにしてもよい。この場合、結合された放射線画像において、結合された各領域の境界における微妙な演算結果の差が発生した場合に、その影響を和らげることができる。また、推論処理においては畳み込み演算が行われるが、その際の画像の端部処理のために、図５Ｃに示すように、放射線画像５０１に適宜のパディング領域５０３を設け、分割領域においても適宜のパディング領域を設けた上で以後の処理を行うようにしてもよい。
　ステップＳ９０３では、無相関化部２６４が、ステップＳ９０２で生成された分割画像について、ステップＳ４０４と同様に、ノイズ無相関化処理を行う。ここで、無相関化処理は、学習処理において行った無相関化処理と同じパラメータで行う。例えば、学習処理において（式７）のように変換後のノイズの標準偏差を１とした場合は、同様に（式７）による無相関化処理を行うとよい。
　また、変換後のノイズの標準偏差の大きさを変える構成を採り、ステップＳ９０５の推論処理におけるノイズ低減処理の効果を変えることもできる。例えば、変換後のノイズの標準偏差を１．２など、学習処理における無相関化処理よりもノイズが大きくなる変換をしておく。学習済モデルは、ノイズの標準偏差が１であるノイズを想定してノイズを低減するように動作するため、結果的にノイズ低減効果を緩和する効果を得ることができる。上記によれば、学習処理と推論処理とに置ける変換処理の標準偏差を異ならせることにより、例えば、ノイズ低減処理を施した画像を診断する診断者の要求に応じてノイズ低減効果の大きさを調整できる。
　ステップＳ９０４では、直流除去部２６５が、ステップＳ９０３でノイズの無相関化処理が行われた各分割画像について、ステップＳ４０５と同様の直流除去処理を行う。
　次に、ステップＳ９０５では、演算処理部２６６が、上述した学習済モデルを用いて、ステップＳ９０４で直流除去処理が行われた分割画像に基づいて、推論処理を行いノイズが低減された分割画像を生成する。なお、学習済モデルは予め学習が行われた機械学習モデルであればよく、当該一連の画像処理の度に学習が行われる必要はない。なお、ステップＳ４０６及び図３Ｃ乃至図３Ｅに示したように、演算処理部２６６には学習モデルに合わせた入力が与えられる。
　また、本実施例では、学習済モデルは制御部２０に設けられる構成としているが、学習済モデルは制御部２０に接続された外部記憶装置７０等に設けられてもよい。なお、演算処理部２６６によるノイズが低減された分割画像の生成処理は、例えば、外部記憶装置７０等において、学習済モデルを用いて、制御部２０から送信された分割画像に基づいて生成されたノイズが低減された放射線画像を取得することを含んでもよい。
　以後のステップの説明では、一例として、図３Ｅに示されるような系を扱う。当該系では、１チャンネル目に直流除去処理が行われた画像を、２チャンネル目に最大値が０～１となるように正規化された無相関化処理済み画像を持つ分割画像を入力とする。また、当該系では、直流除去処理が行われた画像にノイズ低減を行った画像（１チャンネル目のノイズ低減画像）を出力とする。
　なお、以下に説明する手段を用いて、推論処理におけるノイズ低減処理の強度について調整することが可能である。図８は、ノイズ低減処理効果の調整手段の一例を表す模式図である。ノイズ低減処理の強さを調整する手段として、入力画像８１と、学習済モデルを用いた機械学習モデル８２による推論処理の出力画像８３を特定の係数αでブレンドした画像８４を用いる。ユーザーの好みに合わせてαの大きさ（α：０～１の実数）を変更してもよい。なお、当該調整処理は、例えば、推論処理部２６２や演算処理部２６６等により行われてよい。
　ステップＳ９０６では、直流除去部２６５により、ステップＳ９０５において生成されたノイズが低減された分割画像について、ステップＳ９０４において除去した当該分割画像の直流成分が加算される。
　ステップＳ９０７では、無相関化部２６４により、ステップＳ９０６で直流加算処理が行われた分割画像について、ステップＳ９０３におけるノイズの無相関化処理の逆変換処理が行われる。具体的には、ステップＳ９０３において、（式６）に従って平方根変換が行われた場合には、無相関化部２６４は、分割画像をＩｍ２としたとき、
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-I000007
となるように逆変換を行う。また、ステップＳ９０３において、（式７）に従って平方根変換が行われた場合には、無相関化部２６４は、分割画像をＩｍ２としたとき、
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-I000009
となるように逆変換を行う。これらの処理により、各分割画像における各画素値をノイズの無相関化処理の前における各分割画像の画素値に対応する画素値に戻すことができる。ただし、当該分割画像はステップＳ９０５においてノイズ低減処理が行われているため、各画素値はノイズが低減された画素値となる。
　ステップＳ９０８では、終了判定が行われ、全ての分割画像に対して後処理が完了した場合はステップＳ９０９へ、そうでない場合は、ステップＳ９０３～ステップＳ９０７のフローを繰り返す。
　ステップＳ９０９では、分割部２６３が、ステップＳ９０７で逆変換処理がなされた各分割画像を、ステップＳ９０２における領域分割処理の際に放射線画像を分割した位置に配置し合成処理を行うことで、複数の分割画像を結合し、全体の放射線画像を生成する。なお、ステップＳ９０２において、隣接する領域の一部が重複するように分割画像が分割されている場合には、重複している部分について、各々の元画像からの距離の重みとした加算平均処理等を行い、重複部分に画素値の段差が生まれないような画像の合成処理を行ってよい。
　ステップＳ９０９における結合処理が行われると、本実施例に係る一連の画像処理が終了する。図１０は、本実施例に係る一連の画像処理前の放射線画像１００１及び処理後の放射線画像１００２の一例を示す。放射線画像１００１と放射線画像１００２を比べると、本実施例に係る一連の画像処理を施した放射線画像１００２では、放射線画像１００１に含まれるノイズが低減され、放射線画像に含まれる被検査物Ｏが明瞭に示されていることが分かる。
　なお、本実施例では、ステップＳ４０４及びステップＳ９０３において、無相関化部２６４が、ノイズの無相関化処理として平方根変換を行う構成とした。しかしながら、ノイズの無相関化処理はこれに限られず、ポアソン分布の分散を安定化させることができる処理であれば他の処理を用いてもよい。例えば、無相関化部２６４は、放射線画像を対数変換することで、ノイズの無相関化処理を行ってもよい。具体的には、放射線画像（入力画像）をＩｍとしたとき、
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-I000011
となるように、放射線画像を対数変換する。この場合、ステップＳ９０７における逆変換処理では、無相関化部２６４は、放射線画像をＩｍ２としたとき、
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-I000013
となるように放射線画像に対して逆変換を行う。このような場合にも、放射線画像に含まれるノイズについて、信号の大きさとの相関関係を解消することができ、このような画像に基づく学習データを用いた機械学習モデルによる学習を簡易化することができる。
　このように、本実施例に係る一連の画像処理では、学習処理部２６１によって作成した学習済モデルを用いて推論処理部２６２の処理を行うことで、デジタル放射線撮影装置において好適なノイズ低減を行った放射線画像を生成することができる。
　上記のように、本実施例に係る制御部２０は、取得部２１と、演算処理部２６６とを備える。取得部２１は、被検査物Ｏの第１の放射線画像を取得する。演算処理部２６６は、高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに取得部２１により取得された第１の放射線画像を入力することにより、第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部の一例として機能する。ここで、ノイズは高周波成分が減衰したノイズを含む。具体的には、放射線検出器１０に含まれる蛍光体１１の変調伝達関数（ＭＴＦ）に応じたノイズを含む。
　本実施例では、人工ノイズは、例えば、加法性の白色雑音などの放射線検出器１０のシステムノイズを模したノイズと、ポアソン分布に従うノイズにＭＴＦの影響を勘案した量子ノイズ（高周波成分が減衰したノイズ）とを合成したノイズとを含む。例えば、人工ノイズは、放射線検出器１０のシステムノイズを模したノイズと高周波成分が減衰したノイズを所定の合成比率で合成したノイズを含んでよい。また、例えば、人工ノイズは、放射線検出器１０のシステムノイズを模したノイズと高周波成分が減衰したノイズとを、学習データに用いる被検査物Ｏの放射線画像に含まれる全体のノイズの分散と、システムノイズの分散、量子ノイズの分散、及び放射線画像の信号の値との関係性を用いて定められた合成比率で合成したノイズを含んでよい。さらに、人工ノイズは、放射線検出器１０のシステムノイズを模したノイズと高周波成分が減衰したノイズとを第１の合成比率で合成したノイズと、第１の合成比率とは異なる第２の合成比率で合成したノイズとを含んでいてもよい。また、人工ノイズは、ランダムノイズとランダムノイズとは異なるノイズとを含んでよい。
　上記のような構成により、本実施例に係る制御部２０は、学習済モデルを用いて、放射線画像から蛍光体に起因するボケの生じたノイズ（高周波成分が減衰したノイズ）を含むノイズが低減された放射線画像を生成することができる。このような放射線画像を用いることで、画像解析をより適切に行うことを支援したり、医師による適切な画像診断を支援したりすることができる。
　また、制御部２０は、無相関化部２６４を更に備える。無相関化部２６４は、被検査物Ｏの放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化する（略一定にする）ように、被検査物Ｏの放射線画像に対して変換処理を行う変換部の一例として機能する。無相関化部２６４は、第１の放射線画像に対して変換処理を行い、演算処理部２６６は、変換処理が行われた第１の放射線画像に基づいて第２の放射線画像を生成する。また、無相関化部２６４は、第２の放射線画像に対して変換処理の逆変換処理を行う。
　より具体的には、無相関化部２６４は、第１の放射線画像に対して、平方根変換処理を行い、第２の放射線画像に対して、平方根変換処理の逆変換処理を行う。このような構成により、機械学習モデルによる学習をより簡易化することができ、学習済モデルを用いたノイズ低減処理の精度を向上させることができる。
　また、制御部２０は、直流除去部２６５を更に備える。直流除去部２６５は、被検査物Ｏの放射線画像に含まれる画素値の平均値を調整する調整部の一例として機能する。直流除去部２６５は、無相関化部２６４による変換処理が行われた第１の放射線画像に含まれる各画素値から、該画素値の平均値を減算する。演算処理部２６６は、平均値が減算された第１の放射線画像に基づいて第２の放射線画像を生成する。直流除去部２６５は、第２の放射線画像に含まれる各画素値に減算した平均値を加算する。無相関化部２６４は、平均値が加算された第２の放射線画像に対して逆変換処理を行う。このような構成により、入力画像（放射線画像）毎の明るさのばらつきを抑制し、機械学習モデルが、画像内のノイズの形状（分布）の特徴を学習し易くすることができ、学習済モデルを用いたノイズ低減処理の精度を向上させることができる。
　なお、学習データは、被検査物Ｏの放射線画像に対して、ノイズの無相関化処理に関する変換処理を行った放射線画像を含むことができる。また、学習データは、変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を含むことができる。さらに、学習データは、第１の放射線画像に対して行う平方根変換におけるノイズの標準偏差に比べ、ノイズの標準偏差が大きくなるように平方根変換を行った放射線画像を含むことができる。
　なお、学習データは、被検査物Ｏの放射線画像に人工ノイズを加算した放射線画像を入力データとし、被検査物Ｏの放射線画像を正解データとしたデータを含むことができる。また、学習データは、ノイズの無相関化処理に関する変換処理を行った放射線画像に人工ノイズを加算した放射線画像を入力データとし、当該変換処理を行った放射線画像を正解データとしたデータを含むことができる。さらに、学習データは、画素値の平均値が減算された放射線画像に人工ノイズを加算した放射線画像を入力データとし、画素値の平均値が減算された放射線画像を正解データとしたデータを含むことができる。
　また、制御部２０は、分割部２６３を更に備える。分割部２６３は、放射線画像を複数の放射線画像に分割する分割部の一例として機能する。分割部２６３は、被検査物Ｏの放射線画像を、複数の第１の放射線画像に分割する。演算処理部２６６は、複数の第１の放射線画像に基づいて複数の第２の放射線画像を生成する。分割部２６３は、複数の第２の放射線画像を結合して、ノイズが低減された第３の放射線画像を生成する。このとき、学習データに用いる放射線画像は、被検査物Ｏの放射線画像を分割した複数の放射線画像を含むことができる。このような構成により、放射線画像の画素数が、学習済モデルによって一度に処理を行うことができる画素数を超えてしまう場合であっても、ノイズ低減処理を行った放射線画像を生成することができる。
　なお、本実施例では、ステップＳ４０２及びステップＳ９０２において、分割部２６３が、取得された放射線画像を複数の分割画像に分割した。しかしながら、ノイズ低減処理の対象となる放射線画像の画素数が、機械学習モデルによって一度に処理できる画素数以下の場合には、当該分割処理を行う必要はない。この場合、ステップＳ４０２及びステップＳ９０２以降の処理は、取得された放射線画像全体について行われればよい。
　なお、放射線画像全体について処理を行う場合であっても、ステップＳ４０５及びステップＳ９０４における直流除去処理、並びにステップＳ９０６における直流加算処理を行うことができる。この場合には、放射線画像毎の明るさのばらつきを抑制し、学習済モデルから出力される画像毎の明るさのばらつきが強調されてしまうことを抑制することができる。
　また、本実施例では、ステップＳ４０４及びステップＳ９０３において、無相関化部２６４が、ノイズの無相関化処理として平方根変換を行う構成とした。しかしながら、ノイズの無相関化処理はこれに限られず、ポアソン分布の分散を安定化させることができる処理であれば他の処理を用いてもよい。例えば、無相関化部２６４は、放射線画像を対数変換することで、ノイズの無相関化処理を行ってもよい。具体的には、放射線画像（入力画像）をＩｍとしたとき、
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-I000015
となるように、放射線画像を対数変換する。この場合、ステップＳ９０７における逆変換処理では、無相関化部２６４は、放射線画像をＩｍ２としたとき、
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-I000017
となるように放射線画像に対して逆変換を行う。このような場合にも、放射線画像に含まれるノイズについて、信号の大きさとの相関関係を解消することができ、このような画像に基づく学習データを用いた機械学習モデルによる学習を簡易化することができる。
　また、上述のように、機械学習モデルの学習や学習データの生成を行う学習装置は制御部２０と別個に設けられてよく、学習装置は、取得部２１及び学習部の一例として機能する画像処理部２２に対応する構成を備えていればよい。また、学習済モデルは予め学習が行われた機械学習モデルであればよく、学習済モデルを用いたノイズ低減処理を含む画像処理の度に学習が行われる必要はない。また、学習済モデルは制御部２０に接続された外部記憶装置７０等に設けられてもよく、例えば、制御部２０にインターネット等のネットワーク６０を介して接続されるクラウドサーバやフォグサーバ、エッジサーバ等に設けられてもよい。
（実施例２）
　次に、図１１を参照して、本開示の実施例２に係る学習データの生成方法について説明する。先に述べたように、学習処理部において、人工ノイズの加算のタイミングは、推論処理部で行われる各処理の間の任意のタイミングでよい。本実施例に係る学習データの生成方法では、人工ノイズの加算処理を、ノイズの無相関化処理及び直流除去処理を含む前処理の後で行う。なお、学習データを生成する学習処理部は、実施例１で説明した構成と同様であるため、実施例１に係る学習処理部２６１に関する参照符号を用いて説明を省略する。
　ステップＳ１１０１及びステップＳ１１０２、並びにステップＳ１１０３及びＳ１１０４は、実施例１に係る学習データの生成方法に関するステップＳ４０１及びステップＳ４０２、並びにステップＳ４０４及びステップＳ４０５と同様である。ステップＳ１１０５において、人工ノイズ加算部２６７が、ステップＳ１１０４で直流除去された後の画像に対して人工ノイズを加算する。そのため、人工ノイズ加算部２６７は、本実施例に係る人工ノイズ加算処理（ステップＳ１１０５）では、実施例１に係る人工ノイズａｄｄＮｏｉｓｅとは異なる人工ノイズａｄｄＮｏｉｓｅ２を加算する。
　以下、人工ノイズａｄｄＮｏｉｓｅ２について、より詳細に説明する。まず、システムノイズを模擬した人工システムノイズｓＮｏｉｓｅ２を、ＡＷＧＮとする。また、量子ノイズを模擬した人工量子ノイズｑＮｏｉｓｅ２を、ポアソン分布に従うノイズであって、空間周波数特性が蛍光体１１のＭＴＦに従うノイズとする。本実施例では、蛍光体１１のＭＴＦを２次元フィルタで近似したものをｆＭＴＦとしたとき、ポアソン分布に従うノイズ画像ｐＮｏｉｓｅにｆＭＴＦを畳み込み、
　ｑＮｏｉｓｅ２＝ｐＮｏｉｓｅ×ｆＭＴＦ（式１３）
とする。
　この場合において、αを合成比率とすると、本実施例に係る加算する人工ノイズａｄｄＮｏｉｓｅは、
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-I000019
とすることができる。ここで、合成比率αは０～１の値をとり、適宜の固定値か、又はランダムに変更する値（任意の値）として与えることができる。ただし、人工システムノイズｓＮｏｉｓｅ２の標準偏差、人工量子ノイズｑＮｏｉｓｅ２の標準偏差、及び加算する人工ノイズａｄｄＮｏｉｓｅ２の標準偏差は同じとなるようにする。ここで、ステップＳ１１０３において、例えば（式７）に従って標準偏差を１に正規化している場合には、人工システムノイズｓＮｏｉｓｅ２の標準偏差、人工量子ノイズｑＮｏｉｓｅ２の標準偏差、及び加算する人工ノイズａｄｄＮｏｉｓｅ２の標準偏差が１となるようにすればよい。
　また、合成比率αは、放射線画像におけるノイズの分散σａｌｌ ２に関する（式１）で示されるノイズと信号の関係性を用いて、放射線画像の信号Ｉｓｉｇに応じて定めてもよい。例えば、
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-I000021
としたとき、
Figure JPOXMLDOC01-appb-M000022
とすることができる。なお、（式１）で示されるノイズと信号の関係性を用いた合成比率αの当該定め方は一例であり、この他にも（式１）で示されるノイズと信号の関係性や信号Ｉｓｉｇに応じて合成比率αを定めてもよい。
　人工ノイズ加算部２６７は、このようにして求めた人工ノイズａｄｄＮｏｉｓｅ２をステップＳ１１０４において直流除去された分割画像Ｉｍｅ’に加算し、分割画像を
　Ｉｍａｄｄ＝Ｉｍｅ’＋ａｄｄＮｏｉｓｅ２（式１７）
とする。
　本実施例では、ステップＳ１１０４において直流除去された分割画像Ｉｍｅ’を学習データの正解データとし、ステップＳ１１０５において人工ノイズａｄｄＮｏｉｓｅ２が加算された分割画像Ｉｍａｄｄを学習データの入力データとする。このような学習データを学習することで得られた学習済モデルは、放射線画像において生じるノイズに対応する人工ノイズの特徴の傾向を学習することができ、放射線画像からノイズが低減された放射線画像を出力することができる。
　その後のステップＳ１１０６、ステップＳ１１０７、及びステップＳ１１０８に関しては、実施例１に係るステップＳ４０６、ステップＳ４０７、及びステップＳ４０８と同様である。
　上記のように、本実施例では、学習データの入力データについて、人工システムノイズｓＮｏｉｓｅ２と量子ノイズを模擬した人工量子ノイズｑＮｏｉｓｅ２を加算（合成）して得た人工ノイズａｄｄＮｏｉｓｅ２をノイズの無相関化処理後の放射線画像に加算した。このような処理の順番で学習を行った場合でも、実施例１と同様に、学習処理部２６１は適切な学習済モデルを作成することができ、推論処理部２６２の処理を行うことでデジタル放射線撮影装置において好適なノイズ低減を行った放射線画像を生成することができる。なお、ここでは人工ノイズ加算を直流除去の後に行う例を示したが、ノイズ無相関化の後に行っても同等の効果を得ることができる。
（変形例１）
　ノイズ低減処理に用いられる学習済モデルは、ノイズ低減処理を行う放射線画像の被検査物Ｏの種類毎に用意されてもよい。例えば、人体の胸腹部を被検査物Ｏとする放射線画像を学習データに用いた学習済モデルや、非破壊検査に係る対象物を被検査物Ｏとする放射線画像を学習データに用いた学習済モデルを用意してもよい。この場合、演算処理部２６６は、処理を行う放射線画像の被検査物Ｏの種類毎に、ノイズ低減処理に用いる学習済モデルを選択することができる。
　画像における特徴部は被検査物Ｏの種類ごとにも異なるため、このように被検査物Ｏの種類毎に学習済モデルを用意することで、演算処理部２６６は、被検査物Ｏの種類に応じてより適切にノイズが低減された放射線画像を生成することができる。また、同様に、被検査物Ｏ毎、例えば、患者毎や撮影部位毎、非破壊検査の対象物の種類毎に学習済モデルを用意してもよい。なお、これらの学習済モデルは、後述する変形例２と同様に、転移学習を行うことで生成されてもよいし、それぞれの学習データのセットを用いて学習を行うことで生成されてもよい。
（変形例２）
　ノイズ低減処理に用いる学習済モデルについて、放射線検出器毎に調整（チューニング）する学習を行い、その放射線検出器専用の学習済モデルを生成してもよい。例えば、ノイズが低減された放射線画像を生成するための汎用的な学習済モデルに、或る放射線検出器により取得された放射線画像を用いて転移学習を行い、その放射線検出器専用の学習済モデルを生成することができる。また、各放射線検出器専用の学習済モデルを放射線検出器のＩＤと紐付けて記憶部２５やサーバ等の外部記憶装置７０等に記憶させておくことができる。この場合には、制御部２０は、放射線検出器を用いて取得した放射線画像のノイズ低減処理を行う際に、複数の学習済モデルから、放射線検出器のＩＤに基づいてその放射線検出器用の学習済モデルを特定して利用することができる。このような放射線検出器専用の学習済モデルを用いることで、ノイズ低減処理の精度を向上させることができる。なお、各放射線検出器専用の学習済モデルの生成方法は転移学習に限られず、それぞれの放射線検出器を用いて取得された放射線画像を用いた学習データにより学習を行うことで、それぞれの学習済モデルを生成してもよい。
　また、演算処理部２６６は、学習済モデルを用いてノイズ低減処理を行う放射線画像について、放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦに基づいて変形してから学習済モデルに入力してもよい。ノイズ低減を行う放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦが、学習データに用いた放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦと異なる場合には、ノイズ低減処理の効果が好適でない可能性がある。このため、演算処理部２６６は、学習データに用いる放射線画像の取得に用いた放射線検出器に含まれる蛍光体のＭＴＦに対する、ノイズ低減処理を行う放射線画像の取得に用いた放射線検出器に含まれる蛍光体のＭＴＦの比に応じて、放射線画像を変形してもよい。
　この場合には、演算処理部２６６は、変形した放射線画像を学習済モデルに入力する。また、演算処理部２６６は、当該蛍光体のＭＴＦの比の逆数を用いて、学習済モデルから出力されたノイズが低減された放射線画像を変形する。これにより、ノイズ低減を行う放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦが、学習データに用いた放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦと異なる場合において、ノイズ低減の効果が弱まることを抑制することができる。なお、放射線画像の当該変換処理は、ノイズ低減処理（ステップＳ９０５）よりも前に行われればよい。また、放射線画像の当該逆変換処理は、ノイズ低減処理（ステップＳ９０５）よりも後であって、放射線画像の当該変換が行われた処理の順番に対応する順番で行われればよい。例えば、当該変換処理がノイズの無相関化処理（ステップＳ９０３）の前に行われた場合には、当該逆変換処理はノイズの無相関化処理に関する逆変換処理（ステップＳ９０７）の後に行われればよい。なお、ノイズの低減処理、当該放射線画像の変換処理、及びその逆変換処理のそれぞれを行う別個の構成要素を設けてもよく、この場合には、それぞれの構成要素を含む機能ブロックを演算処理部２６６とすることができる。
（変形例３）
　演算処理部２６６が用いる機械学習モデルについては、ＣＮＮの構成として、変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ　Ａｕｔｏ－Ｅｎｃｏｄｅｒ）や、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ、ＤｅｎｓｅＮｅｔ等、任意の層構成を組み合わせて用いることもできる。一般的なニューラルネットワークでは、各ユニット（各ニューロン又は各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
（変形例４）
　また、各種学習済モデルの学習データは、実際の撮影を行う放射線検出器自体を用いて得たデータに限られず、所望の構成に応じて、同型の放射線検出器を用いて得たデータや、同種の放射線検出器を用いて得たデータ等であってもよい。なお、上述の実施例及び変形例に係る、ノイズ低減処理用の学習済モデルは、例えば、放射線画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、ノイズ低減された放射線画像の生成に係る推定処理に用いているものと考えられる。
　また、上述した実施例及び変形例に係る学習済モデルは制御部２０に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部２０と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部２０は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。
　本開示の上記実施例及び変形例によれば、デジタル放射線撮影装置において好適なノイズ低減処理を行うことができる。
（その他の実施例）
　本発明は、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
　このとき、プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
　本発明は上記実施例及び変形例に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２０年８月２６日提出の日本国特許出願特願２０２０－１４３０３７、及び２０２１年７月２８日提出の日本国特許出願特願２０２１－１２３３２９を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
２０：制御部（画像処理装置）、２１：取得部、２６６：演算処理部（生成部）

Claims (37)

  1. 　被検査物の第１の放射線画像を取得する取得部と、
    　高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得部により取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部と、
    　を備える画像処理装置。
  2. 　前記生成部は、放射線検出器に含まれる蛍光体の変調伝達関数に応じて前記高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第１の放射線画像を入力することにより、前記第２の放射線画像を生成する、請求項１に記載の画像処理装置。
  3. 　前記生成部は、放射線検出器のシステムノイズを模したノイズと前記高周波成分が減衰したノイズとを含む人工ノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第１の放射線画像を入力することにより、前記第２の放射線画像を生成する、請求項１又は２に記載の画像処理装置。
  4. 　前記人工ノイズは、前記放射線検出器のシステムノイズを模したノイズと前記高周波成分が減衰したノイズとを所定の合成比率で合成したノイズを含む、請求項３に記載の画像処理装置。
  5. 　前記生成部は、前記放射線検出器のシステムノイズを模したノイズと前記高周波成分が減衰したノイズとを第１の合成比率で合成した人工ノイズを加算して得た放射線画像と、前記放射線検出器のシステムノイズを模したノイズと前記高周波成分が減衰したノイズとを前記第１の合成比率とは異なる第２の合成比率で合成した人工ノイズを加算して得た放射線画像とを含む学習データを用いて学習して得た学習済モデルに前記第１の放射線画像を入力することにより、前記第２の放射線画像を生成する、請求項４に記載の画像処理装置。
  6. 　前記人工ノイズの平均値又は中央値は０である、請求項３乃至５のいずれか一項に記載の画像処理装置。
  7. 　被検査物の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、被検査物の放射線画像に対して変換処理を行う変換部を更に備え、
    　前記変換部は、前記第１の放射線画像に対して前記変換処理を行い、
    　前記生成部は、前記変換処理が行われた前記第１の放射線画像に基づいて前記第２の放射線画像を生成し、
    　前記変換部は、前記第２の放射線画像に対して前記変換処理の逆変換処理を行う、請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 　前記変換部は、
    　　前記第１の放射線画像に対して、平方根変換処理を行い、
    　　前記第２の放射線画像に対して、平方根変換処理の逆変換処理を行う、請求項７に記載の画像処理装置。
  9. 　被検査物の放射線画像に含まれる画素値の平均値を調整する調整部を更に備え、
    　前記調整部は、前記変換処理が行われた前記第１の放射線画像に含まれる各画素値から、該画素値の平均値を減算し、
    　前記生成部は、前記平均値が減算された第１の放射線画像に基づいて前記第２の放射線画像を生成し、
    　前記調整部は、前記第２の放射線画像に含まれる各画素値に前記平均値を加算し、
    　前記変換部は、前記平均値が加算された前記第２の放射線画像に対して前記逆変換処理を行う、請求項７又は８に記載の画像処理装置。
  10. 　前記学習データは、被検査物の放射線画像に対して前記変換処理を行った放射線画像を含む、請求項７乃至９のいずれか一項に記載の画像処理装置。
  11. 　前記学習データは、前記第１の放射線画像に対して行う平方根変換におけるノイズの標準偏差に比べ、ノイズの標準偏差が大きくなるように平方根変換を行った放射線画像を含む、請求項１０に記載の画像処理装置。
  12. 　前記学習データは、前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を含む、請求項７乃至１１のいずれか一項に記載の画像処理装置。
  13. 　前記学習データは、前記変換処理を行った放射線画像に正規化処理を施した放射線画像と、前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像とを入力データとして含む、請求項１２に記載の画像処理装置。
  14. 　前記学習データは、被検査物の放射線画像に前記ノイズを加算した放射線画像を入力データとし、被検査物の放射線画像を正解データとしたデータを含む、請求項１乃至１３のいずれか一項に記載の画像処理装置。
  15. 　前記学習データは、前記ノイズを加算した放射線画像に前記変換処理を行った放射線画像を入力データとし、前記変換処理を行った放射線画像を正解データとしたデータを含む、請求項７乃至１３のいずれか一項に記載の画像処理装置。
  16. 　前記学習データは、前記ノイズを加算した放射線画像から前記画素値の平均値を減算した放射線画像を入力データとし、前記画素値の平均値が減算された放射線画像を正解データとしたデータを含む、請求項９又は１２に記載の画像処理装置。
  17. 　前記学習データは、前記ノイズが加算された被検査物の放射線画像に対して前記変換処理を行った放射線画像を入力データとし、被検査物の放射線画像に対して前記変換処理を行った放射線画像を正解データとしたデータを含む、請求項７乃至１３のいずれか一項に記載の画像処理装置。
  18. 　前記学習データは、前記ノイズが加算された被検査物の放射線画像に対して前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を入力データとし、被検査物の放射線画像に対して前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を正解データとしたデータを含む、請求項９又は１２に記載の画像処理装置。
  19. 　放射線画像を複数の放射線画像に分割する分割部を更に備え、
    　前記分割部は、被検査物の放射線画像を、複数の第１の放射線画像に分割し、
    　前記生成部は、前記複数の第１の放射線画像に基づいて複数の第２の放射線画像を生成し、
    　前記分割部は、前記複数の第２の放射線画像を結合して、ノイズが低減された第３の放射線画像を生成する、請求項１乃至１８のいずれか一項に記載の画像処理装置。
  20. 　前記学習データに用いる放射線画像は、被検査物の放射線画像を分割した複数の放射線画像を含む、請求項１乃至１９のいずれか一項に記載の画像処理装置。
  21. 　前記生成部は、
    　　前記学習データに用いる被検査物の放射線画像の取得に用いた放射線検出器に含まれる蛍光体の変調伝達関数に対する、前記第１の放射線画像の取得に用いた放射線検出器に含まれる蛍光体の変調伝達関数の比に応じて前記第１の放射線画像を変形し、
    　　前記学習済モデルを用いて、前記変形された第１の放射線画像から第２の放射線画像を生成し、
    　　前記比の逆数に応じて前記第２の放射線画像を変形する、請求項１乃至２０のいずれか一項に記載の画像処理装置。
  22. 　前記学習済モデルは、エンコーダー機能とデコーダー機能とを有するＵ字型の構造を含むニューラルネットワークを含み、前記ニューラルネットワークは、デコーダー側の１層目の畳み込み層から出力されるデータに入力データを加算する加算層を有する、請求項１乃至２１のいずれか一項に記載の画像処理装置。
  23. 　被検査物の放射線画像と、ランダムノイズとランダムノイズとは異なるノイズとを前記放射線画像に加算した放射線画像と、を含む学習データを用いて学習した学習済モデルに第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部を備える画像処理装置。
  24. 　機械学習モデルに高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを学習させる学習部を備える、学習装置。
  25. 　被検査物の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、被検査物の放射線画像に対して変換処理を行う変換部を更に備え、
    　前記学習部は、前記変換部により前記変換処理が行われた被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させる、請求項２４に記載の学習装置。
  26. 　被検査物の放射線画像に含まれる画素値の平均値を調整する調整部を更に備え、
    　前記調整部は、前記変換処理が行われた被検査物の放射線画像に含まれる各画素値から、該画素値の平均値を減算し、
    　前記学習部は、前記平均値が減算された被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させる、請求項２５に記載の学習装置。
  27. 　被検査物の放射線画像を複数の放射線画像に分割する分割部を更に備え、
    　前記学習部は、前記分割部によって分割された複数の放射線画像を用いた学習データを機械学習モデルに学習させる、請求項２４乃至２６のいずれか一項に記載の学習装置。
  28. 　被検査物の第１の放射線画像を取得することと、
    　高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成することと、
    を含む、画像処理方法。
  29. 　前記第１の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、前記第１の放射線画像に対して変換処理を行うことと、
    　前記第２の放射線画像に対して前記変換処理の逆変換処理を行うことと、
    を更に含み、
    　前記第２の放射線画像を生成することは、前記変換処理が行われた前記第１の放射線画像に基づいて前記第２の放射線画像を生成することを含む、請求項２８に記載の画像処理方法。
  30. 　前記変換処理が行われた前記第１の放射線画像に含まれる各画素値から、該画素値の平均値を減算することと、
    　前記第２の放射線画像に含まれる各画素値に前記平均値を加算することと、
    を更に含み、
    　前記第２の放射線画像を生成することは、前記平均値が減算された第１の放射線画像に基づいて前記第２の放射線画像を生成することを含み、
    　前記逆変換処理を行うことは、前記平均値が加算された前記第２の放射線画像に対して前記逆変換処理を行うことを含む、請求項２９に記載の画像処理方法。
  31. 　被検査物の放射線画像を、複数の第１の放射線画像に分割することと、
    　複数の第２の放射線画像を結合してノイズが低減された第３の放射線画像を生成することと、
    を更に含み
    　前記第２の放射線画像を生成することは、前記複数の第１の放射線画像に基づいて複数の第２の放射線画像を生成することを含む、請求項２８乃至３０のいずれか一項に記載の画像処理方法。
  32. 　機械学習モデルに高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを学習させることを含む、学習方法。
  33. 　被検査物の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、被検査物の放射線画像に対して変換処理を行うことを更に含み、
    　前記学習させることは、前記変換処理が行われた被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させることを含む、請求項３２に記載の学習方法。
  34. 　前記変換処理が行われた被検査物の放射線画像に含まれる各画素値から、該画素値の平均値を減算することを更に含み、
    　前記学習させることは、前記平均値が減算された被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させることを含む、請求項３３に記載の学習方法。
  35. 　被検査物の放射線画像を複数の放射線画像に分割することを更に含み、
    　前記学習させることは、前記分割された複数の放射線画像を用いた学習データを機械学習モデルに学習させることを含む、請求項３２乃至３４のいずれか一項に記載の学習方法。
  36. 　コンピュータによって実行されると、該コンピュータに請求項２８乃至３１のいずれか一項に記載の画像処理方法の各工程を実行させるプログラム。
  37. 　コンピュータによって実行されると、該コンピュータに請求項３２乃至３５のいずれか一項に記載の学習方法の各工程を実行させるプログラム。
PCT/JP2021/031218 2020-08-26 2021-08-25 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム Ceased WO2022045210A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21861633.2A EP4190243A4 (en) 2020-08-26 2021-08-25 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, LEARNING DEVICE, LEARNING METHOD AND PROGRAM
CN202180051396.0A CN115943420A (zh) 2020-08-26 2021-08-25 图像处理装置、图像处理方法、训练装置、训练方法、以及程序
US18/169,262 US12499517B2 (en) 2020-08-26 2023-02-15 Image processing apparatus, image processing method, and computer-readable medium
US19/387,844 US20260073487A1 (en) 2020-08-26 2025-11-13 Image processing apparatus, image processing method, and computer-readable medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020143037 2020-08-26
JP2020-143037 2020-08-26
JP2021123329A JP7566696B2 (ja) 2020-08-26 2021-07-28 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP2021-123329 2021-07-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/169,262 Continuation US12499517B2 (en) 2020-08-26 2023-02-15 Image processing apparatus, image processing method, and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2022045210A1 true WO2022045210A1 (ja) 2022-03-03

Family

ID=80355315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/031218 Ceased WO2022045210A1 (ja) 2020-08-26 2021-08-25 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム

Country Status (4)

Country Link
US (2) US12499517B2 (ja)
EP (1) EP4190243A4 (ja)
CN (1) CN115943420A (ja)
WO (1) WO2022045210A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025258151A1 (ja) * 2024-06-11 2025-12-18 浜松ホトニクス株式会社 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7381297B2 (ja) * 2019-11-07 2023-11-15 キヤノン株式会社 放射線撮像装置、放射線撮像システム、制御装置、制御方法、および、プログラム
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
US12154252B2 (en) * 2021-09-30 2024-11-26 Saudi Arabian Oil Company Method for denoising wellbore image logs utilizing neural networks
US12555294B2 (en) * 2022-06-01 2026-02-17 Faro Technologies, Inc. Segmentation of computed tomography voxel data using machine learning
CN118941465B (zh) * 2024-09-13 2025-11-04 内蒙古工业大学 基于DnCNN预训练模型的SAR图像去斑降噪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5611394A (en) * 1979-07-11 1981-02-04 Fuji Photo Film Co Ltd Radiation image imformation writeereading device
JP4679710B2 (ja) 2000-10-25 2011-04-27 富士フイルム株式会社 ノイズ抑制処理装置並びに記録媒体
JP2017148125A (ja) * 2016-02-22 2017-08-31 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018038789A (ja) * 2016-09-02 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
WO2019240257A1 (ja) * 2018-06-15 2019-12-19 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JP2020143037A (ja) 2019-03-08 2020-09-10 北海道公立大学法人 札幌医科大学 糖尿病合併心不全の治療用医薬組成物
JP2021123329A (ja) 2020-02-05 2021-08-30 光陽工業股▲分▼有限公司 自動二輪車におけるスイングアームの構成

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP6214226B2 (ja) 2013-06-06 2017-10-18 キヤノン株式会社 画像処理装置、断層撮影装置、画像処理方法およびプログラム
US10064591B2 (en) * 2014-07-09 2018-09-04 The Johns Hopkins University System, method and computer readable medium for preview of low-dose x-ray projection and tomographic images
JP6491545B2 (ja) 2015-06-12 2019-03-27 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体
JP6570330B2 (ja) 2015-06-12 2019-09-04 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions
JP2017176258A (ja) * 2016-03-28 2017-10-05 キヤノン株式会社 放射線検出装置及び放射線撮像システム
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
US9977216B2 (en) * 2016-07-14 2018-05-22 Microsoft Technology Licensing, Llc Passive lens athermalization using liquid lens
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
JP7208723B2 (ja) * 2018-07-09 2023-01-19 キヤノン株式会社 画像処理装置およびその制御方法、放射線撮影システム、プログラム
JP7134017B2 (ja) 2018-08-14 2022-09-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US12029594B2 (en) * 2018-08-21 2024-07-09 The Salk Institute For Biological Studies, A Corporation Of California Systems and methods for enhanced imaging and analysis
US10949951B2 (en) * 2018-08-23 2021-03-16 General Electric Company Patient-specific deep learning image denoising methods and systems
US10740901B2 (en) * 2018-12-17 2020-08-11 Nvidia Corporation Encoder regularization of a segmentation model
KR102864473B1 (ko) * 2019-08-07 2025-09-25 한국전자통신연구원 심층 신경망을 기반으로 영상의 압축 포아송 잡음을 제거하는 방법 및 장치
CN110517198B (zh) * 2019-08-22 2022-12-27 太原科技大学 用于ldct图像去噪的高频敏感gan网络
JP7418171B2 (ja) 2019-08-30 2024-01-19 キヤノン株式会社 画像処理装置、放射線撮影システム、画像処理方法及びプログラム
JP7497145B2 (ja) 2019-08-30 2024-06-10 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム
CN112770838B (zh) * 2019-10-01 2023-08-25 长沙微妙医疗科技有限公司 使用自关注深度学习进行图像增强的系统和方法
CN111047524A (zh) * 2019-11-13 2020-04-21 浙江工业大学 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法
US11580678B2 (en) * 2020-03-02 2023-02-14 GE Precision Healthcare LLC Systems and methods for interpolation with resolution preservation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5611394A (en) * 1979-07-11 1981-02-04 Fuji Photo Film Co Ltd Radiation image imformation writeereading device
JP4679710B2 (ja) 2000-10-25 2011-04-27 富士フイルム株式会社 ノイズ抑制処理装置並びに記録媒体
JP2017148125A (ja) * 2016-02-22 2017-08-31 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018038789A (ja) * 2016-09-02 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
WO2019240257A1 (ja) * 2018-06-15 2019-12-19 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JP2020143037A (ja) 2019-03-08 2020-09-10 北海道公立大学法人 札幌医科大学 糖尿病合併心不全の治療用医薬組成物
JP2021123329A (ja) 2020-02-05 2021-08-30 光陽工業股▲分▼有限公司 自動二輪車におけるスイングアームの構成

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP4190243A4
XIAO-JIAO MAOCHUNHUA SHENYU-BIN YANG: "Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections", ARXIV: 1606.08921, 2016

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025258151A1 (ja) * 2024-06-11 2025-12-18 浜松ホトニクス株式会社 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム
JP7850363B1 (ja) 2024-06-11 2026-04-22 浜松ホトニクス株式会社 学習方法、推論モデル、ノイズ除去方法、ノイズ除去プログラム及びノイズ除去システム

Also Published As

Publication number Publication date
EP4190243A1 (en) 2023-06-07
US20230206404A1 (en) 2023-06-29
US12499517B2 (en) 2025-12-16
CN115943420A (zh) 2023-04-07
EP4190243A4 (en) 2024-08-07
US20260073487A1 (en) 2026-03-12

Similar Documents

Publication Publication Date Title
WO2022045210A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
US20130051516A1 (en) Noise suppression for low x-ray dose cone-beam image reconstruction
US12182970B2 (en) X-ray imaging restoration using deep learning algorithms
JP6525772B2 (ja) 画像処理装置、画像処理方法、放射線撮影システムおよび画像処理プログラム
US20230038871A1 (en) Systems and methods for real-time video enhancement
JP7566696B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP6746676B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN115988995B (zh) 用于实时视频去噪的系统和方法
WO2019044241A1 (ja) 情報処理装置、放射線撮影装置、情報処理方法およびプログラム
WO2013094186A1 (ja) 動き追従ｘ線ｃｔ画像処理方法および動き追従ｘ線ｃｔ画像処理装置
WO2022091869A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP5223266B2 (ja) Ｘ線画像システム
JP2023088665A (ja) 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム
EP4396700B1 (en) Denoising of medical images using a machine-learning method
EP4552070A1 (en) Controllable no-reference denoising of medical images
CN111127371B (zh) 图像增强参数自动优化方法、存储介质和x射线扫描装置
Wang et al. Gan-based architecture for low-dose computed tomography imaging denoising
JP7520802B2 (ja) 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム
JP7532332B2 (ja) 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム
JP2025057766A (ja) 画像処理装置、放射線撮影システム、画像処理方法、及びプログラム
US20260073599A1 (en) Optimizing ct image formation in simulated x-rays
Kabelac et al. Latent space reconstruction for missing data problems in CT
US20240394849A1 (en) Image processing apparatus, radiation imaging system, method of operating image processing apparatus, and computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861633

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202347014351

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2021861633

Country of ref document: EP

Effective date: 20230301

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 202347014351

Country of ref document: IN