WO2021153604A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2021153604A1
WO2021153604A1 PCT/JP2021/002809 JP2021002809W WO2021153604A1 WO 2021153604 A1 WO2021153604 A1 WO 2021153604A1 JP 2021002809 W JP2021002809 W JP 2021002809W WO 2021153604 A1 WO2021153604 A1 WO 2021153604A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature extraction
neural network
mth
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/002809
Other languages
English (en)
French (fr)
Inventor
二三生 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to EP21748477.3A priority Critical patent/EP4099062A4/en
Priority to CN202180009327.3A priority patent/CN114981684B/zh
Priority to US17/795,566 priority patent/US12444098B2/en
Publication of WO2021153604A1 publication Critical patent/WO2021153604A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00—Tomographic reconstruction from projections
    • G06T12/10—Image preprocessing, e.g. calibration, positioning of sources or scatter correction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00—Tomographic reconstruction from projections
    • G06T12/30—Image post-processing, e.g. metal artefact correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Definitions

  • the present disclosure relates to an apparatus and a method for creating a tomographic image after noise removal processing based on list data collected by a radiation tomography apparatus.
  • Examples of the radiation tomography apparatus capable of acquiring a tomographic image of a subject (living body) include a PET (Positron Emission Tomography) apparatus and a SPECT (Single Photon Emission Computed Tomography) apparatus.
  • the PET device includes a detector having a large number of small radiation detectors arranged around the measurement space in which the subject is placed.
  • the PET device detects a photon pair of energy 511 keV generated by the pair annihilation of electrons and positrons in the subject to which the positron emitting isotope (RI radiation source) is injected by the coincidence counting method, and this simultaneous counting is performed. Gather information. Then, based on the large number of simultaneous counting information collected, it is possible to reconstruct a tomographic image showing the spatial distribution of the occurrence frequency of photon pairs in the measurement space (that is, the spatial distribution of the RI radiation source).
  • the list data in which the coincidence counting information collected by the PET apparatus is arranged in chronological order is divided into a plurality of frames in the order of collection, and the image reconstruction process is performed using the data included in each frame of the list data.
  • This makes it possible to obtain a dynamic PET image composed of tomographic images of a plurality of frames.
  • This PET device plays an important role in the field of nuclear medicine and the like, and can be used to study, for example, biological functions and higher-order functions of the brain.
  • the tomographic image reconstructed in this way contains a lot of noise, so noise removal processing by an image filter is required.
  • Examples of the image filter used for noise removal include a Gaussian filter and a guided filter. Conventionally, a Gaussian filter has been used.
  • the guided filter has been developed in recent years and has a feature that the boundary of light and shade in an image can be well preserved as compared with the Gaussian filter.
  • Patent Document 1 and Non-Patent Documents 1 and 2 describe a technique for removing noise in a dynamic PET image by using a guided filter.
  • the techniques described in Patent Document 1 and Non-Patent Document 1 use an image obtained by integrating dynamic PET images composed of tomographic images of a plurality of frames as a guidance image during noise removal processing by a guided filter. Further, the technique described in Non-Patent Document 2 enables more effective noise removal by using a more appropriate guidance image.
  • Non-Patent Document 3 includes PET image noise by Deep Image Prior technology (Non-Patent Document 4) using a convolutional neural network (CNN), which is a type of deep neural network (DNN). The technique for removing is described.
  • CNN convolutional neural network
  • DNN deep neural network
  • Non-Patent Document 5 describes a technique that can meet the demand for improving noise removal performance.
  • the noise removing technique described in Non-Patent Document 5 requires a long time for processing.
  • the present invention provides an apparatus and method capable of creating a high-performance noise-removed tomographic image based on list data collected by a radiation tomography apparatus and shortening the time required for noise removal processing.
  • the purpose is to do.
  • the embodiment of the present invention is an image processing device.
  • the image processing device divides the list data collected by the radiation tomography device into M frames in the order of collection, and performs reconstruction processing for each m of 1 or more and M or less based on the list data included in the mth frame. It is a device that removes noise from the created m-th tomographic image, and (1) a feature extraction unit that inputs an input image to a feature extraction neural network and outputs an intermediate image from the feature extraction neural network. 2) A reconstruction unit that inputs an intermediate image to the m-th reconstruction neural network for each m of 1 or more and M or less and outputs an m-output image from the m-th reconstruction neural network, and (3) 1 or more.
  • An evaluation unit that obtains an evaluation value based on the sum of the differences between the mth tomographic image and the mth output image of each m of M or less, and (4) each process of the feature extraction unit, the reconstruction unit, and the evaluation unit. ,
  • the learning of each of the feature extraction neural network based on the evaluation value and the mth reconstruction neural network of each m of 1 or more and M or less is repeatedly performed, and the mth reconstruction neural network of each m of 1 or more and M or less is repeated. It includes a control unit that outputs a plurality of mth output images from the network.
  • the embodiment of the present invention is a radiation tomography system.
  • the radiation tomography system creates a tomography device after noise removal processing based on a radiation tomography device that collects list data for reconstructing a tomography image of a subject and a list data collected by the radiation tomography device.
  • the image processing apparatus having the above configuration is provided.
  • the embodiment of the present invention is an image processing method.
  • the list data collected by the radiation tomography apparatus is divided into M frames in the order of collection, and reconstruction processing is performed for each m of 1 or more and M or less based on the list data included in the mth frame. It is a method of removing noise of the created mth tomographic image, and (1) a feature extraction step of inputting an input image to a feature extraction neural network and outputting an intermediate image from the feature extraction neural network, and ( 2) A reconstruction step in which an intermediate image is input to the m-th reconstruction neural network for each m of 1 or more and M or less and an m-output image is output from the m-th reconstruction neural network, and (3) 1 or more.
  • a learning step for learning each of the following mth reconstructive neural networks of each m is provided, and each process of the feature extraction step, the reconstruction step, the evaluation step, and the learning step is repeatedly performed to be 1 or more and M or less.
  • a plurality of mth output images are output from the mth reconstruction neural network of each m.
  • the embodiment of the present invention it is possible to create a tomographic image with high performance noise removal based on the list data collected by the radiation tomography apparatus, and it is possible to shorten the time required for the noise removal processing. ..
  • FIG. 1 is a diagram showing a configuration of a radiation tomography system 1.
  • FIG. 2 is a diagram showing a configuration of a main part of the image processing device 3.
  • FIG. 3 is a flowchart illustrating an image processing method.
  • FIG. 4 is a graph showing a time-varying model of the activity of each of the white matter (WM), gray matter (GM), and tumor (tumor) used in the simulation.
  • FIG. 5 is a diagram showing a numerical phantom image.
  • FIG. 6 is a diagram showing a 16th tomographic image x 16 before the noise removal processing.
  • FIG. 7 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 1 on the 16th tomographic image x 16 of FIG.
  • FIG. 8 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 2 on the 16th tomographic image x 16 of FIG.
  • FIG. 9 is a diagram showing a tomographic image (static PET image) created by performing a reconstruction process using all of the list data.
  • FIG. 10 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 3 on the 16th tomographic image x 16 of FIG.
  • FIG. 11 is a diagram showing an image obtained by performing the noise removal processing of Example 1 on the 16th tomographic image x 16 of FIG.
  • FIG. 12 is a diagram showing an MRI image.
  • FIG. 13 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 4 on the 16th tomographic image x 16 of FIG.
  • FIG. 14 is a diagram showing an image obtained by performing the noise removal processing of Example 2 on the 16th tomographic image x 16 of FIG.
  • FIG. 15 is a graph showing the time change of PSNR in each of the tomographic image before the noise removal treatment, each image after the noise removal treatment of Comparative Examples 1 to 4, and each image after the noise removal treatment of Examples 1 and 2.
  • FIG. 16 is a graph showing the time change of the SSIM in each of the tomographic image before the noise removal treatment, each image after the noise removal treatment of Comparative Examples 1 to 4, and each image after the noise removal treatment of Examples 1 and 2. Is.
  • FIG. 1 is a diagram showing the configuration of the radiation tomography system 1.
  • the radiation tomography system 1 includes a radiation tomography apparatus 2 and an image processing apparatus 3.
  • FIG. 2 is a diagram showing a configuration of a main part of the image processing device 3.
  • the radiation tomography apparatus 2 is an apparatus for collecting list data for reconstructing a tomographic image of a subject.
  • Examples of the radiation tomography apparatus 2 include a PET apparatus and a SPECT apparatus.
  • the radiation tomography apparatus 2 will be described as a PET apparatus.
  • the image processing device 3 includes an image creation unit 11, a feature extraction unit 12, a reconstruction unit 13, an evaluation unit 14, a control unit 15, an image selection unit 16, and a storage unit 17.
  • a computer having a CPU, RAM, ROM, a hard disk drive, or the like is used.
  • the image processing device 3 includes an input unit (for example, a keyboard and a mouse) that receives input from the operator, and includes a display unit (for example, a liquid crystal display) that displays an image or the like.
  • the radiation tomography apparatus 2 includes a detection unit having a large number of small radiation detectors arranged around a measurement space in which a subject is placed.
  • the radiotomography apparatus 2 detects a photon pair of energy 511 keV generated by annihilation of an electron-positron pair in a subject into which a positron emitting isotope (RI radiation source) is injected by a coincidence counting method. This coincidence counting information is accumulated. Then, the radiation tomography apparatus 2 outputs a large number of accumulated coincidence counting information arranged in chronological order to the image processing apparatus 3 as list data.
  • the list data includes identification information and detection time information of a pair of radiation detectors that simultaneously count photon pairs.
  • the list data may also include photon energy information detected by each radiation detector and detection time difference information of a pair of radiation detectors.
  • the image processing device 3 reconstructs a tomographic image based on the list data.
  • an ML-EM (maximum likelihood expectation maximization) method and a successive approximation image reconstruction technique by an improved block iterative method are known.
  • OSEM ordered subset ML-EM
  • RAMLA row-action maximum likelihood algorithm
  • DRAMA dynamic RAMLA
  • the image creation unit 11 divides the list data into a plurality of frames (first to Mth frames) in the order of collection, and reconstructs each of the plurality of frames using the data included in the mth frame of the list data.
  • M number of tomographic images x 1 ⁇ x M is the dynamic PET images is used as a teacher image of the neural network.
  • the image creation unit 11 may create an input image z to be input to the neural network.
  • the input image z is preferably an image showing the morphological information of the subject. More specifically, the input image z is more list data from the list data may be a tomographic image created by performing reconstruction processing with that used in preparing the first m tomographic images x m.
  • the input image z may be a static PET image.
  • the input image z may be created for each frame, may be created in common for all frames, or may be created in common for several frames.
  • the input image z may be a tomographic image created by performing a reconstruction process using all of the list data. Further, the input image z may be an MRI image of the subject or a CT image of the subject.
  • the feature extraction unit 12 causes the feature extraction neural network (feature extraction NN) 18 to input the input image z, and causes the feature extraction NN 18 to output an intermediate image.
  • Reconstructing unit 13 the m reconstructed neural network by inputting the intermediate image (the m reconstructed for NN) 19 m, the m output image y m from the m reconstruction NN19 m, to output the n .
  • m is each integer of 1 or more and M or less.
  • n is an integer of 0 or more, and represents the number of times of learning of the feature extraction NN18 and the mth reconstruction NN19 m.
  • the feature extraction NN18 and the m-th reconstruction NN19 m are DNNs, preferably CNNs.
  • the feature extraction NN18 may have a U-net structure.
  • the M reconstruction NNs 19 1 to 19 M may have a common configuration.
  • the evaluation unit 14 obtains an evaluation value based on the sum of the differences between the m-th tomographic image x m and the m-th output images ym , n. For example, the evaluation unit 14 may calculate the evaluation value by the following formula (1), and when the input image z is a static PET image, the evaluation unit 14 further evaluates by the following formula (2) using the input image z as well. The value may be calculated.
  • the control unit 15 performs processing of each of the feature extraction unit 12 and the reconstruction unit 13, calculation of the evaluation value by the evaluation unit 14, and learning of each of the feature extraction NN18 and the mth reconstruction NN19 m based on the evaluation value. Have them do it repeatedly. Then, the control unit 15 outputs the mth output images ym, n from the mth reconstruction NN19 m that has been learned n times. It should be noted that each learning of the feature extraction NN18 and the mth reconstruction NN19 m is performed collectively so that the evaluation value becomes small.
  • the image selection unit 16 selects one of a plurality of m output images ym , 0 to ym , N for each of the first to M frames as a tomographic image after noise removal processing. ..
  • the image selection unit 16 is any one of a plurality of m output images ym , 0 to ym , N based on the comparison between the mth output images ym, n and the input image z. Select the mth output image.
  • the m output image y m, to the error between the n and the input image z may be selected first m output image with the minimum, between the m-th output image y m, n and the input image z
  • You may select any m output image from 1 or 2 or more m output images in which the error of is equal to or less than the threshold value.
  • a doctor, a technician, or the like may select any m-output image from a plurality of m-output images ym, 0 to ym , N for each frame.
  • Storage unit 17 stores list data, the input image z, the intermediate image, the m output image y m of each frame, n and the m-th tomographic image x m of each frame. Further, the storage unit 17 stores the mth output image selected from the plurality of mth output images ym, 0 to ym , N of each frame.
  • FIG. 3 is a flowchart illustrating an image processing method.
  • This image processing method includes an image creation step S1, a feature extraction step S2, a reconstruction step S3, an end determination step S4, an evaluation step S5, a learning step S6, and an image selection step S7.
  • the image creation step S1 is a process performed by the image creation unit 11.
  • the list data is divided into a plurality of frames (first to Mth frames) in the order of collection, and each of the plurality of frames is reconstructed using the data included in the mth frame of the list data.
  • a tomographic image (input image z) may be created by performing a reconstruction process using all of the list data.
  • the feature extraction step S2 is a process performed by the feature extraction unit 12.
  • the input image z is input to the feature extraction NN18, and the intermediate image is output from the feature extraction NN18.
  • the reconstruction step S3 is a process performed by the reconstruction unit 13. In reconstruction step S3, by inputting the intermediate image in the m reconstruction NN19 m, the m output image y m from the m reconstruction NN19 m, to output n.
  • the end determination step S4 is a process performed by the control unit 15. In the end determination step S4, it is determined whether or not to end the repetition of each process of steps S2 to S6. This determination may be based on whether or not the number of repetitions has reached a predetermined value, or based on whether or not the error between the m output images ym, n and the input image z is equal to or less than the threshold value. May be good.
  • the process proceeds to the evaluation step S5, and it is determined that the repetition of each process of steps S2 to S6 may be completed.
  • the process proceeds to the image selection step S7.
  • the evaluation step S5 is a process performed by the evaluation unit 14.
  • an evaluation value (for example, the above equation (1) or (2)) is obtained based on the sum of the differences between the m-th tomographic image x m and the m-output images ym , n.
  • the learning step S6 is a process performed by the control unit 15 on the feature extraction NN18 and the mth reconstruction NN19 m .
  • batch learning is performed for each of the feature extraction NN18 and the mth reconstruction NN19 m based on the evaluation value. After this learning step S6, the process returns to the feature extraction step S2.
  • the image selection step S7 is a process performed by the image selection unit 16. In the image selection step S7, for each of the first to M frames, any one of a plurality of m output images ym , 0 to ym , and N is selected as a tomographic image after noise removal processing. ..
  • the numerical phantom used in this simulation simulates the human brain injected with 18 F-FDG (fluorodeoxyglucose).
  • This numerical phantom includes a white matter (WM), a gray matter (GM) and a tumor (tumor).
  • FIG. 4 is a graph showing a time-varying model of the activity of each of the white matter (WM), gray matter (GM), and tumor (tumor) used in the simulation.
  • the time-activity change (Time-Activity Curve, TAC) generally gradually increases with the passage of time immediately after the RI radiation source is turned on, reaches a peak at a certain time, and then gradually decreases after the peak. Become.
  • the total number of counts (the number of the coincidence counting information) was set to 1 ⁇ 10 9.
  • the measurement time was 90 minutes, and the list data was divided into 30 frames.
  • Each period of the 1st to 4th frames is 20 seconds, each period of the 5th to 8th frames is 40 seconds, each period of the 9th to 12th frames is 60 seconds, and the 13th to 16th frames.
  • Each period of the frame is 180 seconds, and each period of the 17th to 30th frames is 300 seconds.
  • Numerical phantoms have a three-dimensional structure of 192 x 192 x 64 voxels.
  • a synogram for each frame was created based on this numerical phantom.
  • the synogram is a histogram of the coincidence counting information for each pair of radiation detectors of the radiation tomography apparatus 2.
  • a noise-added synogram was created by applying Poisson noise corresponding to the count number of the frame to the synogram of each frame.
  • a reconstructed image (mth tomographic image x m ) was created by the OS-EM method based on this noise-added synogram. The number of iterations in the OS-EM method was set to 6, and the number of subsets was set to 16.
  • FIG. 5 is a diagram showing a numerical phantom image.
  • the arrow points to the tumor site.
  • FIG. 6 is a diagram showing a 16th tomographic image x 16 before the noise removal processing. The image of FIG. 6 has a large amount of noise, and it is difficult to distinguish the tumor portion.
  • FIG. 7 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 1 on the 16th tomographic image x 16 of FIG.
  • the noise removal processing of Comparative Example 1 is a processing by a Gaussian filter. Although the image of FIG. 7 has a lot of noise and is not clear as a whole, the tumor portion can be discriminated.
  • FIG. 8 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 2 on the 16th tomographic image x 16 of FIG.
  • the noise removal process of Comparative Example 2 is the process described in Non-Patent Document 2. Although the image of FIG. 8 has a lot of noise, the boundary between the shades is clear and the tumor portion can be discriminated.
  • FIG. 9 is a diagram showing a tomographic image (static PET image) created by performing a reconstruction process using all of the list data.
  • this static PET image was used as an input image to the neural network.
  • FIG. 10 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 3 on the 16th tomographic image x 16 of FIG.
  • the noise removal process of Comparative Example 3 is the process described in Non-Patent Document 5. Compared with the images of Comparative Examples 1 and 2, the image of FIG. 10 has sufficiently removed noise, the boundary of shading becomes clear, and the tumor portion can be discriminated.
  • FIG. 11 is a diagram showing an image obtained by performing the noise removal processing of Example 1 on the 16th tomographic image x 16 of FIG.
  • the noise removal process of the first embodiment is based on the present embodiment. Compared with the image of FIG. 10, in the image of FIG. 11, noise is sufficiently removed, the boundary of shading becomes clear, and the tumor portion can be discriminated.
  • FIG. 12 is a diagram showing an MRI image (T1-weighted image). No tumor is found on this MRI image. In Comparative Example 4 and Example 2, this MRI image was used as an input image to the neural network.
  • FIG. 13 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 4 on the 16th tomographic image x 16 of FIG.
  • the noise removal process of Comparative Example 4 is the process described in Non-Patent Document 5. Compared with the images of Comparative Examples 1 and 2, the image of FIG. 13 has sufficiently removed noise, the boundary of shading becomes clear, and the tumor portion can be discriminated.
  • FIG. 14 is a diagram showing an image obtained by performing the noise removal processing of Example 2 on the 16th tomographic image x 16 of FIG.
  • the noise removal process of the second embodiment is based on the present embodiment. Compared with the image of FIG. 13, the image of FIG. 14 further sufficiently removes noise, the boundary of shading becomes clear, and the tumor portion can be discriminated.
  • FIG. 15 is a graph showing the time change of PSNR in each of the tomographic image before the noise removal treatment, each image after the noise removal treatment of Comparative Examples 1 to 4, and each image after the noise removal treatment of Examples 1 and 2.
  • PSNR Peak Signal to Noise Ratio
  • dB decibels
  • FIG. 16 is a graph showing the time change of the SSIM in each of the tomographic image before the noise removal treatment, each image after the noise removal treatment of Comparative Examples 1 to 4, and each image after the noise removal treatment of Examples 1 and 2.
  • SSIM Structuretural Similarity Index
  • Both the PSNR and SSIM indexes show that the noise removal processing of Comparative Examples 3 and 4 is superior to the noise removal processing of Comparative Examples 1 and 2, and that the noise removal processing of Comparative Examples 3 and 4 is superior to the noise removal processing of Comparative Examples 3 and 4. It is shown that the noise removal processing of Examples 1 and 2 has better performance than the noise removal processing. The noise removal processing performance of Examples 1 and 2 is also excellent for other frames.
  • the image processing apparatus 3 of this embodiment includes a processing by the feature extraction NN18 in the feature extraction unit 12, a process by the m reconstitution NN19 m of each frame in the reconstruction unit 13. Then, the image processing device 3 causes the intermediate image output from the feature extraction NN18 to be input to the mth reconstruction NN19 m of each frame, and at that time, the mth output output from the mth reconstruction NN19 m.
  • An evaluation value is obtained based on the sum of the differences between the images ym and n and the mth tomographic image x m, and the feature extraction NN18 and the mth reconstruction NN19 m are trained based on this evaluation value.
  • the feature extraction NN18 is extracted from the m-th tomographic image x m of each frame by repeating learning based on the above evaluation values.
  • An intermediate image representing the common information can be output, and the mth reconstruction NN19 m infers the mth output images ym, n from the intermediate image. From this, it is considered that the performance of the noise removal processing is improved in the present embodiment.
  • the noise removal processing described in Non-Patent Document 5 the first m tomographic images x m of each frame as a teacher image, train the neural network using a combination of the input image z this teacher image, the frame of this study Repeat for the number of.
  • the learning of the feature extraction NN18 can be performed in common for a plurality of frames. For this reason, the time required for the noise removal processing of the present embodiment can be shortened as compared with the noise removal processing described in Non-Patent Document 5.
  • the radiation tomography apparatus 2 is a PET apparatus in the above embodiment, but may be a SPECT apparatus.
  • the image processing apparatus divides the list data collected by the radiation tomography apparatus into M frames in the order of collection, and reconstructs each m of 1 or more and M or less based on the list data included in the m-th frame. It is a device that removes noise from the m-th tomographic image created by processing. (1) Feature extraction that inputs an input image to a feature extraction neural network and outputs an intermediate image from the feature extraction neural network. And (2) a reconstruction unit that inputs an intermediate image to the m-th reconstruction neural network for each m of 1 or more and M or less and outputs the m-th output image from the m-th reconstruction neural network.
  • An evaluation unit that obtains an evaluation value based on the sum of the differences between the mth tomographic image and the mth output image of each m of 1 or more and M or less, and (4) a feature extraction unit, a reconstruction unit, and an evaluation unit.
  • Each process and the learning of the feature extraction neural network based on the evaluation value and the learning of each mth reconstruction neural network of 1 or more and M or less are repeatedly performed, and the mth of each m of 1 or more and M or less is performed repeatedly.
  • the configuration includes a control unit that outputs a plurality of mth output images from the reconstruction neural network.
  • the feature extraction unit may be configured to input an image representing the morphological information of the subject as an input image to the feature extraction neural network. Further, the feature extraction unit uses a tomographic image created by performing reconstruction processing using more list data than the list data used when creating the mth tomographic image for each m of 1 or more and M or less as an input image. It may be configured to be input to the feature extraction neural network.
  • the feature extraction unit may be configured to input the MRI image of the subject as an input image to the feature extraction neural network. Further, the feature extraction unit may be configured to input the CT image of the subject as an input image to the feature extraction neural network.
  • the above image processing apparatus further includes an image selection unit that selects one of the mth output images obtained for each m of 1 or more and M or less as a tomographic image after noise removal processing. It may be provided as a configuration. Further, the image selection unit may be configured to select one of the mth output images from a plurality of mth output images based on the comparison between the mth output image and the input image for each m of 1 or more and M or less. good. Further, the image selection unit may be configured to select one of the mth output images from a plurality of mth output images based on the comparison between the mth tomographic image and the input image for each m of 1 or more and M or less. good.
  • the radiation tomography system is a radiation tomography apparatus that collects list data for reconstructing a tomographic image of a subject, and after noise removal processing based on the list data collected by the radiation tomography apparatus. It is configured to include an image processing device having the above configuration for creating a tomographic image.
  • the list data collected by the radiation tomography apparatus is divided into M frames in the order of collection, and each m of 1 or more and M or less is reconstructed based on the list data included in the m-th frame. It is a method of removing noise of the m-th tomographic image created by processing.
  • the steps and (2) a reconstruction step in which an intermediate image is input to the m-th reconstruction neural network for each m of 1 or more and M or less and the m-th output image is output from the m-th reconstruction neural network.
  • An evaluation step to obtain an evaluation value based on the sum of the differences between the mth tomographic image and the mth output image of each m of 1 or more and M or less, and (4) a neural network for feature extraction based on the evaluation value.
  • a learning step for learning each of the m-th reconstruction neural networks of 1 or more and M or less is provided, and each process of the feature extraction step, the reconstruction step, the evaluation step, and the learning step is repeatedly performed, and 1 A plurality of m-th output images are output from the m-th reconstruction neural network of each m of M or less.
  • an image representing the morphological information of the subject may be input to the feature extraction neural network as an input image.
  • a tomographic image created by performing reconstruction processing using more list data than the list data used when creating the mth tomographic image for each m of 1 or more and M or less is used as an input image. It may be configured to be input to the feature extraction neural network.
  • the MRI image of the subject may be input to the feature extraction neural network as an input image.
  • the CT image of the subject may be input to the feature extraction neural network as an input image.
  • the above image processing method further includes an image selection step of selecting one of the mth output images obtained for each m of 1 or more and M or less as a tomographic image after noise removal processing. It may be provided as a configuration. Further, in the image selection step, one of the mth output images may be selected from a plurality of mth output images based on the comparison between the mth output image and the input image for each m of 1 or more and M or less. good. Further, in the image selection step, one of the mth output images may be selected from a plurality of mth output images based on the comparison between the mth tomographic image and the input image for each m of 1 or more and M or less. good.
  • the present invention is used as an apparatus and method capable of creating a high-performance noise-removed tomographic image based on list data collected by a radiation tomography apparatus and shortening the time required for noise removal processing. It is possible.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

画像処理装置３は、特徴抽出部１２、再構成部１３、評価部１４、制御部１５を備える。特徴抽出部１２は、特徴抽出用ＮＮ１８に入力画像ｚを入力させて、特徴抽出用ＮＮ１８から中間画像を出力させる。再構成部１３は、第ｍ再構成用ＮＮ１９ｍに中間画像を入力させて、第ｍ再構成用ＮＮ１９ｍから第ｍ出力画像ｙｍ,ｎを出力させる。評価部１４は、第ｍ断層画像ｘｍと第ｍ出力画像ｙｍ,ｎとの間の差の総和に基づいて評価値を求める。制御部１５は、特徴抽出部１２および再構成部１３の処理と、評価部１４による評価値の算出と、評価値に基づく特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍの学習とを繰り返し行わせる。これにより、高性能にノイズ除去された断層画像を作成することができ且つノイズ除去処理に要する時間を短縮することができる装置が実現される。

Description

画像処理装置および画像処理方法
　本開示は、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する装置および方法に関するものである。
　被検体（生体）の断層画像を取得することができる放射線断層撮影装置として、ＰＥＴ（Positron　Emission　Tomography）装置およびＳＰＥＣＴ（Single　Photon　Emission　Computed　Tomography）装置が挙げられる。
　ＰＥＴ装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。ＰＥＴ装置は、陽電子放出アイソトープ（ＲＩ線源）が投入された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ５１１ｋｅＶの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、この収集した多数の同時計数情報に基づいて、測定空間における光子対の発生頻度の空間分布（すなわち、ＲＩ線源の空間分布）を表す断層画像を再構成することができる。
　このとき、ＰＥＴ装置により収集された同時計数情報を時系列に並べたリストデータを収集順に複数のフレームに分割し、そのリストデータのうち各フレームに含まれるデータを用いて画像再構成処理を行うことで、複数のフレームの断層画像からなる動態ＰＥＴ画像を得ることができる。このＰＥＴ装置は核医学分野等で重要な役割を果たしており、これを用いて例えば生体機能や脳の高次機能の研究を行うことができる。
　このようにして再構成された断層画像は、ノイズを多く含んでいるので、画像フィルタによるノイズ除去処理が必要である。ノイズ除去の為に用いられる画像フィルタとしては、ガウシアン・フィルタ（Gaussian　Filter）およびガイディド・フィルタ（Guided　Filter）が挙げられる。従来からガウシアン・フィルタが用いられている。これに対して、ガイディド・フィルタは、近年になって開発されたものであって、ガウシアン・フィルタと比べると画像中の濃淡の境界をよく保存することができるという特徴がある。
　特許文献１および非特許文献１，２には、ガイディド・フィルタにより動態ＰＥＴ画像のノイズを除去する技術が記載されている。特許文献１および非特許文献１に記載された技術は、ガイディド・フィルタによるノイズ除去処理に際して、複数のフレームの断層画像からなる動態ＰＥＴ画像を積算して得られる画像をガイダンス画像として用いている。また、非特許文献２に記載された技術は、より適切なガイダンス画像を用いることで、より効果的なノイズ除去を可能としている。
　非特許文献３には、深層ニューラルネットワーク（ＤＮＮ:　Deep　Neural　Network）の一種である畳み込みニューラルネットワーク（ＣＮＮ:　Convolutional　Neural　Network）を用いた Deep　Image　Prior技術（非特許文献４）によりＰＥＴ画像のノイズを除去する技術が記載されている。
中国特許出願公開第１０３９５５８９９号
Lijun Lu et al., "Dynamic PET Denoising Incorporating a Composite Image Guided Filter", IEEE Nuclear Science Symposium and Medical Imaging Conference (NSS/MIC), 2014 F. Hashimoto et al., "Denoising of Dynamic Sinogram by Image Guided Filtering for Positron Emission Tomography", IEEE Transactions on Radiation and Plasma Medical Sciences, Vol.2 No.6, pp.541-548, 2018 Kuang Gong et al., "PET Image Reconstruction Using Deep Image Prior", IEEE Transactions on Medical Imaging, 2018 Dmitry Ulyanov et al., "Deep Image Prior", arXiv preprint arXiv:1711.10925, 2017 F. Hashimoto et al., "Dynamic PET Image Denoising Using Deep Convolutional Neural Networks Without Prior Training Datasets", IEEE Access, Vol.7, pp.96594-96603, 2019
　特許文献１および非特許文献１～３に記載された技術によるＰＥＴ画像に対するノイズ除去処理は、ガウシアン・フィルタを用いる場合と比べるとノイズ除去性能が優れている。しかし、ＰＥＴ画像およびＳＰＥＣＴ画像に対して更なるノイズ除去性能の向上が望まれている。
　ノイズ除去性能の向上の要求に応え得る技術が非特許文献５に記載されている。しかし、非特許文献５に記載されたノイズ除去技術は処理に長時間を要する。
　本発明は、放射線断層撮影装置により収集されたリストデータに基づいて高性能にノイズ除去された断層画像を作成することができ且つノイズ除去処理に要する時間を短縮することができる装置および方法を提供することを目的とする。
　本発明の実施形態は、画像処理装置である。画像処理装置は、放射線断層撮影装置により収集されたリストデータを収集順にＭ個のフレームに分割し１以上Ｍ以下の各ｍについて第ｍフレームに含まれるリストデータに基づいて再構成処理を行って作成された第ｍ断層画像のノイズを除去する装置であって、（１）特徴抽出用ニューラルネットワークに入力画像を入力させて該特徴抽出用ニューラルネットワークから中間画像を出力させる特徴抽出部と、（２）１以上Ｍ以下の各ｍについて第ｍ再構成用ニューラルネットワークに中間画像を入力させて該第ｍ再構成用ニューラルネットワークから第ｍ出力画像を出力させる再構成部と、（３）１以上Ｍ以下の各ｍの第ｍ断層画像と第ｍ出力画像との間の差の総和に基づいて評価値を求める評価部と、（４）特徴抽出部、再構成部および評価部の各処理と、評価値に基づく特徴抽出用ニューラルネットワークおよび１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークそれぞれの学習とを繰り返し行わせて、１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークから複数の第ｍ出力画像を出力させる制御部と、を備える。
　本発明の実施形態は、放射線断層撮影システムである。放射線断層撮影システムは、被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する上記構成の画像処理装置と、を備える。
　本発明の実施形態は、画像処理方法である。画像処理方法は、放射線断層撮影装置により収集されたリストデータを収集順にＭ個のフレームに分割し１以上Ｍ以下の各ｍについて第ｍフレームに含まれるリストデータに基づいて再構成処理を行って作成された第ｍ断層画像のノイズを除去する方法であって、（１）特徴抽出用ニューラルネットワークに入力画像を入力させて該特徴抽出用ニューラルネットワークから中間画像を出力させる特徴抽出ステップと、（２）１以上Ｍ以下の各ｍについて第ｍ再構成用ニューラルネットワークに中間画像を入力させて該第ｍ再構成用ニューラルネットワークから第ｍ出力画像を出力させる再構成ステップと、（３）１以上Ｍ以下の各ｍの第ｍ断層画像と第ｍ出力画像との間の差の総和に基づいて評価値を求める評価ステップと、（４）評価値に基づいて特徴抽出用ニューラルネットワークおよび１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークそれぞれを学習させる学習ステップと、を備え、特徴抽出ステップ、再構成ステップ、評価ステップおよび学習ステップの各処理を繰り返し行わせて、１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークから複数の第ｍ出力画像を出力させる。
　本発明の実施形態によれば、放射線断層撮影装置により収集されたリストデータに基づいて高性能にノイズ除去された断層画像を作成することができ、ノイズ除去処理に要する時間を短縮することができる。
図１は、放射線断層撮影システム１の構成を示す図である。 図２は、画像処理装置３の要部の構成を示す図である。 図３は、画像処理方法を説明するフローチャートである。 図４は、シミュレーションにおいて用いた白質部（ＷＭ）、灰白質部（ＧＭ）および腫瘍部（tumor）それぞれのアクティビティの時間変化のモデルを示すグラフである。 図５は、数値ファントム画像を示す図である。 図６は、ノイズ除去処理前の第１６断層画像ｘ16を示す図である。 図７は、図６の第１６断層画像ｘ16に対して比較例１のノイズ除去処理をして得られた画像を示す図である。 図８は、図６の第１６断層画像ｘ16に対して比較例２のノイズ除去処理をして得られた画像を示す図である。 図９は、リストデータの全てを用いて再構成処理を行って作成された断層画像（静態ＰＥＴ画像）を示す図である。 図１０は、図６の第１６断層画像ｘ16に対して比較例３のノイズ除去処理をして得られた画像を示す図である。 図１１は、図６の第１６断層画像ｘ16に対して実施例１のノイズ除去処理をして得られた画像を示す図である。 図１２は、ＭＲＩ画像を示す図である。 図１３は、図６の第１６断層画像ｘ16に対して比較例４のノイズ除去処理をして得られた画像を示す図である。 図１４は、図６の第１６断層画像ｘ16に対して実施例２のノイズ除去処理をして得られた画像を示す図である。 図１５は、ノイズ除去処理前の断層画像、比較例１～４のノイズ除去処理後の各画像および実施例１，２のノイズ除去処理後の各画像それぞれの場合のＰＳＮＲの時間変化を示すグラフである。 図１６は、ノイズ除去処理前の断層画像、比較例１～４のノイズ除去処理後の各画像および実施例１，２のノイズ除去処理後の各画像それぞれの場合のＳＳＩＭの時間変化を示すグラフである。
　以下、添付図面を参照して、画像処理装置および画像処理方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではない。
　図１は、放射線断層撮影システム１の構成を示す図である。放射線断層撮影システム１は、放射線断層撮影装置２および画像処理装置３を備える。図２は、画像処理装置３の要部の構成を示す図である。
　放射線断層撮影装置２は、被検体の断層画像を再構成するためのリストデータを収集する装置である。放射線断層撮影装置２として、ＰＥＴ装置およびＳＰＥＣＴ装置が挙げられる。以下では、放射線断層撮影装置２がＰＥＴ装置であるとして説明をする。
　画像処理装置３は、画像作成部１１、特徴抽出部１２、再構成部１３、評価部１４、制御部１５、画像選択部１６および記憶部１７を備える。画像処理装置３として、ＣＰＵ、ＲＡＭ、ＲＯＭおよびハードディスクドライブ等を有するコンピュータが用いられる。また、画像処理装置３は、操作者の入力を受け付ける入力部（例えばキーボードやマウス）を備え、画像等を表示する表示部（例えば液晶ディスプレイ）を備える。
　放射線断層撮影装置２は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。放射線断層撮影装置２は、陽電子放出アイソトープ（ＲＩ線源）が投入された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ５１１ｋｅＶの光子対を検出部により同時計数法で検出し、この同時計数情報を蓄積する。そして、放射線断層撮影装置２は、この蓄積した多数の同時計数情報を時系列に並べたものをリストデータとして画像処理装置３へ出力する。
　リストデータは、光子対を同時計数した１対の放射線検出器の識別情報および検出時刻情報を含む。リストデータは、さらに、各放射線検出器が検出した光子のエネルギ情報、および、１対の放射線検出器の検出時間差情報をも含んでいてもよい。
　画像処理装置３は、リストデータに基づいて断層画像を再構成する。リストデータに基づいて断層画像を再構成する技術としては、ＭＬ-ＥＭ（maximum likelihood expectation maximization）法、および、これを改良したブロック反復法による逐次近似的画像再構成技術が知られている。また、ブロック反復法による逐次近似的画像再構成技術としては、ＯＳＥＭ（ordered subset ＭＬ-ＥＭ）法、ＲＡＭＬＡ（row-action maximum likelihood algorithm）法およびＤＲＡＭＡ（dynamic ＲＡＭＬＡ）法などが知られている。また、画像処理装置３は、ＤＮＮ（好適にはＣＮＮ）を用いてノイズ除去処理後の断層画像を作成する。
　画像作成部１１は、リストデータを収集順に複数のフレーム（第１～第Ｍのフレーム）に分割し、複数のフレームそれぞれについて、リストデータのうち第ｍフレームに含まれるデータを用いて再構成処理を行って、第ｍフレームの断層画像ｘｍ（第ｍ断層画像ｘｍ）を作成する。Ｍ個の断層画像ｘ１～ｘＭは、動態ＰＥＴ画像であり、ニューラルネットワークの教師画像として用いられる。
　画像作成部１１は、ニューラルネットワークに入力させる入力画像ｚを作成してもよい。この入力画像ｚは、被検体の形態情報を表す画像であるのが好適である。具体的には、入力画像ｚは、第ｍ断層画像ｘｍを作成する際に用いたリストデータより多いリストデータを用いて再構成処理を行って作成された断層画像であってもよい。入力画像ｚは静態ＰＥＴ画像であってもよい。
　入力画像ｚは、フレーム毎に作成されてもよいが、全フレームに対して共通に作成されてもよいし、幾つかのフレームに対して共通に作成されてもよい。入力画像ｚは、リストデータの全てを用いて再構成処理を行って作成された断層画像であってもよい。また、入力画像ｚは、被検体のＭＲＩ画像であってもよいし、被検体のＣＴ画像であってもよい。
　特徴抽出部１２は、特徴抽出用ニューラルネットワーク（特徴抽出用ＮＮ）１８に入力画像ｚを入力させて、特徴抽出用ＮＮ１８から中間画像を出力させる。再構成部１３は、第ｍ再構成用ニューラルネットワーク（第ｍ再構成用ＮＮ）１９ｍに中間画像を入力させて、第ｍ再構成用ＮＮ１９ｍから第ｍ出力画像ｙｍ,ｎを出力させる。ここで、ｍは１以上Ｍ以下の各整数である。ｎは、０以上の整数であり、特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍの学習の回数を表す。
　特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍは、ＤＮＮであり、好適にはＣＮＮである。特徴抽出用ＮＮ１８はＵ-ｎｅｔ構造を有していてもよい。Ｍ個の再構成用ＮＮ１９１～１９Ｍは共通の構成であってもよい。
　評価部１４は、第ｍ断層画像ｘｍと第ｍ出力画像ｙｍ,ｎとの間の差の総和に基づいて評価値を求める。評価部１４は、例えば、下記（１）式により評価値を算出してもよいし、入力画像ｚが静態ＰＥＴ画像である場合には更に入力画像ｚをも用いて下記（２）式により評価値を算出してもよい。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　制御部１５は、特徴抽出部１２および再構成部１３それぞれの処理と、評価部１４による評価値の算出と、評価値に基づく特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍそれぞれの学習とを繰り返し行わせる。そして、制御部１５は、ｎ回の学習を行った第ｍ再構成用ＮＮ１９ｍから第ｍ出力画像ｙｍ,ｎを出力させる。なお、特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍそれぞれの各回の学習は、評価値が小さくなるように一括して行われる。
　画像選択部１６は、第１～第Ｍのフレームそれぞれについて、複数の第ｍ出力画像ｙｍ,０～ｙｍ,Ｎのうちから何れかの画像を、ノイズ除去処理後の断層画像として選択する。好適には、画像選択部１６は、第ｍ出力画像ｙｍ,ｎと入力画像ｚとの比較に基づいて、複数の第ｍ出力画像ｙｍ,０～ｙｍ,Ｎのうちから何れかの第ｍ出力画像を選択する。
　例えば、第ｍ出力画像ｙｍ,ｎと入力画像ｚとの間の誤差が最小となる第ｍ出力画像を選択してもよいし、第ｍ出力画像ｙｍ,ｎと入力画像ｚとの間の誤差が閾値以下となる１または２以上の第ｍ出力画像のうちから何れかの第ｍ出力画像を選択してもよい。なお、医師や技師などが、各フレームについて複数の第ｍ出力画像ｙｍ,０～ｙｍ,Ｎのうちから何れかの第ｍ出力画像を選択してもよい。
　記憶部１７は、リストデータ、入力画像ｚ、中間画像、各フレームの第ｍ出力画像ｙｍ,ｎおよび各フレームの第ｍ断層画像ｘｍ等を記憶する。また、記憶部１７は、各フレームの複数の第ｍ出力画像ｙｍ,０～ｙｍ,Ｎのうちから選択された第ｍ出力画像を記憶する。
　図３は、画像処理方法を説明するフローチャートである。この画像処理方法は、画像作成ステップＳ１、特徴抽出ステップＳ２、再構成ステップＳ３、終了判定ステップＳ４、評価ステップＳ５、学習ステップＳ６および画像選択ステップＳ７を備える。
　画像作成ステップＳ１は、画像作成部１１が行う処理である。画像作成ステップＳ１では、リストデータを収集順に複数のフレーム（第１～第Ｍのフレーム）に分割し、複数のフレームそれぞれについて、リストデータのうち第ｍフレームに含まれるデータを用いて再構成処理を行って、第ｍフレームの断層画像ｘｍ（第ｍ断層画像ｘｍ）を作成する。また、画像作成ステップＳ１では、例えば、リストデータの全てを用いて再構成処理を行って断層画像（入力画像ｚ）を作成してもよい。
　特徴抽出ステップＳ２は、特徴抽出部１２が行う処理である。特徴抽出ステップＳ２では、特徴抽出用ＮＮ１８に入力画像ｚを入力させて、特徴抽出用ＮＮ１８から中間画像を出力させる。
　再構成ステップＳ３は、再構成部１３が行う処理である。再構成ステップＳ３では、第ｍ再構成用ＮＮ１９ｍに中間画像を入力させて、第ｍ再構成用ＮＮ１９ｍから第ｍ出力画像ｙｍ,ｎを出力させる。
　終了判定ステップＳ４は、制御部１５が行う処理である。終了判定ステップＳ４では、ステップＳ２～Ｓ６の各処理の繰り返しを終了するか否かを判定する。この判定は、繰り返し回数が所定値に達したか否かに基づいてもよいし、第ｍ出力画像ｙｍ,ｎと入力画像ｚとの間の誤差が閾値以下となったか否かに基づいてもよい。
　この終了判定ステップＳ４において、ステップＳ２～Ｓ６の各処理の繰り返しを継続すると判定された場合には評価ステップＳ５へ進み、ステップＳ２～Ｓ６の各処理の繰り返しを終了してよいと判定された場合には画像選択ステップＳ７へ進む。
　評価ステップＳ５は、評価部１４が行う処理である。評価ステップＳ５では、第ｍ断層画像ｘｍと第ｍ出力画像ｙｍ,ｎとの間の差の総和に基づいて評価値（例えば上記（１）式または（２）式）を求める。
　学習ステップＳ６は、制御部１５が特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍに対して行う処理である。学習ステップＳ６では、評価値に基づいて特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍそれぞれの一括学習を行う。この学習ステップＳ６の後、特徴抽出ステップＳ２に戻る。
　画像選択ステップＳ７は、画像選択部１６が行う処理である。画像選択ステップＳ７では、第１～第Ｍのフレームそれぞれについて、複数の第ｍ出力画像ｙｍ,０～ｙｍ,Ｎのうちから何れかの画像を、ノイズ除去処理後の断層画像として選択する。
　次に、シミュレーション結果について説明する。このシミュレーションで用いた数値ファントムは、18Ｆ-ＦＤＧ（フルオロデオキシグルコース）を投入したヒトの脳を模擬したものである。この数値ファントムには、白質部（white　matter、ＷＭ）、灰白質部（gray　matter、ＧＭ）および腫瘍部（tumor）が含まれている。
　図４は、シミュレーションにおいて用いた白質部（ＷＭ）、灰白質部（ＧＭ）および腫瘍部（tumor）それぞれのアクティビティの時間変化のモデルを示すグラフである。アクティビティの時間変化（Time-Activity　Curve、ＴＡＣ）は、一般に、ＲＩ線源投入直後から時間の経過とともに次第に高くなっていき、やがて或る時刻でピークに達し、そのピークの後は緩やかに次第に低くなっていく。
　総カウント数（同時計数情報の数）を１×１０９とした。計測時間を９０分とし、リストデータを３０個のフレームに分割した。第１～第４のフレームの各期間を２０秒とし、第５～第８のフレームの各期間を４０秒とし、第９～第１２のフレームの各期間を６０秒とし、第１３～第１６のフレームの各期間を１８０秒とし、第１７～第３０のフレームの各期間を３００秒とした。
　数値ファントムは、１９２×１９２×６４voxelsの三次元構造を有する。この数値ファントムに基づいて各フレームのサイノグラムを作成した。サイノグラムは、放射線断層撮影装置２の放射線検出器の対ごとに同時計数情報をヒストグラム化したものである。各フレームのサイノグラムに対して、該フレームのカウント数に応じたポアソンノイズを与えてノイズ付加サイノグラムを作成した。このノイズ付加サイノグラムに基づいてＯＳ-ＥＭ法により再構成画像（第ｍ断層画像ｘｍ）を作成した。ＯＳ-ＥＭ法における反復回数を６とし、サブセット数を１６とした。
　以下では、数値ファントム画像に加えて、ノイズ除去処理の前または後の断層画像の一例を示す。また、各図は、スライス面が互いに直交する二つの断層画像を示している。図５は、数値ファントム画像を示す図である。この図５の画像中において、矢印は腫瘍部を指し示している。図６は、ノイズ除去処理前の第１６断層画像ｘ16を示す図である。この図６の画像は、ノイズが非常に多く、腫瘍部の判別が困難である。
　図７は、図６の第１６断層画像ｘ16に対して比較例１のノイズ除去処理をして得られた画像を示す図である。比較例１のノイズ除去処理は、ガウシアン・フィルタによる処理である。この図７の画像は、ノイズが多く、全体的に不鮮明であるものの、腫瘍部の判別が可能となっている。
　図８は、図６の第１６断層画像ｘ16に対して比較例２のノイズ除去処理をして得られた画像を示す図である。比較例２のノイズ除去処理は、非特許文献２に記載された処理である。この図８の画像は、ノイズが多いものの、濃淡の境界が鮮明となって、腫瘍部の判別が可能となっている。
　図９は、リストデータの全てを用いて再構成処理を行って作成された断層画像（静態ＰＥＴ画像）を示す図である。比較例３および実施例１では、この静態ＰＥＴ画像を、ニューラルネットワークへの入力画像として用いた。
　図１０は、図６の第１６断層画像ｘ16に対して比較例３のノイズ除去処理をして得られた画像を示す図である。比較例３のノイズ除去処理は、非特許文献５に記載された処理である。この図１０の画像は、比較例１，２の画像と比べて、ノイズが十分に除去され、濃淡の境界が鮮明となって、腫瘍部の判別が可能となっている。
　図１１は、図６の第１６断層画像ｘ16に対して実施例１のノイズ除去処理をして得られた画像を示す図である。実施例１のノイズ除去処理は、本実施形態によるものである。この図１１の画像は、図１０の画像と比べて、更に、ノイズが十分に除去され、濃淡の境界が鮮明となって、腫瘍部の判別が可能となっている。
　図１２は、ＭＲＩ画像（Ｔ１強調画像）を示す図である。このＭＲＩ画像では腫瘍部は認められない。比較例４および実施例２では、このＭＲＩ画像を、ニューラルネットワークへの入力画像として用いた。
　図１３は、図６の第１６断層画像ｘ16に対して比較例４のノイズ除去処理をして得られた画像を示す図である。比較例４のノイズ除去処理は、非特許文献５に記載された処理である。この図１３の画像は、比較例１，２の画像と比べて、ノイズが十分に除去され、濃淡の境界が鮮明となって、腫瘍部の判別が可能となっている。
　図１４は、図６の第１６断層画像ｘ16に対して実施例２のノイズ除去処理をして得られた画像を示す図である。実施例２のノイズ除去処理は、本実施形態によるものである。この図１４の画像は、図１３の画像と比べて、更に、ノイズが十分に除去され、濃淡の境界が鮮明となって、腫瘍部の判別が可能となっている。
　図１５は、ノイズ除去処理前の断層画像、比較例１～４のノイズ除去処理後の各画像および実施例１，２のノイズ除去処理後の各画像それぞれの場合のＰＳＮＲの時間変化を示すグラフである。ＰＳＮＲ（Peak　Signal　to　Noise　Ratio）は、画像の品質をデシベル（ｄＢ）で表したものであり、値が高いほど良好な画質であることを意味する。
　図１６は、ノイズ除去処理前の断層画像、比較例１～４のノイズ除去処理後の各画像および実施例１，２のノイズ除去処理後の各画像それぞれの場合のＳＳＩＭの時間変化を示すグラフである。ＳＳＩＭ（Structural　Similarity　Index）は、画像の輝度およびコントラストならびに構造の変化を定量化する指標であり、値が高いほど良好な画質であることを意味する。
　ＰＳＮＲおよびＳＳＩＭの何れの指標も、比較例１，２のノイズ除去処理と比べて比較例３，４のノイズ除去処理の方が性能が優れていることを示し、また、比較例３，４のノイズ除去処理と比べて実施例１，２のノイズ除去処理の方が性能が優れていることを示している。他のフレームについても、実施例１，２のノイズ除去処理の性能が優れている。
　非特許文献５に記載されたノイズ除去処理と比べて本実施形態のノイズ除去処理の方が性能が優れている理由は次のとおりであると考えられる。
　本実施形態の画像処理装置３は、特徴抽出部１２における特徴抽出用ＮＮ１８による処理と、再構成部１３における各フレームの第ｍ再構成用ＮＮ１９ｍによる処理と、を備える。そして、画像処理装置３は、特徴抽出用ＮＮ１８から出力される中間画像を各フレームの第ｍ再構成用ＮＮ１９ｍに入力させ、そのときに第ｍ再構成用ＮＮ１９ｍから出力される第ｍ出力画像ｙｍ,ｎと第ｍ断層画像ｘｍとの間の差の総和に基づいて評価値を求め、この評価値に基づいて特徴抽出用ＮＮ１８および第ｍ再構成用ＮＮ１９ｍそれぞれを学習させる。
　各フレームの第ｍ断層画像ｘｍは共通の情報を含むことから、上記のような評価値に基づく学習を繰り返し行うことで、特徴抽出用ＮＮ１８は、各フレームの第ｍ断層画像ｘｍから抽出した共通の情報を表す中間画像を出力することができ、第ｍ再構成用ＮＮ１９ｍは、その中間画像から第ｍ出力画像ｙｍ,ｎを推論する。このことから、本実施形態ではノイズ除去処理の性能が向上すると考えられる。
　非特許文献５に記載されたノイズ除去処理では、各フレームの第ｍ断層画像ｘｍを教師画像とし、この教師画像と入力画像ｚとの組合せを用いてニューラルネットワークを学習させ、この学習をフレームの個数だけ繰り返す。これに対して、本実施形態のノイズ除去処理では、特徴抽出用ＮＮ１８の学習を複数のフレームについて共通に行うことができる。このことから、非特許文献５に記載されたノイズ除去処理と比べて、本実施形態のノイズ除去処理では、所要時間を短縮することができる。
　本発明は、上記実施形態及び構成例に限定されるものではなく、種々の変形が可能である。例えば、放射線断層撮影装置２は、上記の実施形態ではＰＥＴ装置であるとしたが、ＳＰＥＣＴ装置であってもよい。
　上記実施形態による画像処理装置は、放射線断層撮影装置により収集されたリストデータを収集順にＭ個のフレームに分割し１以上Ｍ以下の各ｍについて第ｍフレームに含まれるリストデータに基づいて再構成処理を行って作成された第ｍ断層画像のノイズを除去する装置であって、（１）特徴抽出用ニューラルネットワークに入力画像を入力させて該特徴抽出用ニューラルネットワークから中間画像を出力させる特徴抽出部と、（２）１以上Ｍ以下の各ｍについて第ｍ再構成用ニューラルネットワークに中間画像を入力させて該第ｍ再構成用ニューラルネットワークから第ｍ出力画像を出力させる再構成部と、（３）１以上Ｍ以下の各ｍの第ｍ断層画像と第ｍ出力画像との間の差の総和に基づいて評価値を求める評価部と、（４）特徴抽出部、再構成部および評価部の各処理と、評価値に基づく特徴抽出用ニューラルネットワークおよび１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークそれぞれの学習とを繰り返し行わせて、１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークから複数の第ｍ出力画像を出力させる制御部と、を備える構成としている。
　上記の画像処理装置において、特徴抽出部は、被検体の形態情報を表す画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。また、特徴抽出部は、１以上Ｍ以下の各ｍについて第ｍ断層画像を作成する際に用いたリストデータより多いリストデータを用いて再構成処理を行って作成された断層画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。
　上記の画像処理装置において、特徴抽出部は、被検体のＭＲＩ画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。また、特徴抽出部は、被検体のＣＴ画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。
　上記の画像処理装置は、１以上Ｍ以下の各ｍについて得られた複数の第ｍ出力画像のうちから何れかの第ｍ出力画像をノイズ除去処理後の断層画像として選択する画像選択部を更に備える構成としても良い。また、画像選択部は、１以上Ｍ以下の各ｍについて第ｍ出力画像と入力画像との比較に基づいて複数の第ｍ出力画像のうちから何れかの第ｍ出力画像を選択する構成としても良い。また、画像選択部は、１以上Ｍ以下の各ｍについて第ｍ断層画像と入力画像との比較に基づいて複数の第ｍ出力画像のうちから何れかの第ｍ出力画像を選択する構成としても良い。
　上記実施形態による放射線断層撮影システムは、被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する上記構成の画像処理装置と、を備える構成としている。
　上記実施形態による画像処理方法は、放射線断層撮影装置により収集されたリストデータを収集順にＭ個のフレームに分割し１以上Ｍ以下の各ｍについて第ｍフレームに含まれるリストデータに基づいて再構成処理を行って作成された第ｍ断層画像のノイズを除去する方法であって、（１）特徴抽出用ニューラルネットワークに入力画像を入力させて該特徴抽出用ニューラルネットワークから中間画像を出力させる特徴抽出ステップと、（２）１以上Ｍ以下の各ｍについて第ｍ再構成用ニューラルネットワークに中間画像を入力させて該第ｍ再構成用ニューラルネットワークから第ｍ出力画像を出力させる再構成ステップと、（３）１以上Ｍ以下の各ｍの第ｍ断層画像と第ｍ出力画像との間の差の総和に基づいて評価値を求める評価ステップと、（４）評価値に基づいて特徴抽出用ニューラルネットワークおよび１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークそれぞれを学習させる学習ステップと、を備え、特徴抽出ステップ、再構成ステップ、評価ステップおよび学習ステップの各処理を繰り返し行わせて、１以上Ｍ以下の各ｍの第ｍ再構成用ニューラルネットワークから複数の第ｍ出力画像を出力させる構成としている。
　上記の画像処理方法では、特徴抽出ステップにおいて、被検体の形態情報を表す画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。また、特徴抽出ステップにおいて、１以上Ｍ以下の各ｍについて第ｍ断層画像を作成する際に用いたリストデータより多いリストデータを用いて再構成処理を行って作成された断層画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。
　上記の画像処理方法では、特徴抽出ステップにおいて、被検体のＭＲＩ画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。また、特徴抽出ステップにおいて、被検体のＣＴ画像を入力画像として特徴抽出用ニューラルネットワークに入力させる構成としても良い。
　上記の画像処理方法は、１以上Ｍ以下の各ｍについて得られた複数の第ｍ出力画像のうちから何れかの第ｍ出力画像をノイズ除去処理後の断層画像として選択する画像選択ステップを更に備える構成としても良い。また、画像選択ステップにおいて、１以上Ｍ以下の各ｍについて第ｍ出力画像と入力画像との比較に基づいて複数の第ｍ出力画像のうちから何れかの第ｍ出力画像を選択する構成としても良い。また、画像選択ステップにおいて、１以上Ｍ以下の各ｍについて第ｍ断層画像と入力画像との比較に基づいて複数の第ｍ出力画像のうちから何れかの第ｍ出力画像を選択する構成としても良い。
　本発明は、放射線断層撮影装置により収集されたリストデータに基づいて高性能にノイズ除去された断層画像を作成することができ且つノイズ除去処理に要する時間を短縮することができる装置および方法として利用可能である。
　１…放射線断層撮影システム、２…放射線断層撮影装置、３…画像処理装置、１１…画像作成部、１２…特徴抽出部、１３…再構成部、１４…評価部、１５…制御部、１６…画像選択部、１７…記憶部、１８…特徴抽出用ニューラルネットワーク（特徴抽出用ＮＮ）、１９ｍ…第ｍ再構成用ニューラルネットワーク（第ｍ再構成用ＮＮ）。

Claims (15)

  1. 　放射線断層撮影装置により収集されたリストデータを収集順にＭ個のフレームに分割し１以上Ｍ以下の各ｍについて第ｍフレームに含まれるリストデータに基づいて再構成処理を行って作成された第ｍ断層画像のノイズを除去する装置であって、
    　特徴抽出用ニューラルネットワークに入力画像を入力させて該特徴抽出用ニューラルネットワークから中間画像を出力させる特徴抽出部と、
    　１以上Ｍ以下の各ｍについて第ｍ再構成用ニューラルネットワークに前記中間画像を入力させて該第ｍ再構成用ニューラルネットワークから第ｍ出力画像を出力させる再構成部と、
    　１以上Ｍ以下の各ｍの前記第ｍ断層画像と前記第ｍ出力画像との間の差の総和に基づいて評価値を求める評価部と、
    　前記特徴抽出部、前記再構成部および前記評価部の各処理と、前記評価値に基づく前記特徴抽出用ニューラルネットワークおよび１以上Ｍ以下の各ｍの前記第ｍ再構成用ニューラルネットワークそれぞれの学習とを繰り返し行わせて、１以上Ｍ以下の各ｍの前記第ｍ再構成用ニューラルネットワークから複数の前記第ｍ出力画像を出力させる制御部と、
    を備える、画像処理装置。
  2. 　前記特徴抽出部は、被検体の形態情報を表す画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項１に記載の画像処理装置。
  3. 　前記特徴抽出部は、１以上Ｍ以下の各ｍについて前記第ｍ断層画像を作成する際に用いたリストデータより多いリストデータを用いて再構成処理を行って作成された断層画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項１に記載の画像処理装置。
  4. 　前記特徴抽出部は、被検体のＭＲＩ画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項１に記載の画像処理装置。
  5. 　前記特徴抽出部は、被検体のＣＴ画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項１に記載の画像処理装置。
  6. 　１以上Ｍ以下の各ｍについて得られた複数の前記第ｍ出力画像のうちから何れかの第ｍ出力画像をノイズ除去処理後の断層画像として選択する画像選択部を更に備える、請求項１～５の何れか１項に記載の画像処理装置。
  7. 　前記画像選択部は、１以上Ｍ以下の各ｍについて前記第ｍ出力画像と前記入力画像との比較に基づいて複数の前記第ｍ出力画像のうちから何れかの第ｍ出力画像を選択する、請求項６に記載の画像処理装置。
  8. 　被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、
    　前記放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する請求項１～７の何れか１項に記載の画像処理装置と、
    を備える、放射線断層撮影システム。
  9. 　放射線断層撮影装置により収集されたリストデータを収集順にＭ個のフレームに分割し１以上Ｍ以下の各ｍについて第ｍフレームに含まれるリストデータに基づいて再構成処理を行って作成された第ｍ断層画像のノイズを除去する方法であって、
    　特徴抽出用ニューラルネットワークに入力画像を入力させて該特徴抽出用ニューラルネットワークから中間画像を出力させる特徴抽出ステップと、
    　１以上Ｍ以下の各ｍについて第ｍ再構成用ニューラルネットワークに前記中間画像を入力させて該第ｍ再構成用ニューラルネットワークから第ｍ出力画像を出力させる再構成ステップと、
    　１以上Ｍ以下の各ｍの前記第ｍ断層画像と前記第ｍ出力画像との間の差の総和に基づいて評価値を求める評価ステップと、
    　前記評価値に基づいて前記特徴抽出用ニューラルネットワークおよび１以上Ｍ以下の各ｍの前記第ｍ再構成用ニューラルネットワークそれぞれを学習させる学習ステップと、
    を備え、
    　前記特徴抽出ステップ、前記再構成ステップ、前記評価ステップおよび前記学習ステップの各処理を繰り返し行わせて、１以上Ｍ以下の各ｍの前記第ｍ再構成用ニューラルネットワークから複数の前記第ｍ出力画像を出力させる、画像処理方法。
  10. 　前記特徴抽出ステップにおいて、被検体の形態情報を表す画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項９に記載の画像処理方法。
  11. 　前記特徴抽出ステップにおいて、１以上Ｍ以下の各ｍについて前記第ｍ断層画像を作成する際に用いたリストデータより多いリストデータを用いて再構成処理を行って作成された断層画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項９に記載の画像処理方法。
  12. 　前記特徴抽出ステップにおいて、被検体のＭＲＩ画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項９に記載の画像処理方法。
  13. 　前記特徴抽出ステップにおいて、被検体のＣＴ画像を前記入力画像として前記特徴抽出用ニューラルネットワークに入力させる、請求項９に記載の画像処理方法。
  14. 　１以上Ｍ以下の各ｍについて得られた複数の前記第ｍ出力画像のうちから何れかの第ｍ出力画像をノイズ除去処理後の断層画像として選択する画像選択ステップを更に備える、請求項９～１３の何れか１項に記載の画像処理方法。
  15. 　前記画像選択ステップにおいて、１以上Ｍ以下の各ｍについて前記第ｍ出力画像と前記入力画像との比較に基づいて複数の前記第ｍ出力画像のうちから何れかの第ｍ出力画像を選択する、請求項１４に記載の画像処理方法。
PCT/JP2021/002809 2020-01-29 2021-01-27 画像処理装置および画像処理方法 Ceased WO2021153604A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21748477.3A EP4099062A4 (en) 2020-01-29 2021-01-27 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN202180009327.3A CN114981684B (zh) 2020-01-29 2021-01-27 图像处理装置和图像处理方法
US17/795,566 US12444098B2 (en) 2020-01-29 2021-01-27 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-012243 2020-01-29
JP2020012243A JP7557944B2 (ja) 2020-01-29 2020-01-29 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2021153604A1 true WO2021153604A1 (ja) 2021-08-05

Family

ID=77079912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002809 Ceased WO2021153604A1 (ja) 2020-01-29 2021-01-27 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US12444098B2 (ja)
EP (1) EP4099062A4 (ja)
JP (1) JP7557944B2 (ja)
CN (1) CN114981684B (ja)
WO (1) WO2021153604A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7557944B2 (ja) * 2020-01-29 2024-09-30 浜松ホトニクス株式会社 画像処理装置および画像処理方法
JP2023112818A (ja) * 2022-02-02 2023-08-15 浜松ホトニクス株式会社 画像処理装置および画像処理方法
JP7815033B2 (ja) * 2022-05-31 2026-02-17 浜松ホトニクス株式会社 画像処理装置および画像処理方法
US20230401769A1 (en) * 2022-06-14 2023-12-14 Siemens Medical Solutions Usa, Inc. Systems and methods of accelerated dynamic imaging in pet

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955899A (zh) 2014-05-02 2014-07-30 南方医科大学 基于组合图像引导的动态pet图像去噪方法
JP2019510969A (ja) * 2016-02-29 2019-04-18 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド Ｅｃｔ画像を再構成するシステムおよび方法
JP2019211475A (ja) * 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830728A (ja) * 1994-07-12 1996-02-02 Suzuki Motor Corp 画像の二値化装置
US11914674B2 (en) * 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
WO2018048507A1 (en) * 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images
US10096109B1 (en) 2017-03-31 2018-10-09 The Board Of Trustees Of The Leland Stanford Junior University Quality of medical images using multi-contrast and deep learning
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
JP6974159B2 (ja) 2017-12-26 2021-12-01 浜松ホトニクス株式会社 画像処理装置および画像処理方法
US11880962B2 (en) * 2018-02-15 2024-01-23 General Electric Company System and method for synthesizing magnetic resonance images
CN108710904A (zh) * 2018-05-10 2018-10-26 上海交通大学 基于递归神经网络的图像匹配方法及系统
CN109003260B (zh) 2018-06-28 2021-02-09 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109598727B (zh) * 2018-11-28 2021-09-14 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN110197516A (zh) 2019-05-29 2019-09-03 浙江明峰智能医疗科技有限公司 一种基于深度学习的tof-pet散射校正方法
WO2021041125A1 (en) 2019-08-23 2021-03-04 Subtle Medical, Inc. Systems and methods for accurate and rapid positron emission tomography using deep learning
JP7337675B2 (ja) * 2019-12-04 2023-09-04 キヤノンメディカルシステムズ株式会社 医用データ処理装置
JP7557944B2 (ja) * 2020-01-29 2024-09-30 浜松ホトニクス株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955899A (zh) 2014-05-02 2014-07-30 南方医科大学 基于组合图像引导的动态pet图像去噪方法
JP2019510969A (ja) * 2016-02-29 2019-04-18 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド Ｅｃｔ画像を再構成するシステムおよび方法
JP2019211475A (ja) * 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びプログラム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DMITRY ULYANOV ET AL.: "Deep Image Prior", ARXIV PREPRINT ARXIV:1711.10925, 2017
F. HASHIMOTO ET AL.: "Denoising of Dynamic Sinogram by Image Guided Filtering for Positron Emission Tomography", IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES, vol. 2, no. 6, 2018, pages 541 - 548, XP011698873, DOI: 10.1109/TRPMS.2018.2869936
F. HASHIMOTO ET AL.: "Dynamic PET Image Denoising Using Deep Convolutional Neural Networks Without Prior Training Datasets", IEEE ACCESS, vol. 7, 2019, pages 96594 - 96603, XP011737252, DOI: 10.1109/ACCESS.2019.2929230
KUANG GONG ET AL.: "PET Image Reconstruction Using Deep Image Prior", IEEE TRANSACTIONS ON MEDICAL IMAGING, 2018
LIJUN LU ET AL., IEEE NUCLEAR SCIENCE SYMPOSIUM AND MEDICAL IMAGING CONFERENCE, vol. Dynamic PET Denoising Incorporating a Composite Im, 2014
See also references of EP4099062A4

Also Published As

Publication number Publication date
EP4099062A4 (en) 2024-02-28
CN114981684A (zh) 2022-08-30
US20230102661A1 (en) 2023-03-30
JP7557944B2 (ja) 2024-09-30
US12444098B2 (en) 2025-10-14
CN114981684B (zh) 2025-09-19
JP2021117866A (ja) 2021-08-10
EP4099062A1 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
JP7237624B2 (ja) 画像処理装置および画像処理方法
Wang et al. FBP-Net for direct reconstruction of dynamic PET images
WO2021153604A1 (ja) 画像処理装置および画像処理方法
CN114387359B (zh) 一种三维x射线低剂量成像方法及装置
Kim et al. An effective post-filtering framework for 3-D PET image denoising based on noise and sensitivity characteristics
Guo et al. Graph filtering approach to PET image denoising
JP6974159B2 (ja) 画像処理装置および画像処理方法
WO2017149399A2 (en) Optimization-based reconstruction with an image-total-variation constraint in pet
CN105488824B (zh) 一种重建pet图像的方法和装置
WO2023228910A1 (ja) 画像処理装置および画像処理方法
JP6495615B2 (ja) 画像処理装置および画像処理方法
JP6986961B2 (ja) 画像処理装置および画像処理方法
Ote et al. List-mode PET image reconstruction using Dykstra-like splitting
US20250157099A1 (en) Image processing device and image processing method
JP7815033B2 (ja) 画像処理装置および画像処理方法
JP7018306B2 (ja) 画像処理装置および画像処理方法
JP2024157164A (ja) 画像処理装置および画像処理方法
CN120051712A (zh) 图像处理装置和图像处理方法
Wang et al. Joint Reconstruction of Dynamic PET Activity and Kinetic Parametric Images Using Learnable Descent Framework
JP2016085064A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21748477

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021748477

Country of ref document: EP

Effective date: 20220829

WWG Wipo information: grant in national office

Ref document number: 202180009327.3

Country of ref document: CN

WWG Wipo information: grant in national office

Ref document number: 17795566

Country of ref document: US