WO2024043009A1 - 信号処理方法および信号処理装置 - Google Patents

信号処理方法および信号処理装置 Download PDF

Info

Publication number
WO2024043009A1
WO2024043009A1 PCT/JP2023/027993 JP2023027993W WO2024043009A1 WO 2024043009 A1 WO2024043009 A1 WO 2024043009A1 JP 2023027993 W JP2023027993 W JP 2023027993W WO 2024043009 A1 WO2024043009 A1 WO 2024043009A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
restoration
parameter group
restored
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/027993
Other languages
English (en)
French (fr)
Inventor
晃浩 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN202380057930.8A priority Critical patent/CN119654651A/zh
Priority to JP2024542703A priority patent/JPWO2024043009A1/ja
Priority to EP23857124.4A priority patent/EP4579576A4/en
Publication of WO2024043009A1 publication Critical patent/WO2024043009A1/ja
Priority to US19/038,677 priority patent/US20250173055A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to a signal processing method and a signal processing device.
  • Compressive sensing is a technology that restores more data than the observed data by assuming that the data distribution of the observed object is sparse in a certain space (for example, frequency space).
  • Compressed sensing can be applied to imaging systems that restore images containing more information from a small number of observed data.
  • an optical filter may be used that has the function of encoding the light image, for example spatially or wavelength-wise.
  • Such an imaging system can obtain a compressed image by imaging a subject through an optical filter, and can generate a restored image containing more information than the compressed image through calculation. This makes it possible to obtain various effects such as, for example, higher image resolution, multiple wavelengths, shorter imaging time, and higher sensitivity.
  • Patent Document 1 discloses an example in which compressed sensing technology is applied to a hyperspectral camera that acquires images of multiple wavelength bands, each of which is a narrow band. According to the technology disclosed in Patent Document 1, a high-resolution, multi-wavelength hyperspectral image can be generated.
  • Patent Document 2 discloses a super-resolution method that uses compressed sensing technology to generate high-resolution images from a small amount of observation information.
  • Patent Document 3 discloses a method of restoring an image with a higher resolution than the acquired image by applying a convolutional neural network (CNN) to the acquired image.
  • CNN convolutional neural network
  • the present disclosure provides a technique for improving the efficiency or performance of processing for restoring a restored image with a larger amount of information from a compressed image.
  • a method is a signal processing method performed using a computer.
  • the method includes obtaining a compressed image including compressed information of a subject, and obtaining a first parameter group and a restoration matrix used in a first restoration process for generating a restoration target image from the compressed image. and generating the restoration target image based on the compressed image, the first parameter group, and the restoration matrix, and a second restoration process used in a second restoration process for generating a restored image from the compressed image. obtaining a parameter group; generating the restored image based on the compressed image, the second parameter group, and the restoration matrix; and generating the second restored image based on the restoration target image and the restored image. and correcting the parameter group.
  • Generic or specific aspects of the present disclosure may be realized by a system, apparatus, method, integrated circuit, computer program, or recording medium such as a computer-readable recording disk, and the system, apparatus, method, integrated circuit, It may be realized by any combination of a computer program and a recording medium.
  • the computer-readable recording medium may include a volatile recording medium or a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • a device may be composed of one or more devices. When the device is composed of two or more devices, the two or more devices may be placed within one device, or may be separately placed within two or more separate devices.
  • “device” may refer not only to a device, but also to a system of devices.
  • FIG. 1 is a flowchart illustrating a signal processing method according to an embodiment of the present disclosure.
  • FIG. 2A is a diagram schematically showing a configuration example of an imaging system.
  • FIG. 2B is a diagram illustrating a configuration example of an imaging device in which a filter array is placed apart from an image sensor.
  • FIG. 2C is a diagram illustrating another configuration example of an imaging device in which a filter array is placed apart from an image sensor.
  • FIG. 2D is a diagram illustrating still another configuration example of an imaging device in which a filter array is placed apart from an image sensor.
  • FIG. 3A is a diagram schematically showing an example of a filter array.
  • FIG. 1 is a flowchart illustrating a signal processing method according to an embodiment of the present disclosure.
  • FIG. 2A is a diagram schematically showing a configuration example of an imaging system.
  • FIG. 2B is a diagram illustrating a configuration example of an imaging device in which a filter array is placed apart from an image sensor.
  • FIG. 3B is a diagram showing an example of the spatial distribution of light transmittance of each of a plurality of wavelength bands included in the target wavelength range.
  • FIG. 3C is a diagram showing an example of the spectral transmittance of area A1 included in the filter array shown in FIG. 3A.
  • FIG. 3D is a diagram showing an example of the spectral transmittance of area A2 included in the filter array shown in FIG. 3A.
  • FIG. 4A is a diagram for explaining an example of the relationship between a target wavelength range W and a plurality of wavelength bands W 1 , W 2 , . . . , W N included therein.
  • FIG. 4B is a diagram for explaining another example of the relationship between the target wavelength range W and the plurality of wavelength bands W 1 , W 2 , . . . , W N included therein.
  • FIG. 5 is a block diagram showing a configuration example of a signal processing device.
  • FIG. 6 is a conceptual diagram showing an example of the first restoration process and the second restoration process.
  • FIG. 7 is a conceptual diagram showing another example of the first restoration process and the second restoration process.
  • FIG. 8 is a flowchart illustrating an example of a method for adjusting the second parameter group.
  • FIG. 9 is a diagram showing an example of a GUI that allows the user to confirm whether the restoration target image can be adopted.
  • FIG. 9 is a diagram showing an example of a GUI that allows the user to confirm whether the restoration target image can be adopted.
  • FIG. 10 is a diagram showing an example of a restoration target image and a restored image displayed on a display device.
  • FIG. 11 is a flowchart showing a modification of the method shown in FIG.
  • FIG. 12 is a diagram showing an example in which a partial area in an image is designated by the user.
  • FIG. 13 is a diagram showing an example of a displayed warning.
  • FIG. 14 is a diagram showing an example of a GUI for changing parameters.
  • FIG. 15 is a diagram showing an example of a one-dimensional vector of n ⁇ m rows and one column based on image data that is two-dimensional data of n ⁇ m pixels.
  • all or part of a circuit, unit, device, member, or section, or all or part of a functional block in a block diagram may be, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be implemented by one or more electronic circuits.
  • An LSI or IC may be integrated into one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the memory element may be integrated into one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may also be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • Field Programmable Gate Arrays (FPGAs) which are programmed after the LSI is manufactured, or reconfigurable logic devices that can reconfigure the connections inside the LSI or set up circuit sections inside the LSI can also be used for the same purpose.
  • the functions or operations of all or part of a circuit, unit, device, member, or section can be performed by software processing.
  • the software is recorded on one or more non-transitory storage media, such as a ROM, an optical disk, or a hard disk drive, and when the software is executed by a processor, the functions specified in the software are performed. Executed by processing units and peripheral devices.
  • the system or apparatus may include one or more non-transitory storage media on which software is recorded, a processing unit, and necessary hardware devices, such as interfaces.
  • data or signals representing an image may be simply referred to as an "image.”
  • Various algorithms can be applied to the process of restoring a restored image containing more information from a compressed image with less information. For example, various algorithms based on the aforementioned compressed sensing techniques or machine learning such as deep learning may be utilized. Each algorithm has unique characteristics. For example, when a certain algorithm is used, highly accurate restoration is possible, but the amount of calculation is large and the restoration process may take a long time. On the other hand, when other algorithms are used, restoration is possible in a short time, but the restoration accuracy may be poor.
  • an imaging device equipped with an optical filter as disclosed in Patent Document 1
  • Such imaging devices produce compressed images by sequentially imaging the product through an optical filter that encodes the image of light in terms of wavelength.
  • a restored image (for example, a hyperspectral image) can be generated by applying computation using an algorithm such as compressed sensing or machine learning to the generated compressed image. Based on the generated restored image, it is possible to inspect whether there are any abnormalities in the product or whether there are any foreign substances mixed into the product.
  • Such systems require real-time processing. Therefore, it is required to perform restoration processing in a short time using a high-speed algorithm.
  • the present disclosure is based on the above consideration, and provides a technique for efficiently optimizing one or more parameters in a restoration processing algorithm actually used in a field such as an inspection.
  • FIG. 1 is a flowchart illustrating a signal processing method according to an embodiment of the present disclosure.
  • the signal processing method is performed by a computer.
  • the signal processing method shown in FIG. 1 includes the following steps S11 to S16.
  • S11 A compressed image containing compressed information of the subject is acquired.
  • S12 A first parameter group and a restoration matrix used in the first restoration process for generating a restoration target image from the compressed image are acquired.
  • S13 A restoration target image is generated based on the compressed image, the first parameter group, and the restoration matrix.
  • S14 Obtain a second parameter group used in a second restoration process for generating a restored image from the compressed image.
  • S15 A restored image is generated based on the compressed image, the second parameter group, and the restoration matrix.
  • S16 Correct the second parameter group based on the restoration target image and the restoration image.
  • the "compressed image” is an image with a relatively small amount of information obtained by imaging.
  • the compressed image may be, for example, image data in which information of a plurality of wavelength bands is compressed as one image information, but is not limited thereto.
  • the compressed image may be image data for restoring an MRI (Magnetic Resonance Imaging) image.
  • the compressed image may be image data for generating a high resolution image.
  • “Restoration target image” is data of an image that is a restoration target.
  • the restoration target image is generated from the compressed image by a first restoration process using a first algorithm.
  • the first algorithm for example, an algorithm that requires a large amount of calculation but has high restoration performance may be adopted.
  • an algorithm that performs a restoration process based on compressed sensing may be adopted as the first algorithm.
  • the first parameter group is set.
  • the first parameter group includes one or more parameters.
  • the first parameter group may include multiple parameters or a single parameter.
  • the parameters included in the first parameter group are sometimes referred to as "first parameters.”
  • the first parameter group may be set by the user or automatically by the system.
  • the set values of the first parameter group may be stored in a storage medium such as a memory.
  • the restoration target image may be simply referred to as a "target image.”
  • a "restored image” is an image that is restored for purposes such as inspection or analysis.
  • the restored image is generated from the compressed image by a second restoration process using a second algorithm.
  • an algorithm with a smaller calculation load than the first algorithm may be adopted.
  • an algorithm that is faster or uses less memory than the first algorithm may be adopted as the second algorithm.
  • a second parameter group is set before the second restoration process is performed.
  • the second parameter group includes one or more parameters.
  • the second parameter group may include multiple parameters or a single parameter.
  • the parameters included in the second parameter group are sometimes referred to as "second parameters.”
  • the second parameter group may include more parameters than the first parameter group.
  • the number of parameters in the second parameter group may be twice or more, five times or more, or ten times or more the number of parameters in the first parameter group.
  • the second parameter group may include, for example, 10 or more, 30 or more, or 50 or more parameters.
  • Restoration matrix is matrix data used in the first restoration process and the second restoration process.
  • the restoration matrix may be stored in a storage medium such as a memory in the form of a table or the like. For this reason, the restoration matrix is sometimes referred to as a "restoration table.”
  • the restoration matrix may be a matrix that reflects the characteristics of an optical filter used in imaging based on compressed sensing, for example.
  • the correction of the second parameter group in step S16 may include correcting one or more parameters included in the second parameter group so that the restored image approaches the restoration target image.
  • the correction of the second parameter group involves determining the error evaluation value between the target restored image and the restored image, and correcting one or more parameters included in the second parameter group so as to minimize the error evaluation value. may include.
  • the second parameter group can be tuned so that the restored image approaches the restoration target image.
  • the final second parameter group may be determined by repeating the process in step S15 and the process in step S16 multiple times. That is, the signal processing method corrects the second parameter group based on the restoration target image and the restored image, and generates the restored image using the corrected second parameter group, by repeating multiple times.
  • the method may include determining a final second parameter group. Thereby, it is possible to optimize the second parameter group so that, for example, the restored image almost matches the restored target image.
  • the second restoration process may include processing based on a learned model learned through machine learning, such as deep learning. Such processing is fast and can generate restored images in a short time. Algorithms based on machine learning require optimization of a large number of parameters. In this embodiment, parameters can be efficiently optimized based on a highly accurate restoration target image.
  • the first restoration process does not need to include processing based on a learned model learned through machine learning.
  • the first restoration process may include, for example, an iterative operation that minimizes or maximizes an evaluation function based on the compressed image and the restoration matrix.
  • algorithms that perform such iterative calculations are capable of highly accurate restoration, they require a large amount of calculations and may not be able to generate a restored image in a short time. Therefore, the first algorithm that performs the first restoration process is not used in a real environment such as an inspection, but generates a restoration target image that is referred to to correct the second parameter group in the second algorithm used in the real environment. used for By correcting the second parameter group using the highly accurate restoration target image obtained by the first restoration processing, it is possible to improve the restoration performance by the second restoration processing.
  • the compressed image may be an image in which spectral information of the subject is encoded.
  • the compressed image may be an image in which information of a plurality of wavelength bands of a subject is compressed into one monochrome image.
  • each of the restoration target image and the restoration image may include information on a plurality of images corresponding to a plurality of wavelength bands. This allows images of multiple wavelength bands (for example, hyperspectral images) to be restored from the compressed image.
  • the method may further include displaying a graphical user interface (GUI) on the display device for the user to input the first group of parameters. This allows the user to set the first parameter group via the GUI.
  • GUI graphical user interface
  • the above method corrects the second parameter group based on the restoration target image and the restored image, and generates the restored image using the corrected second parameter group for a predetermined number of times unless an end condition is met. repeating the process; calculating an error evaluation value between the restored image and the restoration target image after a predetermined number of repetitions; and re-inputting the first parameter group when the error evaluation value is larger than a threshold;
  • the method may further include displaying on the display device a GUI that prompts the user to change at least one of a predetermined number of times and a change in the termination condition. This allows the user to change the generation conditions for the restoration target image when the error evaluation value between the restored image and the restoration target image does not become less than or equal to the threshold value.
  • Calculating the above error evaluation value involves extracting a first region in the restoration target image, extracting a second region corresponding to the first region in the restoration image, and comparing the first region and the second region. and determining the error evaluation value based on the difference.
  • the first area and the second area may be determined based on, for example, an area designated by the user.
  • the second parameter group can be corrected so as to reduce the error in the region extracted from the restored image and the restored target image.
  • a signal processing device includes one or more processors and a memory storing a computer program executed by the one or more processors.
  • the computer program causes the one or more processors to perform the signal processing method described above. That is, the computer program instructs the one or more processors to (a) obtain a compressed image including compressed information of a subject; and (b) generate a restoration target image from the compressed image. (c) generating the restoration target image based on the compressed image, the first parameter group, and the restoration matrix; (d) obtaining a second parameter group used in a second restoration process for generating a restored image from the compressed image; and (e) based on the compressed image, the second parameter group, and the restoration matrix. and (f) correcting the second parameter group based on the restoration target image and the restored image.
  • Imaging system Next, a configuration example of an imaging system that may be used in an exemplary embodiment of the present disclosure will be described.
  • FIG. 2A is a diagram schematically showing a configuration example of an imaging system.
  • This imaging system includes an imaging device 100 and a signal processing device 200 (hereinafter simply referred to as "processing device 200").
  • the imaging device 100 has the same configuration as the imaging device disclosed in Patent Document 1.
  • the imaging device 100 includes an optical system 140, a filter array 110, and an image sensor 160.
  • Optical system 140 and filter array 110 are arranged on the optical path of light incident from object 70, which is a subject.
  • Filter array 110 in the example of FIG. 2A is placed between optical system 140 and image sensor 160.
  • an apple is illustrated as an example of the target object 70.
  • the object 70 is not limited to an apple, but may be any object.
  • the image sensor 160 generates data of a compressed image 10 in which information of a plurality of wavelength bands is compressed as a two-dimensional monochrome image.
  • the processing device 200 generates image data for each of a plurality of wavelength bands included in a predetermined target wavelength range based on the data of the compressed image 10 generated by the image sensor 160.
  • This generated image data of a plurality of wavelength bands is sometimes referred to as a "hyperspectral (HS) data cube" or "hyperspectral image data.”
  • HS hyperspectral
  • the number of wavelength bands included in the target wavelength range is assumed to be N (N is an integer of 4 or more).
  • restored images 20W 1 , 20W 2 the generated image data of a plurality of wavelength bands
  • restored images 20W 1 , 20W 2 the generated image data of a plurality of wavelength bands
  • data or signals representing an image that is, a collection of data or signals representing the pixel value of each pixel may be simply referred to as an "image.”
  • the filter array 110 in this embodiment is an array of a plurality of light-transmitting filters arranged in rows and columns.
  • the plurality of filters include a plurality of types of filters having different wavelength dependencies of spectral transmittance, that is, light transmittance.
  • the filter array 110 modulates the intensity of incident light for each wavelength and outputs the modulated light. This process by filter array 110 is referred to as "encoding,” and filter array 110 is sometimes referred to as an "encoding element" or "encoding mask.”
  • the filter array 110 is placed near or directly above the image sensor 160.
  • “nearby” means that the image of light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that the two are so close that there is almost no gap between them.
  • Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as one lens in FIG. 2A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 110.
  • FIGS. 2B to 2D are diagrams illustrating a configuration example of the imaging device 100 in which the filter array 110 is placed apart from the image sensor 160.
  • filter array 110 is arranged between optical system 140 and image sensor 160 and at a location away from image sensor 160.
  • filter array 110 is placed between object 70 and optical system 140.
  • the imaging device 100 includes two optical systems 140A and 140B, with the filter array 110 disposed between them.
  • an optical system including one or more lenses may be placed between the filter array 110 and the image sensor 160.
  • the image sensor 160 is a monochrome photodetection device that has a plurality of photodetection elements (also referred to as "pixels" in this specification) arranged in a two-dimensional plane.
  • the image sensor 160 may be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetecting element includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor. For example, use a color type sensor with red (R)/green (G)/blue (B), R/G/B/infrared (IR), or R/G/B/transparent (W) filters.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, but may be an ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength range.
  • Processing device 200 may be a computer with one or more processors and one or more storage media, such as memory.
  • the processing device 200 generates data of a plurality of restored images 20W 1 , 20W 2 , . . . 20W N based on the compressed image 10 acquired by the image sensor 160.
  • the processing device 200 may be incorporated into the imaging device 100.
  • FIG. 3A is a diagram schematically showing an example of the filter array 110.
  • Filter array 110 has a plurality of regions arranged in a two-dimensional plane. In this specification, the area may be referred to as a "cell.”
  • Optical filters having individually set spectral transmittances are arranged in each region.
  • the spectral transmittance is expressed by a function T( ⁇ ), where the wavelength of incident light is ⁇ .
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular areas arranged in 6 rows and 8 columns. This is just an example, and in actual applications, more areas may be provided. The number may be approximately the same as the number of pixels of the image sensor 160, for example. The number of filters included in the filter array 110 is determined depending on the application, for example, in the range of several tens to tens of millions.
  • FIG. 3B is a diagram showing an example of the spatial distribution of the transmittance of light in each of a plurality of wavelength bands W 1 , W 2 , . . . , W N included in the target wavelength range.
  • the difference in shading in each region represents the difference in transmittance. The lighter the area, the higher the transmittance, and the darker the area, the lower the transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIGS. 3C and 3D are diagrams showing examples of spectral transmittances of area A1 and area A2 included in filter array 110 shown in FIG. 3A, respectively.
  • the spectral transmittance of area A1 and the spectral transmittance of area A2 are different from each other. In this way, the spectral transmittance of the filter array 110 differs depending on the region. However, the spectral transmittances of all regions do not necessarily have to be different. In the filter array 110, at least some of the plurality of regions have different spectral transmittances.
  • Filter array 110 includes two or more filters with different spectral transmittances.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 may be equal to or greater than the number N of wavelength bands included in the target wavelength range.
  • the filter array 110 may be designed such that half or more of the regions have different spectral transmittances.
  • the target wavelength range W can be set to various ranges depending on the application.
  • the target wavelength range W may be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a wavelength range such as mid-infrared or far-infrared. In this way, the wavelength range used is not limited to the visible light range.
  • "light” refers to all radiation including not only visible light but also infrared and ultraviolet light.
  • N is an arbitrary integer greater than or equal to 4, and the wavelength ranges obtained by dividing the target wavelength range W into N equal parts are designated as wavelength band W 1 , wavelength band W 2 , ..., wavelength band W N There is.
  • the plurality of wavelength bands included in the target wavelength range W may be set arbitrarily.
  • the bandwidth may be made non-uniform depending on the wavelength band.
  • the bandwidth differs depending on the wavelength band, and there is a gap between two adjacent wavelength bands. In this way, the plurality of wavelength bands can be determined arbitrarily.
  • a gray scale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1.
  • a binary scale transmittance distribution may be adopted in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits most of the light in at least two of the wavelength ranges included in the target wavelength range, and transmits most of the light in the remaining wavelength ranges. I won't let you.
  • "most" refers to approximately 80% or more.
  • a part of all the cells may be replaced with a transparent area.
  • a transparent region transmits light in all wavelength bands W 1 to W N included in the target wavelength range W with a similar high transmittance, for example, 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard pattern, for example. That is, in the two arrangement directions of the plurality of regions in the filter array 110, regions whose light transmittances differ depending on the wavelength and transparent regions may be arranged alternately.
  • Such data indicating the spatial distribution of spectral transmittance of the filter array 110 may be obtained in advance based on design data or actual measurement calibration, and stored in a storage medium included in the processing device 200. This data is used for calculation processing described later.
  • the filter array 110 may be configured using, for example, a multilayer film, an organic material, a diffraction grating structure, or a fine structure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film including a metal layer can be used.
  • at least one of the thickness, material, and lamination order of each multilayer film is formed to be different for each cell. This makes it possible to achieve different spectral characteristics depending on the cell.
  • By using a multilayer film sharp rises and falls in spectral transmittance can be realized.
  • a structure using organic materials can be realized by containing different pigments or dyes depending on the cell, or by stacking different types of materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell.
  • a fine structure containing metal it can be manufactured using spectroscopy based on the plasmon effect.
  • the processing device 200 reconstructs a multi-wavelength hyperspectral image 20 based on the compressed image 10 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110.
  • multiple wavelengths means, for example, more wavelength ranges than the three color wavelength ranges of RGB (red, green, and blue) acquired by a normal color camera.
  • the number of wavelength ranges can be, for example, about 4 to 100.
  • the number of wavelength ranges is referred to as the "number of bands.” Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 20, and this data is designated as f.
  • f is the image data f 1 of the image corresponding to the wavelength band W 1
  • the image data f 2 of the image corresponding to the wavelength band W 2 ...
  • the image corresponding to the wavelength band W N This is data obtained by integrating the image data fN of .
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • each of image data f 1 , image data f 2 , ..., image data f N has n ⁇ m pixels. This is two-dimensional data. Therefore, the data f is three-dimensional data with the number of elements n ⁇ m ⁇ N. This three-dimensional data is referred to as "hyperspectral image data" or "hyperspectral data cube.”
  • the image data g of the compressed image 10 obtained by being encoded and multiplexed by the filter array 110 is two-dimensional data of n ⁇ m pixels.
  • Image data g can be expressed by the following equation (1).
  • g included in formula (1) is a one-dimensional vector of n ⁇ m rows and one column based on the image data g, which is the two-dimensional data of n ⁇ m pixels described above.
  • f 1 included in equation (1) is a one-dimensional vector of n x m rows and 1 column based on the image data f 1 which is two-dimensional data of n x m pixels described above, and is included in equation (1).
  • f2 is a one-dimensional vector of n ⁇ m rows and one column based on the image data f2 which is two-dimensional data of n ⁇ m pixels described above
  • f N included in equation (1) is , is a one-dimensional vector of n ⁇ m rows and one column based on the image data fN , which is the two-dimensional data of n ⁇ m pixels described above.
  • FIG. 15 is a diagram showing an example of a one-dimensional vector of n ⁇ m rows and one column based on image data that is two-dimensional data of n ⁇ m pixels.
  • f included in equation (1) is a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the matrix H is obtained by encoding and intensity modulating each component f 1 , f 2 , ..., f N of f with different encoding information (also referred to as "mask information") for each wavelength band, and adding them. Represents a transformation. Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns. This matrix H is sometimes called a "restoration matrix.”
  • the processing device 200 uses the redundancy of the image included in the data f to find a solution using a compressed sensing technique. Specifically, the desired data f is estimated by solving Equation (2) below.
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, a so-called residual term.
  • the second term in parentheses is a regularization term or stabilization term.
  • Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the function in parentheses in equation (2) is called an evaluation function.
  • the processing device 200 can converge the solution through recursive iterative operations and calculate f that minimizes the evaluation function as the final solution f'.
  • the first term in parentheses in Equation (2) means an operation to calculate the sum of squares of the difference between the acquired data g and Hf obtained by converting f in the estimation process using matrix H.
  • the second term ⁇ (f) is a constraint in the regularization of f, and is a function reflecting the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, a discrete cosine transform (DCT), a wavelet transform, a Fourier transform, or a total variation (TV) of f. For example, when total variation is used, stable estimated data can be obtained that suppresses the influence of noise on the observed data g.
  • DCT discrete cosine transform
  • TV total variation
  • the sparsity of the object 70 in the space of each regularization term differs depending on the texture of the object 70.
  • a regularization term may be selected that makes the texture of the object 70 sparser in the space of regularization terms.
  • multiple regularization terms may be included in the calculation.
  • ⁇ is a weighting coefficient. The larger the weighting coefficient ⁇ , the greater the amount of redundant data to be reduced, and the higher the compression ratio. The smaller the weighting coefficient ⁇ , the weaker the convergence to a solution.
  • the weighting coefficient ⁇ is set to an appropriate value that allows f to converge to some extent and not cause overcompression.
  • the image encoded by the filter array 110 is acquired in a blurred state on the imaging surface of the image sensor 160. Therefore, the hyperspectral image 20 can be reconstructed by retaining this blur information in advance and reflecting the blur information in the matrix H described above.
  • the blur information is expressed by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to surrounding pixels. For example, when a point image corresponding to one pixel on an image spreads to an area of k ⁇ k pixels around that pixel due to blur, the PSF is a group of coefficients that indicates the influence on the pixel value of each pixel in that area. , that is, can be defined as a matrix.
  • the hyperspectral image 20 can be reconstructed by reflecting the effect of blurring of the coding pattern due to PSF on the matrix H.
  • a position may be selected where the coding pattern of filter array 110 is too diffused and disappears.
  • the hyperspectral image 20 can be restored from the compressed image 10 acquired by the image sensor 160.
  • the process of generating a restored image from a compressed image is not limited to the algorithm using compressed sensing based on the above-mentioned equation (2), but can be executed using an algorithm using machine learning.
  • Algorithms using machine learning include, for example, algorithms that apply a trained model learned by deep learning to a compressed image to generate a restored image. By using such an algorithm, the time required for the restoration process can be shortened.
  • parameter optimization is required. Therefore, a method may be used in which each parameter in a machine learning algorithm is optimized based on a restoration target image generated using an algorithm based on compressed sensing. Thereby, parameter optimization can be performed efficiently.
  • FIG. 5 is a block diagram showing a configuration example of the processing device 200.
  • the processing device 200 shown in FIG. 5 is used in combination with the imaging device 100 and the terminal device 500.
  • Imaging device 100 may be the hyperspectral imaging device described above.
  • the terminal device 500 is a computer for executing various operations related to parameter optimization processing for generating a restored image.
  • Terminal device 500 includes an input device 510 and a display device 520.
  • Processing device 200 includes one or more processors 210, such as a CPU or GPU, and one or more memories 250.
  • Memory 250 stores computer programs executed by processor 210 and various data generated by processor 210.
  • the computer program causes processor 210 to perform the signal processing method illustrated in FIG. That is, the processor 210 executes the following process by executing a computer program.
  • - Acquire the compressed image generated by the imaging device 100.
  • - Acquire the first parameter group and the restoration matrix (corresponding to the matrix H described above) from the memory 250.
  • - Generate a restoration target image based on the compressed image, the first parameter group, and the restoration matrix.
  • - Obtaining a second parameter group from memory 250; - Generate a restored image based on the compressed image, the second parameter group, and the restoration matrix.
  • Correct the second parameter group based on the restoration target image and the restoration image.
  • the processor 210 has the functions of a restoration target image generation section 212, an image restoration section 214, and a parameter optimization section 216. These functions can be realized by software processing. Note that in this embodiment, one processor 210 executes all processes of the restoration target image generation section 212, the image restoration section 214, and the parameter optimization section 216, but this is only an example. These processes may be performed by multiple hardware (eg, circuits or computers). For example, the processing of restoration target image generation, image restoration, and parameter optimization may be performed by a plurality of computers connected to each other via a network.
  • the restoration target image generation unit 212 executes a first restoration process based on the compressed image generated by the imaging device 100, the first parameter group and restoration matrix stored in the memory 250, and generates a restoration target image.
  • the first algorithm is used for the first restoration process.
  • the generated restoration target image is output to the display device 520 and the restoration parameter optimization unit 216.
  • the image restoration unit 214 generates a restored image by performing a second restoration process based on the compressed image, the second parameter group, and the restoration matrix. A second algorithm is used for the second restoration process.
  • the generated restored image is output to the display device 520 and the parameter optimization unit 216.
  • the parameter optimization unit 216 corrects the second parameter group based on the restoration target image and the restoration image, and outputs the corrected second parameter group to the image restoration unit 214.
  • the restoration parameter optimization unit 216 corrects the second parameter group so that the difference between the restored image and the restoration target image becomes smaller.
  • the process of correcting the second parameter group based on the restoration target image and the restored image and the process of generating the restored image using the corrected second parameter group are repeated a predetermined number of times, and the final second parameter group is The value is determined. This optimizes the second parameter group.
  • each of the restoration target image and the restoration image includes a plurality of images corresponding to a plurality of wavelength bands.
  • the plurality of wavelength bands may include four or more bands with relatively narrow bandwidths, such as a band with a wavelength of 400-410 nm, a band with a wavelength of 410-420 nm, for example.
  • Correcting the second parameter group so that the restored image approaches the restoration target image means correcting the second parameter group so that the image of each band in the restored image approaches the image of the corresponding band in the restoration target image. It may include correcting one or more values corresponding to one or more parameters.
  • an image with a wavelength of 400-410 nm in the restored image approaches an image with a wavelength of 400-410 nm in the restored target image
  • an image with a wavelength of 410-420 nm in the restored image approaches an image with a wavelength of 410-420 nm in the restored target image.
  • a second set of parameters may be corrected.
  • the magnitude of the difference between the restored image and the restored target image can be evaluated based on the error evaluation value.
  • the error evaluation value can be calculated by, for example, calculating the error for each wavelength band image that has a one-to-one correspondence between the restored image and the restored target image, and then summing or averaging these errors. It can be calculated. That is, minimizing the error evaluation value may include minimizing the sum or average value of errors for each of the plurality of wavelength bands.
  • the display device 520 displays the restoration target image and the restoration image that are generated in the process of optimizing the second parameter group.
  • the input device 510 may include a device such as a keyboard or mouse used by the user to set various setting items such as the first parameter group.
  • FIG. 6 is a conceptual diagram showing an example of the first restoration process and the second restoration process.
  • the first restoration process in this example uses the first algorithm based on compressed sensing, and generates the restoration target image by the recursive iterative operation shown in equation (2) above.
  • the first parameter group in the first algorithm may include several parameters, such as the number of iterations and the regularization coefficient ⁇ .
  • the initial values of the first parameter group are stored in the memory 250 in advance.
  • the first parameter group can also be set by the user using the input device 510.
  • the first restoration process includes an iterative operation that minimizes the evaluation function based on the compressed image and the restoration matrix, that is, the function in parentheses on the right side of equation (2).
  • the first restoration process will include an iterative operation that maximizes the evaluation function based on the compressed image and the restoration matrix.
  • the second restoration process in the example of FIG. 6 generates a restored image using a second algorithm based on machine learning such as deep learning. Then, the second parameter group is corrected so as to minimize the error evaluation value between the restored image and the restored target image.
  • the error evaluation value may be, for example, the sum or average value of the square or absolute value of the difference in each pixel value in the region of the subject of interest between the restored image and the restored target image.
  • deep learning a plurality of nodes are provided in each of an input layer, a plurality of hidden layers, and an output layer, and each node has a unique weight.
  • the second parameter group may include weights of each of the plurality of nodes in the deep learning algorithm and hyperparameters.
  • Hyperparameters may include, for example, the number of learning times, the learning rate, and parameters specifying the learning algorithm.
  • the second parameter group may include, for example, hundreds or more parameters. When the second parameter group is corrected, the weight of each of the plurality of nodes, the number of times of learning, the learning rate, and/or the algorithm that specifies the learning algorithm may be corrected.
  • learning in the second restoration process that is, optimization of the second parameter group
  • learning in the second restoration process is performed using the restoration target image generated in the first restoration process as learning data.
  • the second parameter group can be efficiently optimized.
  • the second restoration process does not necessarily need to be performed by a machine learning algorithm.
  • the second restoration process may be performed by an algorithm based on compressed sensing.
  • FIG. 7 is a conceptual diagram showing another example of the first restoration process and the second restoration process.
  • both the first restoration process and the second restoration process are performed using an algorithm based on compressed sensing.
  • the first restoration process may be executed, for example, by a first algorithm that has high restoration performance but has a high computational load.
  • the second restoration process may be performed by a second algorithm that has a lower computational load than the first algorithm but requires setting more parameters.
  • an iterative operation is performed based on an iterative operation function ⁇ 1 that depends on n first parameters p 1 , . . . , p n .
  • an iterative operation is performed based on an iterative operation function ⁇ 2 that depends on m second parameters q 1 , . . . , q m that are larger than n.
  • the restored target image generated in the k-th iterative calculation is expressed as f 1 k
  • the restored image generated in the k-th iterative calculation is expressed as f 2 k .
  • p n can be set by the user, for example. Since m is larger than n, adjusting the second parameters q 1 , . . . , q m is more difficult than adjusting the first parameters p 1 , . In this embodiment, the second parameters q 1 , ..., q m are optimized so that the restored image generated in the second restoration process approaches the restoration target image generated in the first restoration process. . Thereby, the second parameter group can be efficiently optimized.
  • the second algorithm is selected from a different algorithm than the first algorithm.
  • the second algorithm may be selected from algorithms that have some advantage over the first algorithm, such as shorter computation time, higher memory efficiency, or higher restoration accuracy.
  • FIG. 8 is a flowchart illustrating an example of a method for adjusting the second parameter group. The method shown in FIG. 8 is executed by processor 210 of processing device 200.
  • step S101 the processor 210 acquires the compressed image generated by the imaging device 100.
  • the processor 210 may obtain the compressed image directly from the imaging device 100 or may obtain the compressed image via a storage medium such as the memory 250.
  • step S102 the processor 210 obtains a restoration matrix from the memory 250.
  • the restoration matrix is generated in advance and stored in memory 250.
  • Step S102 may be performed before step S101, or may be performed simultaneously with step S101.
  • step S103 the processor 210 obtains the values of the first parameter group from the memory 250.
  • the processor 210 obtains the values of the set first parameter group.
  • step S104 the processor 210 generates a restoration target image based on the compressed image, the restoration matrix, and the first parameter group. This process corresponds to the first restoration process described above, and is executed using the first algorithm. If the first algorithm is an algorithm that performs iterative calculations based on compressed sensing, a restored target image is generated by performing iterative calculations a preset number of times.
  • step S105 it is determined whether the restoration target image is a desired image. This determination may be made based on the user's operation using the input device 510. For example, the processor 210 causes the display device 520 to display the generated restoration target image and a GUI that allows the user to confirm whether or not to adopt the restoration target image, and when the user approves the adoption of the restoration target image, , it may be determined that the restoration target image is a desired image.
  • FIG. 9 is a diagram showing an example of a GUI that allows the user to confirm whether the restoration target image can be adopted.
  • the generated restoration target image 521, the number of iterations and regularization coefficient that are the first parameters, and the GUI 522 are displayed on the display device 520.
  • the GUI 522 includes "OK" and "parameter reset” buttons.
  • the user presses the "OK” button the displayed restoration target image is adopted and the process proceeds to step S106.
  • the user presses the "parameter reset” button the user can reset the first parameter. In that case, the process returns to step S103, and the processor 210 generates the restoration target image again using the reset first parameter. Thereafter, the processes from steps S103 to S105 are repeated until it is determined in step S105 that the desired image has been obtained.
  • step S106 the processor 210 sets the second parameter group to the initial values stored in the memory 250.
  • step S107 the processor 210 generates a restored image based on the compressed image, the restoration matrix, and the second parameter group.
  • This process corresponds to the second restoration process described above, and is executed using the second algorithm. If the second algorithm is an algorithm that performs iterative calculations based on compressed sensing, a restored image is generated by performing iterative calculations a preset number of times.
  • step S108 the processor 210 compares the restored image with the restored target image and evaluates the error. For example, the processor 210 determines the error evaluation value using an error evaluation function that indicates the magnitude of the difference between the restored image and the restoration target image.
  • the error evaluation function for example, mean squared error (MSE) can be used. MSE is expressed by the following equation (3).
  • n and m are the number of vertical and horizontal pixels of the image, respectively, f i,j is the pixel value of the i row, j column of the correct image, and I i,j is the i row, j column of the estimated restored image. represents the pixel value of
  • the error is not limited to MSE, but also other errors such as Root MSE (RMSE), Peak-Signal-to-Noise-Ratio (PSNR), Mean Absolute Error (MAE), Structural Similarity (SSMI), or spectral angle. It can also be expressed as an evaluation index.
  • each of the restoration target image and the restoration image includes a plurality of images corresponding to a plurality of wavelength bands.
  • a plurality of images such as an image corresponding to a wavelength band of 400-410 nm and an image corresponding to a wavelength band of 410-420 nm, can be restored in each of the first restoration process and the second restoration process.
  • an error evaluation function such as MSE may be calculated for each corresponding band between the restored image and the restored target image.
  • the error evaluation value can be determined by summing or averaging the values of the error evaluation functions calculated for each band.
  • the plurality of restoration target images include a first restoration target image corresponding to wavelength band W1 , a second restoration target image corresponding to wavelength band W2 , ..., an Nth restoration target image corresponding to wavelength band WN . May include.
  • the plurality of restored images may include a first restored image corresponding to wavelength band W1 , a second restored image corresponding to wavelength band W2 , . . . an Nth restored image corresponding to wavelength band WN .
  • the error evaluation values between the plurality of restoration target images and the plurality of restoration images include a first error evaluation value between the first restoration target image and the first restoration image, a second error evaluation value between the second restoration target image and the second restoration image, ..., may be determined based on the Nth restoration target image and the Nth error evaluation value of the Nth restoration image.
  • the first error evaluation value is the MSE of the first restoration target image and the first restoration image
  • the second error evaluation value is the MSE of the second restoration target image and the second restoration image
  • the Nth error evaluation value is the Nth error evaluation value
  • the MSE of the restoration target image and the Nth restoration image may be used.
  • step S109 the processor 210 updates the second parameter group so that the error between the restored image and the restored target image becomes smaller.
  • the second parameter group can be updated using a method such as gradient descent or Bayesian optimization to reduce the error evaluation value.
  • step S110 the processor 210 determines whether a preset loop termination condition is satisfied.
  • the loop termination condition may be, for example, that the optimization loop from steps S107 to S109 has been repeated a predetermined number of times, or that the error evaluation value between the restored image and the restored target image has become smaller than a threshold value. If the loop end condition is not satisfied, the process returns to step S107. If the loop end condition is satisfied, the process ends.
  • the processor 210 may display the restored image in the generation process on the display device 520 together with the restored target image. This allows the user to compare the restored image and the restored target image and check whether the second parameter group has been optimized without any problem.
  • FIG. 10 is a diagram showing an example of a restoration target image 521 and a restoration image 523 displayed on the display device 520.
  • a restoration target image 521 and a restoration image 523 whose second parameter group has been optimized are displayed side by side.
  • the first parameter for generating the restoration target image 521 and the termination condition for the optimization loop of the process for generating the restoration image 523 are also displayed.
  • the first parameter and termination condition can be set by the user using the input device 510.
  • the first parameter includes the number of iterative operations and a regularization coefficient
  • the optimization loop termination condition includes the maximum number of loops and an error tolerance.
  • the user can view the displayed restoration target image 521 and restoration image 523, change the parameters or the termination conditions of the optimization loop as needed, and have the processor 210 execute the restoration process again.
  • FIG. 11 is a flowchart showing a modification of the method shown in FIG. 8.
  • the flowchart shown in FIG. 11 has the points that step S206 is added between step S105 and step S106, step S108 is replaced with step S208, and steps S211 and S212 are executed when the determination is Yes in step S110. This is different from the flowchart shown in FIG. Hereinafter, points different from the example of FIG. 8 will be explained.
  • step S206 the processor 210 extracts one or more regions from the restoration target image.
  • Processor 210 may be configured, for example, to extract one or more regions specified by a user.
  • the user specifies, for example, an area showing an important object that needs to be inspected or analyzed.
  • FIG. 12 is a diagram showing an example in which a part of the area is specified by the user. In this example, an area A in which a specific subject is shown is specified. Area B that is not specified is processed as a background.
  • the processor 210 may extract a region in which an important subject is estimated to exist from the restoration target image by image processing without depending on a user's operation.
  • steps S106 and S107 are executed to generate a restored image.
  • the processor 210 compares the restored image with the restored target image and evaluates the error. At this time, the processor 210 weights the evaluation value for each area so that the restoration accuracy of the designated area is improved. For example, in the example of FIG. 12, the weight of the evaluation value of the designated area is made relatively large, and the weight of the evaluation value of the unspecified area is made relatively small.
  • the error evaluation value can be expressed by the following formula, where a and b are coefficients (a>b).
  • Evaluation value a ⁇ evaluation value of area A+b ⁇ evaluation value of area B.
  • the error in area B does not affect the evaluation value much, and the error in area A greatly affects the evaluation value.
  • Coefficient a may be set to a larger value than coefficient b, for example 1.5 times, twice, or more than coefficient b.
  • step S110 after it is determined in step S110 that the loop end condition is satisfied, it is determined whether the error evaluation value between the restored image and the restored target image is larger than a threshold (step S211). If this determination is Yes, the processor 210 causes the display device 520 to display a warning prompting the user to regenerate the target image (for example, re-input the first parameter group) or change the optimization loop termination conditions (step S212). .
  • FIG. 13 is a diagram showing an example of a displayed warning.
  • the message "The error in the restored image exceeds the threshold. Please change the parameters.” is displayed.
  • the OK button the screen changes to a screen for changing parameters.
  • FIG. 14 is a diagram showing an example of a GUI for changing parameters.
  • an error image is displayed in addition to the target image and the optimized restored image.
  • the error image is an image that indicates the degree of matching between the target image and the restored image, and may be, for example, a difference image, a squared error image, or a spectral angle distribution image.
  • each of the target image and the restored image includes a plurality of images corresponding to a plurality of wavelength bands, but only an image corresponding to one wavelength band is illustrated in FIG. has been done. Images corresponding to each of a plurality of wavelength bands may be displayed.
  • the user can change the first parameter for generating the target image and the conditions for terminating the optimization loop of the restored image while viewing the error image. Thereby, the first parameter and the optimization loop termination condition can be changed so that the error in the important subject area is as small as possible.
  • the processor 210 corrects the second parameter group based on the restoration target image and the restored image, and generates the restored image using the corrected second parameter group. , is repeated a predetermined number of times unless the termination condition is met.
  • the processor 210 calculates an error evaluation value between the restored image and the restored target image after a predetermined number of repetitions have been performed. When the error evaluation value is larger than the threshold, the processor 210 causes the display device 520 to display a GUI that prompts the user to at least one of re-entering the first parameter group, changing the predetermined number of times, and changing the termination condition. .
  • the restoration target image can be regenerated with more appropriate values of the first parameter group, the above-mentioned predetermined number of times can be changed, or the termination condition can be changed. This makes it possible to generate a more suitable restored image.
  • the processor 210 also extracts a first region in the restoration target image, extracts a second region corresponding to the first region in the restoration image, and calculates an error evaluation value based on the difference between the first region and the second region. decide.
  • the first area may be specified by the user, for example. This makes it possible to optimize the second parameter group so that, for example, a restored image with small errors in areas of high importance is generated.
  • a hyperspectral image is restored from a compressed image
  • the scope of application of the technology of the present disclosure is not limited to the use of restoring a hyperspectral image.
  • the technology of the present disclosure is applied to applications such as restoring a higher-resolution restored image from a low-resolution compressed image, restoring an MRI image from a compressed image, or restoring a three-dimensional image from a compressed image. be able to.
  • a signal processing method performed using a computer comprising: obtaining a compressed image containing compressed information of a subject; obtaining a first parameter group and a restoration matrix used in a first restoration process for generating a restoration target image from the compressed image; generating the restoration target image based on the compressed image, the first parameter group, and the restoration matrix; obtaining a second parameter group used in a second restoration process for generating a restored image from the compressed image; generating the restored image based on the compressed image, the second parameter group, and the restoration matrix; correcting the second parameter group based on the restoration target image and the restoration image; method including.
  • the second parameter group can be corrected appropriately and efficiently. As a result, the quality of the restored image generated by the second restoration process can be improved.
  • Correcting the second parameter group means correcting one or more values corresponding to one or more parameters included in the second parameter group so that the restored image approaches the restoration target image.
  • the second parameter group is appropriately corrected, making it possible to generate a restored image close to the restoration target image.
  • Correcting the second parameter group includes: determining an error evaluation value between the target restored image and the restored image; correcting one or more values corresponding to one or more parameters included in the second parameter group so as to minimize the error evaluation value;
  • the method according to technique 3 comprising:
  • the second parameter group can be corrected more appropriately, and a restored image with small errors can be generated.
  • the first restoration process is performed by a first algorithm
  • the second restoration process is performed by a second algorithm
  • the second algorithm is an algorithm with a lower computational load than the first algorithm
  • a restored image can be generated in a shorter time by using the second algorithm, which has a smaller calculation load than the first algorithm.
  • the first restoration process does not include a process based on a learned model learned through machine learning
  • the second restoration process includes a process based on a learned model learned through machine learning. The method described in Technique 5.
  • a restored image can be generated in a shorter time by the second restoration process that includes processing based on the learned model.
  • the compressed image is an image in which spectral information of the subject is encoded,
  • Each of the restoration target image and the restoration image includes information on a plurality of images corresponding to a plurality of wavelength bands.
  • the method according to any one of techniques 1 to 7.
  • the second parameter group can be corrected to more appropriate values, so the accuracy of the restored image can be improved.
  • the user can adjust the first parameter group, so a more appropriate restoration target image can be generated.
  • the second parameter group it becomes possible to correct the second parameter group to more appropriate values, and the accuracy of the restored image can be improved.
  • the second parameter group can be corrected to more appropriate values. As a result, it becomes possible to generate a more accurate restored image.
  • a signal processing device one or more processors; a memory storing a computer program executed by the one or more processors; Equipped with The computer program causes the one or more processors to: obtaining a compressed image containing compressed information of a subject; obtaining a first parameter group and a restoration matrix used in a first restoration process for generating a restoration target image from the compressed image; generating the restoration target image based on the compressed image, the first parameter group, and the restoration matrix; obtaining a second parameter group used in a second restoration process for generating a restored image from the compressed image; generating the restored image based on the compressed image, the second parameter group, and the restoration matrix; correcting the second parameter group based on the restoration target image and the restoration image; A signal processing device that executes.
  • the second parameter group can be corrected appropriately and efficiently. As a result, the quality of the restored image generated by the second restoration process can be improved.
  • the method according to the first item is a method performed by a computer, comprising: The method includes: a computer (a) receiving a first image of a subject imaged through a filter array including four or more filters, the four or more filters having a one-to-one correspondence with four or more spectral spectra; the four or more spectra are different from each other, (b) Based on the restoration matrix corresponding to the filter array and the plurality of pixel values of the first image, a plurality of first pixel values of the first restoration target image corresponding to the first wavelength range, ⁇ , nth wavelength; determining a plurality of n-th pixel values of the n-th restoration target image corresponding to the area; (c) determining a plurality of weight values of a neural network based on the plurality of pixel values of the first image, the plurality of first pixel values, ⁇ , the plurality of nth pixel values; each of the plurality of weight values corresponds to two directly connected units, and the neural network includes the
  • the neural network uses the plurality of input values to generate an image corresponding to n wavelength range,
  • the plurality of input values are a plurality of pixel values of the image of the second subject captured through the filter array,
  • the neural network generates the plurality of output values using the plurality of input values and the determined plurality of weight values and without using the restoration matrix.
  • the technology of the present disclosure is useful, for example, for cameras and measuring instruments that acquire multi-wavelength or high-resolution images.
  • the technology of the present disclosure can also be applied to, for example, sensing for living organisms, medical care, and beauty, food foreign matter/residual pesticide inspection systems, remote sensing systems, and in-vehicle sensing systems.
  • Imaging device 110 Filter array 140 Optical system 160 Image sensor 200 Signal processing device 210 Processor 250 Memory 300 Display device 400 Conveyor 500 Terminal device 510 Input device 520 Display device 1000 Imaging system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

コンピュータを用いて実行される信号処理方法は、被写体の圧縮された情報を含む圧縮画像を取得することと、前記圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得することと、前記圧縮画像、前記第１パラメータ群、および前記復元行列に基づいて、前記復元目標画像を生成することと、前記圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得することと、前記圧縮画像、前記第２パラメータ群、および前記復元行列に基づいて、前記復元画像を生成することと、前記復元目標画像および前記復元画像に基づいて、前記第２パラメータ群を補正することと、を含む。

Description

信号処理方法および信号処理装置
　本開示は、信号処理方法および信号処理装置に関する。
　圧縮センシングは、観測対象のデータ分布が、ある空間（例えば周波数空間）においてスパース（疎）であると仮定することで、観測されたデータよりも多くのデータを復元する技術である。圧縮センシングは、少数の観測データから、より多くの情報を含む画像を復元する撮像システムに適用され得る。圧縮センシングを撮像システムに適用する場合、例えば空間的あるいは波長的に光の像を符号化する機能をもつ光学フィルタが用いられ得る。そのような撮像システムは、光学フィルタを通して被写体を撮像することによって圧縮画像を取得し、演算によって圧縮画像よりも多くの情報を含む復元画像を生成することができる。これにより、例えば画像の高解像化、多波長化、撮像時間の短縮、または高感度化などの種々の効果を得ることが可能になる。
　特許文献１は、各々が狭帯域である複数の波長バンドの画像を取得するハイパースペクトルカメラに圧縮センシング技術を適用した例を開示している。特許文献１に開示された技術によれば、高解像度かつ多波長のハイパースペクトル画像を生成することができる。
　特許文献２は、圧縮センシング技術を用いて、少ない観測情報から高解像度の画像を生成する超解像化の方法を開示している。
　特許文献３は、取得した画像に畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）を適用することにより、取得した画像よりも高い解像度の画像を復元する方法を開示している。
米国特許第９５９９５１１号明細書 特開２０１７－２０８６４１号公報 米国特許出願公開第２０１９／０３４０４９７号明細書
　本開示は、圧縮画像から、より情報量の多い復元画像を復元する処理の効率化または高性能化のための技術を提供する。
　本開示の一態様に係る方法は、コンピュータを用いて実行される信号処理方法である。前記方法は、被写体の圧縮された情報を含む圧縮画像を取得することと、前記圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得することと、前記圧縮画像、前記第１パラメータ群、および前記復元行列に基づいて、前記復元目標画像を生成することと、前記圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得することと、前記圧縮画像、前記第２パラメータ群、および前記復元行列に基づいて、前記復元画像を生成することと、前記復元目標画像および前記復元画像に基づいて、前記第２パラメータ群を補正することと、を含む。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体によって実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせによって実現されてもよい。コンピュータ読み取り可能な記録媒体は、揮発性の記録媒体を含んでいてもよいし、ＣＤ－ＲＯＭ（Compact Disc‐Read Only Memory）等の不揮発性の記録媒体を含んでいてもよい。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の技術によれば、圧縮画像から、より情報量の多い復元画像を生成する処理の効率化または高性能化を実現することができる。
図１は、本開示の一実施形態による信号処理方法を示すフローチャートである。 図２Ａは、撮像システムの構成例を模式的に示す図である。 図２Ｂは、フィルタアレイがイメージセンサから離れて配置されている撮像装置の構成例を示す図である。 図２Ｃは、フィルタアレイがイメージセンサから離れて配置されている撮像装置の他の構成例を示す図である。 図２Ｄは、フィルタアレイがイメージセンサから離れて配置されている撮像装置のさらに他の構成例を示す図である。 図３Ａは、フィルタアレイの例を模式的に示す図である。 図３Ｂは、対象波長域に含まれる複数の波長バンドのそれぞれの光の透過率の空間分布の一例を示す図である。 図３Ｃは、図３Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図３Ｄは、図３Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図４Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の一例を説明するための図である。 図４Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の他の例を説明するための図である。 図５は、信号処理装置の構成例を示すブロック図である。 図６は、第１復元処理および第２復元処理の例を示す概念図である。 図７は、第１復元処理および第２復元処理の他の例を示す概念図である。 図８は、第２パラメータ群を調整する方法の一例を示すフローチャートである。 図９は、復元目標画像を採用してもよいかをユーザに確認させるＧＵＩの一例を示す図である。 図１０は、表示装置に表示される復元目標画像と、復元画像の例を示す図である。 図１１は、図１０に示す方法の変形例を示すフローチャートである。 図１２は、ユーザによって画像中の一部の領域が指定された例を示す図である。 図１３は、表示される警告の一例を示す図である。 図１４は、パラメータを変更するためのＧＵＩの一例を示す図である。 図１５は、ｎ×ｍ画素の２次元データである画像データに基づいたｎ×ｍ行１列の１次元ベクトルの例を示す図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序、および表示画面のレイアウト等は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号を付している。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（large scale integration）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（very large scale integration）、もしくはＵＬＳＩ（ultra large scale integration）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成（reconfiguration）またはＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。その場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（processor）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　本開示において、画像を表すデータまたは信号を単に「画像」と称することがある。
　［１．信号処理方法］
　情報量の少ない圧縮画像から、より多くの情報を含む復元画像を復元する処理には、様々なアルゴリズムが適用され得る。例えば、前述の圧縮センシング技術に基づく種々のアルゴリズム、または深層学習などの機械学習に基づく種々のアルゴリズムが利用され得る。個々のアルゴリズムは固有の特徴を有する。例えば、あるアルゴリズムを用いた場合、高精度の復元が可能であるが、演算量が多く、復元処理に長い時間を要することがある。一方、他のアルゴリズムを用いた場合、短い時間で復元が可能であるが、復元精度が劣る場合がある。
　ここで一例として、ベルトコンベアなどの搬送装置によって搬送される製品をハイパースペクトル画像に基づいて検査するシステムを考える。そのようなシステムにおいては、例えば特許文献１に開示されているような光学フィルタを備えた撮像装置が用いられ得る。そのような撮像装置は、光の像を波長に関して符号化する光学フィルタを通して製品を順次撮像して圧縮画像を生成する。生成された圧縮画像に、圧縮センシングまたは機械学習などのアルゴリズムを用いた演算を適用することにより、復元画像（例えばハイパースペクトル画像）を生成することができる。生成された復元画像に基づいて、製品に異常がないか、または製品に異物が混入していないか等の検査を行うことができる。そのようなシステムにおいては、リアルタイムの処理が求められる。このため、高速なアルゴリズムを利用して短時間で復元処理を行うことが要求される。しかし、そのようなアルゴリズムにおいては、一般に、正確な復元のために多くのパラメータを適切な値に設定する必要があり、パラメータの最適化を効率的に行う方法が求められる。
　本開示は、上記の考察に基づいており、検査などの現場で実際に使用される復元処理のアルゴリズムにおける１つ以上のパラメータを効率的に最適化する技術を提供する。
　図１は、本開示の一実施形態による信号処理方法を示すフローチャートである。信号処理方法は、コンピュータによって実行される。図１に示す信号処理方法は、以下のステップＳ１１からＳ１６の処理を含む。
（Ｓ１１）被写体の圧縮された情報を含む圧縮画像を取得する。
（Ｓ１２）圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得する。
（Ｓ１３）圧縮画像、第１パラメータ群、および復元行列に基づいて、復元目標画像を生成する。
（Ｓ１４）圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得する。
（Ｓ１５）圧縮画像、第２パラメータ群、および復元行列に基づいて、復元画像を生成する。
（Ｓ１６）復元目標画像および復元画像に基づいて、第２パラメータ群を補正する。
　ここで、「圧縮画像」は、撮像によって取得される比較的情報量の少ない画像である。圧縮画像は、例えば、複数の波長バンドの情報が１つの画像情報として圧縮された画像データであり得るが、これに限定されない。圧縮画像は、ＭＲＩ（Magnetic Resonance Imaging）画像を復元するための画像データであってもよい。あるいは、圧縮画像は、高解像度画像を生成するための画像データであってもよい。
　「復元目標画像」は、復元の目標となる画像のデータである。復元目標画像は、第１アルゴリズムによる第１復元処理によって圧縮画像から生成される。第１アルゴリズムとして、例えば演算量は多いが高い復元性能を有するアルゴリズムが採用され得る。例えば、圧縮センシングに基づく復元処理を行うアルゴリズムが第１アルゴリズムとして採用され得る。第１復元処理が行われる前に、第１パラメータ群の設定が行われる。第１パラメータ群は、１つ以上のパラメータを含む。第１パラメータ群は、複数のパラメータを含んでいてもよいし、単一のパラメータを含んでいてもよい。第１パラメータ群に含まれるパラメータを「第１パラメータ」と呼ぶことがある。第１パラメータ群は、ユーザによって設定されてもよいし、システムによって自動で設定されてもよい。設定された第１パラメータ群の値は、メモリ等の記憶媒体に格納され得る。以下の説明において、復元目標画像を、単に「目標画像」と呼ぶことがある。
　「復元画像」は、検査または分析などの目的で復元される画像である。復元画像は、第２アルゴリズムによる第２復元処理によって圧縮画像から生成される。第２アルゴリズムとして、第１アルゴリズムよりも演算負荷の小さいアルゴリズムが採用され得る。例えば、第１アルゴリズムよりも高速のアルゴリズムまたはメモリ使用量の少ないアルゴリズムが第２アルゴリズムとして採用され得る。第２復元処理が行われる前に、第２パラメータ群が設定される。第２パラメータ群は、１つ以上のパラメータを含む。第２パラメータ群は、複数のパラメータを含んでいてもよいし、単一のパラメータを含んでいてもよい。第２パラメータ群に含まれるパラメータを「第２パラメータ」と呼ぶことがある。第２パラメータ群は、第１パラメータ群よりも多くのパラメータを含んでいてもよい。例えば、第２パラメータ群のパラメータの数は、第１パラメータ群のパラメータの数の２倍以上、５倍以上、または１０倍以上であってもよい。第２パラメータ群は、例えば１０以上、３０以上、または５０以上のパラメータを含んでいてもよい。
　「復元行列」は、第１復元処理および第２復元処理において用いられる行列データである。復元行列は、例えばテーブル等の形式でメモリ等の記憶媒体に格納され得る。このため、復元行列を「復元テーブル」と称することがある。復元行列は、例えば圧縮センシングに基づく撮像において用いられる光学フィルタの特性を反映した行列であり得る。
　ステップＳ１６における第２パラメータ群の補正は、復元画像が復元目標画像に近付くように、第２パラメータ群に含まれる１つ以上のパラメータを補正することを含み得る。例えば、第２パラメータ群の補正は、目標復元画像と復元画像との誤差評価値を求めることと、誤差評価値を最小化するように第２パラメータ群に含まれる１つ以上のパラメータを補正することとを含み得る。これにより、復元画像が復元目標画像に近付くように第２パラメータ群をチューニングすることができる。
　ステップＳ１５の処理とステップＳ１６の処理とを複数回繰り返すことよって最終的な第２パラメータ群を決定してもよい。すなわち、信号処理方法は、復元目標画像および復元画像に基づいて第２パラメータ群を補正することと、補正後の第２パラメータ群を用いて復元画像を生成することとを、複数回繰り返すことによって最終的な第２パラメータ群を決定することを含んでいてもよい。これにより、例えば復元画像が復元目標画像にほぼ一致するように第２パラメータ群を最適化することが可能である。
　第２復元処理は、例えば深層学習などの、機械学習を通じて学習される学習済みモデルに基づく処理を含んでいてもよい。そのような処理は高速であり、短時間で復元画像を生成することができる。機械学習に基づくアルゴリズムでは、多数のパラメータを最適化することが求められる。本実施形態では、高精度の復元目標画像に基づいてパラメータの最適化を効率的に行うことができる。
　第１復元処理は、機械学習を通じて学習される学習済みモデルに基づく処理を含まなくてもよい。第１復元処理は、例えば、圧縮画像および復元行列に基づく評価関数を最小化または最大化する反復演算を含み得る。そのような反復演算を行うアルゴリズムは、高精度の復元が可能である一方で、演算量が多く、短時間で復元画像を生成できないことがある。このため、第１復元処理を行う第１アルゴリズムは、検査等の実環境では用いられず、実環境で用いられる第２アルゴリズムにおける第２パラメータ群を補正するために参照される復元目標画像を生成するために用いられる。第１復元処理による高精度の復元目標画像を利用して第２パラメータ群を補正することにより、第２復元処理による復元性能を向上させることができる。
　圧縮画像は、被写体のスペクトル情報が符号化された画像であってもよい。言い換えれば、圧縮画像は、被写体の複数の波長バンドの情報が１つのモノクロ画像として圧縮された画像であってもよい。その場合、復元目標画像および復元画像の各々は、複数の波長バンドに対応する複数の画像の情報を含んでいてもよい。これにより、複数の波長バンドの画像（例えばハイパースペクトル画像）を圧縮画像から復元することができる。
　上記方法は、ユーザが第１パラメータ群を入力するためのグラフィカルユーザインターフェース（ＧＵＩ）を表示装置に表示させることをさらに含んでいてもよい。これにより、ユーザがＧＵＩを介して第１パラメータ群を設定することが可能である。
　上記方法は、復元目標画像および復元画像に基づいて第２パラメータ群を補正することと、補正後の第２パラメータ群を用いて復元画像を生成することとを、終了条件を満たさない限り所定回数繰り返すことと、所定回数の繰り返しが行われた後の復元画像と復元目標画像との誤差評価値を計算することと、誤差評価値が閾値よりも大きい場合に、第１パラメータ群の再入力、所定回数の変更、および終了条件の変更の少なくとも１つをユーザに促すＧＵＩを表示装置に表示させることをさらに含んでいてもよい。これにより、復元画像と復元目標画像との誤差評価値が閾値以下にならない場合に、復元目標画像の生成条件をユーザが変更することが可能になる。
　上記誤差評価値を計算することは、復元目標画像における第１領域を抽出することと、復元画像において第１領域に対応する第２領域を抽出することと、第１領域と第２領域との差異に基づいて上記誤差評価値を決定することと、を含んでいてもよい。第１領域および第２領域は、例えばユーザが指定した領域に基づいて決定され得る。これにより、復元画像と復元目標画像とから抽出した領域における誤差を小さくするように、第２パラメータ群を補正することができる。
　本開示の他の実施形態による信号処理装置は、１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されるコンピュータプログラムを格納したメモリとを備える。前記コンピュータプログラムは、前記１つ以上のプロセッサに、前述の信号処理方法を実行させる。すなわち、前記コンピュータプログラムは、前記１つ以上のプロセッサに、（ａ）被写体の圧縮された情報を含む圧縮画像を取得することと、（ｂ）前記圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得することと、（ｃ）前記圧縮画像、前記第１パラメータ群、および前記復元行列に基づいて、前記復元目標画像を生成することと、（ｄ）前記圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得することと、（ｅ）前記圧縮画像、前記第２パラメータ群、および前記復元行列に基づいて、前記復元画像を生成することと、（ｆ）前記復元目標画像および前記復元画像に基づいて、前記第２パラメータ群を補正することと、を実行させる。
　上記の構成により、第１復元処理によって生成された復元目標画像と、第２復元処理によって生成された復元画像とに基づいて、復元画像を生成するための第２パラメータを適切に補正することができる。
　［２．撮像システム］
　次に、本開示の例示的な実施形態において用いられ得る撮像システムの構成例を説明する。
　図２Ａは、撮像システムの構成例を模式的に示す図である。この撮像システムは、撮像装置１００と、信号処理装置２００（以下、単に「処理装置２００」と称する。）とを備える。撮像装置１００は、特許文献１に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置される。図２Ａの例におけるフィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置されている。
　図２Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１０のデータを生成する。処理装置２００は、イメージセンサ１６０が生成した圧縮画像１０のデータに基づいて、所定の対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドの画像データを、「ハイパースペクトル（ＨＳ）データキューブ」または「ハイパースペクトル画像データ」と称することがある。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの画像データを、復元画像２０Ｗ１、２０Ｗ２、・・・、２０ＷＮと称し、これらを「ハイパースペクトル画像２０」または「ハイパースペクトルデータキューブ２０」と総称することがある。本明細書において、画像を示すデータまたは信号、すなわち、各画素の画素値を表すデータまたは信号の集合を、単に「画像」と称することがある。
　本実施形態におけるフィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を「符号化」と称し、フィルタアレイ１１０を「符号化素子」または「符号化マスク」と称することがある。
　図２Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図２Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図２Ｂから図２Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図２Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図２Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図２Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　イメージセンサ１６０は、２次元平面内に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出装置である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、赤（Ｒ）／緑（Ｇ）／青（Ｂ）、Ｒ／Ｇ／Ｂ／赤外（ＩＲ）、またはＲ／Ｇ／Ｂ／透明（Ｗ）のフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２０の再構成(reconstruction)の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。
　処理装置２００は、１つ以上のプロセッサと、メモリ等の１つ以上の記憶媒体とを備えるコンピュータであり得る。処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１０に基づいて、複数の復元画像２０Ｗ１、２０Ｗ２、・・・２０ＷＮのデータを生成する。処理装置２００は、撮像装置１００に組み込まれていてもよい。
　図３Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元平面内に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図３Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図３Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図３Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図３Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図３Ｃおよび図３Ｄは、それぞれ、図３Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図４Ａおよび図４Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。
　図４Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図４Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドの決め方は任意である。
　図３Ａから図３Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理装置２００が備える記憶媒体に格納され得る。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された圧縮画像１０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢ（赤緑青）の３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、「バンド数」と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、波長バンドＷ１に対応する画像の画像データｆ１、波長バンドＷ２に対応する画像の画像データｆ２、・・・、波長バンドＷＮに対応する画像の画像データｆＮを統合したデータである。ここで、図２Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｍとし、ｙ方向の画素数をｎとすると、画像データｆ１、画像データｆ２、・・・、画像データｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１０の画像データｇは、ｎ×ｍ画素の２次元データである。画像データｇは、以下の式（１）によって表すことができる。
　式（１）に含まれるｇは、上記したｎ×ｍ画素の２次元データである画像データｇに基づいたｎ×ｍ行１列の１次元ベクトルである。
　式（１）に含まれるｆ１は、上記したｎ×ｍ画素の２次元データである画像データｆ１に基づいたｎ×ｍ行１列の１次元ベクトルであり、式（１）に含まれるｆ２は、上記したｎ×ｍ画素の２次元データである画像データｆ２に基づいたｎ×ｍ行１列の１次元ベクトルであり、・・・、式（１）に含まれるｆＮは、上記したｎ×ｍ画素の２次元データである画像データｆＮに基づいたｎ×ｍ行１列の１次元ベクトルである。
　図１５は、ｎ×ｍ画素の２次元データである画像データに基づいたｎ×ｍ行１列の１次元ベクトルの例を示す図である。ｉ（１，１）は座標（ｘ，ｙ）＝（１，１）に位置する画素の画素値、・・・、ｉ（ｎ，ｍ）は座標（ｘ,ｙ）＝（ｎ，ｍ）に位置する画素の画素値を示す。
　式（１）に含まれるｆは、ｎ×ｍ×Ｎ行１列の１次元ベクトルである。行列Ｈは、ｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報（「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。この行列Ｈを「復元行列」と呼ぶことがある。
　ｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。式（２）における括弧内の関数を評価関数と呼ぶ。処理装置２００は、再帰的な反復演算によって解を収束させ、評価関数を最小にするｆを、最終的な解ｆ’として算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図２Ｂおよび図２Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Point Spread Function：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１０から、ハイパースペクトル画像２０を復元することができる。
　［３．復元処理のためのパラメータの最適化］
　上記のような撮像システムを利用して、例えば搬送装置によって搬送される対象物をハイパースペクトル画像に基づいて検査または分析するシステムを構築することができる。そのようなシステムにおいて、リアルタイムの検査または分析を実現するためには、圧縮画像から復元画像を生成するための復元処理を短時間で実行することが求められる。しかし、圧縮センシングに基づく既存のアルゴリズムでは、復元性能は高いものの、計算量が多く、要求される短い時間内で処理を完了することができないことがあった。一方、既存のアルゴリズムの中には、高速な処理が可能であるものの、設定すべきパラメータが多く、パラメータの最適化が困難または煩雑であるアルゴリズムも存在する。
　ここで、圧縮画像から復元画像を生成する処理は、前述の式（２）に基づく圧縮センシングによるアルゴリズムに限らず、機械学習を利用したアルゴリズムを利用して実行することが可能である。機械学習を利用したアルゴリズムには、例えば深層学習によって学習された学習済みモデルを圧縮画像に適用して復元画像を生成するアルゴリズムがある。そのようなアルゴリズムを利用することにより、復元処理に要する時間を短縮することができる。しかし、高精度の復元のためには、パラメータの最適化が必要である。そこで、機械学習アルゴリズムにおける各パラメータを、圧縮センシングに基づくアルゴリズムを用いて生成された復元目標画像に基づいて最適化する方法が利用され得る。これにより、パラメータの最適化を効率的に実行することができる。
　図５は、処理装置２００の構成例を示すブロック図である。図５に示す処理装置２００は、撮像装置１００および端末装置５００と組み合わせて使用される。撮像装置１００は、前述のハイパースペクトル撮像装置であり得る。端末装置５００は、復元画像を生成するためのパラメータ最適化の処理に関する種々の操作を実行するためのコンピュータである。端末装置５００は、入力装置５１０と、表示装置５２０とを備えている。
　処理装置２００は、ＣＰＵまたはＧＰＵ等の１つ以上のプロセッサ２１０と、１つ以上のメモリ２５０とを備えている。メモリ２５０は、プロセッサ２１０によって実行されるコンピュータプログラム、およびプロセッサ２１０が生成する各種のデータを格納する。コンピュータプログラムは、プロセッサ２１０に、図１に示す信号処理方法を実行させる。すなわち、プロセッサ２１０は、コンピュータプログラムを実行することによって以下の処理を実行する。
・撮像装置１００によって生成された圧縮画像を取得する。
・第１パラメータ群および復元行列（前述の行列Ｈに相当）をメモリ２５０から取得する。
・圧縮画像、第１パラメータ群、および復元行列に基づいて、復元目標画像を生成する。
・第２パラメータ群をメモリ２５０から取得する。
・圧縮画像、第２パラメータ群、および復元行列に基づいて、復元画像を生成する。
・復元目標画像および復元画像に基づいて、第２パラメータ群を補正する。
　図５に示す例において、プロセッサ２１０は、復元目標画像生成部２１２、画像復元部２１４、およびパラメータ最適化部２１６としての機能を有する。これらの機能は、ソフトウェア処理によって実現され得る。なお、本実施形態では、１つのプロセッサ２１０が、復元目標画像生成部２１２、画像復元部２１４、およびパラメータ最適化部２１６の全ての処理を実行するが、これは一例にすぎない。これらの処理は、複数のハードウェア（例えば回路またはコンピュータ）によって実行されてもよい。例えば、ネットワークを介して互いに接続された複数台のコンピュータによって復元目標画像生成、画像復元、およびパラメータ最適化の処理が実行されてもよい。
　復元目標画像生成部２１２は、撮像装置１００によって生成された圧縮画像と、メモリ２５０に格納された第１パラメータ群および復元行列に基づく第１復元処理を実行して復元目標画像を生成する。第１復元処理には第１アルゴリズムが用いられる。生成された復元目標画像は、表示装置５２０および復元パラメータ最適化部２１６に出力される。
　画像復元部２１４は、圧縮画像、第２パラメータ群、および復元行列に基づく第２復元処理を実行して復元画像を生成する。第２復元処理には第２アルゴリズムが用いられる。生成された復元画像は、表示装置５２０およびパラメータ最適化部２１６に出力される。
　パラメータ最適化部２１６は、復元目標画像および復元画像に基づいて、第２パラメータ群を補正し、補正後の第２パラメータ群を画像復元部２１４に出力する。復元パラメータ最適化部２１６は、例えば、復元画像と復元目標画像との差が小さくなるように第２パラメータ群を補正する。復元目標画像および復元画像に基づいて第２パラメータ群を補正する処理と、補正後の第２パラメータ群を用いて復元画像を生成する処理とが所定回数繰り返され、最終的な第２パラメータ群の値が決定される。これにより、第２パラメータ群が最適化される。
　圧縮画像からハイパースペクトル画像の復元が行われる場合、復元目標画像および復元画像の各々は、複数の波長バンドに対応する複数の画像を含む。複数の波長バンドは、例えば、波長４００－４１０ｎｍのバンド、波長４１０－４２０ｎｍのバンドといった、比較的狭いバンド幅をもつ４つ以上のバンドを含み得る。復元画像が復元目標画像に近づくように第２パラメータ群を補正することは、復元画像における各バンドの画像が、復元目標画像における対応するバンドの画像に近付くように第２パラメータ群に含まれる１つ以上のパラメータに対応する１つ以上の値を補正することを含み得る。例えば、復元画像における波長４００－４１０ｎｍの画像が復元目標画像における波長４００－４１０ｎｍの画像に近付き、かつ復元画像における波長４１０－４２０ｎｍの画像が復元目標画像における波長４１０－４２０ｎｍの画像に近づくように第２パラメータ群が補正され得る。
　復元画像と復元目標画像との差の大きさは、誤差評価値に基づいて評価され得る。誤差評価値は、例えば、復元画像と復元目標画像との間で、一対一に対応している波長バンドの画像ごとに誤差を計算し、それらの誤差を合算したり、平均化したりすることによって算出され得る。すなわち、誤差評価値を最小化することは、複数の波長バンドの各々についての誤差の合算値または平均値を最小化することを含み得る。
　表示装置５２０は、第２パラメータ群が最適化される処理の過程で生成される復元目標画像および復元画像を表示する。
　入力装置５１０は、ユーザが第１パラメータ群等の各種の設定項目を設定するために使用するキーボードまたはマウス等のデバイスを含み得る。
　図６は、第１復元処理および第２復元処理の例を示す概念図である。この例における第１復元処理は、圧縮センシングに基づく第１アルゴリズムを用いており、前述の式（２）に示す再帰的な反復演算によって復元目標画像を生成する。第１アルゴリズムにおける第１パラメータ群は、例えば反復回数および正則化係数τなどの、数個程度のパラメータを含み得る。第１パラメータ群の初期値はメモリ２５０に予め格納されている。第１パラメータ群は、ユーザが入力装置５１０を用いて設定することもできる。第１復元処理は、圧縮画像および復元行列に基づく評価関数、すなわち式（２）の右辺の括弧内の関数を最小化する反復演算を含む。なお、式（２）の右辺の括弧内の関数に代えて、例えば当該関数の値の逆数を表す評価関数が用いられてもよい。その場合、第１復元処理は、圧縮画像および復元行列に基づく評価関数を最大化する反復演算を含むことになる。
　図６の例における第２復元処理は、深層学習などの機械学習に基づく第２アルゴリズムを用いて復元画像を生成する。その上で、復元画像と復元目標画像との誤差評価値を最小化するように、第２パラメータ群が補正される。誤差評価値は、例えば復元画像と復元目標画像との間の着目する被写体の領域における各画素値の差の二乗または絶対値の総和または平均値であり得る。深層学習においては、入力層、複数の隠れ層、出力層のそれぞれに、複数のノードが設けられ、各ノードは固有の重みを有する。第２パラメータ群は、深層学習アルゴリズムにおける複数のノードの各々の重み、およびハイパーパラメータを含み得る。ハイパーパラメータは、例えば学習回数、学習率、および学習アルゴリズムを特定するパラメータを含み得る。第２パラメータ群は、例えば数百またはそれ以上のパラメータを含み得る。第２パラメータ群が補正される場合、複数のノードの各々の重み、学習回数、学習率、及び/または、学習アルゴリズムを特定するアルゴリズムが補正されてもよい。
　図６の例では、第１復元処理において生成された復元目標画像を学習用データとして、第２復元処理における学習、すなわち第２パラメータ群の最適化が行われる。これにより、第２パラメータ群を効率的に最適化することができる。
　第２復元処理は、必ずしも機械学習アルゴリズムによって実行される必要はない。例えば、第２復元処理は、圧縮センシングに基づくアルゴリズムによって実行されてもよい。
　図７は、第１復元処理および第２復元処理の他の例を示す概念図である。図７の例では、第１復元処理および第２復元処理の両方が、圧縮センシングに基づくアルゴリズムを用いて実行される。第１復元処理は、例えば高い復元性能を有する一方で、演算負荷が高い第１アルゴリズムによって実行され得る。一方、第２復元処理は、第１アルゴリズムよりも演算負荷が低いが、より多くのパラメータを設定する必要のある第２アルゴリズムによって実行され得る。
　図７に示す第１復元処理では、ｎ個の第１パラメータｐ１，・・・，ｐｎに依存する反復演算関数Ψ１に基づく反復演算が行われる。一方、第２復元処理では、ｎよりも大きいｍ個の第２パラメータｑ１，・・・，ｑｍに依存する反復演算関数Ψ２に基づく反復演算が行われる。図７において、ｋ回目の反復演算で生成される復元目標画像がｆ１ ｋ、ｋ回目の反復演算で生成される復元画像がｆ２ ｋと表現されている。第１パラメータｐ１，・・・，ｐｎは、例えばユーザによって設定され得る。ｍがｎよりも大きいため、第２パラメータｑ１，・・・，ｑｍの調整は第１パラメータｐ１，・・・，ｐｎの調整よりも困難である。本実施形態では、第２復元処理において生成される復元画像が、第１復元処理において生成された復元目標画像に近付くように、第２パラメータｑ１，・・・，ｑｍが最適化される。これにより、第２パラメータ群を効率的に最適化することができる。
　図６の例における第１アルゴリズム、および図７の例における第１アルゴリズムおよび第２アルゴリズムとして、例えば、Iterative shrinkage/thresholding、Two-step iterative shrinkage/thresholding、またはGeneralized alternating projection-total variationなどの、任意の圧縮センシングアルゴリズムを利用することができる。第２アルゴリズムは、第１アルゴリズムとは異なるアルゴリズムから選択される。第２アルゴリズムは、第１アルゴリズムよりも、例えば演算時間が短い、メモリ効率が高い、または復元精度が高いといった何らかの利点を有するアルゴリズムから選択され得る。
　図８は、第２パラメータ群を調整する方法の一例を示すフローチャートである。図８に示す方法は、処理装置２００のプロセッサ２１０によって実行される。
　ステップＳ１０１において、プロセッサ２１０は、撮像装置１００によって生成された圧縮画像を取得する。プロセッサ２１０は、圧縮画像を、撮像装置１００から直接取得してもよいし、メモリ２５０等の記憶媒体を介して取得してもよい。
　ステップＳ１０２において、プロセッサ２１０は、メモリ２５０から復元行列を取得する。復元行列は予め生成され、メモリ２５０に格納されている。ステップＳ１０２は、ステップＳ１０１の前に行われてもよいし、ステップＳ１０１と同時に行われてもよい。
　ステップＳ１０３において、プロセッサ２１０は、メモリ２５０から第１パラメータ群の値を取得する。ユーザが入力装置５１０を用いて第１パラメータ群を設定した場合、プロセッサ２１０は、設定された第１パラメータ群の値を取得する。
　ステップＳ１０４において、プロセッサ２１０は、圧縮画像、復元行列、および第１パラメータ群に基づいて復元目標画像を生成する。この処理は前述の第１復元処理に該当し、第１アルゴリズムを利用して実行される。第１アルゴリズムが圧縮センシングに基づく反復演算を行うアルゴリズムである場合、予め設定された回数の反復演算を行うことによって復元目標画像が生成される。
　ステップＳ１０５において、復元目標画像が所望の画像であるか否かが判定される。この判定は、ユーザによる入力装置５１０を用いた操作に基づいて行われ得る。例えば、プロセッサ２１０は、生成した復元目標画像と、その復元目標画像を採用してもよいかをユーザに確認させるＧＵＩを表示装置５２０に表示させ、ユーザが復元目標画像の採用を承認した場合に、その復元目標画像が所望の画像であると判定してもよい。
　図９は、復元目標画像を採用してもよいかをユーザに確認させるＧＵＩの一例を示す図である。図９の例では、生成された復元目標画像５２１と、第１パラメータである反復演算回数および正則化係数と、ＧＵＩ５２２とが表示装置５２０に表示されている。ＧＵＩ５２２には、「ＯＫ」および「パラメータ再設定」のボタンが含まれる。ユーザが「ＯＫ」ボタンを押すと、表示されている復元目標画像が採用され、処理はステップＳ１０６に進む。一方、ユーザが「パラメータ再設定」ボタンを押すと、ユーザは第１パラメータを再設定することができる。その場合、処理はステップＳ１０３に戻り、プロセッサ２１０は、再設定された第１パラメータを用いて再度復元目標画像を生成する。以後、ステップＳ１０５において所望の画像が得られたと判定されるまで、ステップＳ１０３からＳ１０５の処理が繰り返される。
　以上の処理により、第１復元処理による復元目標画像の生成が完了する。続いて、第２復元処理による復元画像の生成が行われる。
　ステップＳ１０６において、プロセッサ２１０は、第２パラメータ群をメモリ２５０に格納された初期値に設定する。
　ステップＳ１０７において、プロセッサ２１０は、圧縮画像、復元行列、および第２パラメータ群に基づいて、復元画像を生成する。この処理は、前述の第２復元処理に該当し、第２アルゴリズムを利用して実行される。第２アルゴリズムが圧縮センシングに基づく反復演算を行うアルゴリズムである場合、予め設定された回数の反復演算を行うことによって復元画像が生成される。
　ステップＳ１０８において、プロセッサ２１０は、復元画像を復元目標画像と比較して誤差を評価する。例えば、プロセッサ２１０は、復元画像と復元目標画像との差の大きさを示す誤差評価関数を用いて、誤差評価値を決定する。誤差評価関数として、例えば、平均二乗誤差（Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ：　ＭＳＥ）を用いることができる。ＭＳＥは、以下の式（３）で表される。
　ここで、ｎおよびｍはそれぞれ画像の縦および横の画素数を、ｆｉ，ｊは正解画像のｉ行ｊ列の画素値を、Ｉｉ，ｊは推定された復元画像のｉ行ｊ列の画素値を表す。誤差は、ＭＳＥに限らず、例えばＲｏｏｔ　ＭＳＥ（ＲＭＳＥ）、Ｐｅａｋ－Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ－Ｒａｔｉｏ（ＰＳＮＲ）、Ｍｅａｎ　Ａｂｓｏｌｕｔｅ　Ｅｒｒｏｒ（ＭＡＥ）、Ｓｔｒｕｃｔｕｒａｌ　Ｓｉｍｉｌａｒｉｔｙ（ＳＳＭＩ）、またはスペクトル角などの、他の誤差評価指標で表すこともできる。
　本実施形態では、復元目標画像および復元画像の各々は、複数の波長バンドに対応する複数の画像を含む。例えば、波長４００－４１０ｎｍのバンドに対応する画像、波長４１０－４２０ｎｍのバンドに対応する画像といった複数の画像が、第１復元処理および第２復元処理のそれぞれにおいて復元され得る。このような場合、復元画像と復元目標画像との間で、対応するバンドごとにＭＳＥなどの誤差評価関数が計算され得る。バンドごとに計算された誤差評価関数の値を合算したり、平均化したりすることにより、誤差評価値が決定され得る。
　複数の復元目標画像は、波長バンドＷ１に対応する第１復元目標画像、波長バンドＷ２に対応する第２復元目標画像、・・・、波長バンドＷＮに対応する第Ｎ復元目標画像を含んでもよい。
　複数の復元画像は、波長バンドＷ１に対応する第１復元画像、波長バンドＷ２に対応する第２復元画像、・・・、波長バンドＷＮに対応する第Ｎ復元画像を含んでもよい。
　複数の復元目標画像と複数の復元画像の誤差評価値は、第１復元目標画像と第１復元画像の第１誤差評価値、第２復元目標画像と第２復元画像の第２誤差評価値、・・・、第Ｎ復元目標画像と第Ｎ復元画像の第Ｎ誤差評価値に基づいて決定されてもよい。
　（複数の復元目標画像と複数の復元画像の誤差評価値）＝｛（第１誤差評価値）＋（第２誤差評価値）＋・・・＋（第Ｎ誤差評価値）｝であってもよい。
　（複数の復元目標画像と複数の復元画像の誤差評価値）＝｛（第１誤差評価値）＋（第２誤差評価値）＋・・・＋（第Ｎ誤差評価値）｝／Ｎであってもよい。
　第１誤差評価値は第１復元目標画像と第１復元画像のＭＳＥ、第２誤差評価値は第２復元目標画像と第２復元画像のＭＳＥ、・・・、第Ｎ誤差評価値は第Ｎ復元目標画像と第Ｎ復元画像のＭＳＥであってもよい。
　ステップＳ１０９において、プロセッサ２１０は、復元画像と復元目標画像との誤差が小さくなるように第２パラメータ群を更新する。例えば、勾配降下法またはベイズ最適化などの方法を利用して、誤差評価値を小さくするように第２パラメータ群を更新することができる。
　ステップＳ１１０において、プロセッサ２１０は、予め設定されたループ終了条件を満たすか否かを判定する。ループ終了条件は、例えば、ステップＳ１０７からＳ１０９の最適化ループが所定回数だけ繰り返されたこと、または、復元画像と復元目標画像との誤差評価値が閾値よりも小さくなったこと等であり得る。ループ終了条件を満たさない場合、ステップＳ１０７に戻る。ループ終了条件を満たす場合、処理は終了する。
　プロセッサ２１０は、ステップＳ１０７からＳ１０９の処理を実行しているとき、生成過程の復元画像を復元目標画像とともに表示装置５２０に表示させてもよい。これにより、ユーザは、復元画像と復元目標画像とを比較して、第２パラメータ群の最適化が問題なく行われたかを確認することができる。
　図１０は、表示装置５２０に表示される復元目標画像５２１と復元画像５２３の例を示す図である。この例では、復元目標画像５２１と第２パラメータ群が最適化された復元画像５２３とが並んで表示されている。復元目標画像５２１を生成するための第１パラメータと、復元画像５２３を生成する処理の最適化ループの終了条件も表示されている。第１パラメータと終了条件は、ユーザが入力装置５１０を用いた操作によって設定され得る。図１０の例では、第１パラメータは、反復演算回数と、正則化係数とを含み、最適化ループの終了条件は、最大ループ回数と、誤差の許容値とを含む。ユーザは、表示された復元目標画像５２１と復元画像５２３とを見て、必要に応じてパラメータまたは最適化ループの終了条件を変更してプロセッサ２１０に復元処理を再度実行させることができる。
　図１１は、図８に示す方法の変形例を示すフローチャートである。図１１に示すフローチャートは、ステップＳ１０５とステップＳ１０６との間にステップＳ２０６が追加され、ステップＳ１０８がステップＳ２０８に置換され、ステップＳ１１０においてＹｅｓと判定された場合にステップＳ２１１およびＳ２１２が実行される点で図８に示すフローチャートとは異なる。以下、図８の例とは異なる点を説明する。
　図１１の例では、ステップＳ１０５においてＹｅｓと判定された後、ステップＳ２０６に進む。ステップＳ２０６において、プロセッサ２１０は、復元目標画像から１つ以上の領域を抽出する。プロセッサ２１０は、例えば、ユーザによって指定された１つ以上の領域を抽出するように構成され得る。ユーザは、例えば検査または分析が必要な重要な被写体が映っている領域を指定する。図１２は、ユーザによって一部の領域が指定された例を示す図である。この例では、特定の被写体が映っている領域Ａが指定されている。指定されなかった領域Ｂは、背景として処理される。プロセッサ２１０は、ユーザの操作によらず、画像処理によって復元目標画像から重要な被写体が存在すると推定される領域を抽出してもよい。ステップＳ２０６の後、ステップＳ１０６およびステップＳ１０７が実行され、復元画像が生成される。
　続くステップＳ２０８において、プロセッサ２１０は、復元画像を復元目標画像と比較して誤差を評価する。このとき、プロセッサ２１０は、指定された領域の復元精度が向上するように、領域ごとの評価値に重み付けを行う。例えば、図１２の例においては、指定された領域の評価値の重みを相対的に大きくし、指定されていない領域の評価値の重みを相対的に小さくする。例えば、ａ、ｂを係数（ａ＞ｂ）として、誤差評価値は、以下の式によって表現され得る。
　　評価値＝ａ×領域Ａの評価値＋ｂ×領域Ｂの評価値
これにより、領域Ｂの誤差は評価値にそれほど影響せず、領域Ａの誤差が評価値に大きく影響することになる。係数ａは、係数ｂよりも大きい値、例えば係数ｂの１．５倍、２倍、またはそれ以上の値に設定され得る。このような処理により、重要な被写体が存在する領域における復元精度を優先した復元が実行される。
　図１１の例では、ステップＳ１１０においてループ終了条件を満たすと判断された後、復元画像と復元目標画像との誤差評価値が閾値よりも大きいか否かが判定される（ステップＳ２１１）。この判定がＹｅｓの場合、プロセッサ２１０は、目標画像の再生成（例えば第１パラメータ群の再入力）または最適化ループ終了条件の変更をユーザに促す警告を表示装置５２０に表示させる（ステップＳ２１２）。
　図１３は、表示される警告の一例を示す図である。この例では、「復元画像の誤差が閾値を超えています。パラメータを変更してください。」というメッセージが表示される。ユーザがＯＫボタンを押すと、パラメータを変更するための画面に遷移する。
　図１４は、パラメータを変更するためのＧＵＩの一例を示す図である。この例では、目標画像および最適化済み復元画像の他に、誤差画像が表示されている。誤差画像は、目標画像と復元画像との一致度合を示す画像であり、例えば差分画像、二乗誤差画像、またはスペクトル角分布画像であり得る。なお、ハイパースペクトル画像が復元される場合、目標画像および復元画像の各々は、複数の波長バンドに対応する複数の画像を含むが、図１４には、１つの波長バンドに対応する画像のみが例示されている。複数の波長バンドのそれぞれに対応する画像が表示されてもよい。ユーザは、誤差画像を見ながら、目標画像を生成するための第１パラメータ、および復元画像の最適化ループ終了条件を変更することができる。これにより、重要な被写体の領域における誤差ができる限り小さくなるように、第１パラメータおよび最適化ループ終了条件を変更することができる。
　このように、本変形例では、プロセッサ２１０は、復元目標画像および復元画像に基づいて第２パラメータ群を補正することと、補正後の第２パラメータ群を用いて復元画像を生成することとを、終了条件を満たさない限り所定回数繰り返す。プロセッサ２１０は、所定回数の繰り返しが行われた後の復元画像と復元目標画像との誤差評価値を計算する。プロセッサ２１０は、誤差評価値が閾値よりも大きい場合に、第１パラメータ群の再入力、上記所定回数の変更、および終了条件の変更の少なくとも１つをユーザに促すＧＵＩを表示装置５２０に表示させる。これにより、復元画像と復元目標画像との差が大きい場合に、より適切な第１パラメータ群の値で復元目標画像を再生成したり、上記所定回数を変更したり、終了条件を変更したりして、より好適な復元画像を生成することが可能になる。
　また、プロセッサ２１０は、復元目標画像における第１領域を抽出し、復元画像において第１領域に対応する第２領域を抽出し、第１領域と第２領域との差異に基づいて誤差評価値を決定する。第１領域は、例えばユーザによって指定され得る。これにより、例えば重要度の高い領域の誤差が小さくなる復元画像が生成されるように第２パラメータ群を最適化することができる。
　本実施形態では、圧縮画像からハイパースペクトル画像が復元されるが、本開示の技術の適用範囲は、ハイパースペクトル画像を復元する用途に限定されない。例えば、低解像度の圧縮画像からより高解像度の復元画像を復元する用途、圧縮画像からＭＲＩ画像を復元する用途、または圧縮画像から３次元画像を復元する用途などに、本開示の技術を適用することができる。
　［５．付記］
　以上の実施の形態の記載により、以下の技術が開示される。
　（技術１）
　コンピュータを用いて実行される信号処理方法であって、
　被写体の圧縮された情報を含む圧縮画像を取得することと、
　前記圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得することと、
　前記圧縮画像、前記第１パラメータ群、および前記復元行列に基づいて、前記復元目標画像を生成することと、
　前記圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得することと、
　前記圧縮画像、前記第２パラメータ群、および前記復元行列に基づいて、前記復元画像を生成することと、
　前記復元目標画像および前記復元画像に基づいて、前記第２パラメータ群を補正することと、
　を含む方法。
　この構成により、第２パラメータ群を適切かつ効率的に補正することができる。結果として、第２復元処理によって生成される復元画像の品質を向上させることができる。
　（技術２）
　前記第２パラメータ群は、前記第１パラメータ群よりも多くのパラメータを含む、技術１に記載の方法。
　この構成により、第１パラメータ群よりも多くのパラメータを含む第２パラメータ群を適切かつ効率的に補正することが可能になる。
　（技術３）
　前記第２パラメータ群を補正することは、前記復元画像が前記復元目標画像に近づくように、前記第２パラメータ群に含まれる１つ以上のパラメータに対応する１つ以上の値を補正することを含む、技術１または２に記載の方法。
　この構成により、第２パラメータ群が適切に補正され、復元目標画像に近い復元画像を生成することが可能になる。
　（技術４）
　前記第２パラメータ群を補正することは、
　前記目標復元画像と前記復元画像との誤差評価値を求めることと、
　前記誤差評価値を最小化するように前記第２パラメータ群に含まれる１つ以上のパラメータに対応する１つ以上の値を補正することと、
を含む、技術３に記載の方法。
　この構成により、第２パラメータ群をより適切に補正することができ、誤差の小さい復元画像を生成することが可能になる。
　（技術５）
　前記第１復元処理は、第１アルゴリズムによって実行され、
　前記第２復元処理は、第２アルゴリズムによって実行され、
　前記第２アルゴリズムは、前記第１アルゴリズムよりも演算負荷の小さいアルゴリズムである、
　技術１から４のいずれかに記載の方法。
　この構成により、第１アルゴリズムよりも演算負荷の小さい第２アルゴリズムを利用して、復元画像をより短時間で生成することができる。
　（技術６）
　前記第１復元処理は、機械学習を通じて学習される学習済みモデルに基づく処理を含まず、
　前記第２復元処理は、機械学習を通じて学習される学習済みモデルに基づく処理を含む、
　技術５に記載の方法。
　この構成により、学習済みモデルに基づく処理を含む第２復元処理によって復元画像をより短時間で生成することができる。
　（技術７）
　前記第１復元処理は、前記圧縮画像および前記復元行列に基づく評価関数を最小化または最大化する反復演算を含む、技術６に記載の方法。
　この構成により、より正確な復元目標画像を生成することができるため、第２パラメータ群をより適切な値に補正することができる。
　（技術８）
　前記圧縮画像は、前記被写体のスペクトル情報が符号化された画像であり、
　前記復元目標画像および前記復元画像の各々は、複数の波長バンドに対応する複数の画像の情報を含む、
　技術１から７のいずれかに記載の方法。
　この構成により、複数の波長バンドに対応する複数の画像の情報を含む復元画像を適切に生成することができる。
　（技術９）
　前記復元目標画像および前記復元画像に基づいて前記第２パラメータ群を補正することと、補正後の前記第２パラメータ群を用いて前記復元画像を生成することとを、複数回繰り返すことによって最終的な前記第２パラメータ群を決定することを含む、技術１から８のいずれかに記載の方法。
　この構成により、第２パラメータ群をより適切な値に補正することができるため、復元画像の精度を向上させることができる。
　（技術１０）
　ユーザが前記第１パラメータ群を入力するためのグラフィカルユーザインターフェース（ＧＵＩ）を表示装置に表示させることをさらに含む、技術１から９のいずれかに記載の方法。
　この構成により、ユーザが第１パラメータ群を調整することができるため、より適切な復元目標画像を生成することができる。結果として、第２パラメータ群をより適切な値に補正することが可能になり、復元画像の精度を向上させることができる。
　（技術１１）
　前記復元目標画像および前記復元画像に基づいて前記第２パラメータ群を補正することと、補正後の前記第２パラメータ群を用いて前記復元画像を生成することとを、終了条件を満たさない限り所定回数繰り返すことと、
　前記所定回数の繰り返しが行われた後の前記復元画像と前記復元目標画像との誤差評価値を計算することと、
　前記誤差評価値が閾値よりも大きい場合に、前記第１パラメータ群の再入力、前記所定回数の変更、および前記終了条件の変更の少なくとも１つを前記ユーザに促すＧＵＩを前記表示装置に表示させることをさらに含む、
　技術１０に記載の方法。
　この構成により、第２パラメータ群をより適切な値に補正することができる。結果として、より正確な復元画像を生成することが可能になる。
　（技術１２）
　前記誤差評価値を計算することは、
　前記復元目標画像における第１領域を抽出することと、
　前記復元画像において前記第１領域に対応する第２領域を抽出することと、
　前記第１領域と前記第２領域との差異に基づいて前記誤差評価値を決定することと、
を含む、技術１１に記載の方法。
　この構成により、抽出された領域に含まれる被写体についての復元誤差を小さくすることが可能になる。
　（技術１３）
　信号処理装置であって、
　１つ以上のプロセッサと、
　前記１つ以上のプロセッサによって実行されるコンピュータプログラムを格納したメモリと、
を備え、
　前記コンピュータプログラムは、前記１つ以上のプロセッサに、
　　被写体の圧縮された情報を含む圧縮画像を取得することと、
　　前記圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得することと、
　　前記圧縮画像、前記第１パラメータ群、および前記復元行列に基づいて、前記復元目標画像を生成することと、
　　前記圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得することと、
　　前記圧縮画像、前記第２パラメータ群、および前記復元行列に基づいて、前記復元画像を生成することと、
　　前記復元目標画像および前記復元画像に基づいて、前記第２パラメータ群を補正することと、
　を実行させる、信号処理装置。
　この構成により、第２パラメータ群を適切かつ効率的に補正することができる。結果として、第２復元処理によって生成される復元画像の品質を向上させることができる。
　(その他)
　本開示の実施の形態の変形例は下記に示すようなものであってもよい。
　第１の項目に係る方法は、コンピュータによって実行される方法であって、
　前記方法は、コンピュータが
　（ａ）４つ以上のフィルタを含むフィルタアレイを通して撮像された被写体の第１画像を受け取り、前記４つ以上のフィルタは４つの以上の分光スペクトルに１対１対応し、前記４つの以上の分光スペクトルは互いに異なり、
　（ｂ）前記フィルタアレイに対応する復元行列と前記第１画像の複数の画素値に基づいて、第１波長域に対応する第１復元目標画像の複数の第１画素値、～、第ｎ波長域に対応する第ｎ復元目標画像の複数の第ｎ画素値を決定し、
　（ｃ）ニューラルネットワークの複数の重み値を、前記第１画像の前記複数の画素値、前記複数の第１画素値、～、前記複数の第ｎ画素値に基づいて決定し、
　前記複数の重み値のそれぞれは直接接続された２つのユニットに対応し、前記ニューラルネットワークは前記２つのユニットを含み、
　前記複数の第１画素値、～、前記複数の第ｎ画素値は、前記第１画像の前記複数の画素値が前記ニューラルネットワークが入力された場合に、前記ニューラルネットワークが出力する複数の出力値に対する教師データとして用いられ、
　（ｄ）前記ニューラルネットワークへの複数の入力値に対する前記ニューラルネットワークから複数の出力値に基づいて、第２被写体の前記第１波長域に対応する画像、～、または、前記第２被写体の前記第ｎ波長域に対応する画像を生成し、
　前記複数の入力値は前記フィルタアレイを通して撮像された前記第２被写体の画像の複数の画素値であり、
　前記ニューラルネットワークが前記複数の入力値と前記決定された複数の重み値を用いて、かつ、前記復元行列を用いず、前記複数の出力値を生成する。
　本開示の技術は、例えば、多波長または高解像度の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　１００　　撮像装置
　１１０　　フィルタアレイ
　１４０　　光学系
　１６０　　イメージセンサ
　２００　　信号処理装置
　２１０　　プロセッサ
　２５０　　メモリ
　３００　　表示装置
　４００　　コンベア
　５００　　端末装置
　５１０　　入力装置
　５２０　　表示装置
　１０００　　撮像システム

Claims (13)

  1. 　コンピュータを用いて実行される信号処理方法であって、
    　被写体の圧縮された情報を含む圧縮画像を取得することと、
    　前記圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得することと、
    　前記圧縮画像、前記第１パラメータ群、および前記復元行列に基づいて、前記復元目標画像を生成することと、
    　前記圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得することと、
    　前記圧縮画像、前記第２パラメータ群、および前記復元行列に基づいて、前記復元画像を生成することと、
    　前記復元目標画像および前記復元画像に基づいて、前記第２パラメータ群を補正することと、
    　を含む方法。
  2. 　前記第２パラメータ群は、前記第１パラメータ群よりも多くのパラメータを含む、請求項１に記載の方法。
  3. 　前記第２パラメータ群を補正することは、
    　前記復元画像が前記復元目標画像に近づくように、前記第２パラメータ群に含まれる１つ以上のパラメータに対応する１つ以上の値を補正することを含む、請求項１または２に記載の方法。
  4. 　前記第２パラメータ群を補正することは、
    　前記目標復元画像と前記復元画像との誤差評価値を求めることと、
    　前記誤差評価値を最小化するように前記第２パラメータ群に含まれる１つ以上のパラメータに対応する１つ以上の値を補正することと、
    を含む、請求項３に記載の方法。
  5. 　前記第１復元処理は、第１アルゴリズムによって実行され、
    　前記第２復元処理は、第２アルゴリズムによって実行され、
    　前記第２アルゴリズムは、前記第１アルゴリズムよりも演算負荷の小さいアルゴリズムである、
    　請求項１または２に記載の方法。
  6. 　前記第１復元処理は、機械学習を通じて学習される学習済みモデルに基づく処理を含まず、
    　前記第２復元処理は、機械学習を通じて学習される学習済みモデルに基づく処理を含む、
    　請求項５に記載の方法。
  7. 　前記第１復元処理は、前記圧縮画像および前記復元行列に基づく評価関数を最小化または最大化する反復演算を含む、請求項６に記載の方法。
  8. 　前記圧縮画像は、前記被写体のスペクトル情報が符号化された画像であり、
    　前記復元目標画像および前記復元画像の各々は、複数の波長バンドに対応する複数の画像の情報を含む、
    　請求項１または２に記載の方法。
  9. 　前記復元目標画像および前記復元画像に基づいて前記第２パラメータ群を補正することと、補正後の前記第２パラメータ群を用いて前記復元画像を生成することとを、複数回繰り返すことによって最終的な前記第２パラメータ群を決定することを含む、請求項１または２に記載の方法。
  10. 　ユーザが前記第１パラメータ群を入力するためのグラフィカルユーザインターフェース（ＧＵＩ）を表示装置に表示させることをさらに含む、請求項１または２に記載の方法。
  11. 　前記復元目標画像および前記復元画像に基づいて前記第２パラメータ群を補正することと、補正後の前記第２パラメータ群を用いて前記復元画像を生成することとを、終了条件を満たさない限り所定回数繰り返すことと、
    　前記所定回数の繰り返しが行われた後の前記復元画像と前記復元目標画像との誤差評価値を計算することと、
    　前記誤差評価値が閾値よりも大きい場合に、前記第１パラメータ群の再入力、前記所定回数の変更、および前記終了条件の変更の少なくとも１つを前記ユーザに促すＧＵＩを前記表示装置に表示させることをさらに含む、
    　請求項１０に記載の方法。
  12. 　前記誤差評価値を計算することは、
    　前記復元目標画像における第１領域を抽出することと、
    　前記復元画像において前記第１領域に対応する第２領域を抽出することと、
    　前記第１領域と前記第２領域との差異に基づいて前記誤差評価値を決定することと、
    を含む、請求項１１に記載の方法。
  13. 　信号処理装置であって、
    　１つ以上のプロセッサと、
    　前記１つ以上のプロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備え、
    　前記コンピュータプログラムは、前記１つ以上のプロセッサに、
    　　被写体の圧縮された情報を含む圧縮画像を取得することと、
    　　前記圧縮画像から復元目標画像を生成するための第１復元処理に用いられる第１パラメータ群および復元行列を取得することと、
    　　前記圧縮画像、前記第１パラメータ群、および前記復元行列に基づいて、前記復元目標画像を生成することと、
    　　前記圧縮画像から復元画像を生成するための第２復元処理に用いられる第２パラメータ群を取得することと、
    　　前記圧縮画像、前記第２パラメータ群、および前記復元行列に基づいて、前記復元画像を生成することと、
    　　前記復元目標画像および前記復元画像に基づいて、前記第２パラメータ群を補正することと、
    　を実行させる、信号処理装置。
PCT/JP2023/027993 2022-08-25 2023-07-31 信号処理方法および信号処理装置 Ceased WO2024043009A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380057930.8A CN119654651A (zh) 2022-08-25 2023-07-31 信号处理方法及信号处理装置
JP2024542703A JPWO2024043009A1 (ja) 2022-08-25 2023-07-31
EP23857124.4A EP4579576A4 (en) 2022-08-25 2023-07-31 SIGNAL PROCESSING METHOD AND SIGNAL PROCESSING DEVICE
US19/038,677 US20250173055A1 (en) 2022-08-25 2025-01-27 Signal processing method and signal processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-134391 2022-08-25
JP2022134391 2022-08-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/038,677 Continuation US20250173055A1 (en) 2022-08-25 2025-01-27 Signal processing method and signal processing apparatus

Publications (1)

Publication Number Publication Date
WO2024043009A1 true WO2024043009A1 (ja) 2024-02-29

Family

ID=90013060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027993 Ceased WO2024043009A1 (ja) 2022-08-25 2023-07-31 信号処理方法および信号処理装置

Country Status (5)

Country Link
US (1) US20250173055A1 (ja)
EP (1) EP4579576A4 (ja)
JP (1) JPWO2024043009A1 (ja)
CN (1) CN119654651A (ja)
WO (1) WO2024043009A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7687748B1 (ja) * 2024-10-21 2025-06-03 国立研究開発法人農業・食品産業技術総合研究機構 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2017208641A (ja) 2016-05-17 2017-11-24 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US20190340497A1 (en) 2016-12-09 2019-11-07 William Marsh Rice University Signal Recovery Via Deep Convolutional Networks
WO2021234797A1 (ja) * 2020-05-18 2021-11-25 日本電信電話株式会社 学習方法、高分解能化方法、学習装置及びコンピュータープログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075094A1 (ja) * 2020-10-05 2022-04-14 パナソニックＩｐマネジメント株式会社 処理装置、システム、方法、コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
US9599511B2 (en) 2014-11-19 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2017208641A (ja) 2016-05-17 2017-11-24 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US20190340497A1 (en) 2016-12-09 2019-11-07 William Marsh Rice University Signal Recovery Via Deep Convolutional Networks
WO2021234797A1 (ja) * 2020-05-18 2021-11-25 日本電信電話株式会社 学習方法、高分解能化方法、学習装置及びコンピュータープログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
See also references of EP4579576A4
WANG LIZHI; SUN CHEN; FU YING; KIM MIN H.; HUANG HUA: "Hyperspectral Image Reconstruction Using a Deep Spatial-Spectral Prior", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 15 June 2019 (2019-06-15), pages 8024 - 8033, XP033687126, DOI: 10.1109/CVPR.2019.00822 *
YOSHIDA MICHITAKA, NAGAHARA HAJIME, TORII AKIHIKO, OKUTOMI MASATOSHI, TANIGUCHI RIN-ICHIRO: "Reconstruction of compressed video sensing by Deep Learning", IPSJ SIG TECHNICAL REPORT. CVIM-208, vol. 2017, no. 19, 15 September 2017 (2017-09-15), XP093142965 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7687748B1 (ja) * 2024-10-21 2025-06-03 国立研究開発法人農業・食品産業技術総合研究機構 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2024043009A1 (ja) 2024-02-29
EP4579576A4 (en) 2025-12-10
CN119654651A (zh) 2025-03-18
EP4579576A1 (en) 2025-07-02
US20250173055A1 (en) 2025-05-29

Similar Documents

Publication Publication Date Title
JP7720532B2 (ja) 信号処理方法、信号処理装置、および撮像システム
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
JP7653612B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP7668452B2 (ja) 信号処理方法、信号処理装置、および撮像システム
JP7142251B2 (ja) フィルタアレイおよび光検出システム
JP7829156B2 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
US20250338030A1 (en) Filter array, photodetector, and photodetection system
WO2021171905A1 (ja) 撮像装置
JP7811739B2 (ja) 検査対象に含まれる異物を検出する方法および装置
US20250173055A1 (en) Signal processing method and signal processing apparatus
US20240311971A1 (en) Signal processing method, non-volatile computer-readable recording medium, and system
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2026088780A1 (ja) 情報処理方法、処理装置、およびコンピュータプログラム
US12604073B2 (en) Device and filter array used in system for generating spectral images corresponding to N wavelength bands where N is an integer greater than or equal to four
JP2025071703A (ja) 画像を生成するシステムに用いられる装置およびフィルタアレイ
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2024195499A1 (ja) 撮像システム、行列データ、および行列データの生成方法
WO2025084081A1 (ja) 撮像システムおよびそれに用いられる方法
WO2025192316A1 (ja) 撮像装置、撮像システム、および撮像方法
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2024203282A1 (ja) 撮像システムおよび方法
WO2025192485A1 (ja) 撮像システムおよび撮像方法
WO2024142683A1 (ja) 光検出装置、光検出システム、およびフィルタアレイ
Stockmans et al. Di k, C. an, & Keller, CU (2023)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857124

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024542703

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380057930.8

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380057930.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023857124

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023857124

Country of ref document: EP

Effective date: 20250325

WWP Wipo information: published in national office

Ref document number: 2023857124

Country of ref document: EP