WO2021241171A1 - フィルタアレイおよび光検出システム - Google Patents

フィルタアレイおよび光検出システム Download PDF

Info

Publication number
WO2021241171A1
WO2021241171A1 PCT/JP2021/017617 JP2021017617W WO2021241171A1 WO 2021241171 A1 WO2021241171 A1 WO 2021241171A1 JP 2021017617 W JP2021017617 W JP 2021017617W WO 2021241171 A1 WO2021241171 A1 WO 2021241171A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter array
wavelength
filter
light
refractive index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/017617
Other languages
English (en)
French (fr)
Inventor
基樹 八子
篤 石川
和也 久田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN202180036101.2A priority Critical patent/CN115668008B/zh
Priority to JP2022514144A priority patent/JP7142251B2/ja
Priority to EP21813748.7A priority patent/EP4160169A4/en
Publication of WO2021241171A1 publication Critical patent/WO2021241171A1/ja
Priority to US18/054,570 priority patent/US12529598B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/285—Interference filters comprising deposited thin solid films
    • G02B5/286—Interference filters comprising deposited thin solid films having four or fewer layers, e.g. for achieving a colour effect
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/285—Interference filters comprising deposited thin solid films
    • G02B5/288—Interference filters comprising deposited thin solid films comprising at least one thin film resonant cavity, e.g. in bandpass filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G01J2003/1217—Indexed discrete filters or choppers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Definitions

  • This disclosure relates to a filter array and a photodetection system.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, drug development, and mineral component analysis.
  • Patent Document 1 discloses an example of a hyperspectral image pickup device using compressed sensing.
  • the image pickup apparatus includes a coding element which is an array of a plurality of optical filters having different wavelength dependences of light transmittance, an image sensor for detecting light transmitted through the coding element, and a signal processing circuit.
  • a coding element is arranged on the optical path connecting the subject and the image sensor.
  • the image sensor acquires one wavelength division multiplexing image by simultaneously detecting light on which components of a plurality of wavelength bands are superimposed for each pixel.
  • the signal processing circuit utilizes the information on the spatial distribution of the spectral transmittance of the coding element to apply compressed sensing to the acquired wavelength-multiplexed image, thereby forming an image for each of a plurality of wavelength bands. Generate data.
  • an optical filter array having two or more transmittance peaks (that is, maximum values) in a target wavelength range is used as a coding element.
  • Patent Document 2 discloses an example of a filter array including a Fabry-Perot resonator using a dielectric multilayer film as a reflective layer.
  • Patent Document 3 discloses an example of a filter array including a plurality of types of color filters.
  • the present disclosure provides a light detection system capable of improving the wavelength resolution of a hyperspectral camera, and a filter array used in the light detection system.
  • the filter array according to one aspect of the present disclosure is a filter array used in an optical detection device that generates image data corresponding to each of N wavelength bands (N is an integer of 2 or more) included in a specific wavelength range. It has multiple optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different light transmittances for each of the N wavelength bands, and the i-th wavelength band (i is 1 or more) among the N wavelength bands.
  • Let ⁇ i be the average value of the light transmittances of the plurality of optical filters for the light having a wavelength included in (an integer of N or less), and the plurality of the light having a wavelength included in the third wavelength band.
  • the present disclosure may be implemented in recording media such as systems, devices, methods, integrated circuits, computer programs or computer readable recording discs, systems, devices, methods, integrated circuits, etc. It may be realized by any combination of a computer program and a recording medium.
  • the computer-readable recording medium may include a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • the device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be separately arranged in two or more separated devices.
  • "device" can mean not only one device, but also a system of multiple devices.
  • the wavelength resolution of the hyperspectral camera can be improved.
  • FIG. 1A is a diagram schematically showing a photodetection system according to an exemplary embodiment.
  • FIG. 1B is a diagram showing a configuration example of a photodetection system in which the filter array is arranged away from the image sensor.
  • FIG. 1C is a diagram showing a configuration example of a photodetection system in which the filter array is arranged away from the image sensor.
  • FIG. 1D is a diagram showing a configuration example of a photodetection system in which the filter array is arranged away from the image sensor.
  • FIG. 2A is a diagram schematically showing an example of a filter array according to an exemplary embodiment.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the transmittance of light in each of a plurality of wavelength bands included in the target wavelength region.
  • FIG. 2C is a diagram showing an example of a transmission spectrum of a filter included in the filter array shown in FIG. 2A.
  • FIG. 2D is a diagram showing an example of transmission spectra of other filters included in the filter array shown in FIG. 2A.
  • FIG. 3A is a diagram for explaining an example of the relationship between a target wavelength region and a plurality of wavelength bands included in the target wavelength region.
  • FIG. 3B is a diagram for explaining another example of the relationship between the target wavelength region and the plurality of wavelength bands included therein.
  • FIG. 4A is a diagram for explaining the characteristics of the transmission spectrum of a filter in the filter array.
  • FIG. 4B is a diagram showing the results of averaging the transmission spectra shown in FIG. 4A for each wavelength band.
  • FIG. 5A is a diagram schematically showing a spatial pattern of light transmittance for each of a plurality of wavelength bands in a filter array.
  • FIG. 5B is a diagram schematically showing an example of a histogram of the transmittance of the filter array for the third wavelength band.
  • FIG. 6A is a diagram schematically showing an example of a captured image in which random noise is superimposed on the original image.
  • FIG. 6B is a diagram schematically showing the relationship of the equation (1) in which the captured image data g including random noise is represented by the product of the matrix H and the separated image data f.
  • FIG. 1 is a diagram schematically showing a spatial pattern of light transmittance for each of a plurality of wavelength bands in a filter array.
  • FIG. 5B is a diagram schematically showing an example of a histogram of the transmittance of the filter array for the third
  • FIG. 7A is a diagram showing an example of a transmission spectrum of a filter included in a filter array different from the present embodiment.
  • FIG. 7B is a diagram showing an MSE between a correct image and a separated image in five wavelength bands when an image captured by using a filter array different from the present embodiment contains random noise.
  • FIG. 7B is a diagram showing an example of a transmission spectrum of a filter included in a filter array different from the present embodiment.
  • FIG. 7B is a diagram showing an MSE between a correct image and a separated image in five wavelength bands when an image captured by using a filter array different from the present embodiment contains random noise.
  • FIG. 8 shows the average MSE between the correct image and the separated image in the multiple wavelength bands when ⁇
  • FIG. 10A is a cross-sectional view schematically showing a first example of a photodetector.
  • FIG. 10B is a cross-sectional view schematically showing a second example of the photodetector.
  • FIG. 11A is a diagram schematically showing an example of the filter shown in FIG. 10A.
  • FIG. 11B is a diagram showing an example of light transmission spectra of a one-sided DBR structure and a two-sided DBR structure when light is vertically incident.
  • FIG. 10A is a cross-sectional view schematically showing a first example of a photodetector.
  • FIG. 10B is a cross-sectional view schematically showing a second example of the photodetector.
  • FIG. 11A is a diagram schematically showing an example of the filter shown in FIG. 10A.
  • FIG. 11B is a diagram showing an example of light transmission spectra of a one-sided DBR structure and a two-sided DBR structure when light is vertically incident.
  • FIG. 12A is a cross-sectional view schematically showing a third example of the photodetector.
  • FIG. 12B is a cross-sectional view schematically showing a fourth example of the photodetector.
  • FIG. 13A is a perspective view schematically showing a fifth example of the photodetector.
  • FIG. 13B is a perspective view schematically showing an example of a sub-filter array and a photodetection element.
  • FIG. 14 is a diagram showing an example of transmission spectra of eight types of subfilter arrays.
  • Patent Document 1 discloses an image pickup device capable of generating a high-resolution multi-wavelength image, that is, an image for each of a plurality of wavelength ranges.
  • an image of light from an object is encoded and imaged by an optical element called a "coding element".
  • the coding element has, for example, a plurality of regions arranged two-dimensionally. Each transmission spectrum of at least two of the plurality of regions has a maximum value of transmittance in a plurality of wavelength regions within the wavelength region to be imaged.
  • the plurality of regions may be arranged corresponding to, for example, a plurality of pixels of the image sensor.
  • the data of each pixel includes information in a plurality of wavelength ranges.
  • the image data acquired by imaging is data in which wavelength information is compressed. Therefore, it is only necessary to hold the two-dimensional data, and the amount of data can be suppressed. For example, even when the capacity of the recording medium is limited, it is possible to acquire moving image data for a long time.
  • a multi-wavelength image is generated by reconstructing a plurality of images corresponding to a plurality of wavelength regions from an image acquired by imaging.
  • individual images generated for each wavelength range, that is, wavelength band are also referred to as "separated images".
  • the coding element can be realized, for example, by a filter array including a plurality of filters arranged two-dimensionally.
  • Each of the plurality of filters may comprise, for example, the structure of a so-called Fabry-Perot cavity including two reflective layers and an interference layer located between them.
  • the Fabry-Perot resonator for example, the structure disclosed in Patent Document 2 can be adopted.
  • the plurality of filters may be designed so that the transmission spectrum of each filter has a plurality of peaks in the wavelength range to be imaged.
  • the plurality of filters may include, for example, a plurality of types of color filters disclosed in Patent Document 3.
  • the image actually captured using the coding element may contain random noise such as optical shot noise. Random noise reduces the wavelength resolution of the reconstructed separated image. There was room for improvement in the filter array that reduces the effects of random noise.
  • the filter array according to the embodiment of the present disclosure includes a plurality of filters whose transmittance for light in the wavelength range to be imaged is appropriately designed. Such a filter array reduces the possibility that the wavelength resolution of the hyperspectral camera will be reduced by random noise.
  • a filter array according to an embodiment of the present disclosure and a photodetection system according to the present disclosure including the filter array will be briefly described.
  • the filter array according to the first item is a filter array used in a photodetector that generates image data corresponding to each of N wavelength bands (N is an integer of 2 or more) included in a specific wavelength range. And is equipped with a plurality of optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different light transmittances for each of the N wavelength bands, and the i-th wavelength band (i is 1 or more) among the N wavelength bands.
  • Let ⁇ i be the average value of the light transmittances of the plurality of optical filters for the light having a wavelength included in (an integer of N or less), and the plurality of the light having a wavelength included in the third wavelength band.
  • N may be an integer of 4 or more.
  • the wavelength resolution of the hyperspectral camera can be improved by suppressing the influence of random noise on the separated image.
  • ⁇ i ⁇ 0.05 may be obtained for each of the N wavelength bands.
  • ⁇ i ⁇ 0.2 may be obtained for each of the N wavelength bands.
  • the transmission spectrum of the at least one optical filter has a plurality of maximum values in the specific wavelength region, and the reflection layer may not be provided on the second surface.
  • This filter array the specific structure, it is possible to satisfy M i ⁇ 0.1.
  • the reflective layer may include at least one selected from the group consisting of a distributed Bragg reflector and a metal film.
  • the distributed Bragg reflector may include one or more sets of a first refractive index layer and a second refractive index layer.
  • the refractive index of the first refractive index layer may be higher than the refractive index of the second refractive index layer.
  • the reflectance of the distributed Bragg reflector can be appropriately designed by increasing or decreasing the number of pairs of the first refractive index layer and the second refractive index layer.
  • the wavelength included in the specific wavelength range is ⁇
  • the refractive index of the first refractive index layer is n H
  • the refractive index of the second refractive index layer is n.
  • the thickness of the first refractive index layer is ⁇ / (4 n H )
  • the thickness of the second refractive index layer is ⁇ / (4 n L )
  • the thickness of the interference layer is ⁇ . It may be larger than / (2n H).
  • This filter array can efficiently reflect light with a wavelength of ⁇ .
  • the thickness of the metal film may be 1 nm or more and 100 nm or less.
  • the transmittance of the metal film can be increased by appropriately adjusting the thickness of the metal film.
  • the photodetector includes an image sensor, and the filter array is arranged so that light passing through the plurality of optical filters is incident on the image sensor. It may have been done.
  • At least one of the plurality of optical filters may be a subfilter array including a plurality of two-dimensionally arranged subfilters.
  • the sub-filter array transmits a plurality of types of first sub-filters having different transmission wavelength ranges and N lights each having a wavelength contained in the corresponding wavelength band among the N wavelength bands. It may include one or more second subfilters or openings. The ratio of the area of the one or more second subfilters or openings to the total area of the subfilter array may be 4% or more.
  • This filter array the specific structure, it is possible to satisfy M i ⁇ 0.1.
  • the plurality of types of first subfilters may include a red filter, a green filter, and a blue filter.
  • This filter array the first sub-filter comprising a RGB color filter, it is possible to satisfy M i ⁇ 0.1.
  • the photodetection system according to the twelfth item is the specific wavelength arranged at a position where the filter array according to any one of the first item to the eleventh item and the light transmitted through the plurality of optical filters are received. It includes an image sensor having sensitivity to light having a wavelength included in the region.
  • the photodetection system (13th item) generates the image data based on the data showing the spatial distribution of the light transmittance of the plurality of optical filters and the compressed image data acquired by the image sensor.
  • a processing circuit may be further provided.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (lage scale integration). ) Can be performed by one or more electronic circuits.
  • the LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • Field Programmable Gate Array (FPGA) which is programmed after the LSI is manufactured, or reconfigurable logistic device, which can reconfigure the connection relationship inside the LSI or set up the circuit partition inside the LSI, can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be performed by software processing.
  • the software is recorded on a non-temporary recording medium such as one or more ROMs, optical discs, hard disk drives, etc., and when the software is run by a processor, the functions identified by the software It is executed by a processor and peripheral devices.
  • the system or device may include one or more non-temporary recording media on which the software is recorded, a processor, and the required hardware device, such as an interface.
  • FIG. 1A is a diagram schematically showing a photodetection system 400 according to an exemplary embodiment of the present disclosure.
  • the photodetection system 400 includes an optical system 40, a filter array 10, an image sensor 60, and a processing circuit 200.
  • the filter array 10 has the same function as the "coding element" disclosed in Patent Document 1. Therefore, the filter array 10 can also be referred to as a "coding element”.
  • the optical system 40 and the filter array 10 are arranged in an optical path of light incident from the object 70. In the example shown in FIG. 1A, the filter array 10 is arranged between the optical system 40 and the image sensor 60.
  • FIG. 1A illustrates an apple as an example of the object 70.
  • the object 70 is not limited to an apple, but can be any object.
  • the processing circuit 200 generates image data for each of a plurality of wavelength bands included in a specific wavelength range (hereinafter, also referred to as “target wavelength range”) based on the image data generated by the image sensor 60.
  • This image data is referred to as “spectroscopic image data” in the present specification.
  • the number of wavelength bands included in the target wavelength region is N (N is an integer of 4 or more).
  • the spectral image data of a plurality of wavebands being generated separation images 220 W 1, 220 W 2, ⁇ ⁇ ⁇ , referred to as 220 W N collectively referred to as separation image 220.
  • a signal indicating an image that is, a set of signals representing pixel values of a plurality of pixels constituting the image may be simply referred to as an "image".
  • the filter array 10 includes a plurality of translucent filters arranged in rows and columns.
  • the filter array 10 is an optical element in which the transmission spectrum of light, that is, the wavelength dependence of the light transmittance differs depending on the filter.
  • the filter array 10 modulates the intensity of the incident light for each wavelength band and passes the light.
  • the filter array 10 is arranged near or directly above the image sensor 60.
  • the “neighborhood” means that the image of the light from the optical system 40 is close enough to be formed on the surface of the filter array 10 in a state of being clear to some extent. "Directly above” means that they are so close that there is almost no gap.
  • the filter array 10 and the image sensor 60 may be integrated.
  • the device including the filter array 10 and the image sensor 60 is referred to as a “photodetector 300”.
  • the optical system 40 includes at least one lens. Although shown as one lens in FIG. 1A, the optical system 40 may be composed of a combination of a plurality of lenses. The optical system 40 forms an image on the image pickup surface of the image sensor 60 via the filter array 10.
  • the filter array 10 may be arranged away from the image sensor 60.
  • 1B to 1D are diagrams showing a configuration example of a photodetection system 400 in which the filter array 10 is arranged away from the image sensor 60.
  • the filter array 10 is arranged between the optical system 40 and the image sensor 60 and at a position away from the image sensor 60.
  • the filter array 10 is arranged between the object 70 and the optical system 40.
  • the photodetection system 400 comprises two optical systems 40A and 40B with a filter array 10 disposed between them.
  • an optical system including one or more lenses may be arranged between the filter array 10 and the image sensor 60.
  • the space between the filter array 10, the optical system 40, and the image sensor 60 may be filled with the atmosphere, or may be sealed with a gas such as nitrogen gas.
  • the image sensor 60 includes a plurality of photodetecting elements arranged two-dimensionally.
  • the image sensor 60 may be, for example, a CCD (Charge-Coupled Device) sensor, a CMOS (Complementary Metal Oxide Sensor) sensor, or an infrared array sensor.
  • the photodetector may include, for example, a photodiode.
  • the image sensor 60 may be, for example, a monochrome type sensor or a color type sensor.
  • the target wavelength range may be arbitrarily determined. The target wavelength range is not limited to the visible wavelength range, and may be an ultraviolet, near-infrared, mid-infrared, far-infrared, or microwave wavelength range.
  • each of the plurality of photodetectors is arranged to face one of the plurality of filters.
  • Each of the plurality of photodetectors has sensitivity to light in the wavelength range to be imaged.
  • each of the plurality of photodetectors has the substantial sensitivity required to detect light in the wavelength range to be imaged.
  • the external quantum efficiency of the photodetector in the wavelength range can be 1% or more.
  • the external quantum efficiency of the photodetector may be 10% or more.
  • the external quantum efficiency of the photodetector may be 20% or more.
  • the photodetector will also be referred to as a "pixel".
  • the processing circuit 200 may be an integrated circuit including, for example, a processor and a storage medium such as a memory.
  • the processing circuit 200 generates data of a plurality of separated images 220 including information of a plurality of wavelength bands, respectively, based on the image 120 acquired by the image sensor 60. Details of the method of processing the image signals of the plurality of separated images 220 and the processing circuit 200 will be described later.
  • the processing circuit 200 may be incorporated in the photodetector 300, or may be a component of the signal processing device electrically connected to the photodetector 300 by wire or wirelessly.
  • the filter array 10 according to the present embodiment will be described below.
  • the filter array 10 is arranged in the optical path of the light incident from the object, and the intensity of the incident light is modulated for each wavelength and output. This process with a filter array or coding element is referred to herein as "coding".
  • FIG. 2A is a diagram schematically showing an example of the filter array 10.
  • the filter array 10 includes a plurality of filters arranged two-dimensionally. Each filter has an individually set transmission spectrum.
  • the transmission spectrum is represented by the function T ( ⁇ ), where the wavelength of the incident light is ⁇ .
  • the transmission spectrum T ( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 10 has 48 rectangular filters arranged in 6 rows and 8 columns. This is just an example, and in actual use, more filters may be provided. The number may be, for example, about the same as the number of pixels of the image sensor 60. The number of filters included in the filter array 10 is determined depending on the application, for example, in the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the transmittance of each of the plurality of wavelength bands W1, W2, ..., Wi included in the target wavelength range.
  • the difference in shade of each filter represents the difference in transmittance. The lighter the filter, the higher the transmittance, and the darker the filter, the lower the transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • 2C and 2D are diagrams showing examples of transmission spectra of the filter A1 and the filter A2 included in the plurality of filters of the filter array 10 of FIG. 2A, respectively.
  • the transmission spectrum of the filter A1 and the transmission spectrum of the filter A2 are different from each other.
  • the transmission spectrum of the filter array 10 differs depending on the filter. However, the transmission spectra of all filters do not necessarily have to be different.
  • the transmission spectra of at least two of the plurality of filters are different from each other. That is, the filter array 10 includes two or more filters having different transmission spectra from each other.
  • the number of transmission spectrum patterns of the plurality of filters included in the filter array 10 may be equal to or greater than the number i of wavelength bands included in the wavelength region of interest.
  • the filter array 10 may be designed so that the transmission spectra of more than half of the filters are different.
  • the target wavelength range W can be set in various ranges depending on the application.
  • the target wavelength region W can be, for example, a wavelength region of visible light of about 400 nm to about 700 nm, a wavelength region of near infrared rays of about 700 nm to about 2500 nm, or a wavelength region of near ultraviolet rays of about 10 nm to about 400 nm.
  • the target wavelength region W may be a radio wave region such as mid-infrared, far-infrared, terahertz wave, or millimeter wave.
  • the wavelength range used is not always the visible light range.
  • visible light not only visible light but also invisible light such as near-ultraviolet rays, near-infrared rays, and radio waves are referred to as "light" for convenience.
  • i is an arbitrary integer of 4 or more, and the target wavelength region W is equally divided into i, and each is defined as a wavelength band W1, a wavelength band W2, ..., And a wavelength band Wi.
  • a plurality of wavelength bands included in the target wavelength region W may be arbitrarily set.
  • the bandwidth may be non-uniform depending on the wavelength band.
  • the bandwidth differs depending on the wavelength band, and there is a gap between two adjacent wavelength bands.
  • the wavelength division number i may be 3 or less.
  • FIG. 4A is a diagram for explaining the characteristics of the transmission spectrum of a certain filter in the filter array 10.
  • the transmission spectrum has a plurality of maximum values P1 to a maximum value P5 and a plurality of minimum values with respect to the wavelength within the target wavelength region W.
  • the maximum value and the minimum value of the light transmittance in the target wavelength region W are normalized to be 1.
  • the transmission spectrum has a maximum value in a wavelength band such as the wavelength band W2 and the wavelength band Wi-1.
  • the transmission spectrum of each filter has a maximum value in at least two plurality of wavelength bands from the plurality of wavelength bands W1 to the wavelength band Wi.
  • the maximum value P1, the maximum value P3, the maximum value P4, and the maximum value P5 are 0.5 or more.
  • the filter array 10 transmits a large amount of components of a certain wavelength band among the incident light, and does not transmit so much components of another wavelength band. For example, for light in k wavelength bands out of i wavelength bands, the transmittance is greater than 0.5, and for light in the remaining i-k wavelength bands, the transmittance is 0.5. Can be less than. k is an integer satisfying 2 ⁇ k ⁇ i. If the incident light is white light that evenly contains all the wavelength components of visible light, the filter array 10 filters the incident light for each filter and has a plurality of discrete peaks of intensity with respect to the wavelength. It is modulated to and these multi-wavelength light is superimposed and output.
  • FIG. 4B is a diagram showing, as an example, the result of averaging the transmission spectrum shown in FIG. 4A for each of the wavelength band W1, the wavelength band W2, ..., And the wavelength band Wi.
  • the averaged transmittance is obtained by integrating the transmission spectrum T ( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the value of the transmittance averaged for each wavelength band in this way is referred to as the transmittance in the wavelength band.
  • the transmittance is remarkably high in the three wavelength bands having the maximum value P1, the maximum value P3, and the maximum value P5.
  • the transmittance exceeds 0.8 in the two wavelength bands having the maximum value P3 and the maximum value P5.
  • the resolution in the wavelength direction of the transmission spectrum of each filter can be set to about the bandwidth of a desired wavelength band.
  • the width of the range having a value equal to or higher than the average value of the minimum value closest to the maximum value and the maximum value is the width of the desired wavelength band. It can be set to about the bandwidth.
  • the transmission spectrum is decomposed into frequency components by, for example, Fourier transform, the value of the frequency component corresponding to the wavelength band becomes relatively large.
  • the filter array 10 typically has a plurality of filters divided in a grid pattern, as shown in FIG. 2A. Some or all of these filters have different transmission spectra from each other.
  • the wavelength distribution and spatial distribution of the light transmittance of the plurality of filters included in the filter array 10 may be, for example, a random distribution or a quasi-random distribution.
  • each filter in the filter array 10 can be considered as a vector element having a value of, for example, 0 to 1, depending on the light transmittance.
  • the value of the vector element is 0, and when the transmittance is 1, the value of the vector element is 1.
  • a set of filters lined up in a row or column can be thought of as a multidimensional vector with values from 0 to 1. Therefore, it can be said that the filter array 10 includes a plurality of multidimensional vectors in the column direction or the row direction.
  • the random distribution means that any two multidimensional vectors are independent, that is, they are not parallel.
  • the quasi-random distribution means that a configuration that is not independent among some multidimensional vectors is included. Therefore, in the random distribution and the quasi-random distribution, the value of the light transmittance of the first wavelength band in each filter belonging to the set of filters arranged in one row or column included in the plurality of filters is used as an element.
  • the vector and the vector whose element is the value of the light transmittance of the first wavelength band in each filter belonging to the set of filters arranged in other rows or columns are independent of each other.
  • the light transmittance of the second wavelength band in each filter belonging to the set of filters arranged in one row or column included in the plurality of filters for the second wavelength band different from the first wavelength band.
  • the distance between the plurality of filters included in the filter array 10 may be substantially the same as the pixel pitch of the image sensor 60.
  • the resolution of the coded light image emitted from the filter array 10 substantially matches the resolution of the pixels.
  • the pitch of the filter may be finer according to the distance.
  • the filter array 10 has a grayscale transmittance distribution in which the transmittance of each filter can take any value of 0 or more and 1 or less. However, it does not necessarily have to be a grayscale transmittance distribution.
  • a binary-scale transmittance distribution may be adopted in which the transmittance of each filter can take either a value of approximately 0 or approximately 1.
  • each filter transmits most of the light of at least two wavelength bands among the plurality of wavelength bands included in the target wavelength region, and transmits most of the light of the remaining wavelength bands. I won't let you.
  • "most" refers to about 80% or more.
  • a part of all filters, for example half of the filters, may be replaced with a transparent filter.
  • a transparent filter transmits light of the wavelength band Wi from all the wavelength bands W1 included in the target wavelength region with the same high transmittance.
  • the high transmittance is, for example, 0.8 or more.
  • the plurality of transparent filters may be arranged, for example, in a checkerboard pattern. That is, in the two arrangement directions of the plurality of filters in the filter array 10, filters having different light transmittances depending on the wavelength and transparent filters may be arranged alternately. In the example shown in FIG. 2A, the two arrangement directions are the horizontal direction and the vertical direction.
  • the data showing the spatial distribution of the spectral transmittance of the filter array 10 is acquired in advance based on the design data or the actual measurement calibration, and is stored in the storage medium included in the processing circuit 200. This data is used for arithmetic processing described later.
  • the filter array 10 may be configured using, for example, a multilayer film, an organic material, a diffraction grating structure, or a fine structure containing a metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film including a metal layer can be used.
  • at least one of the thickness, material, and stacking order of each multilayer film may be formed differently for each filter. This makes it possible to realize different spectral characteristics depending on the filter.
  • the composition using an organic material can be realized by making the pigments or dyes contained different by the filter, or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing a diffraction structure having a different diffraction pitch or depth for each filter.
  • a fine structure containing a metal When a fine structure containing a metal is used, it can be produced by utilizing spectroscopy due to the plasmon effect.
  • multi-wavelength means, for example, a wavelength band larger than the three wavelength bands of RGB acquired by a normal color camera.
  • the number of this wavelength band can be, for example, about 4 to 100.
  • the number of wavelength bands is also referred to as "the number of spectral bands”. Depending on the application, the number of spectral bands may exceed 100.
  • the data to be obtained is the separated image 220, and the data is represented as f.
  • f is data in which image data f 1 , f 2 , ..., And f w of each band are integrated.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • each of the image data f 1 , f 2 , ..., F w is two-dimensional data of n ⁇ m pixels. Is.
  • the data f is three-dimensional data having the number of elements n ⁇ m ⁇ w.
  • the number of elements of the data g of the image 120 encoded and multiplexed by the filter array 10 is n ⁇ m.
  • the data g can be represented by the following equation (1).
  • f 1 , f 2 , ..., F w are data having n ⁇ m elements. Therefore, strictly speaking, the vector on the right side is a one-dimensional vector having n ⁇ m ⁇ w rows and one column.
  • the vector g is converted into a one-dimensional vector having n ⁇ m rows and one column, and is represented and calculated.
  • Matrix H represents the conversion of the components f 1, f 2 of the vector f, ⁇ ⁇ ⁇ , a f w encodes and intensity modulated at different encoding information for each wavelength band, adds them. Therefore, H is a matrix of n ⁇ m rows and n ⁇ m ⁇ w columns.
  • the processing circuit 200 uses the redundancy of the image included in the data f to obtain a solution by using a compressed sensing method. Specifically, the obtained data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, the so-called residual term.
  • the sum of squares is used as the residual term, but the absolute value, the square root of the sum of squares, or the like may be used as the residual term.
  • the second term in parentheses is a regularization term or a stabilization term described later.
  • Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the processing circuit 200 can converge the solution by recursive iterative operation and calculate the final solution f'.
  • the first term in parentheses in the equation (2) means an operation for finding the sum of squares of the differences between the acquired data g and Hf in which the estimation process f is system-transformed by the matrix H.
  • the second term ⁇ (f) is a constraint condition in the regularization of f, and is a function that reflects the sparse information of the estimated data. As a function, it has the effect of smoothing or stabilizing the estimated data.
  • the regularization term can be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, stable guess data that suppresses the influence of noise in the observation data g can be obtained.
  • DCT Discrete Cosine Transform
  • TV Total Variation
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70. You may choose a regularization term that makes the texture of the object 70 more sparse in the space of the regularization term. Alternatively, a plurality of regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting coefficient ⁇ , the larger the amount of redundant data to be reduced, and the higher the compression ratio. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value at which f converges to some extent and does not cause overcompression.
  • the image encoded by the filter array 10 is acquired in a blurred state on the image pickup surface of the image sensor 60. Therefore, the separated image 220 can be reconstructed by holding this blur information in advance and reflecting the blur information in the above-mentioned system matrix H.
  • the blur information is represented by a point spread function (Point Spread Function: PSF).
  • PSF is a function that defines the degree of spread of the point image to the peripheral pixels. For example, when a point image corresponding to one pixel on an image spreads in a region of k ⁇ k pixels around the pixel due to blurring, PSF is a coefficient group indicating the influence on the pixel value of each pixel in the region.
  • the separated image 220 can be reconstructed by reflecting the influence of the blurring of the coding pattern by the PSF on the system matrix H.
  • the position where the filter array 10 is arranged is arbitrary, but a position where the coding pattern of the filter array 10 is too diffused and does not disappear can be selected.
  • FIG. 5A is a diagram schematically showing a spatial pattern of light transmittance for each of a plurality of wavelength bands in the filter array 10.
  • the spatial pattern is expressed as a mosaic pattern. Let the number of wavelength bands be N (N is an integer of 4 or more). As shown in FIG. 5A, the distribution of the light transmittance of the filter array 10 is different for each wavelength band.
  • N is an integer of 4 or more
  • 5B is a diagram schematically showing an example of a histogram of the transmittance of the filter array 10 for the i-th (i is an integer of 1 or more and N or less) wavelength band.
  • the horizontal axis represents the transmittance and the vertical axis represents the number of filters having the transmittance.
  • the average value ⁇ i of the transmittance for the light of the third wavelength band and the finite standard deviation ⁇ i are obtained as the feature quantities of the filter array 10. If the histogram shown in FIG.
  • the number of filters transmittance within the scope of the following mu i - [sigma] i or ⁇ i + ⁇ i accounts for approximately 68% of the total.
  • Number of filters transmittance within the scope of the following ⁇ i -2 ⁇ i or ⁇ i + 2 ⁇ i accounts for approximately 95% of the total.
  • the larger the value of ⁇ i- 2 ⁇ i the greater the number of filters with high transmittance. If ⁇ i is large, it is easy to separate the filters 100 from each other.
  • the histogram can be obtained by measuring the transmittance of each optical filter in the filter array 10 by using a photodetector that detects the light intensity at a predetermined number of gradations.
  • a histogram can be obtained using a photodetector such as an image sensor that can detect a two-dimensional distribution of light intensity with a predetermined number of gradations such as 8 bits or 16 bits.
  • a photodetector such as an image sensor that can detect a two-dimensional distribution of light intensity with a predetermined number of gradations such as 8 bits or 16 bits.
  • a histogram as shown in FIG. 5B can be obtained.
  • a histogram having a shape different from that in FIG. 5B can be obtained. Since the wavelength dependence of the transmittance differs depending on the filter, the shape of the histogram differs for each wavelength band. Therefore, the average value and standard deviation of the transmittances of the plurality of filters 100 also differ for each wavelength band.
  • the number of gradations of the transmittance histogram is 8 bits. Even if the light intensity is detected with a gradation number other than 8 bits, the intensity can be converted into an 8-bit gradation number to obtain a histogram of the transmittance.
  • FIG. 6A is a diagram schematically showing an example of a captured image in which random noise is superimposed on the original image. As shown in FIG. 6A, the captured image containing random noise can be blurred as compared to the original image.
  • FIG. 6B is a diagram schematically showing the relationship of the equation (1) in which the captured image data g including random noise is represented by the product of the matrix H and the separated image data f.
  • the matrix H shown in FIG. 6B includes a component of the spatial distribution of the transmittance for each wavelength band shown in FIG. 5A.
  • FIG. 7A is a diagram showing an example of a transmission spectrum of a certain filter included in a filter array different from the present embodiment.
  • the target wavelength range W is in the range of 450 nm or more and 850 nm or less.
  • the target wavelength region W includes five wavelength bands having a band width of 80 nm.
  • the transmission spectrum has eight sharp peaks.
  • the maximum value of the transmittance is about 1, and the minimum value is about 0.02.
  • the transmittance between two peaks adjacent to each other is sufficiently low.
  • the filter 100 having such a transmission spectrum is realized by a resonance structure including two reflective layers having high reflectance in the target wavelength region W and an interference layer between them.
  • the filter array includes a plurality of types of filters whose transmission spectra are thus shifted.
  • the filter array includes one million filters arranged two-dimensionally.
  • the one million filters include 16 types of filters arranged in a random or quasi-random distribution.
  • g noise is a value of noise superimposed on each pixel, and can take either a positive value or a negative value.
  • ⁇ noise 0, 5, and 10.
  • ⁇ noise 0 means that there is no random noise.
  • the root-mean square error is calculated using the following equation (4).
  • N and M are the number of pixels in the horizontal direction and the vertical direction, respectively.
  • I i and j are pixel values of the correct image in the pixel at the position (i, j).
  • I'i, j are pixel values of the separated image in the pixel at the position (i, j).
  • FIG. 7B it can be seen that as ⁇ noise increases, MSE in all five wavelength bands increases.
  • a filter having a transmission spectrum with a large contrast ratio of maximum and minimum transmittance can improve the signal-to-noise ratio between wavelength bands. That is, the difference in the spatial distribution of the transmittance between the wavelength bands shown in FIG. 5A becomes clear.
  • the filter array containing the filter is susceptible to random noise. As a result, the wavelength resolution of the hyperspectral camera can be reduced.
  • the filter array 10 having a large value of ⁇ i -2 ⁇ i shown in FIG. 5B has noise immunity. This is because such a filter array 10 has a high transmittance.
  • the filter array 10 having a large ⁇ i shown in FIG. 5B also has noise immunity. This is because in such a filter array 10, the dispersion of the transmittance between the filters is large and the filters 100 can be easily separated from each other, so that the restoration accuracy of the separated image is improved.
  • the filter array 10 according to the present embodiment includes a plurality of types of filters arranged in a random distribution or a quasi-random distribution, as in the above-mentioned example.
  • the transmitted light quantity of the filter array 10 is dependent on M i. As the value of M i is small, the amount of transmitted light of the filter array 10 is reduced, the larger the value of M i, the amount of transmitted light of the filter array 10 is increased. If most of the filters 100 included in the filter array 10 have low transmittance and some have high transmittance, the transmittance histogram of the filter array 10 can be asymmetric. In such a filter array 10, M i can be a negative value.
  • the captured image does not include random noise.
  • the M i ⁇ 0.45
  • the average MSE is kept low.
  • FIG. 7A if the contrast ratio of the transmittance in the filter 100 is high, the average amount of light transmitted through the filter array 10 is small, the value of M i is small.
  • Such a filter array 10 improves the signal-to-noise ratio between wavelength bands. As a result, it is possible to suppress the occurrence of a restoration error of the separated image.
  • M i> 0.45 the average MSE increases with increasing M i. If the contrast ratio of the transmittance in the filter 100 is low, the average amount of light transmitted through the filter array 10 is large, the value of M i is large.
  • Such a filter array 10 reduces the signal-to-noise ratio between wavelength bands. As a result, the restoration error of the separated image increases.
  • the allowable recovery error due to random noise can be, for example, 3% or less.
  • MSE 56.
  • M i 0.1. From the above, the filter array 10 with M i ⁇ 0.1 can be said to be robust against random noise.
  • Filter array 10 also have the following properties in addition to M i ⁇ 0.1. - ⁇ i ⁇ 0.05 for each of the plurality of wavelength bands. In this case, since the filters 100 can be easily separated from each other, the restoration accuracy of the separated images can be improved. - ⁇ i ⁇ 0.2 for each of the plurality of wavelength bands. In this case, M i ⁇ 0.1 for 0.05 ⁇ ⁇ i ⁇ 0.1 shown in FIG. 9C from 8 is satisfied. Maximum M i and minimum M i, respectively When M max and M min for Multiple wavelengths bands, is M max / M min ⁇ 3. In this case, it is possible to suppress the variation in the restoration accuracy of the separated image among the plurality of wavelength bands.
  • FIGS. 10A and 10B illustrates an example of a specific structure of the filter array 10 of this embodiment that satisfies the M i ⁇ 0.1 for each of a plurality of wavebands.
  • 10A and 10B are cross-sectional views schematically showing a first example and a second example of the photodetector 300, respectively.
  • the cross-sectional view shows an example of one row of the filter array 10 shown in FIG. 2A and the cross-sectional structure of the image sensor 60.
  • the filter array 10 is arranged on the image sensor 60.
  • Each of the plurality of photodetecting elements 60a included in the image sensor 60 is located directly under the plurality of filters 100 included in the filter array 10.
  • the filter array 10 and the image sensor 60 may be separated. Even in that case, each of the plurality of photodetecting elements 60a may be arranged at a position where the light transmitted through one of the plurality of filters is received.
  • Each component may be arranged so that the light transmitted through the plurality of filters is incident on the plurality of photodetectors 60a via the mirror. In that case, each of the plurality of photodetecting elements 60a is not arranged directly under one of the plurality of filters.
  • All the filters 100 included in the filter array 10 according to the present embodiment have a resonance structure.
  • the resonance structure means a structure in which light of a certain wavelength forms a standing wave inside and exists stably.
  • the resonant structure shown in FIG. 10A includes the laminated substrate 22, the reflective layer 24, and the interference layer 26 in this order.
  • the resonance structure shown in FIG. 10B includes the laminated substrate 22, the interference layer 26, and the reflection layer 24 in this order.
  • the substrate 22 shown in FIGS. 10A and 10B is uniformly provided over all the filters 100 without any step. Unlike the reflective layer 24 shown in FIG. 10B, the reflective layer 24 shown in FIG. 10A is uniformly provided over all the filters 100 without any step. As shown in FIGS.
  • the order of stacking the interference layer 26 and the reflection layer 24 is arbitrary.
  • the substrate 22 is not always necessary.
  • the reflective layer 24 may include, for example, a Distributed Bragg Reflector (DBR). The details of the configuration of the reflective layer 24 will be described later.
  • DBR Distributed Bragg Reflector
  • the refractive index and / or thickness of the interference layer 26 may vary depending on the filter 100.
  • the transmission spectra of the plurality of filters 100 differ depending on the refractive index and / or the thickness of the interference layer 26.
  • the transmission spectrum of each filter 100 has a maximum value of transmittance at a plurality of wavelengths in the target wavelength region W.
  • the filter array 10 may include a filter having no wavelength dependence of light transmittance, such as a transparent filter or an ND filter (Neutral Density Filter).
  • a filter having no wavelength dependence of light transmittance such as a transparent filter or an ND filter (Neutral Density Filter).
  • the interference layer 26 may be exposed to the atmosphere.
  • Members such as a lens and a protective cover may be arranged with a space on the surface of the interference layer 26. At this time, the space may be filled with the atmosphere or may be sealed with a gas such as nitrogen gas. The same applies to the surface of the reflective layer 24 in the second example.
  • FIG. 11A is a diagram schematically showing an example of the filter 100 shown in FIG. 10A.
  • the reflective layer 24 includes a DBR in which a plurality of first refractive index layers 24a and a plurality of second refractive index layers 24b are alternately laminated.
  • the DBR includes one or more pairs of the first refractive index layer 24a and the second refractive index layer 24b having different refractive indexes.
  • the refractive index of the first refractive index layer 24a is higher than that of the second refractive index layer 24b.
  • the distributed Bragg reflector has a wavelength range with high reflectance due to Bragg reflection due to the periodic structure. The wavelength range is called a stop band. When the number of the above pair layers is increased, the reflectance of the stopband approaches 100%.
  • the wavelength in the target wavelength range W is ⁇
  • the refractive index of the first refractive index layer 24a is n H
  • the refractive index of the second refractive index layer 24b is n L.
  • a thickness of ⁇ / (4n H) DBR a pair layers comprises one or more pairs of the second refractive index layer 24b first refractive index layer 24a, and the thickness of ⁇ / (4n L), the wavelength lambda Reflects light efficiently.
  • the target wavelength region W is in the range of the wavelength ⁇ i or more and the wavelength ⁇ f or less
  • the DBR is determined by gradually changing the thickness of the plurality of first refractive index layers 24a and the plurality of second refractive index layers 24b.
  • the pair layer corresponding to the wavelength ⁇ i to the pair layer corresponding to the wavelength ⁇ f can be included. As a result, the DBR can efficiently reflect all the light in the target wavelength range W.
  • the DBR can be formed from, for example, a material having a low absorption rate for light in the target wavelength region W.
  • the material is selected from the group consisting of, for example, SiO 2 , Al 2 O 3 , SiO x N y , Si 3 N 4 , Ta 2 O 5 , and TiO 2.
  • the material is, for example, in addition to the above-mentioned SiO 2 , Al 2 O 3 , SiO x N y , Si 3 N 4 , Ta 2 O 5 , and TIO 2.
  • the interference layer 26 has a lower surface 26s 1 in contact with the reflective layer 24 and an upper surface 26s 2 on the opposite side thereof.
  • the lower surface 26s 1 corresponds to the first surface and the upper surface 26s 2 corresponds to the second surface.
  • the upper surface 26s 2 is exposed to the outside and is in contact with air.
  • a transparent layer may be further laminated on the interference layer 26. In this case, the upper surface 26s 2 is in contact with the transparent layer. Reflectance of light in the target wavelength range W of the lower face 26s 1 (hereinafter, referred to as "first reflectance".) It may be for example, 80% or more.
  • the first reflectance may be lower than 80%, but may be designed to be 40% or more from the viewpoint of suppressing reflection.
  • the reflectance (referred to as “second reflectance”) for light in the target wavelength region W on the upper surface 26s 2 is lower than the first reflectance, and may be, for example, 1% or more and less than 30%. There is a certain difference of 10% or more between the first reflectance and the second reflectance.
  • the reflection layer 24 is arranged on the upper surface of the interference layer 26.
  • the upper surface of the interference layer 26 corresponds to the first surface
  • the lower surface corresponds to the second surface.
  • the transmission spectrum of the filter 100 has a maximum value of transmittance at a plurality of wavelengths in the target wavelength region W.
  • the transmission spectrum of the filter 100 has a plurality of peaks in the target wavelength region W.
  • such a filter is referred to as a "multimode filter”.
  • the thickness of the interference layer 26 which can realize multi-mode filter, for example, 2 times or more the thickness of the first refractive index layer 24a, i.e. ⁇ / (2n H) That could be the above.
  • the multimode filter may be realized by appropriately designing the refractive index of the interference layer 26 instead of the thickness of the interference layer 26.
  • both the thickness and the refractive index of the interference layer 26 may be appropriately designed to realize a multimode filter.
  • the interference layer 26 can be formed of the same material as the DBR.
  • the interference layer 26 is not limited to a single layer, and may include a plurality of laminated layers.
  • the plurality of layers may be formed of different materials.
  • the refractive indexes of the plurality of layers may differ to such an extent that they do not substantially affect the transmission spectrum of the filter 100. Reflections can occur at the interface of layers with different indices of refraction. However, each of the plurality of layers can be considered as a part of a substantially uniform interference layer 26 as long as it does not substantially affect the transmission spectrum.
  • the permissible relative error of the refractive index is 0% or more and 9% or less.
  • the relative error is a value obtained by dividing the absolute value of the difference between the maximum refractive index and the minimum refractive index by the maximum refractive index.
  • the refractive indexes of Ta 2 O 5 and Si 3 N 4 in the visible light region are 2.2 and 2.05, respectively.
  • the relative error of these refractive indexes is about 7%. Therefore, each of the laminated Ta 2 O 5 layer and Si 3 N 4 layer can be considered to be part of a substantially uniform interference layer 26.
  • the structure shown in FIG. 11A will be referred to as a “one-sided DBR structure”.
  • a structure in which the reflective layer 24 is further laminated on the interference layer 26 is referred to as a “double-sided DBR structure”.
  • the one-sided DBR structure one of the lower surface 26s 1 and the upper surface 26s 2 of the interference layer 26 is provided with the reflective layer 24, and the other is not provided.
  • the double-sided DBR structure the lower surface 26s 1 and the upper surface of the interference layer 26 are provided. Reflective layers are provided on both sides of 26s 2 .
  • FIG. 11B is a diagram showing an example of light transmission spectra of a one-sided DBR structure and a two-sided DBR structure when light is vertically incident.
  • the target wavelength range W is 450 nm or more and 850 nm or less.
  • the solid line shown in FIG. 11B represents the transmission spectrum of the one-sided DBR structure.
  • the dashed line shown in FIG. 11B represents the transmission spectrum of the double-sided DBR structure.
  • multimode filters can be obtained from both one-sided and two-sided DBR structures. However, the characteristics of both multimode filters differ in the following points.
  • each of the plurality of peaks is wide, the maximum transmittance is about 0.5, and the minimum transmittance is about 0.1. That is, the contrast ratio of the transmittance is low.
  • each of the plurality of peaks is sharp, the maximum transmittance is about 1.0, and the minimum transmittance is about 0.02. That is, the contrast ratio of the transmittance is high.
  • the one-sided DBR structure has a higher transmittance baseline than the two-sided DBR structure.
  • the average transmittance in the target wavelength region W in the one-sided DBR structure is about 0.26
  • the average transmittance in the target wavelength region W in the two-sided DBR structure is about 0.1.
  • the one-sided DBR structure has about twice the average transmittance as compared to the two-sided DBR structure. As described above, the one-sided DBR structure can suppress the light amount loss at the time of imaging.
  • each including a plurality of side DBR structure can satisfy M i ⁇ 0.1 for each of a plurality of wavebands.
  • FIGS. 12A and 12B illustrating another example of a specific structure of the filter array 10 of this embodiment that satisfies the M i ⁇ 0.1 for each of a plurality of wavebands.
  • 12A and 12B are cross-sectional views schematically showing a third example and a fourth example of the photodetector 300, respectively.
  • the reflective layer 25 contains a metal film instead of the DBR, respectively.
  • the reflectance of the metal film in the target wavelength range W depends on the material of the metal film.
  • the absorption coefficient of the metal film in the target wavelength range W depends on the thickness of the metal film.
  • the metal film can be formed of a material having a reflectance of, for example, 90% or more in the target wavelength range W.
  • the material of the metal film having a reflectance of 90% or more can be at least one selected from the group consisting of, for example, Ag and Al.
  • the material of the metal film having a reflectance of 90% or more can be at least one selected from the group consisting of Ag, Al, Au, and Cu. Even a metal film having a relatively low reflectance is useful in suppressing the reflectance.
  • the metal film may be formed from a material having a reflectance of 40% or more and 70% or less in the target wavelength region W.
  • the material of the metal film having a reflectance of 40% or more and 70% or less is, for example, at least one selected from the group consisting of Ni and Pt. could be.
  • the metal film may be an alloy.
  • the metal film may be provided by plating.
  • the thickness of the metal film can be, for example, 1 nm or more and 100 nm or less. In this case, the transmittance in the visible light region to the near infrared region of the metal film can be relatively large. As a result, light in the visible light region to the near infrared region can effectively pass through the metal film.
  • the thickness of the metal film may be several tens of nm or less.
  • the reflective layer was present only on one side of the interference layer 26.
  • Reflective layers may be present on both sides of the interference layer 26 as long as the first reflectance and the second reflectance in the interference layer 26 have a certain difference as described above.
  • FIGS. 13A and 13B illustrating still another example of a specific structure of the filter array 10 of this embodiment that satisfies the M i ⁇ 0.1 for each of a plurality of wavebands.
  • FIG. 13A is a perspective view schematically showing a fifth example of the photodetector 300.
  • the filter array 10 includes a plurality of filters 110.
  • Each of the plurality of filters 110 is a sub-filter array in which a plurality of sub-filters 30 are arranged.
  • the filter array 10 is arranged so that the light that has passed through the plurality of filters 110 is incident on each of the plurality of photodetecting elements 60a in the image sensor 60.
  • one photodetection element 60a detects light that passes through 4 ⁇ 4 subfilters 30. It should be noted that not all filters need to be subfilter arrays.
  • the filter array according to this embodiment may include at least one subfilter array.
  • FIG. 13B is a perspective view schematically showing an example of the filter 110 and the photodetection element 60a, which are sub-filter arrays.
  • the plurality of sub-filters 30 include a plurality of types of first sub-filters 30a having different transmission wavelength ranges from each other, and one or more second sub-filters 30b that transmit light of each of the plurality of wavelength bands.
  • the hatched subfilter represents the first subfilter 30a and the white subfilter represents the second subfilter 30b.
  • the number of the first sub-filters 30a and the number of the second sub-filters 30b are different for each filter 110 which is a sub-filter array.
  • the filters 110, which are a plurality of sub-filter arrays have different transmission spectra from each other.
  • the first sub-filter 30a of a plurality of types may include, for example, an RGB color filter of a red filter, a green filter, and a blue filter.
  • the first sub-filter 30a of a plurality of types may include at least one of a cyan filter, a magenta filter, and a CMY filter of a yellow filter instead of the RGB color filter or in addition to the RBG filter.
  • the second sub-filter 30b can be, for example, a transparent filter having a high transmittance in the visible light region. It may be an opening instead of the second sub-filter 30b.
  • the second subfilter 30b or the opening can increase the transmittance baseline of the filter 110 shown in FIG. 13B. As a result, the filter array 10 shown in FIG.
  • the ratio of the area of the second subfilter 30b or the opening to the total area of the filter 110 which is a subfilter array is 4% or more.
  • the ratio of 4% corresponds to, for example, the case where the 5 ⁇ 5 sub-filter 30 includes one second sub-filter 30b.
  • FIG. 14 is a diagram showing an example of transmission spectra of eight types of subfilter arrays.
  • the 4 ⁇ 4 sub-filters 30 in the filter 110 which is each sub-filter array, consist of 14 first sub-filters 30a in which three types of RBG color filters are arranged and two second sub-filters that transmit white light. Includes a filter 30b.
  • the ratio of the area of the second subfilter 30b to the total area of the filter 110 which is a subfilter array is 12.5%. Due to the second subfilter 30b, the minimum transmittance in the transmission spectrum of all subfilter arrays is 0.15 or more.
  • an M i 0.18 approximately for each of a plurality of wavebands, M i> 0.1 is satisfied.
  • the light detection system and filter array in the present disclosure are useful, for example, in cameras and measuring devices that acquire multi-wavelength two-dimensional images.
  • the optical detection system and the filter array in the present disclosure can also be applied to sensing for living organisms / medical / beauty, foreign matter / residual pesticide inspection system for food, remote sensing system, in-vehicle sensing system and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Filters (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

フィルタアレイは、特定の波長域に含まれるＮ個（Ｎは２以上の整数）の波長バンドのそれぞれに対応する画像データを生成する光検出装置において用いられるフィルタアレイであって、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々についての光透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に含まれる波長を有する光についての前記複数の光学フィルタの光透過率の平均値をμｉとし、前記第ｉの波長バンドに含まれる波長を有する前記光についての前記複数の光学フィルタの前記光透過率の標準偏差をσｉとし、Ｍｉ＝μｉ－σｉとすると、前記Ｎ個の波長バンドの各々について、Ｍｉ≧０．１である。

Description

フィルタアレイおよび光検出システム
　本開示は、フィルタアレイおよび光検出システムに関する。
　各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性を把握することができる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１は、圧縮センシングを利用したハイパースペクトル撮像装置の例を開示している。当該撮像装置は、光透過率の波長依存性が互いに異なる複数の光学フィルタのアレイである符号化素子と、符号化素子を透過した光を検出するイメージセンサと、信号処理回路とを備える。被写体とイメージセンサとを結ぶ光路上に、符号化素子が配置される。イメージセンサは、画素ごとに、複数の波長バンドの成分が重畳された光を同時に検出することにより、１つの波長多重画像を取得する。信号処理回路は、符号化素子の分光透過率（ｓｐｅｃｔｒａｌ　ｔｒａｎｓｍｉｔｔａｎｃｅ）の空間分布の情報を利用して、取得された波長多重画像に圧縮センシングを適用することにより、複数の波長バンドのそれぞれについての画像データを生成する。特許文献１に開示された撮像装置においては、符号化素子として、対象波長域内で２つ以上の透過率のピーク（すなわち極大値）をもつ光学フィルタアレイが用いられる。
　特許文献２は、誘電体多層膜を反射層に用いたファブリ・ペロー共振器を備えるフィルタアレイの例を開示している。特許文献３は、複数種類のカラーフィルタを備えるフィルタアレイの例を開示している。
米国特許第９５９９５１１号明細書 米国特許第９４６６６２８号明細書 特開２０１８－１０７７３１号公報
　本開示は、ハイパースペクトルカメラの波長分解能を向上させることができる光検出システム、および当該光検出システムに用いられるフィルタアレイを提供する。
　本開示の一態様に係るフィルタアレイは、特定の波長域に含まれるＮ個（Ｎは２以上の整数）の波長バンドのそれぞれに対応する画像データを生成する光検出装置において用いられるフィルタアレイであって、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々についての光透過率が互いに異なる複数種類の光学フィルタを含み、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に含まれる波長を有する光についての前記複数の光学フィルタの光透過率の平均値をμｉとし、前記第ｉの波長バンドに含まれる波長を有する前記光についての前記複数の光学フィルタの前記光透過率の標準偏差をσｉとし、Ｍｉ＝μｉ－σｉとすると、前記Ｎ個の波長バンドの各々について、Ｍｉ≧０．１である。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の技術によれば、ハイパースペクトルカメラの波長分解能を向上させることができる。
図１Ａは、例示的な実施形態による光検出システムを模式的に示す図である。 図１Ｂは、フィルタアレイがイメージセンサから離れて配置されている光検出システムの構成例を示す図である。 図１Ｃは、フィルタアレイがイメージセンサから離れて配置されている光検出システムの構成例を示す図である。 図１Ｄは、フィルタアレイがイメージセンサから離れて配置されている光検出システムの構成例を示す図である。 図２Ａは、例示的な実施形態によるフィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドのそれぞれの光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれるあるフィルタの透過スペクトルの例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる他のフィルタの透過スペクトルの例を示す図である。 図３Ａは、対象波長域と、それに含まれる複数の波長バンドとの関係の一例を説明するための図である。 図３Ｂは、対象波長域と、それに含まれる複数の波長バンドとの関係の他の例を説明するための図である。 図４Ａは、フィルタアレイにおけるあるフィルタの透過スペクトルの特性を説明するための図である。 図４Ｂは、図４Ａに示す透過スペクトルを、波長バンドごとに平均化した結果を示す図である。 図５Ａは、フィルタアレイにおける複数の波長バンドの各々についての光透過率の空間パターンを模式的に示す図である。 図５Ｂは、第ｉの波長バンドについて、フィルタアレイが有する透過率のヒストグラムの例を模式的に示す図である。 図６Ａは、元画像にランダムノイズが重畳された撮像画像の例を模式的に示す図である。 図６Ｂは、ランダムノイズを含む撮像画像データｇが行列Ｈおよび分離画像データｆの積によって表される式（１）の関係を模式的に示す図である。 図７Ａは、本実施形態とは異なるフィルタアレイに含まれるあるフィルタの透過スペクトルの例を示す図である。 図７Ｂは、本実施形態とは異なるフィルタアレイを用いて撮像された画像がランダムノイズを含む場合における、５つの波長バンドでの正解画像と分離画像との間のＭＳＥを示す図である。 図８は、複数の波長バンドの各々についてσｉ＝０．０８である場合における、複数の波長バンドでの正解画像と分離画像との間の平均ＭＳＥと、Ｍｉ＝μｉ-σｉとの関係を示す図である。 図９Ａは、複数の波長バンドの各々についてσｉ＝０．０５である場合における、複数の波長バンドでの正解画像と分離画像との間の平均ＭＳＥと、Ｍｉ＝μｉ-σｉとの関係を示す図である。 図９Ｂは、複数の波長バンドの各々についてσｉ＝０．０７である場合における、複数の波長バンドでの正解画像と分離画像との間の平均ＭＳＥと、Ｍｉ＝μｉ-σｉとの関係を示す図である。 図９Ｃは、複数の波長バンドの各々についてσｉ＝０．１である場合における、複数の波長バンドでの正解画像と分離画像との間の平均ＭＳＥと、Ｍｉ＝μｉ-σｉとの関係を示す図である。 図１０Ａは、光検出装置の第１の例を模式的に示す断面図である。 図１０Ｂは、光検出装置の第２の例を模式的に示す断面図である。 図１１Ａは、図１０Ａに示すフィルタの例を模式的に示す図である。 図１１Ｂは、光が垂直に入射する場合における片側ＤＢＲ構造および両側ＤＢＲ構造の光の透過スペクトルの例を示す図である。 図１２Ａは、光検出装置の第３の例を模式的に示す断面図である。 図１２Ｂは、光検出装置の第４の例を模式的に示す断面図である。 図１３Ａは、光検出装置の第５の例を模式的に示す斜視図である。 図１３Ｂは、サブフィルタアレイおよび光検出素子の例を模式的に示す斜視図である。 図１４は、８種類のサブフィルタアレイの透過スペクトルの例を示す図である。
　以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
　本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
　特許文献１は、高い解像度の多波長画像すなわち複数の波長域のそれぞれについての画像を生成することが可能な撮像装置を開示している。当該撮像装置では、対象物からの光の像が、「符号化素子」と称される光学素子によって符号化されて撮像される。符号化素子は、例えば、２次元的に配列された複数の領域を有する。当該複数の領域のうちの少なくとも２つの領域の各々の透過スペクトルは、撮像対象の波長域内の複数の波長域において、それぞれ透過率の極大値を有する。複数の領域は、例えばイメージセンサの複数の画素にそれぞれ対応して配置され得る。当該符号化素子を用いた撮像において、各画素のデータは、複数の波長域の情報を含む。すなわち、撮像によって取得される画像データは、波長情報が圧縮されたデータである。したがって、２次元データを保有するだけで済み、データ量を抑えることができる。例えば、記録媒体の容量に制約がある場合であっても、長時間の動画像のデータを取得することが可能である。多波長画像は、撮像によって取得された画像から、複数の波長域にそれぞれ対応する複数の画像を再構成することによって生成される。以下の説明において、波長域すなわち波長バンドごとに生成される個々の画像を「分離画像」とも称する。
　符号化素子は、例えば、２次元的に配列された複数のフィルタを含むフィルタアレイによって実現され得る。複数のフィルタの各々は、例えば、２つの反射層、およびそれらの間に位置する干渉層を含むいわゆるファブリ・ペロー共振器の構造を備え得る。ファブリ・ペロー共振器として、例えば特許文献２に開示された構造を採用することができる。複数のフィルタは、各フィルタの透過スペクトルが、撮像対象の波長域において複数のピークを有するように設計され得る。あるいは、複数のフィルタは、例えば特許文献３に開示された複数種類のカラーフィルタを含み得る。
　実際に符号化素子を用いて撮像された画像は、光ショットノイズなどのランダムノイズを含み得る。ランダムノイズは、再構成された分離画像の波長分解能を低下させる。ランダムノイズの影響を低減させるフィルタアレイについては、改善の余地があった。
　本開示の実施形態によるフィルタアレイは、撮像対象の波長域の光についての透過率が適切に設計された複数のフィルタを含む。このようなフィルタアレイは、ハイパースペクトルカメラの波長分解能がランダムノイズによって低下する可能性を低減させる。以下に、本開示の実施形態によるフィルタアレイ、およびそのフィルタアレイを備える本開示による光検出システムを簡単に説明する。
　（第１の項目）
　第１の項目に係るフィルタアレイは、特定の波長域に含まれるＮ個（Ｎは２以上の整数）の波長バンドのそれぞれに対応する画像データを生成する光検出装置において用いられるフィルタアレイであって、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々についての光透過率が互いに異なる複数種類の光学フィルタを含み、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に含まれる波長を有する光についての前記複数の光学フィルタの光透過率の平均値をμｉとし、前記第ｉの波長バンドに含まれる波長を有する前記光についての前記複数の光学フィルタの前記光透過率の標準偏差をσｉとし、Ｍｉ＝μｉ－σｉとすると、前記Ｎ個の波長バンドの各々について、Ｍｉ≧０．１である。なお、Ｎは４以上の整数であってもよい。
　このフィルタアレイでは、ランダムノイズが分離画像に及ぼす影響を抑制することにより、ハイパースペクトルカメラの波長分解能を向上させることができる。
　（第２の項目）
　第１の項目に係るフィルタアレイにおいて、前記Ｎ個の波長バンドの各々について、σｉ≧０．０５であってもよい。
　このフィルタアレイでは、フィルタ同士の分別が容易であることから、分離画像の復元精度を向上させることができる。
　（第３の項目）
　第１または第２の項目に係るフィルタアレイにおいて、前記Ｎ個の波長バンドの各々について、μｉ≧０．２であってもよい。
　このフィルタアレイでは、透過率を増加させることにより、ノイズ耐性を向上させる、すなわち撮像によって取得される画像データにノイズが重畳されている場合に生じる、画像復元時の誤差を抑制することができる。
　（第４の項目）
　第１から第３の項目のいずれかに係るフィルタアレイにおいて、前記Ｎ個の波長バンドについて、最大のＭｉをＭｍａｘとし、最小のＭｉをＭｍｉｎとすると、Ｍｍａｘ／Ｍｍｉｎ≦３であってもよい。
　このフィルタアレイでは、複数の波長バンド間での分離画像の復元精度がばらつくことを抑制することができる。
　（第５の項目）
　第１から第４の項目のいずれかに係るフィルタアレイにおいて、前記複数の光学フィルタのうちの少なくとも１つの光学フィルタが、第１表面、および前記第１表面の反対側の第２表面を有する干渉層、及び前記第１表面上に設けられた反射層を含んでもよい。前記少なくとも１つの光学フィルタの透過スペクトルは、前記特定の波長域に複数の極大値を有し、前記反射層は、前記第２表面上には設けられていなくてもよい。
　このフィルタアレイでは、具体的な構造により、Ｍｉ≧０．１を満たすことができる。
　（第６の項目）
　第５の項目に係るフィルタアレイにおいて、前記反射層が、分布ブラッグ反射器および金属膜からなる群から選択される少なくとも１つを含んでもよい。
　このフィルタアレイでは、特定の波長域内の光を効率的に反射する反射層を実現することができる。
　（第７の項目）
　第６の項目に係るフィルタアレイにおいて、前記分布ブラッグ反射器が、第１屈折率層および第２屈折率層の組を１組以上含んでもよい。前記第１屈折率層の屈折率は、前記第２屈折率層の屈折率よりも高くてもよい。
　このフィルタアレイでは、第１屈折率層および第２屈折率層の組の数を増減させることにより、分布ブラッグ反射器の反射率を適切に設計することができる。
　（第８の項目）
　第７の項目に係るフィルタアレイにおいて、前記特定の波長域に含まれる波長をλとし、前記第１屈折率層の前記屈折率をｎＨとし、前記第２屈折率層の前記屈折率をｎＬとすると、前記第１屈折率層の厚さがλ／（４ｎＨ）であり、前記第２屈折率層の厚さがλ／（４ｎＬ）であり、前記干渉層の厚さがλ／（２ｎＨ）よりも大きくてもよい。
　このフィルタアレイでは、波長λの光を効率的に反射させることができる。
　（第９の項目）
　第６の項目に係るフィルタアレイにおいて、前記金属膜の厚さが１ｎｍ以上１００ｎｍ以下であってもよい。
　このフィルタアレイでは、金属膜の厚さを適切に調整することにより、金属膜の透過率を増加させることができる。
　（第１０の項目）
　第１から第４の項目のいずれかに係るフィルタアレイにおいて、前記光検出装置はイメージセンサを含み、前記フィルタアレイは、前記複数の光学フィルタを通過した光が前記イメージセンサに入射するように配置されていてもよい。前記複数の光学フィルタの少なくとも１つは、２次元的に配列された複数のサブフィルタを含むサブフィルタアレイであってもよい。前記サブフィルタアレイは、透過波長域が互いに異なる複数種類の第１サブフィルタと、各々が、前記Ｎ個の波長バンドのうちの対応する波長バンドに含まれる波長を有するＮ個の光を透過させる１つ以上の第２サブフィルタまたは開口部と、を含んでもよい。前記サブフィルタアレイの全体の面積に占める前記１つ以上の第２サブフィルタまたは開口部の面積の割合は４％以上であってもよい。
　このフィルタアレイでは、具体的な構造により、Ｍｉ≧０．１を満たすことができる。
　（第１１の項目）
　第１０の項目に係るフィルタアレイにおいて、前記複数種類の第１サブフィルタが、赤フィルタ、緑フィルタ、および青フィルタを含んでもよい。
　このフィルタアレイでは、ＲＧＢカラーフィルタを含む第１サブフィルタにより、Ｍｉ≧０．１を満たすことができる。
　（第１２の項目）
　第１２の項目に係る光検出システムは、第１の項目から第１１の項目のいずれかに係るフィルタアレイと、前記複数の光学フィルタを透過した光を受ける位置に配置された、前記特定の波長域に含まれる波長を有する光に感度を有するイメージセンサと、を備える。
　この光検出システムでは、波長分解能および撮像光量が向上したハイパースペクトルカメラを実現することができる。
　（第１３の項目）
　第１２の項目に係る光検出システムは、前記複数の光学フィルタの前記光透過率の空間分布を示すデータと、前記イメージセンサによって取得された圧縮画像データとに基づいて、前記画像データを生成する処理回路、をさらに備えていてもよい。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　（実施形態）
　＜光検出システム＞
　図１Ａは、本開示の例示的な実施形態による光検出システム４００を模式的に示す図である。光検出システム４００は、光学系４０と、フィルタアレイ１０と、イメージセンサ６０と、処理回路２００とを備える。フィルタアレイ１０は、特許文献１に開示されている「符号化素子」と同様の機能を有する。このため、フィルタアレイ１０を、「符号化素子」と称することもできる。光学系４０およびフィルタアレイ１０は、対象物７０から入射する光の光路に配置されている。図１Ａに示す例では、フィルタアレイ１０は、光学系４０とイメージセンサ６０との間に配置されている。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。処理回路２００は、イメージセンサ６０が生成した画像データに基づいて、特定の波長域（以下、「対象波長域」とも称する。）に含まれる複数の波長バンドのそれぞれについて画像データを生成する。この画像データを、本明細書において「分光画像データ」と称する。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの分光画像データを、分離画像２２０Ｗ１、２２０Ｗ２、・・・、２２０ＷＮと称し、これらを分離画像２２０と総称する。本明細書において、画像を示す信号、すなわち、画像を構成する複数の画素の画素値を表す信号の集合を、単に「画像」と称することがある。
　フィルタアレイ１０は、行および列状に配列された透光性の複数のフィルタを備える。フィルタアレイ１０は、光の透過スペクトル、すなわち光透過率の波長依存性がフィルタによって異なる光学素子である。フィルタアレイ１０は、入射した光の強度を波長バンドごとに変調させて通過させる。
　図１Ａに示す例において、フィルタアレイ１０は、イメージセンサ６０の近傍または直上に配置されている。ここで「近傍」とは、光学系４０からの光の像がある程度鮮明な状態でフィルタアレイ１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１０およびイメージセンサ６０は一体化されていてもよい。本明細書において、フィルタアレイ１０およびイメージセンサ６０を備える装置を、「光検出装置３００」と称する。
　光学系４０は、少なくとも１つのレンズを含む。図１Ａでは、１つのレンズとして示されているが、光学系４０は複数のレンズの組み合わせによって構成されていてもよい。光学系４０は、フィルタアレイ１０を介して、イメージセンサ６０の撮像面上に像を形成する。
　フィルタアレイ１０は、イメージセンサ６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１０がイメージセンサ６０から離れて配置されている光検出システム４００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１０が、光学系４０とイメージセンサ６０との間で且つイメージセンサ６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１０が対象物７０と光学系４０との間に配置されている。図１Ｄの例では、光検出システム４００が２つの光学系４０Ａおよび４０Ｂを備え、それらの間にフィルタアレイ１０が配置されている。これらの例のように、フィルタアレイ１０とイメージセンサ６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。フィルタアレイ１０、光学系４０、およびイメージセンサ６０の間は大気で満たされていてもよく、また窒素ガスなどのガスによって封止されていてもよい。
　イメージセンサ６０は、２次元的に配列された複数の光検出素子を備える。イメージセンサ６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含み得る。イメージセンサ６０は、例えばモノクロタイプのセンサ、またはカラータイプのセンサであり得る。対象波長域は任意に決定してよい。対象波長域は、可視の波長域に限らず、紫外、近赤外、中赤外、遠赤外、またはマイクロ波の波長範囲であってもよい。
　図１Ａに示す例において、複数の光検出素子の各々は、複数のフィルタの１つに対向して配置されている。複数の光検出素子の各々は、撮像対象の波長域の光に対して感度を有する。具体的には、複数の光検出素子の各々は、撮像対象の波長域の光を検出するのに必要な実質的な感度を有する。例えば、当該波長域における光検出素子の外部量子効率は１％以上であり得る。光検出素子の外部量子効率は１０％以上であってもよい。光検出素子の外部量子効率は２０％以上であってもよい。以下の説明において、光検出素子を「画素」とも称する。
　処理回路２００は、例えばプロセッサとメモリ等の記憶媒体とを備える集積回路であり得る。処理回路２００は、イメージセンサ６０によって取得された画像１２０に基づいて、複数の波長バンドの情報をそれぞれ含む複数の分離画像２２０のデータを生成する。複数の分離画像２２０、および処理回路２００の画像信号の処理方法の詳細については、後述する。なお、処理回路２００は、光検出装置３００に組み込まれていてもよいし、光検出装置３００に有線または無線によって電気的に接続された信号処理装置の構成要素であってもよい。
　＜フィルタアレイ＞
　以下に、本実施形態によるフィルタアレイ１０を説明する。フィルタアレイ１０は、対象物から入射する光の光路に配置され、入射光の強度を波長ごとに変調して出力する。フィルタアレイすなわち符号化素子によるこの過程を、本明細書では「符号化」と称する。
　図２Ａは、フィルタアレイ１０の例を模式的に示す図である。フィルタアレイ１０は、２次元的に配列された複数のフィルタを含む。各フィルタは、個別に設定された透過スペクトルを有する。透過スペクトルは、入射光の波長をλとして、関数Ｔ（λ）で表される。透過スペクトルＴ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１０は、６行８列に配列された４８個の矩形状のフィルタを有している。これはあくまで例示であり、実際の用途では、これよりも多くのフィルタが設けられ得る。その数は、例えばイメージセンサ６０の画素数と同程度であってもよい。フィルタアレイ１０に含まれるフィルタの数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、Ｗｉのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各フィルタの濃淡の違いは、透過率の違いを表している。淡いフィルタほど透過率が高く、濃いフィルタほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａのフィルタアレイ１０の複数のフィルタに含まれるフィルタＡ１およびフィルタＡ２の透過スペクトルの例を示す図である。フィルタＡ１の透過スペクトルとフィルタＡ２の透過スペクトルとは、互いに異なっている。このように、フィルタアレイ１０の透過スペクトルは、フィルタによって異なる。ただし、必ずしもすべてのフィルタの透過スペクトルが異なっている必要はない。フィルタアレイ１０において、複数のフィルタのうちの少なくとも２つのフィルタの透過スペクトルが互いに異なっている。すなわち、フィルタアレイ１０は、透過スペクトルが互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１０に含まれる複数のフィルタの透過スペクトルのパターンの数は、対象波長域に含まれる波長バンドの数ｉと同じか、それ以上であり得る。フィルタアレイ１０は、半数以上のフィルタの透過スペクトルが異なるように設計されていてもよい。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、Ｗｉとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
　図３Ａに示す例では、ｉを４以上の任意の整数として、対象波長域Ｗをｉ等分したそれぞれを波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷｉとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、かつ、隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。波長の分割数ｉは３以下でもよい。
　図４Ａは、フィルタアレイ１０におけるあるフィルタの透過スペクトルの特性を説明するための図である。図４Ａに示す例では、透過スペクトルは、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１から極大値Ｐ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷｉ－１などの波長バンドにおいて、透過スペクトルが極大値を有している。このように、本実施形態では、各フィルタの透過スペクトルは、複数の波長バンドＷ１から波長バンドＷｉのうち、少なくとも２つの複数の波長バンドにおいて極大値を有する。図４Ａからわかるように、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４、および極大値Ｐ５は０．５以上である。
　以上のように、各フィルタの光透過率は、波長によって異なる。したがって、フィルタアレイ１０は、入射する光のうち、ある波長バンドの成分を多く透過させ、他の波長バンドの成分をそれほど透過させない。例えば、ｉ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのｉ－ｋ個の波長バンドの光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜ｉを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１０は、入射光をフィルタごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す透過スペクトルを、波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷｉごとに平均化した結果を示す図である。平均化された透過率は、透過スペクトルＴ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率と称する。この例では、極大値Ｐ１、極大値Ｐ３、および極大値Ｐ５をとる３つの波長バンドにおいて、透過率が突出して高くなっている。特に、極大値Ｐ３、および極大値Ｐ５をとる２つの波長バンドにおいて、透過率が０．８を超えている。
　各フィルタの透過スペクトルの波長方向の分解能は、所望の波長バンドの帯域幅程度に設定され得る。言い換えれば、透過スペクトル曲線における１つの極大値を含む波長範囲のうち、当該極大値に最も近接する極小値と当該極大値との平均値以上の値をとる範囲の幅は、所望の波長バンドの帯域幅程度に設定され得る。この場合、透過スペクトルを、例えばフーリエ変換によって周波数成分に分解すれば、その波長バンドに相当する周波数成分の値が相対的に大きくなる。
　フィルタアレイ１０は、典型的には、図２Ａに示すように、格子状に区分けされた複数のフィルタを有する。これらのフィルタの一部または全部が、互いに異なる透過スペクトルを有する。フィルタアレイ１０に含まれる複数のフィルタの光透過率の波長分布および空間分布は、例えばランダム分布または準ランダム分布であり得る。
　ランダム分布および準ランダム分布の考え方は次の通りである。まず、フィルタアレイ１０における各フィルタは、光透過率に応じて、例えば０から１の値を有するベクトル要素と考えることができる。ここで、透過率が０の場合、ベクトル要素の値は０であり、透過率が１の場合、ベクトル要素の値は１である。言い換えると、行方向または列方向に一列に並んだフィルタの集合を０から１の値を有する多次元のベクトルと考えることができる。したがって、フィルタアレイ１０は、多次元ベクトルを列方向または行方向に複数備えていると言える。このとき、ランダム分布とは、任意の２つの多次元ベクトルが独立である、すなわち平行でないことを意味する。また、準ランダム分布とは、一部の多次元ベクトル間で独立でない構成が含まれることを意味する。したがって、ランダム分布および準ランダム分布においては、複数のフィルタに含まれる１つの行または列に並んだフィルタの集合に属する各フィルタでの第１の波長バンドの光の透過率の値を要素とするベクトルと、他の行または列に並んだフィルタの集合に属する各フィルタにおける第１の波長バンドの光の透過率の値を要素とするベクトルとは、互いに独立である。第１の波長バンドとは異なる第２の波長バンドについても同様に、複数のフィルタに含まれる１つの行または列に並んだフィルタの集合に属する各フィルタにおける第２の波長バンドの光の透過率の値を要素とするベクトルと、他の行または列に並んだフィルタの集合に属する各フィルタにおける第２の波長バンドの光の透過率の値を要素とするベクトルとは、互いに独立である。
　フィルタアレイ１０をイメージセンサ６０の近傍あるいは直上に配置する場合、フィルタアレイ１０に含まれる複数のフィルタの相互の間隔は、イメージセンサ６０の画素ピッチと略一致させてもよい。このようにすれば、フィルタアレイ１０から出射した符号化された光の像の解像度が画素の解像度と略一致する。各フィルタを透過した光が対応する１つの画素にのみ入射するようにすることにより、後述する演算を容易にすることができる。フィルタアレイ１０をイメージセンサ６０から離して配置する場合には、その距離に応じてフィルタのピッチを細かくしてもよい。
　図２Ａから図２Ｄに示す例では、フィルタアレイ１０は、各フィルタの透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布を有する。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各フィルタの透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布において、各フィルタは、対象波長域に含まれる複数の波長バンドのうちの少なくとも２つの波長バンドの光の大部分を透過させ、残りの波長バンドの光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　すべてのフィルタのうちの一部、例えば半分のフィルタを、透明フィルタに置き換えてもよい。そのような透明フィルタは、対象波長域に含まれるすべての波長バンドＷ１から波長バンドＷｉの光を同程度の高い透過率で透過させる。当該高い透過率は、例えば０．８以上である。そのような構成では、複数の透明フィルタは、例えば市松（ｃｈｅｃｋｅｒｂｏａｒｄ）状に配置され得る。すなわち、フィルタアレイ１０における複数のフィルタの２つの配列方向において、光透過率が波長によって異なるフィルタと、透明フィルタとが交互に配列され得る。図２Ａに示す例において、２つの配列方向は、横方向および縦方向である。
　このようなフィルタアレイ１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理回路２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いて構成される場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、フィルタごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成され得る。これにより、フィルタによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、フィルタによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、フィルタごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　＜処理回路＞
　次に、処理回路２００によって多波長の分離画像２２０を再構成する方法を説明する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長バンドよりも多くの波長バンドを意味する。この波長バンドの数は、例えば４から１００程度の数であり得る。この波長バンドの数を、「分光帯域数」とも称する。用途によっては、分光帯域数は１００を超えていてもよい。
　求めたいデータは分離画像２２０であり、そのデータは、ｆとして表される。分光帯域数をｗとすると、ｆは、各帯域の画像データｆ１、ｆ２、・・・、ｆｗを統合したデータである。ここで、図１Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆｗの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×ｗの３次元データである。一方、フィルタアレイ１０によって符号化および多重化されて取得される画像１２０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆｗは、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×ｗ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換して表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆｗを波長バンドごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×ｗ列の行列である。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×ｗが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理回路２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値あるいは二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。処理回路２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１Ｂから図１Ｄの構成においては、フィルタアレイ１０によって符号化された像は、イメージセンサ６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述のシステム行列Ｈに反映させることにより、分離画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、システム行列Ｈに反映させることにより、分離画像２２０を再構成することができる。フィルタアレイ１０が配置される位置は任意であるが、フィルタアレイ１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　なお、ここでは式（２）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、分離画像２２０の数は任意であり、各波長バンドも任意に設定してよい。再構成の方法の詳細は、特許文献１に開示されている。特許文献１の開示内容の全体を本明細書に援用する。
　＜フィルタアレイ１０が有する特徴量＞
　実際にフィルタアレイ１０を用いて撮像された画像は、光ショットノイズと呼ばれるランダムノイズを含み得る。ランダムノイズは、検出光量の平方根に比例して増加する。ここでは、図５Ａおよび図５Ｂを参照して、後述のランダムノイズの議論に用いられる、本実施形態によるフィルタアレイ１０が有する特徴量を説明する。図５Ａは、フィルタアレイ１０における複数の波長バンドの各々についての光透過率の空間パターンを模式的に示す図である。当該空間パターンは、モザイクパターンとして表現されている。波長バンドの数をＮ（Ｎは４以上の整数）とする。図５Ａに示すように、波長バンドごとに、フィルタアレイ１０の光透過率の分布が異なる。図５Ｂは、第ｉ（ｉは１以上Ｎ以下の整数）の波長バンドについて、フィルタアレイ１０が有する透過率のヒストグラムの例を模式的に示す図である。図５Ｂに示す例において、横軸は透過率を表し、縦軸はその透過率を有するフィルタの数を表す。図５Ｂに示すヒストグラムから、フィルタアレイ１０の特徴量として、第ｉの波長バンドの光についての透過率の平均値μｉおよび有限の標準偏差σｉが得られる。図５Ｂに示すヒストグラムがガウス分布を有する場合、透過率がμｉ－σｉ以上μｉ＋σｉ以下の範囲内に含まれるフィルタの数は、全体の約６８％を占める。透過率がμｉ－２σｉ以上μｉ＋２σｉ以下の範囲内に含まれるフィルタの数は、全体の約９５％を占める。図５Ｂに示すように、μｉ-２σｉの値が大きければ、高い透過率を有するフィルタの数が増加する。σｉが大きければ、フィルタ１００同士の分別が容易である。
　ヒストグラムは、フィルタアレイ１０における各光学フィルタの透過率を、所定の階調数で光強度を検出する光検出器を用いて計測することによって得ることができる。例えば、８ビットまたは１６ビットなどの所定の階調数で光強度の２次元分布を検出できるイメージセンサなどの光検出器を用いてヒストグラムを得ることができる。具体的には、フィルタアレイ１０が配置された状態で検出された第ｉの波長バンドの光の強度と、フィルタアレイ１０が配置されていない状態で検出された第ｉの波長バンドの光の強度との比から、フィルタアレイ１０における各フィルタ１００の第ｉの波長バンドの光の透過率を求めることができる。上記の方法によって取得された各フィルタ１００の透過率のデータから、図５Ｂに示されるようなヒストグラムを得ることができる。なお、実際のフィルタアレイ１０では、図５Ｂとは異なる形状のヒストグラムが取得され得る。透過率の波長依存性がフィルタによって異なることから、ヒストグラムの形状は波長バンドごとに異なる。したがって、複数のフィルタ１００の透過率の平均値および標準偏差も、波長バンドごとに異なる。
　以下の説明において、透過率のヒストグラムの階調数は８ビットであるものとする。光強度が８ビット以外の階調数で検出されたとしても、当該強度を８ビットの階調数に変換して透過率のヒストグラムを求めることができる。
　＜ランダムノイズが分離画像に及ぼす影響＞
　次に、図６Ａから図７Ｂを参照して、ランダムノイズが分離画像に及ぼす影響を説明する。
　図６Ａは、元画像にランダムノイズが重畳された撮像画像の例を模式的に示す図である。図６Ａに示すように、ランダムノイズを含む撮像画像は、元画像と比較して不鮮明になり得る。図６Ｂは、ランダムノイズを含む撮像画像データｇが行列Ｈおよび分離画像データｆの積によって表される式（１）の関係を模式的に示す図である。図６Ｂに示す行列Ｈは、図５Ａに示す波長バンドごとの透過率の空間分布の成分を含む。
　図７Ａは、本実施形態とは異なるフィルタアレイに含まれるあるフィルタの透過スペクトルの例を示す図である。図７Ａに示す例において、対象波長域Ｗは、４５０ｎｍ以上８５０ｎｍ以下の範囲である。対象波長域Ｗは、各バンド幅が８０ｎｍである５個の波長バンドを含む。図７Ａに示す例において、透過スペクトルは、８本の鋭いピークを有する。透過率の最大値は約１であり、最小値は約０．０２である。互いに隣接する２つのピークの間での透過率は十分に低い。このような透過スペクトルを有するフィルタ１００は、対象波長域Ｗ内の反射率が高い２つの反射層、およびそれらの間の干渉層を含む共振構造によって実現される。干渉層の屈折率および／または厚さを変化させることにより、透過スペクトルは長波長側または短波長側にシフトする。当該フィルタアレイは、そのようにして透過スペクトルがシフトした複数種類のフィルタを含む。当該フィルタアレイは、２次元的に配列された１００万個のフィルタを備える。当該１００万個のフィルタは、ランダム分布または準ランダム分布で配列された１６種類のフィルタを含む。
　図７Ｂは、上記のフィルタアレイを用いて撮像された画像がランダムノイズを含む場合における、５つの波長バンドでの正解画像と分離画像との間の平均２乗誤差（Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ：ＭＳＥ）を示す図である。ランダムノイズは、中心がμｎｏｉｓｅ＝０であり、標準偏差がσｎｏｉｓｅであるガウス分布に従い発生されている。各画素に加算されるランダムノイズの分散Ｎｎｏｉｓｅは、以下の式（３）を用いて計算される。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｇｎｏｉｓｅは各画素に重畳されるノイズの値であり、正の値も負の値も取り得る。図７Ｂに示す例では、σｎｏｉｓｅ＝０、５、および１０である。σｎｏｉｓｅ＝０は、ランダムノイズが存在しないことを意味する。σｎｏｉｓｅが増加すると、ランダムノイズは増加する。平均２乗誤差は、以下の式（４）を用いて計算される。
Figure JPOXMLDOC01-appb-M000004
　ここで、ＮおよびＭは、それぞれ横方向および縦方向の画素数である。Ｉｉ、ｊは、位置（ｉ、ｊ）の画素における正解画像の画素値である。Ｉ’ｉ、ｊは、位置（ｉ、ｊ）の画素における分離画像の画素値である。
　図７Ｂに示すように、σｎｏｉｓｅが増加するにつれて、５個すべての波長バンドでのＭＳＥが増加することがわかる。ランダムノイズが存在しない場合、図７Ａに示すような、透過率の最大値および最小値のコントラスト比が大きい透過スペクトルを有するフィルタは、波長バンド間のＳＮ比を向上させることができる。すなわち、図５Ａに示す、波長バンド間での透過率の空間分布の差異が明確になる。しかし、当該フィルタを含むフィルタアレイは、ランダムノイズの影響を受けやすい。その結果、ハイパースペクトルカメラの波長分解能が低下し得る。
　＜ノイズ耐性を有するフィルタアレイ１０＞
　以下に、上記の課題を解決することが可能な本実施形態によるフィルタアレイ１０を説明する。図５Ｂに示すμｉ-２σｉの値が大きいフィルタアレイ１０は、ノイズ耐性を有する。そのようなフィルタアレイ１０では、透過率が高いからである。一方、図５Ｂに示すσｉが大きいフィルタアレイ１０もまた、ノイズ耐性を有する。そのようなフィルタアレイ１０では、フィルタ間の透過率の分散が大きくフィルタ１００同士の分別が容易であるため、分離画像の復元精度が向上するからである。以上のことから、μｉ-２σｉおよびσｉの和であるＭｉ＝μｉ-σｉをノイズ耐性の指標として、本実施形態によるフィルタアレイ１０の光学特性を説明する。なお、本実施形態によるフィルタアレイ１０は、前述した例と同様に、ランダム分布または準ランダム分布で配列された複数種類のフィルタを含む。
　図８は、複数の波長バンドの各々についてσｉ＝０．０８である場合における、複数の波長バンドでの正解画像と分離画像との間の平均ＭＳＥと、Ｍｉ＝μｉ-σｉとの関係を示す図である。図８に示す例において、ランダムノイズの標準偏差はσｎｏｉｓｅ＝０、２、３、４、および５である。フィルタアレイ１０の透過光量はＭｉに依存する。Ｍｉの値が小さいほど、フィルタアレイ１０の透過光量は減少し、Ｍｉの値が大きいほど、フィルタアレイ１０の透過光量は増加する。フィルタアレイ１０に含まれる複数のフィルタ１００のうち、大部分の透過率が低く、一部の透過率が高い場合、フィルタアレイ１０の透過率のヒストグラムは非対称になり得る。そのようなフィルタアレイ１０では、Ｍｉは負の値にもなり得る。
　σｎｏｉｓｅ＝０の場合、撮像画像はランダムノイズを含まない。この場合、Ｍｉ≦０．４５では、平均ＭＳＥが低く抑えられる。図７Ａに示すように、フィルタ１００における透過率のコントラスト比が高い場合、フィルタアレイ１０の平均的な透過光量は少なく、Ｍｉの値は小さい。そのようなフィルタアレイ１０は、波長バンド間のＳＮ比を向上させる。その結果、分離画像の復元誤差の発生を抑制することができる。これに対して、Ｍｉ＞０．４５では、平均ＭＳＥがＭｉの増加に伴って増加する。フィルタ１００における透過率のコントラスト比が低い場合、フィルタアレイ１０の平均的な透過光量は多く、Ｍｉの値は大きい。そのようなフィルタアレイ１０は、波長バンド間のＳＮ比を低下させる。その結果、分離画像の復元誤差は増加する。
　σｎｏｉｓｅ＞０の場合、Ｍｉ＜０．２では、実線の楕円によって囲まれた領域に示すように、平均ＭＳＥが、σｎｏｉｓｅの増加に伴って大きく増加する。これに対して、Ｍｉ＝０．４２付近では、破線の楕円によって囲まれた領域に示すように、平均ＭＳＥがσｎｏｉｓｅの増加に伴って増加するものの、その増加幅は抑制される。Ｍｉ＞０．４５では、σｎｏｉｓｅが小さくても、平均ＭＳＥは、Ｍｉの増加に伴って増加する。図８に示すように、σｎｏｉｓｅ＝５の場合、平均ＭＳＥが不連続的に急増することがある。上記の特性をまとめると、以下の通りである。
・（Ｍｉが小さい場合）波長バンド間のＳＮ比は高い。したがって、σｎｏｉｓｅが小さいとき、分離画像の復元精度は高い。σｎｏｉｓｅが増加すると、フィルタアレイ１０の少ない透過光量と比較して、ランダムノイズの量が無視できなくなる。その結果、分離画像の復元精度が大きく低下する。
・（Ｍｉが大きすぎる場合）波長バンド間のＳＮ比は低い。したがって、σｎｏｉｓｅが小さくても、分離画像の復元精度は低い。
・（Ｍｉが適度に大きい場合）σｎｏｉｓｅが小さいとき、分離画像の復元精度は高い。σｎｏｉｓｅが増加しても、フィルタアレイ１０の透過光量と比較して、ランダムノイズの量はそれほど大きくはならない。その結果、分離画像の復元精度の低下が抑制される。
　図９Ａから図９Ｃは、それぞれ、複数の波長バンドの各々についてσｉ＝０．０５、０．０７、および０．１である場合における、複数の波長バンドでの正解画像と分離画像との間の平均ＭＳＥと、Ｍｉ＝μｉ-σｉとの関係を示す図である。図９Ａから図９Ｃに示すように、Ｍｉが適度に大きい場合、σｎｏｉｓｅが増加しても、分離画像の復元精度の低下が抑制される。そのようなＭｉは約０．３以上約０．５以下の範囲にある。実際には、ランダムノイズによる復元誤差に加えて、読み出しノイズのような他のノイズによる復元誤差が数％程度存在する。これらの合算された復元誤差が５％を超えると、分離画像の復元精度の低さが視認され得る。したがって、許容されるランダムノイズによる復元誤差は、例えば３％以下であり得る。８ビット階調において、３％の復元誤差は平均ＭＳＥ＝５６である。図９Ａから図９Ｃに示す例において、実際のランダムノイズに近いσｎｏｉｓｅ＝５の場合、平均ＭＳＥが５６を下回るときのＭｉの下限は、Ｍｉ＝０．１である。以上から、Ｍｉ≧０．１を有するフィルタアレイ１０は、ランダムノイズに対してロバストであると言うことができる。
　本実施形態によるフィルタアレイ１０は、Ｍｉ≧０．１以外にも以下の特性を有する。
・複数の波長バンドの各々についてσｉ≧０．０５である。この場合、フィルタ１００同士の分別が容易であることから、分離画像の復元精度を向上させることができる。
・複数の波長バンドの各々についてμｉ≧０．２である。この場合、図８から図９Ｃに示す０．０５≦σｉ≦０．１についてＭｉ≧０．１が満たされる。
・複数の波長バンドについて最大のＭｉおよび最小のＭｉをそれぞれＭｍａｘおよびＭｍｉｎとすると、Ｍｍａｘ／Ｍｍｉｎ≦３である。この場合、複数の波長バンド間での分離画像の復元精度がばらつくことを抑制することができる。
　＜フィルタアレイの具体的な構造＞
　次に、図１０Ａおよび図１０Ｂを参照して、複数の波長バンドの各々についてＭｉ≧０．１を満たす本実施形態によるフィルタアレイ１０の具体的な構造の例を説明する。図１０Ａおよび図１０Ｂは、それぞれ、光検出装置３００の第１の例および第２の例を模式的に示す断面図である。当該断面図は、図２Ａに示すフィルタアレイ１０の１つの行およびイメージセンサ６０の断面構造の例を示す。図１０Ａおよび図１０Ｂに示す例では、フィルタアレイ１０がイメージセンサ６０上に配置されている。イメージセンサ６０に含まれる複数の光検出素子６０ａは、それぞれ、フィルタアレイ１０に含まれる複数のフィルタ１００の直下に位置する。フィルタアレイ１０とイメージセンサ６０とが分離していてもよい。その場合であっても、複数の光検出素子６０ａの各々は、複数のフィルタの１つを透過した光を受ける位置に配置され得る。複数のフィルタを透過した光が、ミラーを介して複数の光検出素子６０ａにそれぞれ入射するように、各構成要素が配置されていてもよい。その場合、複数の光検出素子６０ａの各々は、複数のフィルタの１つの直下には配置されない。
　本実施形態によるフィルタアレイ１０に含まれるすべてのフィルタ１００は共振構造を備える。共振構造とは、ある波長の光が、内部で定在波を形成して安定に存在する構造を意味する。図１０Ａに示す共振構造は、積層された基板２２、反射層２４、および干渉層２６をこの順に含む。図１０Ｂに示す共振構造は、積層された基板２２、干渉層２６、および反射層２４をこの順に含む。図１０Ａおよび図１０Ｂに示す基板２２は、すべてのフィルタ１００に亘り段差なく一様に設けられている。図１０Ａに示す反射層２４は、図１０Ｂに示す反射層２４とは異なり、すべてのフィルタ１００に亘り段差なく一様に設けられている。図１０Ａおよび図１０Ｂに示すように、干渉層２６および反射層２４の積層の順番は任意である。基板２２は必ずしも必要ではない。反射層２４は、例えば、分布ブラッグ反射器（Ｄｉｓｔｒｉｂｕｔｅｄ　Ｂｒａｇｇ　Ｒｅｆｌｅｃｔｏｒ：ＤＢＲ）を含み得る。反射層２４の構成の詳細については後述する。干渉層２６の屈折率および／または厚さは、フィルタ１００によって異なり得る。複数のフィルタ１００の透過スペクトルは、干渉層２６の屈折率および／または厚さに応じて異なる。各フィルタ１００の透過スペクトルは、対象波長域Ｗにおいて複数の波長で透過率の極大値を有する。
　なお、本実施形態によるフィルタアレイ１０では、複数のフィルタ１００のうち、少なくとも１つのフィルタが上記の共振構造を有する一方、他のフィルタは上記の共振構造を有していなくてもよい。例えば、フィルタアレイ１０は、透明フィルタまたはＮＤフィルタ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ　Ｆｉｌｔｅｒ）などの、光透過率の波長依存性を有しないフィルタを含んでいてもよい。
　第１の例において、干渉層２６は大気に露出していてもよい。干渉層２６の表面上に空間を空けてレンズおよび保護カバーなどの部材が配置されていてもよい。このとき、当該空間は大気で満たされていてもよいし、窒素ガスなどのガスによって封止されていてもよい。第２の例における反射層２４の表面についても同様である。
　次に、図１１Ａを参照して、フィルタ１００の構成の例を説明する。図１１Ａは、図１０Ａに示すフィルタ１００の例を模式的に示す図である。図１１Ａに示すように、反射層２４は、複数の第１屈折率層２４ａおよび複数の第２屈折率層２４ｂが交互に積層されたＤＢＲを含む。ＤＢＲは、屈折率が異なる第１屈折率層２４ａおよび第２屈折率層２４ｂのペア層を１組以上含む。第１屈折率層２４ａの屈折率は、第２屈折率層２４ｂの屈折率よりも高い。分布ブラッグ反射器は、周期構造に起因するブラッグ反射により、反射率が高い波長域を有する。当該波長域はストップバンドと呼ばれる。上記のペア層の数を増加させると、ストップバンドの反射率は１００％に近づく。
　対象波長域Ｗ内の波長をλ、第１屈折率層２４ａの屈折率をｎＨ、第２屈折率層２４ｂの屈折率をｎＬとする。厚さがλ／（４ｎＨ）である第１屈折率層２４ａ、および厚さがλ／（４ｎＬ）である第２屈折率層２４ｂのペア層を１組以上含むＤＢＲは、波長λの光を効率的に反射させる。対象波長域Ｗが波長λi以上波長λｆ以下の範囲である場合、複数の第１屈折率層２４ａおよび複数の第２屈折率層２４ｂの厚さを段階的に変化させることにより、ＤＢＲは、波長λiに対応するペア層から波長λｆに対応するペア層を含むことができる。その結果、当該ＤＢＲは、対象波長域Ｗ内のすべての光を効率的に反射させることができる。
　ＤＢＲは、例えば、対象波長域Ｗ内の光について吸収率の低い材料から形成され得る。対象波長域Ｗが可視光領域内にある場合、当該材料は、例えば、ＳｉＯ２、Ａｌ２Ｏ３、ＳｉＯｘＮｙ、Ｓｉ３Ｎ４、Ｔａ２Ｏ５、およびＴｉＯ２からなる群から選択される少なくとも１つであり得る。対象波長域Ｗが赤外領域内にある場合、当該材料は、例えば、上記のＳｉＯ２、Ａｌ２Ｏ３、ＳｉＯｘＮｙ、Ｓｉ３Ｎ４、Ｔａ２Ｏ５、およびＴｉＯ２に加えて、単結晶Ｓｉ、多結晶Ｓｉ、およびアモルファスＳｉからなる群から選択される少なくとも１つであり得る。
　干渉層２６は、反射層２４に接する下面２６ｓ１およびその反対側の上面２６ｓ２を有する。図１１Ａに示すフィルタ１００において、下面２６ｓ１が第１表面に相当し、上面２６ｓ２が第２表面に相当する。図１１Ａに示す例では、上面２６ｓ２は、外部に露出し、空気に接している。干渉層２６上に、透明層をさらに積層してもよい。この場合、上面２６ｓ２は、当該透明層に接する。下面２６ｓ１における対象波長域Ｗの光についての反射率（以下、「第１反射率」と称する。）は、例えば８０％以上であり得る。第１反射率は、８０％よりも低くてもよいが、反射を抑制する観点から、４０％以上に設計され得る。上面２６ｓ２における対象波長域Ｗの光についての反射率（「第２反射率」と称する。）は、第１反射率よりも低く、例えば１％以上３０％未満であり得る。第１反射率と第２反射率との間には１０％以上の一定の差異がある。
　一方、図１０Ｂに示す光検出装置３００のフィルタ１００においては、干渉層２６の上面上に反射層２４が配置されている。図１０Ｂに示す光検出装置３００のフィルタ１００において、干渉層２６の上面が第１表面に相当し、下面が第２表面に相当する。
　本明細書では、光を反射する面の正確な位置が問題にならない限り、干渉層２６内の光は、下面２６ｓ１および上面２６ｓ２で反射されるものとする。本実施形態において、干渉層２６から反射層２４に入射する光の一部は、実際には、反射層２４内に浸入し、複数の第１屈折率層２４ａおよび複数の第２屈折率層２４ｂの界面で反射される。光が反射される界面は、波長によって異なる。しかし、説明の便宜上、これらの光は、下面２６ｓ１で反射されるものとして取り扱う。
　下面２６ｓ１および上面２６ｓ２での光の反射により、干渉層２６内には複数の定在波が形成される。その結果、干渉層２６の厚さが所定値以上である場合、フィルタ１００の透過スペクトルは、対象波長域Ｗにおいて複数の波長で透過率の極大値を有する。言い換えれば、フィルタ１００の透過スペクトルは、対象波長域Ｗ内に複数のピークを有する。本明細書では、このようなフィルタを、「多モードフィルタ」と称する。ＤＢＲが波長λに対応するペア層を含む場合、多モードフィルタを実現できる干渉層２６の厚さは、例えば、第１屈折率層２４ａの厚さの２倍以上、すなわちλ／（２ｎＨ）以上であり得る。干渉層２６の厚さではなく、干渉層２６の屈折率を適切に設計して多モードフィルタを実現してもよい。あるいは、干渉層２６の厚さおよび屈折率の両方を適切に設計して多モードフィルタを実現してもよい。
　干渉層２６は、ＤＢＲと同様の材料から形成され得る。干渉層２６は、単一の層に限らず、積層された複数の層を含んでいてもよい。当該複数の層は、異なる材料から形成されていてもよい。当該複数の層の屈折率は、フィルタ１００の透過スペクトルに実質的な影響を与えない程度に異なっていてもよい。屈折率が異なる層の界面では反射が生じ得る。しかし、透過スペクトルに実質的な影響を与えない程度であれば、当該複数の層の各々は、実質的に一様な干渉層２６の一部として考えることができる。許容される屈折率の相対誤差は０％以上９％以下である。当該相対誤差は、最大屈折率と最小屈折率との差の絶対値を最大の屈折率によって割った値である。例えば、Ｔａ２Ｏ５およびＳｉ３Ｎ４の可視光領域における屈折率は、それぞれ２．２および２．０５である。これらの屈折率の相対誤差はおよそ７％である。したがって、積層されたＴａ２Ｏ５層およびＳｉ３Ｎ４層の各々は、実質的に一様な干渉層２６の一部であると考えることができる。
　以下の説明において、図１１Ａに示す構造を、「片側ＤＢＲ構造」と称する。図１１Ａに示す構造に加えて、干渉層２６上に反射層２４がさらに積層された構造を、「両側ＤＢＲ構造」と称する。片側ＤＢＲ構造において、干渉層２６の下面２６ｓ１および上面２６ｓ２のうち、一方には反射層２４が設けられ、他方には設けられない、両側ＤＢＲ構造において、干渉層２６の下面２６ｓ１および上面２６ｓ２の両方に反射層が設けられている。
　次に、図１１Ｂを参照して、フィルタ１００の透過スペクトルの例を説明する。図１１Ｂは、光が垂直に入射する場合における片側ＤＢＲ構造および両側ＤＢＲ構造の光の透過スペクトルの例を示す図である。図１１Ｂに示す例において、対象波長域Ｗは４５０ｎｍ以上８５０ｎｍ以下である。図１１Ｂに示す実線は、片側ＤＢＲ構造の透過スペクトルを表す。図１１Ｂに示す破線は、両側ＤＢＲ構造の透過スペクトルを表す。図１１Ｂに示すように、片側ＤＢＲ構造および両側ＤＢＲ構造の両方から多モードフィルタを得ることができる。ただし、両者の多モードフィルタの特性は以下の点において異なる。片側ＤＢＲ構造の透過スペクトルにおいて、複数のピークの各々は幅広く、かつ、最大の透過率が０．５程度であり、最小の透過率が０．１程度である。すなわち、透過率のコントラスト比は低い。これに対して、両側ＤＢＲ構造の透過スペクトルにおいて、複数のピークの各々は鋭く、かつ、最大の透過率が１．０程度であり、最小の透過率が０．０２程度である。すなわち、透過率のコントラスト比は高い。
　片側ＤＢＲ構造では、両側ＤＢＲ構造と比較して、透過率のベースラインが上昇する。この例において、片側ＤＢＲ構造での対象波長域Ｗ内の平均透過率は約０．２６であり、両側ＤＢＲ構造での対象波長域Ｗ内の平均透過率は約０．１である。片側ＤＢＲ構造では、両側ＤＢＲ構造と比較して、平均透過率が約２倍である。このように、片側ＤＢＲ構造は、撮像時の光量損失を抑制することができる。
　図１１Ｂに示す例において、片側ＤＢＲ構造および両側ＤＢＲ構造では、それぞれ、複数の波長バンドの各々についてＭｉ＝０．１およびＭｉ＝－０．１４である。フィルタアレイ１０に含まれる複数のフィルタ１００がそれぞれ複数の片側ＤＢＲ構造を含む場合、複数の波長バンドの各々についてＭｉ≧０．１を満たすことができる。
　次に、図１２Ａおよび図１２Ｂを参照して、複数の波長バンドの各々についてＭｉ≧０．１を満たす本実施形態によるフィルタアレイ１０の具体的な構造の他の例を説明する。図１２Ａおよび図１２Ｂは、それぞれ、光検出装置３００の第３の例および第４の例を模式的に示す断面図である。第３の例および第４の例では、それぞれ、第１の例および第２の例とは異なり、反射層２５がＤＢＲではなく金属膜を含む。金属膜の対象波長域Ｗにおける反射率は、金属膜の材料に依存する。金属膜の対象波長域Ｗにおける吸収係数は、金属膜の厚さに依存する。
　金属膜は、対象波長域Ｗにおける反射率が例えば９０％以上である材料から形成され得る。対象波長域Ｗが可視光領域内にある場合、反射率が９０％以上である金属膜の材料は、例えば、ＡｇおよびＡｌからなる群から選択される少なくとも１つであり得る。対象波長域Ｗが赤外領域内にある場合、反射率が９０％以上である金属膜の材料は、Ａｇ、Ａｌ、Ａｕ，およびＣｕからなる群から選択される少なくとも１つであり得る。反射率が相対的に低い金属膜であっても、反射率を抑制する点では有用である。例えば、対象波長域Ｗにおける反射率が４０％以上７０％以下の材料から金属膜が形成されていてもよい。対象波長域Ｗが可視光領域または赤外領域内にある場合、反射率が４０％以上７０％以下である金属膜の材料は、例えば、ＮｉおよびＰｔからなる群から選択される少なくとも１つであり得る。金属膜は合金であってもよい。金属膜はメッキ加工によって設けられてもよい。
　金属膜の厚さは、例えば１ｎｍ以上１００ｎｍ以下であり得る。この場合、金属膜の可視光領域から近赤外領域における透過率は相対的に大きくなり得る。その結果、可視光領域から近赤外領域における光は、金属膜を効果的に透過することができる。金属膜の厚さは数十ｎｍ以下であってもよい。
　図１０Ａおよび図１０Ｂならびに図１２Ａおよび図１２Ｂに示す例では、干渉層２６の片側にのみ反射層が存在した。干渉層２６における第１反射率および第２反射率が上記のように一定の差異を有していれば、干渉層２６の両側に反射層が存在してもよい。
　次に、図１３Ａおよび図１３Ｂを参照して、複数の波長バンドの各々についてＭｉ≧０．１を満たす本実施形態によるフィルタアレイ１０の具体的な構造のさらに他の例を説明する。
　図１３Ａは、光検出装置３００の第５の例を模式的に示す斜視図である。図１３Ａに示す例において、フィルタアレイ１０は、複数のフィルタ１１０を含む。複数のフィルタ１１０の各々は、複数のサブフィルタ３０が配列されたサブフィルタアレイである。フィルタアレイ１０は、複数のフィルタ１１０を通過した光が、イメージセンサ６０における複数の光検出素子６０ａにそれぞれ入射するように配置されている。図１３Ａに示す例では、１つの光検出素子６０ａが、４×４個のサブフィルタ３０を透過する光を検出する。なお、すべてのフィルタがサブフィルタアレイである必要はない。本実施形態によるフィルタアレイは、少なくとも１つのサブフィルタアレイを含み得る。
　図１３Ｂは、サブフィルタアレイであるフィルタ１１０および光検出素子６０ａの例を模式的に示す斜視図である。複数のサブフィルタ３０は、透過波長域が互いに異なる複数種類の第１サブフィルタ３０ａと、複数の波長バンドのそれぞれの光を透過させる１つ以上の第２サブフィルタ３０ｂとを含む。図１３Ｂに示す例では、ハッチングが付されたサブフィルタが第１サブフィルタ３０ａを表し、白色のサブフィルタが第２サブフィルタ３０ｂを表す。第１サブフィルタ３０ａの個数および第２サブフィルタ３０ｂの個数は、サブフィルタアレイであるフィルタ１１０ごとに異なる。複数のサブフィルタアレイであるフィルタ１１０は、互いに異なる透過スペクトルを有する。
　複数種類の第１サブフィルタ３０ａは、例えば、赤フィルタ、緑フィルタ、および青フィルタのＲＧＢカラーフィルタを含み得る。複数種類の第１サブフィルタ３０ａは、ＲＧＢカラーフィルタの代わりに、またはＲＢＧフィルタに加えて、シアンフィルタ、マゼンタフィルタ、および黄フィルタのＣＭＹフィルタの少なくとも１つを含んでいてもよい。第２サブフィルタ３０ｂは、例えば可視光領域において高い透過率を有する透明フィルタであり得る。第２サブフィルタ３０ｂではなく、開口部であってもよい。第２サブフィルタ３０ｂまたは開口部により、図１３Ｂに示すフィルタ１１０の透過率のベースラインを上昇させることができる。その結果、図１３Ａに示すフィルタアレイ１０は、複数の波長バンドの各々についてＭｉ＞０．１を満たすことができる。そのようなフィルタアレイ１０はノイズ耐性を有する。サブフィルタアレイであるフィルタ１１０の全体の面積に占める第２サブフィルタ３０ｂまたは開口部の面積の割合は４％以上である。４％の割合は、例えば、５×５のサブフィルタ３０が１個の第２サブフィルタ３０ｂを含む場合に相当する。
　次に、図１４を参照して、サブフィルタアレイであるフィルタ１１０の透過スペクトルの例を説明する。図１４は、８種類のサブフィルタアレイの透過スペクトルの例を示す図である。各サブフィルタアレイであるフィルタ１１０における４×４個のサブフィルタ３０は、３種類のＲＢＧカラーフィルタが配列された１４個の第１サブフィルタ３０ａと、白色光を透過させる２個の第２サブフィルタ３０ｂとを含む。サブフィルタアレイであるフィルタ１１０の全体の面積に占める第２サブフィルタ３０ｂの面積の割合は、１２．５％である。第２サブフィルタ３０ｂにより、すべてのサブフィルタアレイの透過スペクトルにおける最小の透過率は０．１５以上である。その結果、複数の波長バンドの各々についてＭｉ＝０．１８程度であり、Ｍｉ＞０．１が満たされる。これに対して、各サブフィルタアレイにおける４×４個のサブフィルタ３０がすべて第１サブフィルタ３０ａである場合、複数の波長バンドの各々についてＭｉ＝０．０５程度であり、Ｍｉ＞０．１が満たされない。
　なお、Ｍｉが大きすぎる場合、複数のサブフィルタ３０の一部にＮＤフィルタを含めることにより、サブフィルタアレイであるフィルタ１１０の透過率の最小値を減少させることができる。その結果、Ｍｉの値が減少する。
　本開示における光検出システム、およびフィルタアレイは、例えば、多波長の２次元画像を取得するカメラおよび測定機器に有用である。本開示における光検出システム、およびフィルタアレイは、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステム等にも応用できる。
　　１０　フィルタアレイ
　　２４、２５　　反射層
　　２６　　　干渉層
　　２６ｓ１　　下面
　　２６ｓ２　　上面
　　３０　　　サブフィルタ
　　３０ａ　　第１サブフィルタ
　　３０ｂ　　第２サブフィルタ
　　４０　　　光学系
　　６０　　　イメージセンサ
　　６０ａ　　光検出素子
　　７０　　　対象物
　　１００　　フィルタ
　　１１０　　フィルタ、サブフィルタアレイ
　　１２０　　画像
　　２００　　処理回路
　　２２０　　分離画像
　　３００　　光検出装置
　　４００　　光検出システム

Claims (13)

  1. 　特定の波長域に含まれるＮ個（Ｎは２以上の整数）の波長バンドのそれぞれに対応する画像データを生成する光検出装置において用いられるフィルタアレイであって、
    　複数の光学フィルタを備え、
    　前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々についての光透過率が互いに異なる複数種類の光学フィルタを含み、
    　前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に含まれる波長を有する光についての前記複数の光学フィルタの光透過率の平均値をμｉとし、前記第ｉの波長バンドに含まれる波長を有する前記光についての前記複数の光学フィルタの前記光透過率の標準偏差をσｉとし、Ｍｉ＝μｉ－σｉとすると、
    　前記Ｎ個の波長バンドの各々について、Ｍｉ≧０．１である、
    フィルタアレイ。
  2. 　前記Ｎ個の波長バンドの各々について、σｉ≧０．０５である、
    請求項１に記載のフィルタアレイ。
  3. 　前記Ｎ個の波長バンドの各々について、μｉ≧０．２である、
    請求項１または２に記載のフィルタアレイ。
  4. 　前記Ｎ個の波長バンドについて、最大のＭｉをＭｍａｘとし、最小のＭｉをＭｍｉｎとすると、
    　Ｍｍａｘ／Ｍｍｉｎ≦３である、
    請求項１から３のいずれかに記載のフィルタアレイ。
  5. 　前記複数の光学フィルタのうちの少なくとも１つの光学フィルタは、
    　　第１表面、および前記第１表面の反対側の第２表面を有する干渉層、及び
    　　前記第１表面上に設けられた反射層を含み、
    　前記少なくとも１つの光学フィルタの透過スペクトルは、前記特定の波長域に複数の極大値を有し、
    　前記反射層は、前記第２表面上には設けられていない、
    請求項１から４のいずれかに記載のフィルタアレイ。
  6. 　前記反射層は、分布ブラッグ反射器および金属膜からなる群から選択される少なくとも１つを含む、請求項５に記載のフィルタアレイ。
  7. 　前記分布ブラッグ反射器は、第１屈折率層および第２屈折率層の組を１組以上含み、
    　前記第１屈折率層の屈折率は、前記第２屈折率層の屈折率よりも高い、
    請求項６に記載のフィルタアレイ。
  8. 　前記特定の波長域に含まれる波長をλとし、
    　前記第１屈折率層の前記屈折率をｎＨとし、前記第２屈折率層の前記屈折率をｎＬとすると、
    　前記第１屈折率層の厚さはλ／（４ｎＨ）であり、前記第２屈折率層の厚さはλ／（４ｎＬ）であり、
    　前記干渉層の厚さはλ／（２ｎＨ）よりも大きい、
    請求項７に記載のフィルタアレイ。
  9. 　前記金属膜の厚さは１ｎｍ以上１００ｎｍ以下である、
    請求項６に記載のフィルタアレイ。
  10. 　前記光検出装置はイメージセンサを含み、
    　前記フィルタアレイは、前記複数の光学フィルタを通過した光が前記イメージセンサに入射するように配置され、
    　前記複数の光学フィルタの少なくとも１つは、２次元的に配列された複数のサブフィルタを含むサブフィルタアレイであり、
    　前記サブフィルタアレイは、透過波長域が互いに異なる複数種類の第１サブフィルタと、各々が、前記Ｎ個の波長バンドのうちの対応する波長バンドに含まれる波長を有するＮ個の光を透過させる１つ以上の第２サブフィルタまたは開口部と、を含み、
    　前記サブフィルタアレイの全体の面積に占める、前記１つ以上の第２サブフィルタまたは前記開口部の面積の割合は４％以上である、
    請求項１から４のいずれかに記載のフィルタアレイ。
  11. 　前記複数種類の第１サブフィルタは、赤フィルタ、緑フィルタ、および青フィルタを含む、
    請求項１０に記載のフィルタアレイ。
  12. 　請求項１から１１のいずれかに記載のフィルタアレイと、
    　前記複数の光学フィルタを透過した光を受ける位置に配置され、前記特定の波長域に含まれる波長を有する光に感度を有するイメージセンサと、
    を備える、
    光検出システム。
  13. 　前記複数の光学フィルタの前記光透過率の空間分布を示すデータと、前記イメージセンサによって取得された圧縮画像データとに基づいて、前記画像データを生成する処理回路、をさらに備える、
    請求項１２に記載の光検出システム。
PCT/JP2021/017617 2020-05-29 2021-05-10 フィルタアレイおよび光検出システム Ceased WO2021241171A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180036101.2A CN115668008B (zh) 2020-05-29 2021-05-10 滤波器阵列及光检测系统
JP2022514144A JP7142251B2 (ja) 2020-05-29 2021-05-10 フィルタアレイおよび光検出システム
EP21813748.7A EP4160169A4 (en) 2020-05-29 2021-05-10 FILTER ARRANGEMENT AND OPTICAL DETECTION SYSTEM
US18/054,570 US12529598B2 (en) 2020-05-29 2022-11-11 Filter array and light detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020093886 2020-05-29
JP2020-093886 2020-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/054,570 Continuation US12529598B2 (en) 2020-05-29 2022-11-11 Filter array and light detection system

Publications (1)

Publication Number Publication Date
WO2021241171A1 true WO2021241171A1 (ja) 2021-12-02

Family

ID=78723364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017617 Ceased WO2021241171A1 (ja) 2020-05-29 2021-05-10 フィルタアレイおよび光検出システム

Country Status (5)

Country Link
US (1) US12529598B2 (ja)
EP (1) EP4160169A4 (ja)
JP (1) JP7142251B2 (ja)
CN (1) CN115668008B (ja)
WO (1) WO2021241171A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024142683A1 (ja) 2022-12-27 2024-07-04 パナソニックＩｐマネジメント株式会社 光検出装置、光検出システム、およびフィルタアレイ
EP4492103A4 (en) * 2022-03-11 2025-06-25 Panasonic Intellectual Property Management Co., Ltd. Light detection device, light detection system, and filter array

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241122A1 (ja) * 2020-05-29 2021-12-02 パナソニックＩｐマネジメント株式会社 フィルタアレイおよび光検出システム
US12148775B2 (en) * 2020-10-13 2024-11-19 Samsung Electronics Co., Ltd. Hyperspectral element, hyperspectral sensor including the same, and hyperspectral image generating apparatus
WO2025047424A1 (ja) * 2023-08-30 2025-03-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US20250180928A1 (en) * 2023-11-30 2025-06-05 Enchroma, Inc. Filters to enhance color vision
CN120213222B (zh) * 2025-05-26 2025-08-15 深圳市中达瑞和科技有限公司 马赛克滤波片与传感器芯片的耦合方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278950A (ja) * 2006-04-10 2007-10-25 Canon Inc マルチバンド撮像装置およびカラーフィルタの特性設定方法
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
US9466628B2 (en) 2012-12-21 2016-10-11 Imec Spectral imaging device and method to calibrate the same
JP2018107731A (ja) 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2018164153A (ja) * 2017-03-24 2018-10-18 株式会社リコー 画像処理システム、マルチバンドフィルタ、及び撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166755A (en) * 1990-05-23 1992-11-24 Nahum Gat Spectrometer apparatus
US7238942B2 (en) * 2001-05-02 2007-07-03 Csir Spectrometric using broadband filters with overlapping spectral ranges
FR2855608B1 (fr) * 2003-05-28 2005-07-08 Onera (Off Nat Aerospatiale) Spectrometre statique par transformee de fourier
US8274051B1 (en) * 2011-04-29 2012-09-25 Texas Advanced Optoelectronic Solutions, Inc. Method and device for optoelectronic sensors with IR blocking filter
FR2984489B1 (fr) * 2011-12-15 2017-09-15 Office Nat D'etudes Et De Rech Aerospatiales Lame interferometrique a deux ondes comportant une cavite pleine partiellement resonante et son procede de fabrication
JP6260076B2 (ja) * 2012-09-19 2018-01-17 セイコーエプソン株式会社 分光装置
JP6789792B2 (ja) * 2016-12-13 2020-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
EP3462148B1 (en) * 2017-09-28 2023-09-06 ams AG Optical sensing device and method for manufacturing the optical sensing device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278950A (ja) * 2006-04-10 2007-10-25 Canon Inc マルチバンド撮像装置およびカラーフィルタの特性設定方法
US9466628B2 (en) 2012-12-21 2016-10-11 Imec Spectral imaging device and method to calibrate the same
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
US9599511B2 (en) 2014-11-19 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2018107731A (ja) 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2018164153A (ja) * 2017-03-24 2018-10-18 株式会社リコー 画像処理システム、マルチバンドフィルタ、及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4160169A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4492103A4 (en) * 2022-03-11 2025-06-25 Panasonic Intellectual Property Management Co., Ltd. Light detection device, light detection system, and filter array
WO2024142683A1 (ja) 2022-12-27 2024-07-04 パナソニックＩｐマネジメント株式会社 光検出装置、光検出システム、およびフィルタアレイ
EP4644850A1 (en) 2022-12-27 2025-11-05 Panasonic Intellectual Property Management Co., Ltd. Optical detecting device, optical detecting system, and filter array

Also Published As

Publication number Publication date
US12529598B2 (en) 2026-01-20
EP4160169A4 (en) 2023-11-01
JPWO2021241171A1 (ja) 2021-12-02
CN115668008B (zh) 2026-03-17
CN115668008A (zh) 2023-01-31
JP7142251B2 (ja) 2022-09-27
EP4160169A1 (en) 2023-04-05
US20230073201A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP7142251B2 (ja) フィルタアレイおよび光検出システム
JP6952283B1 (ja) 光学フィルタアレイ、光検出装置、および光検出システム
JP7653612B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
JP7209273B2 (ja) フィルタアレイおよび光検出システム
CN117546061A (zh) 滤波器阵列、光检测装置及光检测系统
US12320701B2 (en) Filter array and imaging system
JP7122636B2 (ja) フィルタアレイおよび光検出システム
JP2025071703A (ja) 画像を生成するシステムに用いられる装置およびフィルタアレイ
CN118251898A (zh) 在生成分光图像的系统中使用的装置及滤光器阵列、生成分光图像的系统以及滤光器阵列的制造方法
JP2021110869A (ja) 光学フィルタ、および光検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813748

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022514144

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021813748

Country of ref document: EP

Effective date: 20230102