WO2023074047A1 - ニューラルネットワーク装置、検出方法、プログラム - Google Patents

ニューラルネットワーク装置、検出方法、プログラム Download PDF

Info

Publication number
WO2023074047A1
WO2023074047A1 PCT/JP2022/025315 JP2022025315W WO2023074047A1 WO 2023074047 A1 WO2023074047 A1 WO 2023074047A1 JP 2022025315 W JP2022025315 W JP 2022025315W WO 2023074047 A1 WO2023074047 A1 WO 2023074047A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
neural network
optimized
optical diffraction
network device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/025315
Other languages
English (en)
French (fr)
Inventor
進 高塚
健太 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to EP22886384.1A priority Critical patent/EP4425381A4/en
Priority to US18/701,633 priority patent/US20250245497A1/en
Publication of WO2023074047A1 publication Critical patent/WO2023074047A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Definitions

  • This technology relates to neural network devices, detection methods, and programs, and particularly to technology using optical diffraction deep neural networks.
  • an optical diffraction deep neural network has been proposed in which a large number of heterogeneous phases such as sub-wavelength-sized bubbles and graphene are arranged inside a semi-transparent thin flat glass layer.
  • this optical diffraction deep neural network when light is incident from the incident surface, the input light is repeatedly reflected, diffracted, and absorbed by different phases mixed inside, and then emitted from the exit surface.
  • an area where a certain amount of light is concentrated is generated on the exit surface according to incident light, that is, light (reflected light, for example) from an object. Therefore, in the optical diffraction deep neural network, it is possible to detect a predetermined target based on the intensity distribution of light emitted from the emission surface.
  • the purpose of this technology is to improve the accuracy of object detection.
  • a neural network device includes one or more optical diffraction deep neural networks optimized for light in a predetermined wavelength range, and a light guide section that guides the optimized wavelength light to the optical diffraction deep neural network.
  • a light-receiving unit that receives light output from the optical diffraction deep neural network; and a control unit that detects an object based on a signal corresponding to the light received by the light-receiving unit.
  • FIG. 1 is a diagram illustrating the configuration of a neural network device as a first embodiment
  • FIG. FIG. 3 is a diagram for explaining an optical circuit within an ODDNN
  • FIG. 4 is a diagram for explaining light emitted from an ODDNN
  • 3 is an enlarged view of a spectroscopic unit, an ODDNN, and a light receiving unit
  • FIG. It is a figure explaining the example of object detection.
  • 4 is a flowchart showing a procedure of object detection processing
  • FIG. 10 is a diagram for explaining the configuration of a neural network device as a second embodiment
  • It is a figure explaining the example of object detection. 4 is a flowchart showing a procedure of object detection processing; It is a figure explaining an imaging device.
  • 4 is a flowchart showing the procedure of imaging processing; It is a figure explaining an imaging device. 4 is a flowchart showing the procedure of imaging processing; It is a figure explaining the spectroscopic part of a modification. It is a figure explaining the structure of an imaging light-receiving part. It is a figure explaining the structure of the neural-network apparatus of a modification.
  • FIG. 1 is a diagram for explaining the configuration of a neural network device 1 as a first embodiment.
  • the neural network device 1 is a device that detects an object using one or more optical diffraction deep neural networks (hereinafter referred to as ODDNN: Optical Diffractive Deep Neural Networks) optimized for light in different wavelength ranges. .
  • ODDNN optical diffraction deep neural networks
  • the neural network device 1 includes a spectroscopic section 10, an ODDNN 11, a light receiving section 12, and a control section 13.
  • the spectroscopic section 10 is a device that spectroscopically separates incident light (here, light reflected by the object OB), and is a prism in the first embodiment.
  • the spectroscopic section 10 spectroscopically separates the incident light using the difference in refractive index for each wavelength.
  • the split light enters the ODDNN 11 .
  • the ODDNN 11 has a large number of heterogeneous phases such as subwavelength-sized bubbles and graphene arranged inside a semi-transparent thin flat glass layer.
  • FIG. 1 illustrates the case where the ODDNN 11 is composed of a single flat glass layer, the ODDNN 11 is composed of a plurality of flat glass layers arranged at predetermined intervals. You may do so.
  • FIG. 2 is a diagram explaining the optical circuit in the ODDNN 11.
  • FIG. FIG. 3 is a diagram illustrating light emitted from the ODDNN 11.
  • FIG. 2 shows an example in which light is incident from the incident surface on the left side of the figure and is emitted from the exit surface on the right side of the figure.
  • the area where the light is concentrated on the exit surface side differs for each incident light, that is, the incident light after being reflected by the object OB (simply referred to as the light of the object OB).
  • the intensity distribution of the light emitted from the emission surface differs for each incident light of the object OB.
  • the neural network device 1 detects the object OB as the object based on the intensity distribution of the light emitted from the emission surface of the ODDNN 11 when the light of the unknown object OB is incident and the learning result. becomes possible.
  • the ODDNN 11 functions as a neural network, but since it does not require a power supply, electronic circuits, sensors, etc., it is possible to construct an energy-saving and low-load neural network. .
  • the ODDNN 11 can operate at the speed of light because the incident light is emitted after repeating reflection, diffraction, and absorption.
  • FIG. 4 is an enlarged view of the spectroscopic section 10, the ODDNN 11, and the light receiving section 12.
  • FIG. 4 when lights of different wavelength ranges are incident on one ODDNN 11 , crosstalk may occur due to the lights of different wavelength ranges within the ODDNN 11 , and the accuracy of object detection may be lowered.
  • a plurality of ODDNNs 11 (six in FIGS. 1 and 4) are provided. Specifically, the plurality of ODDNNs 11a to 11f receive light in different wavelength ranges (for example, light in first to sixth wavelength ranges) separated by the spectroscopic section 10, respectively.
  • the plurality of ODDNNs 11a to 11f are selected to be optimized for incident light in the wavelength range.
  • the term “optimization” refers to the placement of heterogeneous phases in the plane glass layer so that the accuracy of object detection based on incident light in the wavelength range is higher than in the case of light in other wavelength ranges. , the number of flat glass layers, and the spacing between flat glass layers are adjusted.
  • the ODDNN 11a optimized for light in the first wavelength band is arranged so that light in the first wavelength band is incident.
  • the ODDNNs 11b to 11f optimized for light in the second to sixth wavelength bands are arranged so that light in the second to sixth wavelength bands are incident thereon, respectively.
  • the ODDNNs 11a to 11f can reduce the influence of crosstalk due to incident light of different wavelength bands, and further improve the object detection accuracy.
  • each of the ODDNNs 11a to 11f receives light from an object that mainly reflects light in the corresponding wavelength range, and the light intensity distribution region on the exit surface is determined in advance. being learned. Note that the learning result is stored in the ROM or RAM of the control unit 13 .
  • the light-receiving units 12 are provided in the same number as the ODDNN 11 , and are arranged so as to face the output surface of the ODDNN 11 . That is, the light receiving section 12a is arranged to face the output surface of the ODDNN 11a. Similarly, the light receiving portions 12b to 12f are arranged to face the emission surfaces of the ODDNN 11b to ODDNN 11f, respectively. The lights emitted from the ODDNNs 11a-11f are guided to the corresponding light receiving sections 12a-12f.
  • the light-receiving unit 12 has a plurality of light-receiving elements (for example, diodes) arranged two-dimensionally so as to receive the light output from the output surface of the ODDNN 11 for each predetermined range. Then, the light receiving section 12 outputs a signal (light receiving result) corresponding to the intensity of the light received by each light receiving element to the control section 13 .
  • a signal for example, diodes
  • the light receiving unit 12 only needs to have a resolution capable of detecting an object based on the light emitted from the output surface of the ODDNN 11, and the number of pixels is much smaller than the number of pixels of the imaging device that captures the image. It is composed of a light receiving element. Therefore, the light receiving section 12 can operate with less energy than the imaging device.
  • the control unit 13 includes, for example, a microcomputer having a CPU (Central Processing Unit), ROM (Read Only Memory), and RAM (Random Access Memory), and performs overall control of the neural network device 1.
  • the controller 13 functions as the sensor controller 21 in the first embodiment.
  • the sensor control unit 21 detects a predetermined target object using a learning result learned in advance based on the signal input from the light receiving unit 12, that is, the light intensity distribution on the exit surface of the ODDNN 11.
  • FIG. 5 is a diagram explaining a specific example of object detection. As shown in FIG. 5, it is assumed that a person, a tree, an automobile, a house, a dog, and a bicycle are set as objects. In such cases, for example, humans and dogs mainly reflect light in the first wavelength band. Cars and bicycles mainly reflect light in the third wavelength range. Trees mainly reflect light in the fourth wavelength band. A house mainly reflects light in the fifth wavelength band.
  • the sensor control unit 21 detects the automobile based on the signal input from the light receiving unit 12a corresponding to the ODDNN 11a optimized for light in the first wavelength band. .
  • the sensor control unit 21 is based on a signal input from the light receiving unit 12c corresponding to the ODDNN 11c optimized for light in the third wavelength band Detect bikes. Moreover, the sensor control unit 21 detects a person based on a signal input from the light receiving unit 12a corresponding to the ODDNN 11a optimized for light in the first wavelength band. Then, the sensor control unit 21 determines that the bicycle is ridden by a person based on the detected positional relationship between the bicycle and the person.
  • the neural network device 1 can detect an object based on the intensity distribution of light emitted from the emission surface of the ODDNN 11 optimized for mutually different wavelength ranges.
  • the neural network device 1 since the light in the optimized wavelength range is made incident on the ODDNN 11, the crosstalk with the light with other wavelength ranges is reduced and the detection accuracy of the object is improved. can be improved.
  • FIG. 6 is a flowchart showing the procedure of object detection processing.
  • the sensor control unit 21 determines an object to be detected in step S1.
  • the object to be detected may be input by the user, or a predetermined object to be detected may be determined.
  • the number of objects to be detected may be one or plural.
  • step S2 the sensor control section 21 causes the light receiving section 12 to start operating.
  • the sensor control unit 21 may operate only the light receiving unit 12 for detecting the object to be detected among the plurality of light receiving units 12a to 12f, and stop the other light receiving units 12. .
  • step S ⁇ b>3 based on the signal input from the light receiving unit 12 , the control unit 13 executes object detection processing for detecting the object to be detected.
  • the control unit 13 executes object detection processing for detecting the object to be detected.
  • the control unit 13 based on the signal input from the light receiving unit 12, that is, the intensity distribution of light on the exit surface of the ODDNN 11, it is determined whether or not the object to be detected has been detected using the learning result learned in advance.
  • FIG. 7 is a diagram for explaining the configuration of a neural network device 100 as a second embodiment.
  • the neural network device 100 is a device that detects an object using a plurality of ODDNNs 11 based on light emitted from an irradiation unit 101 that can irradiate light in one or more wavelength bands and reflected by an object OB.
  • the neural network device 100 includes an irradiation unit 101, an ODDNN 11, a light receiving unit 12 and a control unit 13.
  • the irradiation unit 101 is driven based on the control of the control unit 13, and can irradiate by switching light with different wavelength ranges (or wavelengths). In addition, the irradiation unit 101 can simultaneously irradiate light in a plurality of wavelength ranges such as visible light.
  • the reflected light is guided to the ODDNN 11.
  • a plurality of ODDNNs 11 are provided, and those optimized for light in a plurality of wavelength ranges that the irradiation unit 101 can irradiate are arranged.
  • the light receiving units 12 are provided in the same number as the ODDNN 11 (light receiving units 12a to 12f), and are arranged to face the output surface of the ODDNN 11, as in the first embodiment. Light emitted from each of the ODDNNs 11a to 11f is guided to the corresponding light receiving sections 12a to 12f. Then, the light receiving section 12 outputs a signal corresponding to the intensity of light received by each light receiving element to the control section 13 .
  • the control unit 13 functions as the sensor control unit 21 and the irradiation control unit 110 in the second embodiment.
  • the irradiation control unit 110 causes the irradiation unit 101 to irradiate light in a predetermined wavelength range.
  • the sensor control unit 21 detects the object based on the signal input from the light receiving unit 12 corresponding to the ODDNN 11 optimized for the wavelength range of the irradiated light.
  • FIG. 8 is a diagram explaining a specific example of object detection.
  • the same object as in FIG. 5 is set.
  • the irradiation control unit 110 causes the irradiation unit 101 to irradiate light in the third wavelength band, and the sensor control unit 21 emits light in the third wavelength band.
  • the vehicle is detected based on the signal detected from the light receiving unit 12c corresponding to the ODDNN 11c optimized for the light of .
  • the light receiving unit 12 corresponding to the ODDNN 11 optimized for light other than the third wavelength band may be stopped.
  • the irradiation control unit 110 causes the irradiation unit 101 to irradiate light in the third wavelength range, and the sensor control unit 21 controls the light in the third wavelength range.
  • a bicycle is detected based on the signal input from the light receiving unit 12c corresponding to the converted ODDNN 11c. Further, the irradiation control unit 110 switches the irradiation unit 101 to irradiate the light in the first wavelength range, and the sensor control unit 21 controls the light receiving unit corresponding to the ODDNN 11a optimized for the light in the first wavelength range.
  • a person is detected based on the signal input from 12a. At this time, the sensor control unit 21 determines that the bicycle is ridden by a person based on the detected positional relationship between the bicycle and the person.
  • FIG. 9 is a flowchart showing the procedure of object detection processing.
  • the sensor control unit 21 determines an object to be detected in step S11.
  • the object to be detected may be input by the user, or a predetermined object to be detected may be determined.
  • step S12 the irradiation control unit 110 causes the irradiation unit 101 to irradiate light in a wavelength range that is mainly reflected by the object to be detected.
  • the sensor control unit 21 operates at least the light receiving unit 12 corresponding to the ODDNN 11 optimized for the light in the wavelength range irradiated from the irradiation unit 101 .
  • step S ⁇ b>14 based on the signal detected by the light receiving unit 12 , the control unit 13 executes object detection processing for detecting the object to be detected. Note that when an object is detected using light in a plurality of wavelength bands, after the detection of the object in one wavelength band is completed, steps S12 to S14 are executed for other wavelength bands.
  • FIG. 10 is a diagram for explaining the imaging device 200. As shown in FIG. As an application example of the neural network device 1 in the first embodiment, a case where it is applied to an imaging device 200 will be described. As shown in FIG. 10 , an imaging device 200 includes a half mirror 201 and an imaging device 202 in addition to the neural network device 1 .
  • the half mirror 201 transmits and reflects incident light at a constant rate.
  • the imaging element 202 is, for example, a CCD (Charge Coupled Device) type or CMOS (Complementary Metal-Oxide-Semiconductor) type image sensor, in which a plurality of pixels having photoelectric conversion elements are arranged two-dimensionally.
  • the imaging element 202 captures a predetermined imaging range through the half mirror 201 at regular intervals according to the frame rate to generate image data.
  • the image captured by the image sensor 202 may be either a still image or a moving image, or may be captured by interval imaging or the like.
  • the control unit 13 functions as the sensor control unit 21 and the imaging control unit 210 in the application example 1.
  • the imaging control unit 210 causes the imaging device 202 to start imaging with the detection of a predetermined object (for example, automobile) as a trigger.
  • a predetermined object for example, automobile
  • the sensor control unit 21 detects and sets the range in which the object is detected as an ROI (Region Of Interest) based on the signal input from the light receiving unit 12 . Then, the imaging control unit 210 causes the imaging element 202 to perform an imaging operation targeting only the ROI.
  • ROI Region Of Interest
  • the object can be detected based on the light intensity distribution on the exit surface.
  • the ODDNN 11 can detect the rough position of the object based on the light intensity distribution on the exit surface. Therefore, in the imaging device 200, the light for the object at different positions is made incident on the ODDNN 11, and the intensity distribution of the light on the exit surface is learned in advance. Note that the learning result is stored in the ROM or RAM of the control unit 13 . Then, the sensor control unit 21 detects the ROI of the object based on the signal input from the light receiving unit 12 and the learning result.
  • the imaging control unit 210 performs predetermined image analysis on the object and calculates the ROI of the object. In subsequent frames, the imaging control unit 210 performs image analysis on the captured image of the ROI calculated in the previous frame, performs object recognition processing, and calculates the ROI for the recognized object. .
  • the image analysis for calculating the ROI can use a known analysis method, so the description thereof will be omitted.
  • the imaging by the imaging device 202 is started with the detection of the target as a trigger. Only the light receiving section 12 with low power needs to be operated, and energy can be saved.
  • FIG. 11 is a flowchart showing the procedure of imaging processing.
  • the imaging control unit 210 stops the imaging device 202, and the sensor control unit 21 causes the light receiving unit 12 to start operating.
  • the sensor control unit 21 executes object detection processing for detecting the object based on the signal input from the light receiving unit 12 .
  • step S23 the sensor control unit 21 determines whether or not a predetermined object has been detected in step S22. If the predetermined object is not detected (No in step S23), the sensor control unit 21 repeats the processes of steps S22 and S23.
  • step S24 the control unit 13 sets the range in which the predetermined target object is detected as an ROI based on the signal input from the light receiving unit 12. do.
  • step S25 the control unit 13 causes the image sensor 202 to start imaging only the ROI set in step S24.
  • FIG. 12 is a diagram for explaining the imaging device 300. As shown in FIG. As an application example of the neural network device 100 in the second embodiment, a case where it is applied to an imaging device 300 will be described. As shown in FIG. 12 , an imaging device 300 includes a half mirror 201 and an imaging device 202 in addition to the neural network device 100 .
  • the imaging device 300 In the imaging device 300 , light emitted from the irradiation unit 101 and reflected by the object OB is incident on the half mirror 201 .
  • the half mirror 201 transmits and reflects incident light at a certain rate.
  • the imaging device 202 is, for example, a CCD-type or CMOS-type image sensor, in which a plurality of pixels having photoelectric conversion elements are arranged two-dimensionally.
  • the imaging element 202 captures a predetermined imaging range through the half mirror 201 at regular intervals according to the frame rate to generate image data.
  • the image captured by the image sensor 202 may be either a still image or a moving image, or may be captured by interval imaging or the like.
  • the control unit 13 functions as the sensor control unit 21, the irradiation control unit 110, and the imaging control unit 210 in the application example 2.
  • the irradiation control unit 110 causes the irradiation unit 101 to irradiate light in a predetermined wavelength range.
  • the sensor control unit 21 detects the object based on the signal input from the light receiving unit 12 corresponding to the ODDNN 11 optimized for the wavelength range of the irradiated light.
  • the imaging control unit 210 causes the imaging element 202 to start imaging using detection of a predetermined target as a trigger.
  • the sensor control unit 21 detects and sets a range in which a predetermined object is detected as an ROI (Region Of Interest) based on the signal input from the light receiving unit 12 . Then, the imaging control unit 210 causes the imaging element 202 to perform an imaging operation targeting only the ROI.
  • ROI Region Of Interest
  • the imaging control unit 210 performs predetermined image analysis on the object and calculates the ROI of the object. In subsequent frames, the imaging control unit 210 performs image analysis on the captured image of the ROI calculated in the previous frame, performs object recognition processing, and calculates the ROI for the recognized object. .
  • the image analysis for calculating the ROI can use a known analysis method, so the description thereof will be omitted.
  • the imaging by the imaging device 202 is started with the detection of a predetermined target as a trigger. Only the light-receiving unit 12, which consumes less power than the image sensor 202, needs to be operated in between, and energy can be saved.
  • FIG. 13 is a flowchart showing the procedure of imaging processing. As shown in FIG. 13, in step S31, the imaging control unit 210 stops the imaging device 202, and the sensor control unit 21 causes the light receiving unit 12 to start operating.
  • step S32 the irradiation control unit 110 causes the irradiation unit 101 to irradiate light in a wavelength range that is mainly reflected by the object to be detected.
  • step S ⁇ b>33 the sensor control unit 21 executes object detection processing for detecting the object based on the signal input from the light receiving unit 12 .
  • step S34 the sensor control unit 21 determines whether an object has been detected in step S22.
  • the signal input from the light receiving unit 12 that is, the intensity distribution of the light on the exit surface of the ODDNN 11, it is determined whether or not the predetermined target object has been detected using the learning result learned in advance.
  • step S34 the sensor control unit 21 repeats the processes of steps S33 and S34.
  • step S35 the control unit 13 sets the range in which the predetermined target object is detected as an ROI based on the signal input from the light receiving unit 12. do.
  • step S36 the control unit 13 causes the image sensor 202 to start imaging only the ROI set in step S24.
  • the spectroscopic section 10 that disperses the light is provided as a light guide section that guides the light in the optimized wavelength range to the ODDNN 11 .
  • the irradiation unit 101 that can irradiate light in a predetermined wavelength band is provided as a light guide unit that guides the light in the optimized wavelength band to the ODDNN 11 .
  • the light guiding section may be other than the spectroscopic section 10 and the irradiation section 101 as long as it can guide the light in the optimized wavelength range to the ODDNN 11 .
  • the spectroscopic section 10 is not limited to a prism as long as it can disperse light.
  • the spectroscopic section 10 may be a diffraction grating that disperses light.
  • a plurality of ODDNNs 11 optimized for different wavelength ranges are provided.
  • only one ODDNN 11 optimized for any wavelength band may be provided.
  • only one light receiving section 12 may be provided.
  • an imaging light-receiving unit 400 includes a dual bandpass filter 401 and an imaging detection element 402 .
  • the dual bandpass filter 401 is, for example, a filter that passes visible light and infrared light and cuts light in other wavelength ranges. Light that has passed through the dual bandpass filter 401 is incident on the imaging detection element 402 .
  • the imaging detection element 402 is packaged (integrated) by stacking the imaging element section 410 and the ODDNN section 420 .
  • the imaging element unit 410 includes, for example, color filters 411 arranged in a Bayer array and imaging elements (diodes) 412 corresponding to the respective color filters 411 . Accordingly, the image sensor unit 410 can capture a full-color image based on the visible light out of the visible light and the infrared light that have passed through the dual bandpass filter 401 . In addition, the image sensor unit 410 transmits infrared light among the visible light and the infrared light that have passed through the dual bandpass filter 401 .
  • the ODDNN section 420 includes an ODDNN 421 and a light receiving section 422 .
  • the ODDNN 421 is optimized for infrared light, and is configured to be able to detect an object based on the infrared light that passes through the imaging element section 410 and is incident.
  • the light receiving unit 422 is arranged to face the emission surface of the ODDNN 421 and outputs a signal corresponding to the intensity of the light emitted from the emission surface of the ODDNN 421 to the control unit 13 . With such a configuration, the size of the neural network devices 1 and 100 can be reduced.
  • ANN Artificial Neural Network
  • ANNs include known DNNs (DNN: Deep Neural Networks), CNNs (Convolutional Neural Networks), RNNs (Recurrent Neural Networks), SNNs (Spiking Neural Networks), and the like.
  • DNN Deep Neural Networks
  • CNNs Convolutional Neural Networks
  • RNNs Recurrent Neural Networks
  • SNNs Spiking Neural Networks
  • the neural network device 500 includes an irradiation unit 101, an ODDNN 11, a light receiving unit 12, and a control unit 13. Note that the irradiation unit 101, the ODDNN 11, and the light receiving unit 12 are the same as those in the second embodiment, so description thereof will be omitted.
  • the control unit 13 functions as the sensor control unit 21, the irradiation control unit 110 and the ANN unit 501.
  • the ANN unit 501 performs ANN based on the signal input from the light receiving unit 12 , ie, the intensity distribution of the light emitted from the emission surface of the ODDNN 11 .
  • object detection processing using the ODDNN 11 is executed. For example, in object detection processing using the ODDNN 11, rough object detection is performed. Specifically, vehicles including cars, trucks, motorcycles, and bicycles are detected.
  • the ANN unit 501 executes ANN based on the intensity distribution of the light emitted from the emission surface of the ODDNN 11, thereby performing detailed object detection.
  • the ANN unit 501 performs detection for distinguishing, for example, passenger cars, trucks, motorcycles, bicycles, and the like.
  • the neural network device 500 can reduce the processing load and power consumption of the ANN, and detect objects at high speed and with low power consumption.
  • one or a plurality of optical diffraction deep neural networks (ODDNN 11) optimized for light in a predetermined wavelength range and light in the optimized wavelength range A light guide section (spectroscopic section 10, irradiation section 101) that guides the optical diffraction deep neural network, a light receiving section 12 that receives light output from the optical diffraction deep neural network, and a signal corresponding to the light received by the light receiving section 12. and a control unit 13 for detecting an object based on.
  • the neural network devices 1 and 100 can make the optimized light incident on the ODDNN 11, and can reduce crosstalk with light in other wavelength ranges. Therefore, the neural network devices 1 and 100 can improve the object detection accuracy.
  • the neural network devices 1 and 100 can speed up processing and save energy.
  • the neural network device 1 can protect privacy because the light emitted from the ODDNN 11 does not contain private information.
  • a plurality of optical diffraction deep neural networks are provided and are optimized for light of different wavelength ranges.
  • the neural network devices 1 and 100 can accurately detect the object using the ODDNN 11 corresponding to each wavelength band even when there are objects that mainly reflect different wavelength bands. can be done.
  • the light guide section is a spectroscopic section 10 that disperses the light.
  • the neural network device 1 can guide light in the optimized wavelength band to the ODDNN 11 with a simple configuration and without consuming power.
  • the spectroscopic section 10 guides the light of the optimum wavelength out of the separated light to the optical diffraction deep neural network (ODNN 11).
  • the neural network device 1 can guide light in the optimized wavelength band to the ODDNN 11 with a simple configuration and without consuming power. Therefore, the neural network device 1 can improve the object detection accuracy.
  • the optical diffraction deep neural network (ODDNN 11) is optimized for light in the wavelength range that is mainly reflected by the object
  • the light receiving unit 12 is optimized for light in the wavelength range that is mainly reflected by the object.
  • the control unit 13 receives the light emitted from the optical diffraction deep neural network (ODDNN 11), and the control unit 13 receives the light emitted from the optical diffraction deep neural network (ODDNN 11) optimized for the light in the wavelength range that the object mainly reflects.
  • the object is detected based on the signal input from the light receiving section 12 that receives the light.
  • the neural network device 1 can improve the detection accuracy of the object by using the ODDNN 11 optimized for the light in the wavelength range that the object mainly reflects.
  • the spectroscopic section 10 is a prism. Thereby, the neural network device 1 can split the light and guide it to the ODDNN 11 with a simple configuration.
  • the spectroscopic section 10 is a diffraction grating.
  • the neural network device 1 can split the light and guide it to the ODDNN 11 with a simple configuration.
  • the light guide section is an irradiation section 101 capable of irradiating light in a predetermined wavelength range.
  • the neural network device 100 can improve the accuracy of the wavelength range of the light guided to the ODDNN 11, and can improve the detection accuracy of the target object.
  • the irradiation unit 101 can irradiate light of multiple wavelengths, and the optical diffraction deep neural network (ODDNN 11) is optimized for each of the multiple wavelengths that the irradiation unit 101 can irradiate.
  • the neural network device 100 can accurately detect the target using the ODDNN 11 corresponding to each wavelength range even when there are targets that mainly reflect different wavelength ranges. .
  • the optical diffraction deep neural network (ODDNN 11) is optimized for light in the wavelength range that the object mainly reflects, and the irradiation unit 101 irradiates the light in the wavelength range that the object mainly reflects,
  • the control unit 13 detects the object based on the signal input from the light receiving unit 12 that receives the light emitted from the optical diffraction deep neural network (ODDNN 11) optimized for the light in the wavelength range that the object mainly reflects. is detected.
  • the neural network device 100 can improve the object detection accuracy by using the ODDNN 11 optimized for the light in the wavelength range that the object mainly reflects.
  • It also includes an imaging control unit 210 that controls the imaging element 202 to start imaging when an object is detected as a trigger. As a result, the imaging element 202 can be stopped until the target object is detected, and energy can be saved.
  • an imaging device imaging device section 410
  • a diffraction deep neural network ODDNN section 420
  • the imaging element receives visible light
  • the optical diffraction deep neural network receives infrared light that has passed through the imaging element.
  • ODDNN section 420 receives infrared light that has passed through the imaging element.
  • one or a plurality of optical diffraction deep neural networks optimized for light in different wavelength ranges are caused to guide light of the optimized wavelength, and output from the optical diffraction deep neural network
  • the light received by the light receiving unit is received by the light receiving unit, and the object is detected based on a signal corresponding to the light received by the light receiving unit.
  • the light received by the light-receiving unit is received by the light-receiving unit, and the neural network device is caused to detect the object based on the signal corresponding to the light received by the light-receiving unit.
  • Such a program can be recorded in advance in a HDD as a recording medium built in equipment such as a computer device, or in a ROM or the like in a microcomputer having a CPU.
  • a flexible disc a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a Blu-ray disc (Blu-ray Disc (registered trademark)), a magnetic disc, a semiconductor memory
  • It can be temporarily or permanently stored (recorded) in a removable recording medium such as a memory card.
  • Such removable recording media can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • Such a program is suitable for widely providing the neural network device of the embodiment.
  • a program by downloading a program to mobile terminal devices such as smartphones and tablets, mobile phones, personal computers, game devices, video devices, PDA (Personal Digital Assistant), etc., it can function as a neural network device of this technology.
  • the present technology can also adopt the following configuration.
  • a neural network device comprising: (2) The neural network device according to (1), wherein a plurality of the optical diffraction deep neural networks are provided and are optimized for light of different wavelength ranges. (3) The neural network device according to (1) or (2), wherein the light guide section is a spectroscopic section that disperses light.
  • the spectroscopic unit is (3) The neural network device according to (3), wherein light of an optimum wavelength among the spectrally divided light is guided to the optical diffraction deep neural network.
  • the optical diffraction deep neural network is optimized for light in a wavelength range that is mainly reflected by the object
  • the light receiving unit receives light emitted from the optical diffraction deep neural network optimized for light in a wavelength range that is mainly reflected by the object
  • the control unit controls the object based on a signal input from the light receiving unit that receives light emitted from the optical diffraction deep neural network optimized for light in a wavelength range that is mainly reflected by the object.
  • the neural network device according to (3) or (4).
  • the neural network device according to any one of (3) to (5), wherein the spectroscopic section is a prism. (7) The neural network device according to any one of (3) to (5), wherein the spectroscopic section is a diffraction grating. (8) The neural network device according to (1) or (2), wherein the light guide section is an irradiating section capable of irradiating light in a predetermined wavelength range. (9) The irradiation unit can irradiate light of a plurality of wavelengths, The neural network device according to (8), wherein the optical diffraction deep neural network is optimized for each of a plurality of wavelength ranges that can be irradiated by the irradiation section.
  • the optical diffraction deep neural network is optimized for light in a wavelength range that is mainly reflected by the object,
  • the irradiating unit irradiates light in a wavelength range that is mainly reflected by an object to be detected,
  • the control unit detects the object based on a signal input from the light receiving unit that receives light emitted from the optical diffraction deep neural network optimized for light in a wavelength range that is mainly reflected by the object.
  • the neural network device according to (9).
  • the neural network device according to (11), wherein the imaging element and the optical diffraction deep neural network are stacked. (13) The imaging element receives visible light, The neural network device according to (11) or (12), wherein the optical diffraction deep neural network receives infrared light that has passed through the imaging device. (14) Guide the light of the optimized wavelength to one or more optical diffraction deep neural networks optimized for light of different wavelength ranges, causing a light receiving unit to receive light output from the optical diffraction deep neural network; A detection method for detecting an object based on a signal corresponding to light received by the light receiving section.
  • neural network device 10 spectroscopic unit 11 ODDNN 12 light receiving unit 13 control unit 100 neural network device 101 irradiation unit 202 image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

ニューラルネットワーク装置は、所定の波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークと、最適化された波長域の光を光回折ディープニューラルネットワークに導く導光部と、光回折ディープニューラルネットワークから出力された光を受光する受光部と、受光部で受光した光に応じた信号に基づいて対象物を検出する制御部と、を備える。

Description

ニューラルネットワーク装置、検出方法、プログラム
　本技術はニューラルネットワーク装置、検出方法、プログラムに関し、特に、光回折ディープニューラルネットワークを用いた技術に関する。
　従来、入力層と出力層との間に複数の中間層を含むニューラルネットワークを構築し、このニューラルネットワークを用いてパラメータを学習していくことで、入力情報に対してスコアを出力するニューラルネットワーク装置が提案されている（例えば、特許文献１参照）。
特開２０２１－１６２９１７号公報
　ところで、半透明の薄い平面ガラス層の内部に、サブ波長サイズの気泡やグラフェン等の異相が多数配置した光回折ディープニューラルネットワークが提案されている。この光回折ディープニューラルネットワークでは、光が入射面から入射されると、内部に混在する異相によって、入力された光が反射、回折及び吸収を繰り替えした後に出射面から出射される。このとき、光回折ディープニューラルネットワークでは、入射される光、すなわち、物体からの光（例えば反射光）に応じて、出射面で一定の光が集中する領域が生じる。したがって、光回折ディープニューラルネットワークでは、出射面から出射される光の強度分布に基づいて、所定の対象物を検出することが可能となっている。
　しかしながら、光回折ディープニューラルネットワークは、異なる波長域の光が入力されると、それぞれの波長域の光によってクロストークが生じてしまい、対象物の検出精度が低下してしまうおそれがある。
　そこで本技術は、対象物の検出精度を向上することを目的とする。
　本技術に係るニューラルネットワーク装置は、所定の波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークと、最適化された波長の光を前記光回折ディープニューラルネットワークに導く導光部と、前記光回折ディープニューラルネットワークから出力された光を受光する受光部と、前記受光部で受光した光に応じた信号に基づいて対象物を検出する制御部と、を備える。
　これにより、光回折ディープニューラルネットワークに最適化された光を入射させることができ、他の波長域の光とのクロストークを低減することが可能となる。
第一の実施形態としてのニューラルネットワーク装置の構成を説明する図である。 ＯＤＤＮＮ内の光の回路を説明する図である。 ＯＤＤＮＮから出射される光を説明する図である。 分光部、ＯＤＤＮＮ、受光部の拡大図である。 対象物検出の具体例を説明する図である。 対象物の検出処理の手順を示すフローチャートである。 第二の実施形態としてのニューラルネットワーク装置の構成を説明する図である。 対象物検出の具体例を説明する図である。 対象物の検出処理の手順を示すフローチャートである。 撮像装置を説明する図である。 撮像処理の手順を示すフローチャートである。 撮像装置を説明する図である。 撮像処理の手順を示すフローチャートである。 変形例の分光部を説明する図である。 撮像受光部の構成を説明する図である。 変形例のニューラルネットワーク装置の構成を説明する図である。
　以下、実施の形態を次の順序で説明する。
＜１．第一の実施形態＞
＜２．第二の実施形態＞
＜３．適応例＞
＜４．ニューラルネットワーク装置の他の構成例＞
＜５．実施形態のまとめ＞
＜６．本技術＞
＜１．第一の実施形態＞
　図１は第一の実施形態としてのニューラルネットワーク装置１の構成を説明する図である。ニューラルネットワーク装置１は、異なる波長域の光に最適化された１又は複数の光回折ディープニューラルネットワーク（以下、ＯＤＤＮＮ:Optical Diffractive Deep Neural Networksと表記する）を用いて対象物を検出する装置である。
　図１に示すように、ニューラルネットワーク装置１は、分光部１０、ＯＤＤＮＮ１１、受光部１２、制御部１３を備える。
　ニューラルネットワーク装置１では、外部からの光が分光部１０に入射される。分光部１０は、入射された光（ここでは、物体ＯＢで反射した光）を分光する装置であり、第一の実施形態においてはプリズムである。分光部１０は、入射された光を、波長ごとの屈折率の差を利用して分光する。分光された光は、ＯＤＤＮＮ１１に入射する。
　ＯＤＤＮＮ１１は、半透明の薄い平面ガラス層の内部に、サブ波長サイズの気泡やグラフェン等の異相が多数配置されたものである。なお、図１ではＯＤＤＮＮ１１が１枚の平面ガラス層で構成されている場合を図示しているが、ＯＤＤＮＮ１１は、複数枚の平面ガラス層が所定間隔で離隔して配置されることで構成されるようにしてもよい。
　図２は、ＯＤＤＮＮ１１内の光の回路を説明する図である。図３は、ＯＤＤＮＮ１１から出射される光を説明する図である。図２では、図中左側の入射面から光が入射され、図中右側の出射面から光が出射される例である。
　図２に示すように、ＯＤＤＮＮ１１では、光が入射面から入射されると、内部に混在する異相によって、入射された光が反射、回折及び吸収を繰り替えした後、出射面から出射される。このとき、ＯＤＤＮＮ１１では、入射される光に応じて、出射面で一定の光が集中する領域が生じる。
　例えば、図３に示すように、物体ＯＢとして数字の「Ａ」の光が入射されると、ＯＤＤＮＮ１１の出射面において、図中黒丸で囲んだ領域に最も光が集中する。
　このように、ＯＤＤＮＮ１１では、入射される光、すなわち、物体ＯＢで反射して入射される光（単に、物体ＯＢの光とも表記する）ごとに、出射面側において光が集中する領域が異なる。換言すれば、ＯＤＤＮＮ１１では、入射される物体ＯＢの光ごとに、出射面から出射される光の強度分布が異なる。
　そこで、ＯＤＤＮＮ１１では、予め、１又は複数の物体ＯＢについての光を入射させ、出射面においてどのような光の強度分布となるかを学習しておく。これにより、ニューラルネットワーク装置１では、未知の物体ＯＢの光が入射されたときにＯＤＤＮＮ１１の出射面から出射される光の強度分布と、学習結果とに基づいて、物体ＯＢを対象物として検出することが可能となる。
　このように、ＯＤＤＮＮ１１は、ニューラルネットワークとして機能することになるが、このとき、電源、電子回路及びセンサ等を必要としないことから、省エネルギーでかつ低負荷でニューラルネットワークを構築することが可能となる。
　また、ＯＤＤＮＮ１１は、入射された光が反射、回折及び吸収を繰り替えした後に出射されることになるため、光速レベルで動作することが可能となる。
　図４は、分光部１０、ＯＤＤＮＮ１１、受光部１２の拡大図である。ここで、異なる波長域の光が１個のＯＤＤＮＮ１１に入射された場合、ＯＤＤＮＮ１１内で異なる波長域の光によるクロストークが生じて対象物の検出精度が低下してしまうおそれがある。
　そこで、第一の実施形態においては、ＯＤＤＮＮ１１が複数（図１、図４では６個）設けられている。具体的には、複数のＯＤＤＮＮ１１ａ～１１ｆは、分光部１０によって分光された異なる波長域の光（例えば、第１～第６の波長域の光）がそれぞれ入射されることになる。
　このとき、複数のＯＤＤＮＮ１１ａ～１１ｆは、入射される波長域の光に最適化されたものが選択されている。ここで、「最適化」とは、他の波長域の光に基づく場合よりも、入射される波長域の光に基づく対象物の検出精度が高くなるように、平面ガラス層内の異相の配置、平面ガラス層の枚数、平面ガラス層間の間隔が調整されていることを言う。
　例えば、第１の波長域の光に対して最適化されたＯＤＤＮＮ１１ａは、第１の波長域の光が入射されるように配置されている。同様に、第２～第６の波長域の光に対して最適化されたＯＤＤＮＮ１１ｂ～１１ｆは、第２～第６の波長域の光がそれぞれ入射されるように配置されている。これにより、ＯＤＤＮＮ１１ａ～１１ｆは、異なる波長域の光が入射されることによるクロストークの影響を低減し、対象物の検出精度をさらに向上させることが可能となる。
　そして、ニューラルネットワーク装置１では、ＯＤＤＮＮ１１ａ～１１ｆについて、対応する波長域の光を主に反射する対象物についての光をそれぞれ入射させ、出射面においてどのような光の強度分布領域となるかが予め学習されている。なお、学習結果は、制御部１３のＲＯＭ又はＲＡＭに記憶されている。
　受光部１２は、ＯＤＤＮＮ１１と同数設けられており、ＯＤＤＮＮ１１の出射面に対向して配置される。すなわち、受光部１２ａは、ＯＤＤＮＮ１１ａの出射面に対向して配置されている。同様に、受光部１２ｂ～１２ｆは、ＯＤＤＮＮ１１ｂ～ＯＤＤＮＮ１１ｆの出射面にそれぞれ対向して配置されている。ＯＤＤＮＮ１１ａ～１１ｆから出射された光は、それぞれに対応する受光部１２ａ～１２ｆに導かれる。
　受光部１２は、ＯＤＤＮＮ１１の出射面からそれぞれ出力される光を所定の範囲ごとに受光可能なように、複数の受光素子（例えばダイオード）が二次元的に配列されたものである。そして、受光部１２は、各受光素子で受光した光の強度に応じた信号（受光結果）を制御部１３に出力する。
　但し、受光部１２は、ＯＤＤＮＮ１１の出射面から出射される光に基づいて対象物を検出することができる分解能を持っていればよく、画像を撮像する撮像素子の画素数に比べて大幅に少ない受光素子によって構成されている。したがって、受光部１２は、撮像素子に比べて少ないエネルギーで動作することが可能となる。
　制御部１３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備えて構成され、ニューラルネットワーク装置１の全体制御を行う。制御部１３は、第一の実施形態においてセンサ制御部２１として機能する。
　センサ制御部２１は、受光部１２から入力された信号、すなわち、ＯＤＤＮＮ１１の出射面の光の強度分布に基づいて、予め学習した学習結果を用いて、所定の対象物を検出する。
　図５は、対象物検出の具体例を説明する図である。図５に示すように、対象物として、人、木、自動車、家、犬、自転車が設定されているとする。このような場合、例えば、人及び犬は主に第１の波長域の光を反射する。自動車及び自転車は主に第３の波長域の光を反射する。木は主に第４の波長域の光を反射する。家は主に第５の波長域の光を反射する。
　したがって、例えば自動車を対象物とする場合には、センサ制御部２１は、第１の波長域の光に最適化されたＯＤＤＮＮ１１ａに対応する受光部１２ａから入力される信号に基づいて自動車を検出する。
　また、例えば対象物を人が乗った自転車とする場合には、センサ制御部２１は、第３の波長域の光に最適化されたＯＤＤＮＮ１１ｃに対応する受光部１２ｃから入力される信号に基づいて自転車を検出する。また、センサ制御部２１は、第１の波長域の光に最適化されたＯＤＤＮＮ１１ａに対応する受光部１２ａから入力される信号に基づいて人を検出する。そして、センサ制御部２１は、検出した自転車と人との位置関係によって、人が乗った自転車であると判定する。
　このように、ニューラルネットワーク装置１では、互いに異なる波長域に最適化されたＯＤＤＮＮ１１の出射面から出射される光の強度分布に基づいて、対象物を検出することができる。このとき、ニューラルネットワーク装置１では、ＯＤＤＮＮ１１には最適化された波長域の光が入射するようになされているため、他の波長域との光とのクロストークを低減して対象物の検出精度を向上させることができる。
　図６は、対象物の検出処理の手順を示すフローチャートである。図６に示すように、センサ制御部２１は、ステップＳ１において、検出対象となる対象物を決定する。ここでは、ユーザによって検出対象となる対象物が入力されてもよし、予め決められた検出対象となる対象物を決定するようにしてもよい。また、検出対象の対象物は、１つであっても複数であってもよい。
　そして、ステップＳ２でセンサ制御部２１は、受光部１２の動作を開始させる。このとき、センサ制御部２１は、複数の受光部１２ａ～１２ｆのうち、検出対象の対象物を検出するための受光部１２のみを動作させ、他の受光部１２を停止させるようにしてもよい。
　続くステップＳ３で制御部１３は、受光部１２から入力された信号に基づいて、検出対象の対象物を検出する対象物検出処理を実行する。ここでは、受光部１２から入力された信号、すなわち、ＯＤＤＮＮ１１の出射面での光の強度分布に基づいて、予め学習した学習結果を用いて、検出対象の対象物が検出されたかを判定する。
＜２．第二の実施形態＞
　図７は、第二の実施形態としてのニューラルネットワーク装置１００の構成を説明する図である。なお、第二の実施形態においては、第一の実施形態と異なる構成について詳しく説明し、同一の構成に同一の符号を付してその説明は省略する。
　ニューラルネットワーク装置１００は、１又は複数の波長域の光を照射可能な照射部１０１から発射され物体ＯＢで反射された光に基づいて複数のＯＤＤＮＮ１１を用いて対象物を検出する装置である。
　図７に示すように、ニューラルネットワーク装置１００は、照射部１０１、ＯＤＤＮＮ１１、受光部１２及び制御部１３を備える。
　照射部１０１は、制御部１３の制御に基づいて駆動され、波長域（又は波長）が異なる光を切り替えて照射可能である。また、照射部１０１は、可視光のように複数の波長域の光を同時に照射可能である。
　照射部１０１から照射された光が物体ＯＢで反射すると、反射した光はＯＤＤＮＮ１１に導かれる。
　ＯＤＤＮＮ１１は、第一の実施形態と同様に、複数（ＯＤＤＮＮ１１ａ～１１ｆ）設けられ、照射部１０１が照射可能な複数の波長域の光に最適化されたものが配置されている。
　受光部１２は、第一の実施形態と同様に、ＯＤＤＮＮ１１と同数（受光部１２ａ～１２ｆ）設けられており、ＯＤＤＮＮ１１の出射面に対向して配置される。各ＯＤＤＮＮ１１ａ～１１ｆから出射された光は、それぞれに対応する受光部１２ａ～１２ｆに導かれる。そして、受光部１２は、各受光素子で受光した光の強度に応じた信号を制御部１３に出力する。
　制御部１３は、第二の実施形態においてセンサ制御部２１及び照射制御部１１０として機能する。
　照射制御部１１０は、所定の波長域の光を照射部１０１から照射させる。センサ制御部２１は、照射させた光の波長域に最適化されたＯＤＤＮＮ１１に対応する受光部１２から入力される信号に基づいて対象物を検出する。
　図８は、対象物検出の具体例を説明する図である。なお、図８に示す例では、図５と同一の対象物が設定されている。図８に示すように、例えば自動車を対象物とする場合には、照射制御部１１０は、照射部１０１から第３の波長域の光を照射させ、センサ制御部２１は、第３の波長域の光に最適化されたＯＤＤＮＮ１１ｃに対応する受光部１２ｃから検出された信号に基づいて自動車を検出する。このとき、第３の波長域以外の光に最適化されたＯＤＤＮＮ１１に対応する受光部１２を停止させるようにしてもよい。
　対象物を人が乗った自転車とする場合には、照射制御部１１０は、照射部１０１から第３の波長域の光を照射させ、センサ制御部２１は、第３の波長域の光に最適化されたＯＤＤＮＮ１１ｃに対応する受光部１２ｃから入力される信号に基づいて自転車を検出する。また、照射制御部１１０は、照射部１０１から第１の波長域の光を照射させるように切り替え、センサ制御部２１は、第１の波長域の光に最適化されたＯＤＤＮＮ１１ａに対応する受光部１２ａから入力される信号に基づいて人を検出する。このとき、センサ制御部２１は、検出した自転車と人との位置関係によって、人が乗った自転車であると判定する。
　図９は、対象物の検出処理の手順を示すフローチャートである。図９に示すように、センサ制御部２１は、ステップＳ１１において、検出対象となる対象物を決定する。ここでは、ユーザによって検出対象となる対象物が入力されてもよし、予め決められた検出対象となる対象物を決定するようにしてもよい。
　そして、ステップＳ１２で照射制御部１１０は、検出対象となる対象物が主に反射する波長域の光を照射部１０１から照射させる。ステップＳ１３でセンサ制御部２１は、少なくとも、照射部１０１から照射される波長域の光に最適化されたＯＤＤＮＮ１１に対応する受光部１２を動作させる。続くステップＳ１４で制御部１３は、受光部１２で検出した信号に基づいて、検出対象の対象物を検出する対象物検出処理を実行する。なお、複数の波長域の光を用いて対象物を検出する場合、１つの波長域での対象物の検出が終了した後、他の波長域について、ステップＳ１２～ステップＳ１４を実行する。
＜３．適応例＞
［３－１．適応例１］
　図１０は、撮像装置２００を説明する図である。第一の実施形態におけるニューラルネットワーク装置１の適応例として、撮像装置２００に適応した場合について説明する。図１０に示すように、撮像装置２００は、ニューラルネットワーク装置１に加えて、ハーフミラー２０１、撮像素子２０２を備える。
　撮像装置２００では、外部からの光がハーフミラー２０１に入射される。ハーフミラー２０１は、入射された光を一定の割合で透過及び反射させるものであり、例えば、透過した光を分光部１０に導き、反射した光を撮像素子２０２に導く。
　撮像素子２０２は、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型のイメージセンサであり、光電変換素子を有する画素が二次元に複数配列されている。撮像素子２０２は、ハーフミラー２０１を通した所定の撮像範囲をフレームレートに応じて一定の間隔で撮像して画像データを生成する。なお、撮像素子２０２によって撮像される画像は、静止画像及び動画像のどちらでもよく、また、インターバル撮像等であってもよい。
　制御部１３は、適応例１において、センサ制御部２１及び撮像制御部２１０として機能する。
　撮像制御部２１０は、所定の対象物（例えば、自動車）が検出されたことをトリガとして撮像素子２０２に撮像を開始させる。
　また、センサ制御部２１は、受光部１２から入力される信号に基づいて対象物が検出された範囲をＲＯＩ（Region Of Interest：関心領域）として検出、設定する。そして、撮像制御部２１０は、撮像素子２０２に対して、ＲＯＩのみを対象とした撮像動作を行わせる。
　ここで、ＯＤＤＮＮ１１では、上記したように、出射面での光の強度分布に基づいて対象物を検出可能である。また、ＯＤＤＮＮ１１では、出射面での光の強度分布に基づいて対象物の大まかな位置を検出可能となっている。そこで、撮像装置２００では、ＯＤＤＮＮ１１について、異なる位置での対象物についての光をそれぞれ入射させ、出射面においてどのような光の強度分布となるかが予め学習されている。なお、学習結果は、制御部１３のＲＯＭ又はＲＡＭに記憶されている。そして、センサ制御部２１は、受光部１２から入力される信号と、学習結果とに基づいて、対象物のＲＯＩを検出する。
　その後、撮像制御部２１０は、撮像素子２０２によって対象物を撮像した場合には、その対象物について所定の画像解析を行い、対象物のＲＯＩを算出する。そして、撮像制御部２１０は、次のフレーム以降においても、前フレームで算出されたＲＯＩの撮像画像について画像解析を行って対象物の認識処理を行い、認識された対象物についてＲＯＩの算出を行う。なお、ＲＯＩを算出する画像解析は、既知となっている解析手法を用いることができるため、その説明は省略する。
　このような手法とすることで、対象物が検出されたことをトリガとして撮像素子２０２による撮像が開始されることになるため、対象物が検出されるまでの間には撮像素子２０２よりも消費電力が低い受光部１２のみを動作させればよく、省エネルギー化を図ることが可能となる。
　図１１は、撮像処理の手順を示すフローチャートである。図１１に示すように、ステップＳ２１において、撮像制御部２１０は、撮像素子２０２を停止させ、センサ制御部２１は、受光部１２の動作を開始させる。続くステップＳ２２で、センサ制御部２１は、受光部１２から入力される信号に基づいて、対象物を検出する対象物検出処理を実行する。
　そして、ステップＳ２３でセンサ制御部２１は、ステップＳ２２で所定の対象物が検出されたかを判定する。所定の対象物が検出されない場合（ステップＳ２３でＮｏ）、センサ制御部２１は、ステップＳ２２、Ｓ２３の処理を繰り返す。
　一方、所定の対象物が検出された場合（ステップＳ２３でＹｅｓ）、ステップＳ２４で制御部１３は、受光部１２から入力された信号に基づいて所定の対象物が検出された範囲をＲＯＩとして設定する。
　その後、ステップＳ２５で制御部１３は、ステップＳ２４で設定されたＲＯＩのみを対象とした撮像を撮像素子２０２に開始させる。
［３－２．適応例２］
　図１２は、撮像装置３００を説明する図である。第二の実施形態におけるニューラルネットワーク装置１００の適応例として、撮像装置３００に適応した場合について説明する。図１２に示すように、撮像装置３００は、ニューラルネットワーク装置１００に加えて、ハーフミラー２０１、撮像素子２０２を備える。
　撮像装置３００では、照射部１０１から照射され物体ＯＢで反射した光がハーフミラー２０１に入射される。ハーフミラー２０１は、入射された光を一定の割合で透過及び反射させるものであり、例えば、透過した光をＯＤＤＮＮ１１に導き、反射した光を撮像素子２０２に導く。
　撮像素子２０２は、例えば、ＣＣＤ型やＣＭＯＳ型のイメージセンサであり、光電変換素子を有する画素が二次元に複数配列されている。撮像素子２０２は、ハーフミラー２０１を通した所定の撮像範囲をフレームレートに応じて一定の間隔で撮像して画像データを生成する。なお、撮像素子２０２によって撮像される画像は、静止画像及び動画像のどちらでもよく、また、インターバル撮像等であってもよい。
　制御部１３は、適応例２において、センサ制御部２１、照射制御部１１０及び撮像制御部２１０として機能する。
　照射制御部１１０は、所定の波長域の光を照射部１０１から照射させる。センサ制御部２１は、照射させた光の波長域に最適化されたＯＤＤＮＮ１１に対応する受光部１２から入力される信号に基づいて対象物を検出する。
　撮像制御部２１０は、所定の対象物が検出されたことをトリガとして撮像素子２０２に撮像を開始させる。
　また、センサ制御部２１は、受光部１２から入力される信号に基づいて所定の対象物が検出された範囲をＲＯＩ（Region Of Interest：関心領域）として検出、設定する。そして、撮像制御部２１０は、撮像素子２０２に対して、ＲＯＩのみを対象とした撮像動作を行わせる。
　その後、撮像制御部２１０は、撮像素子２０２によって対象物を撮像した場合には、その対象物について所定の画像解析を行い、対象物のＲＯＩを算出する。そして、撮像制御部２１０は、次のフレーム以降においても、前フレームで算出されたＲＯＩの撮像画像について画像解析を行って対象物の認識処理を行い、認識された対象物についてＲＯＩの算出を行う。なお、ＲＯＩを算出する画像解析は、既知となっている解析手法を用いることができるため、その説明は省略する。
　このような手法とすることで、適応例１と同様に、所定の対象物が検出されたことをトリガとして撮像素子２０２による撮像が開始されることになるため、対象物が検出されるまでの間には撮像素子２０２よりも消費電力が低い受光部１２のみを動作させればよく、省エネルギー化を図ることが可能となる。
　図１３は、撮像処理の手順を示すフローチャートである。図１３に示すように、ステップＳ３１において、撮像制御部２１０は、撮像素子２０２を停止させるとともに、センサ制御部２１は、受光部１２の動作を開始させる。
　続く、ステップＳ３２で照射制御部１１０は、検出対象となる対象物が主に反射する波長域の光を照射部１０１から照射させる。そして、ステップＳ３３で、センサ制御部２１は、受光部１２から入力される信号に基づいて、対象物が検出する対象物検出処理を実行する。
　そして、ステップＳ３４でセンサ制御部２１は、ステップＳ２２で対象物が検出されたかを判定する。ここでは、受光部１２から入力された信号、すなわち、ＯＤＤＮＮ１１の出射面の光の強度分布に基づいて、予め学習した学習結果を用いて、所定の対象物が検出されたかを判定する。
　そして、所定の対象物が検出されない場合（ステップＳ３４でＮｏ）、センサ制御部２１は、ステップＳ３３、Ｓ３４の処理を繰り返す。
　一方、所定の対象物が検出された場合（ステップＳ３４でＹｅｓ）、ステップＳ３５で制御部１３は、受光部１２から入力された信号に基づいて所定の対象物が検出された範囲をＲＯＩとして設定する。
　その後、ステップＳ３６で制御部１３は、ステップＳ２４で設定されたＲＯＩのみを対象とした撮像を撮像素子２０２に開始させる。
＜４．ニューラルネットワーク装置の他の構成例＞
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
　上記した第一の実施形態では、最適化された波長域の光をＯＤＤＮＮ１１に導く導光部として、光を分光する分光部１０を備えるようにした。また、上記した第二の実施形態では、最適化された波長域の光をＯＤＤＮＮ１１に導く導光部として、所定の波長域の光を照射可能な照射部１０１を備えるようにした。しかしながら、導光部は、最適化された波長域の光をＯＤＤＮＮ１１に導けるのであれば、分光部１０及び照射部１０１以外であってもよい。
　上記した第一の実施形態では、分光部１０としてプリズムを適用するようにした。しかしながら、分光部１０は、光を分光することできればプリズムに限らない。例えば、図１４に示すように、分光部１０は、光を分光する回折格子（グレーティング）であってもよい。
　上記した第一、第二の実施形態、適応例では、異なる波長域に最適化されたＯＤＤＮＮ１１が複数設けられるようにした。しかしながら、いずれかの波長域に最適化されたＯＤＤＮＮ１１が１個のみ設けられるようにしてもよい。この場合、受光部１２も１個のみ設けられるようにすればよい。
　上記した適応例においては、受光部１２と、撮像素子２０２とが別体として設けられるようにした。しかしながら、受光部１２と、撮像素子２０２とが積層されるようにしてもよい。例えば、図１５に示すように、撮像受光部４００は、デュアルバンドパスフィルター４０１及び撮像検出素子４０２を備える。デュアルバンドパスフィルター４０１は、例えば可視光及び赤外光を通過させ、他の波長域の光をカットするフィルターである。
　撮像検出素子４０２は、デュアルバンドパスフィルター４０１を通過した光が入射される。撮像検出素子４０２は、撮像素子部４１０及びＯＤＤＮＮ部４２０が積層されることによりパッケージ化（一体化）されている。
　撮像素子部４１０は、例えばベイヤ配列されたカラーフィルタ４１１及び各カラーフィルタ４１１に対応する撮像素子（ダイオード）４１２を備える。これにより、撮像素子部４１０は、デュアルバンドパスフィルター４０１を通過した可視光及び赤外光のうち、可視光に基づいてフルカラーの画像を撮像可能となっている。また、撮像素子部４１０は、デュアルバンドパスフィルター４０１を通過した可視光及び赤外光のうち、赤外光を透過させる。
　ＯＤＤＮＮ部４２０は、ＯＤＤＮＮ４２１及び受光部４２２を備える。ＯＤＤＮＮ４２１は、赤外光に最適化されており、撮像素子部４１０を通過して入射される赤外光に基づいて対象物を検出可能に構成されている。受光部４２２は、ＯＤＤＮＮ４２１の出射面に対向して配置されており、ＯＤＤＮＮ４２１の出射面から出射された光の強度に応じた信号を制御部１３に出力する。
　このような構成により、ニューラルネットワーク装置１、１００の小型化が可能となる。
　また、ＯＤＤＮＮ１１の出射面から出射された光を用いてＡＮＮ（Artificial Neural Network）を実行するようにしてもよい。ＡＮＮとしては、既知のＤＮＮ（DNN：Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＳＮＮ（Spiking Neural Networks)等である。
　例えば、図１６に示すように、ニューラルネットワーク装置５００は、照射部１０１、ＯＤＤＮＮ１１、受光部１２、制御部１３を備える。なお、照射部１０１、ＯＤＤＮＮ１１、受光部１２は、第二の実施形態と同様であるため、その説明を省略する。
　制御部１３は、センサ制御部２１、照射制御部１１０及びＡＮＮ部５０１として機能する。ＡＮＮ部５０１は、受光部１２から入力される信号、すなわち、ＯＤＤＮＮ１１の出射面から出射される光の強度分布に基づいてＡＮＮを実行する。
　このような構成でなるニューラルネットワーク装置５００では、まず、第二の実施形態と同様に、ＯＤＤＮＮ１１を用いた対象物の検出処理が実行される。例えば、ＯＤＤＮＮ１１を用いた対象物の検出処理では、大まかな対象物の検出が行われる。具体的には、乗用車、トラック、自動二輪車、自転車を含む乗り物を検出する。
　そして、ＡＮＮ部５０１は、ＯＤＤＮＮ１１の出射面から出射される光の強度分布に基づいてＡＮＮを実行することで、詳細な対象物の検出を行う。ＡＮＮ部５０１は、例えば、乗用車、トラック、自動二輪車、自転車等を区別する検出を行う。
　これにより、ニューラルネットワーク装置５００は、ＡＮＮによる処理負荷及び電力消費を低減し、対象物の検出を高速でかつ低消費で実行することができる。
＜５．実施形態のまとめ＞
　上記のように実施形態のニューラルネットワーク装置１、１００においては、所定の波長域の光に最適化された１又は複数の光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）と、最適化された波長域の光を光回折ディープニューラルネットワークに導く導光部（分光部１０、照射部１０１）と、光回折ディープニューラルネットワークから出力された光を受光する受光部１２と、受光部１２で受光した光に応じた信号に基づいて対象物を検出する制御部１３と、を備える。
　これにより、ニューラルネットワーク装置１、１００は、ＯＤＤＮＮ１１に最適化された光を入射させることができ、他の波長域の光とのクロストークを低減することが可能となる。
　したがって、ニューラルネットワーク装置１、１００は、対象物の検出精度を向上することができる。また、ニューラルネットワーク装置１、１００は、処理の高速化、省エネルギー化を図ることができる。さらに、ニューラルネットワーク装置１は、ＯＤＤＮＮ１１から出射される光にプライベート情報が含まれないことから、プライバシーを守ることができる。
　また、光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）は、複数設けられており、互いに異なる波長域の光に最適化されているものである。
　これにより、ニューラルネットワーク装置１、１００は、異なる波長域を主に反射する対象物があった場合であっても、それぞれの波長域に応じたＯＤＤＮＮ１１を用いて、精度よく対象物を検出することができる。
　また、導光部は、光を分光する分光部１０である。
　これにより、ニューラルネットワーク装置１は、簡易な構成でかつ電力を消費することなく、最適化された波長域の光をＯＤＤＮＮ１１に導くことができる。
　また、分光部１０は、分光した光のうち、最適化な波長の光を光回折ディープニューラルネットワーク（ＯＤＮＮ１１）に導くものである。
　これにより、ニューラルネットワーク装置１は、簡易な構成でかつ電力を消費することなく、最適化された波長域の光をＯＤＤＮＮ１１に導くことができる。
　従って、ニューラルネットワーク装置１は、対象物の検出精度を向上することができる。
　また、光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）は、対象物が主に反射する波長域の光に最適化されており、受光部１２は、対象物が主に反射する波長域の光に最適化された光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）から出射された光を受光し、制御部１３は、対象物が主に反射する波長域の光に最適化された光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）から出射された光を受光した受光部１２から入力される信号に基づいて対象物を検出するものである。
　これにより、ニューラルネットワーク装置１は、対象物が主に反射する波長域の光に最適化されたＯＤＤＮＮ１１を用いることにより、対象物の検出精度を向上することができる。
　また、分光部１０は、プリズムである。
　これにより、ニューラルネットワーク装置１は、簡易な構成で光を分光してＯＤＤＮＮ１１に導くことができる。
　また、分光部１０は、回折格子である。
　これにより、ニューラルネットワーク装置１は、簡易な構成で光を分光してＯＤＤＮＮ１１に導くことができる。
　導光部は、所定の波長域の光を照射可能な照射部１０１である。
　これにより、ニューラルネットワーク装置１００は、ＯＤＤＮＮ１１に導く光の波長域の精度を向上することができ、対象物の検出精度を向上することができる。
　また、照射部１０１は、複数の波長の光を照射可能であり、光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）は、照射部１０１が照射可能な複数の波長ごとに最適化されている。
　これにより、ニューラルネットワーク装置１００は、異なる波長域を主に反射する対象物があった場合であっても、それぞれの波長域に応じたＯＤＤＮＮ１１を用いて、精度よく対象物を検出することができる。
　また、光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）は、対象物が主に反射する波長域の光に最適化されており、照射部１０１は、対象物が主に反射する波長域の光を照射し、制御部１３は、対象物が主に反射する波長域の光に最適化された光回折ディープニューラルネットワーク（ＯＤＤＮＮ１１）から出射された光を受光した受光部１２から入力される信号に基づいて対象物を検出するものである。
　これにより、ニューラルネットワーク装置１００は、対象物が主に反射する波長域の光に最適化されたＯＤＤＮＮ１１を用いることにより、対象物の検出精度を向上することができる。
　また、対象物が検出されたことをトリガとして、撮像素子２０２に撮像を開始させる制御を行う撮像制御部２１０を備えるものである。
　これにより、対象物が検出されるまでの間は撮像素子２０２を停止させることができ、省エネルギー化を図ることができる。
　また、撮像素子（撮像素子部４１０）と、回折ディープニューラルネットワーク（ＯＤＤＮＮ部４２０）とが積層されているものである。
　これにより、省スペース化、及び、小型化を図ることができる。
　また、撮像素子（撮像素子部４１０）は、可視光を受光し、光回折ディープニューラルネットワーク（ＯＤＤＮＮ部４２０）は、撮像素子を通過した赤外光が入射されるものである。
　これにより、異なる波長域で画像の撮像、及び、対象物の検出を行うことができ、省スペース化、及び、小型化を図ることができる。
　上記した本技術に係る検出方法においては、異なる波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークに、最適化された波長の光を導かせ、光回折ディープニューラルネットワークから出力された光を受光部に受光させ、受光部で受光した光に応じた信号に基づいて対象物を検出する。
　上記した本技術に係るプログラムにおいては、異なる波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークに、最適化された波長の光を導かせ、光回折ディープニューラルネットワークから出力された光を受光部に受光させ、受光部で受光した光に応じた信号に基づいて対象物を検出する処理をニューラルネットワーク装置に実行させる。
　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　またこのようなプログラムによれば、実施の形態のニューラルネットワーク装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、本技術のニューラルネットワーク装置として機能させることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜６．本技術＞
　本技術は以下のような構成も採ることができる。
（１）
　所定の波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークと、
　最適化された波長域の光を前記光回折ディープニューラルネットワークに導く導光部と、
　前記光回折ディープニューラルネットワークから出力された光を受光する受光部と、
　前記受光部で受光した光に応じた信号に基づいて対象物を検出する制御部と、
　を備えるニューラルネットワーク装置。
（２）
　前記光回折ディープニューラルネットワークは、複数設けられており、互いに異なる波長域の光に最適化されている
　（１）に記載のニューラルネットワーク装置。
（３）
　前記導光部は、光を分光する分光部である
　（１）又は（２）に記載のニューラルネットワーク装置。
（４）
　前記分光部は、
　分光した光のうち、最適化な波長の光を前記光回折ディープニューラルネットワークに導く
　（３）に記載のニューラルネットワーク装置。
（５）
　前記光回折ディープニューラルネットワークは、前記対象物が主に反射する波長域の光に最適化されており、
　前記受光部は、前記対象物が主に反射する波長域の光に最適化された前記光回折ディープニューラルネットワークから出射された光を受光し、
　前記制御部は、前記対象物が主に反射する波長域の光に最適化された前記光回折ディープニューラルネットワークから出射された光を受光した前記受光部から入力される信号に基づいて前記対象物を検出する
　（３）又は（４）に記載のニューラルネットワーク装置。
（６）
　前記分光部は、プリズムである
　（３）から（５）のいずれかに記載のニューラルネットワーク装置。
（７）
　前記分光部は、回折格子である
　（３）から（５）のいずれかに記載のニューラルネットワーク装置。
（８）
　前記導光部は、所定の波長域の光を照射可能な照射部である
　（１）又は（２）に記載のニューラルネットワーク装置。
（９）
　前記照射部は、複数の波長の光を照射可能であり、
　前記光回折ディープニューラルネットワークは、前記照射部が照射可能な複数の波長域ごとに最適化されている
　（８）に記載のニューラルネットワーク装置。
（１０）
　前記光回折ディープニューラルネットワークは、前記対象物が主に反射する波長域の光に最適化されており、
　前記照射部は、検出対象の対象物が主に反射する波長域の光を照射し、
　前記制御部は、前記対象物が主に反射する波長域の光に最適化された前記光回折ディープニューラルネットワークから出射された光を受光した前記受光部から入力される信号に基づいて対象物を検出する
　（９）に記載のニューラルネットワーク装置。
（１１）
　前記対象物が検出されたことをトリガとして、撮像素子に撮像を開始させる制御を行う撮像制御部
　を備える（１）から（１０）のいずれかに記載のニューラルネットワーク装置。
（１２）
　前記撮像素子と、前記光回折ディープニューラルネットワークとが積層されている
　（１１）に記載のニューラルネットワーク装置。
（１３）
　前記撮像素子は、可視光を受光し、
　前記光回折ディープニューラルネットワークは、前記撮像素子を通過した赤外光が入射される
　（１１）又は（１２）に記載のニューラルネットワーク装置。
（１４）
　異なる波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークに、最適化された波長の光を導かせ、
　前記光回折ディープニューラルネットワークから出力された光を受光部に受光させ、
　前記受光部で受光した光に応じた信号に基づいて対象物を検出する
　検出方法。
（１５）
　異なる波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークに、最適化された波長の光を導かせ、
　前記光回折ディープニューラルネットワークから出力された光を受光部に受光させ、
　前記受光部で受光した光に応じた信号に基づいて対象物を検出する
　処理をニューラルネットワーク装置に実行させるプログラム。
１　ニューラルネットワーク装置
１０　分光部
１１　ＯＤＤＮＮ
１２　受光部
１３　制御部
１００　ニューラルネットワーク装置
１０１　照射部
２０２　撮像素子

Claims (15)

  1. 　所定の波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークと、
    　最適化された波長域の光を前記光回折ディープニューラルネットワークに導く導光部と、
    　前記光回折ディープニューラルネットワークから出力された光を受光する受光部と、
    　前記受光部で受光した光に応じた信号に基づいて対象物を検出する制御部と、
    　を備えるニューラルネットワーク装置。
  2. 　前記光回折ディープニューラルネットワークは、複数設けられており、互いに異なる波長域の光に最適化されている
    　請求項１に記載のニューラルネットワーク装置。
  3. 　前記導光部は、光を分光する分光部である
    　請求項１に記載のニューラルネットワーク装置。
  4. 　前記分光部は、
    　分光した光のうち、最適化な波長の光を前記光回折ディープニューラルネットワークに導く
    　請求項３に記載のニューラルネットワーク装置。
  5. 　前記光回折ディープニューラルネットワークは、前記対象物が主に反射する波長域の光に最適化されており、
    　前記受光部は、前記対象物が主に反射する波長域の光に最適化された前記光回折ディープニューラルネットワークから出射された光を受光し、
    　前記制御部は、前記対象物が主に反射する波長域の光に最適化された前記光回折ディープニューラルネットワークから出射された光を受光した前記受光部から入力される信号に基づいて前記対象物を検出する
    　請求項３に記載のニューラルネットワーク装置。
  6. 　前記分光部は、プリズムである
    　請求項３に記載のニューラルネットワーク装置。
  7. 　前記分光部は、回折格子である
    　請求項３に記載のニューラルネットワーク装置。
  8. 　前記導光部は、所定の波長域の光を照射可能な照射部である
    　請求項１に記載のニューラルネットワーク装置。
  9. 　前記照射部は、複数の波長の光を照射可能であり、
    　前記光回折ディープニューラルネットワークは、前記照射部が照射可能な複数の波長域ごとに最適化されている
    　請求項８に記載のニューラルネットワーク装置。
  10. 　前記光回折ディープニューラルネットワークは、前記対象物が主に反射する波長域の光に最適化されており、
    　前記照射部は、検出対象の対象物が主に反射する波長域の光を照射し、
    　前記制御部は、前記対象物が主に反射する波長域の光に最適化された前記光回折ディープニューラルネットワークから出射された光を受光した前記受光部から入力される信号に基づいて対象物を検出する
    　請求項９に記載のニューラルネットワーク装置。
  11. 　前記対象物が検出されたことをトリガとして、撮像素子に撮像を開始させる制御を行う撮像制御部
    　を備える請求項１に記載のニューラルネットワーク装置。
  12. 　前記撮像素子と、前記光回折ディープニューラルネットワークとが積層されている
    　請求項１１に記載のニューラルネットワーク装置。
  13. 　前記撮像素子は、可視光を受光し、
    　前記光回折ディープニューラルネットワークは、前記撮像素子を通過した赤外光が入射される
    　請求項１１に記載のニューラルネットワーク装置。
  14. 　異なる波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークに、最適化された波長の光を導かせ、
    　前記光回折ディープニューラルネットワークから出力された光を受光部に受光させ、
    　前記受光部で受光した光に応じた信号に基づいて対象物を検出する
    　検出方法。
  15. 　異なる波長域の光に最適化された１又は複数の光回折ディープニューラルネットワークに、最適化された波長の光を導かせ、
    　前記光回折ディープニューラルネットワークから出力された光を受光部に受光させ、
    　前記受光部で受光した光に応じた信号に基づいて対象物を検出する
    　処理をニューラルネットワーク装置に実行させるプログラム。
PCT/JP2022/025315 2021-10-25 2022-06-24 ニューラルネットワーク装置、検出方法、プログラム Ceased WO2023074047A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22886384.1A EP4425381A4 (en) 2021-10-25 2022-06-24 Neural network device, detection method, and program
US18/701,633 US20250245497A1 (en) 2021-10-25 2022-06-24 Neural network device, detection method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-174087 2021-10-25
JP2021174087 2021-10-25

Publications (1)

Publication Number Publication Date
WO2023074047A1 true WO2023074047A1 (ja) 2023-05-04

Family

ID=86159712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025315 Ceased WO2023074047A1 (ja) 2021-10-25 2022-06-24 ニューラルネットワーク装置、検出方法、プログラム

Country Status (3)

Country Link
US (1) US20250245497A1 (ja)
EP (1) EP4425381A4 (ja)
WO (1) WO2023074047A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521746A (zh) * 2024-01-04 2024-02-06 武汉大学 量化光学衍射神经网络系统及其训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020534623A (ja) * 2017-09-20 2020-11-26 ルック ダイナミックス, インコーポレイテツドLook Dynamics, Inc. フォトニックニューラルネットワークシステム
JP2021162917A (ja) 2020-03-30 2021-10-11 ソニーグループ株式会社 情報処理装置及び情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102944586B1 (ko) * 2020-01-21 2026-03-25 삼성전자주식회사 대상체 인식 장치 및 그 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020534623A (ja) * 2017-09-20 2020-11-26 ルック ダイナミックス, インコーポレイテツドLook Dynamics, Inc. フォトニックニューラルネットワークシステム
JP2021162917A (ja) 2020-03-30 2021-10-11 ソニーグループ株式会社 情報処理装置及び情報処理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN HANG, FENG JIANAN, JIANG MINWEI, WANG YIQUN, LIN JIE, TAN JIUBIN, JIN PENG: "Diffractive Deep Neural Networks at Visible Wavelengths", ENGINEERING, vol. 7, no. 10, 1 October 2021 (2021-10-01), pages 1483 - 1491, XP093060935, ISSN: 2095-8099, DOI: 10.1016/j.eng.2020.07.032 *
See also references of EP4425381A4
WU NA, ZHANG CHU, BAI XIULIN, DU XIAOYUE, HE YONG: "Discrimination of Chrysanthemum Varieties Using Hyperspectral Imaging Combined with a Deep Convolutional Neural Network", MOLECULES, vol. 23, no. 11, 31 October 2018 (2018-10-31), pages 2831, XP093060938, DOI: 10.3390/molecules23112831 *
XING LIN, YAIR RIVENSON, NEZIH T. YARDIMCI, MUHAMMED VELI, YI LUO, MONA JARRAHI, AYDOGAN OZCAN: "All-optical machine learning using diffractive deep neural networks", SCIENCE, AMERICAN ASSOCIATION FOR THE ADVANCEMENT OF SCIENCE, US, vol. 361, no. 6406, 7 September 2018 (2018-09-07), US , pages 1004 - 1008, XP055709001, ISSN: 0036-8075, DOI: 10.1126/science.aat8084 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521746A (zh) * 2024-01-04 2024-02-06 武汉大学 量化光学衍射神经网络系统及其训练方法
CN117521746B (zh) * 2024-01-04 2024-03-26 武汉大学 量化光学衍射神经网络系统及其训练方法

Also Published As

Publication number Publication date
EP4425381A1 (en) 2024-09-04
US20250245497A1 (en) 2025-07-31
EP4425381A4 (en) 2025-02-19

Similar Documents

Publication Publication Date Title
JP6994678B2 (ja) 撮像システム
JP5503459B2 (ja) 固体撮像素子および撮像装置
JP5237998B2 (ja) 固体撮像素子、撮像装置および信号処理方法
KR20110115072A (ko) 촬상 장치
US20120224083A1 (en) Imaging and decoding device with quantum dot imager
US12432444B2 (en) Power management techniques in depth imaging
JPWO2010070869A1 (ja) 撮像装置
CN113826375B (zh) 光接收装置、固态成像设备、电子设备和信息处理系统
WO2023074047A1 (ja) ニューラルネットワーク装置、検出方法、プログラム
JP6039567B2 (ja) 固体撮像装置
JP5894573B2 (ja) 固体撮像素子、撮像装置および信号処理方法
WO2023074414A1 (ja) ニューラルネットワーク装置、制御方法、プログラム
JP5997149B2 (ja) 固体撮像素子、撮像装置、および信号処理方法
EP3860112B1 (en) Optical sensor device
US20250184624A1 (en) Multispectral Imaging
Wu et al. Design of a monolithic CMOS image sensor integrated focal plane wire-grid polarizer filter mosaic
Chen et al. Bilayer metasurface-enabled high sensitivity near-infrared computational spectrometer
CN110418055B (zh) 对焦方法、图像传感器及计算机存储介质
CN115002365B (zh) 一种ccd高光谱成像超高动态循环曝光控制方法及系统
US20250287081A1 (en) Hyperspectral sensor with diffractive focusing pixel and neural network spectral recovery
US20240222404A1 (en) Image capture apparatus and methods using color co-site sampling
CN117528239A (zh) 摄像模组、对焦方法、装置、电子设备及介质
JP2002199160A (ja) カラー撮像装置および画像読み取り装置
CN117596494A (zh) 摄像模组、图像生成方法、电子设备及可读存储介质
JP2026025957A (ja) イメージ処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886384

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18701633

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022886384

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022886384

Country of ref document: EP

Effective date: 20240527

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Ref document number: 2022886384

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 18701633

Country of ref document: US