WO2023171333A1 - 光検出装置および電子機器 - Google Patents

光検出装置および電子機器 Download PDF

Info

Publication number
WO2023171333A1
WO2023171333A1 PCT/JP2023/005917 JP2023005917W WO2023171333A1 WO 2023171333 A1 WO2023171333 A1 WO 2023171333A1 JP 2023005917 W JP2023005917 W JP 2023005917W WO 2023171333 A1 WO2023171333 A1 WO 2023171333A1
Authority
WO
WIPO (PCT)
Prior art keywords
group
image sensor
pixel
neuron
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/005917
Other languages
English (en)
French (fr)
Inventor
晋 宝玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202380024796.1A priority Critical patent/CN118830257A/zh
Priority to JP2024506016A priority patent/JPWO2023171333A1/ja
Priority to EP23766512.0A priority patent/EP4492287A4/en
Priority to US18/835,039 priority patent/US20250159333A1/en
Publication of WO2023171333A1 publication Critical patent/WO2023171333A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected two-dimensional [2D] regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present disclosure relates to a photodetection device and electronic equipment, and particularly relates to a photodetection device and electronic equipment that can achieve higher efficiency.
  • Patent Document 1 in a configuration in which hardware for neural networks is arranged in parallel and hierarchically, it is proposed to improve efficiency by driving only the arithmetic unit where a signal is generated.
  • Patent Document 1 only the hardware for the neural network is made more efficient, and the efficiency of the entire image processing system including the image sensor is not taken into consideration. Therefore, there is a need to improve the efficiency of the entire image processing system including the image sensor.
  • the present disclosure has been made in view of this situation, and is intended to further improve efficiency.
  • a photodetection device includes an image sensor in which a pixel group consisting of N (N is a positive integer) pixels among a plurality of pixels arranged in an array on a sensor surface; a processor in which a neural network is formed by a neuron group having neurons (M is a positive integer); and a group provided between the pixel group and the neuron group and performing bidirectional communication between the image sensor and the processor. and an interface.
  • An electronic device includes an image sensor provided with a pixel group consisting of N (N is a positive integer) pixels among a plurality of pixels arranged in an array on a sensor surface; a processor in which a neural network is formed by a neuron group having (a positive integer) neurons, and a group interface provided between the pixel group and the neuron group and performing bidirectional communication between the image sensor and the processor. and a photodetection device.
  • an image sensor is provided with a pixel group consisting of N (N is a positive integer) pixels among a plurality of pixels arranged in an array on a sensor surface; Bidirectional communication between the image sensor and the processor is performed by a group interface provided between the image sensor and the processor, in which a neural network is formed by a neuron group having (an integer of ) neurons.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a photodetection device to which the present technology is applied.
  • FIG. 3 is a diagram illustrating a process of detecting a pixel signal with a constant temporal periodic pattern.
  • FIG. 3 is a diagram illustrating an example of extraction of a region of interest.
  • FIG. 2 is a diagram illustrating a neural network model.
  • FIG. 3 is a diagram showing an example of expanding a plurality of neurons in the time direction.
  • FIG. 3 is a diagram illustrating a process of accumulating learning information for each pixel or pixel group.
  • FIG. 2 is a diagram illustrating an example of a connection configuration of group IFs.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a photodetection device to which the present technology is applied.
  • FIG. 3 is a diagram illustrating a process of detecting a pixel signal with a constant temporal periodic pattern.
  • FIG. 3 is
  • FIG. 2 is a diagram illustrating an example of a connection configuration of group IFs configured in a hierarchical structure. It is a figure showing an example of composition of an image sensor.
  • FIG. 2 is a diagram illustrating a configuration example in which a neural network processor is implemented inside an image sensor.
  • FIG. 6 is a diagram illustrating an example of outputting only a necessary area.
  • FIG. 3 is a diagram showing an example of a cumulative leakage value of the number of firings and a value of membrane potential.
  • FIG. 3 is a diagram illustrating flow estimation of neuron firing rate.
  • FIG. 2 is a diagram showing a first configuration example of a network configuration. It is a figure which shows the 2nd structural example of a network structure.
  • FIG. 2 is a block diagram showing a configuration example of a neural network processor including an address control circuit.
  • FIG. 3 is a diagram illustrating address conversion processing.
  • FIG. 7 is a diagram illustrating an example of a notification of a change in an attention area.
  • FIG. 2 is a diagram illustrating a network for post-processing.
  • 1 is a block diagram showing a configuration example of an imaging device.
  • FIG. It is a figure which shows the example of use which uses an image sensor.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a solid-state image sensor that is an example of a photodetection device to which the present technology is applied.
  • the solid-state image sensor 11 shown in FIG. 1 has a stacked structure in which an image sensor 12 and a neural network processor 13 are stacked, and bidirectional communication can be performed between the image sensor 12 and the neural network processor 13. . That is, data (for example, pixel signals) is input from the image sensor 12 to the neural network processor 13, and data (for example, control signals) is output from the neural network processor 13 to the image sensor 12.
  • data for example, pixel signals
  • data for example, control signals
  • the image sensor 12 is, for example, a back-illuminated CMOS (Complementary Metal Oxide Semiconductor) image sensor, and is configured with a plurality of pixels 21 arranged in an array on the sensor surface. Further, in the image sensor 12, a pixel group 22 is composed of a predetermined number of pixels 21, and in the illustrated example, the pixel group 22 is composed of N pixels 21-1 to 21-N.
  • CMOS Complementary Metal Oxide Semiconductor
  • the neural network processor 13 includes a group IF (Interface) 31, a storage unit 32, a plurality of product-sum units 33, a memory 34, an LI (Leaky Integrate) unit 35, a firing unit 36, a neuron control unit 37, and a learning unit 38. It consists of Further, in the neural network processor 13, a predetermined number of product-sum units 33, LI units 35, firing units 36, and neuron control units 37 constitute a neuron group 39. For example, the neuron group 39 having M product-sum units 33-1 to 33-M constitutes a neural network in which M neurons are synaptically connected.
  • a pixel group 22 and a neuron group 39 are connected via a group IF 31.
  • the solid-state image sensor 11 is configured such that a plurality of pixel groups 22 provided in the image sensor 12 and a plurality of neuron groups 39 provided in the neural network processor 13 are connected to each other via a group IF 31. .
  • the group IF 31 is capable of bidirectional communication between the image sensor 12 and the neural network processor 13, transmits and receives data together with addressing, and receives, for example, communication of spike information between neurons and decodes it into a required format. , can be passed to individual neurons. Note that the addressing method will be explained with reference to FIGS. 20 to 23, which will be described later.
  • the storage unit 32 temporarily stores data when the group IF 31 transmits and receives data to and from the image sensor 12. For example, the storage unit 32 stores data input from the image sensor 12 to the neural network processor 13 in the input buffer 41, and stores learning information supplied from the learning unit 38 in the learning memory 42.
  • the product-sum unit 33 performs a product-sum operation on the data supplied via the group IF 31 and the weights stored in the memory 34, and causes the memory 34 to store intermediate data obtained during the product-sum operation.
  • the memory 34 stores weights and intermediate data necessary for the product-sum unit 33 to perform the product-sum operation.
  • the LI unit 35 receives intermediate data possessed by each neuron and performs leakage integration based on the product-sum calculation results. For example, the LI unit 35 differentiates the firing rate of a neuron, or performs an operation equivalent to the differentiation, and supplies the result of the operation to the firing unit 36. For example, the LI unit 35 can perform an operation corresponding to this differentiation using at least one of the leakage integral value of the number of firings and the membrane potential, which will be described later with reference to FIG. 12. Alternatively, the LI unit 35 estimates the flow rate of the firing rate of the neuron (the temporal movement rate of the firing rate, which is the spatial differential of the spatial distribution of the firing rate of the neuron), which will be described later with reference to FIG. It can be obtained by calculation.
  • the temporal movement rate of the firing rate which is the spatial differential of the spatial distribution of the firing rate of the neuron
  • the firing unit 36 Based on the calculation result supplied from the LI unit 35, the firing unit 36 detects the firing of a neuron that exceeds a predetermined threshold when intermediate data obtained by each neuron exceeds a predetermined threshold. Then, a decision is made to output the signal to the next synapse.
  • the neuron control unit 37 controls the LI unit 35 based on the firing of neurons detected by the firing unit 36.
  • the learning unit 38 performs a predetermined calculation (for example, leakage integral calculation may be used) based on the input signal and firing signal or intermediate data value, and each of the product-sum units 33-1 to 33-M Update the weights used to perform the sum operation. Furthermore, the learning information (learning signal) that the learning unit 38 outputs to the group IF 31 is determined based on the firing rate of neurons as will be explained later with reference to FIG. 12 or 13, and the learning information is It is stored in memory 42 over time.
  • a predetermined calculation for example, leakage integral calculation may be used
  • the solid-state image sensor 11 configured as described above allows the image sensor 12 and the neural network processor 13 to communicate bidirectionally, thereby transmitting the processing results of the processing performed in the neural network processor 13 to the pixels 21 of the image sensor 12. It can be used to control characteristics. Thereby, the solid-state image sensor 11 can improve the controllability of input/output between the image sensor 12 and the neural network processor 13 regardless of whether the output of the image sensor 12 is synchronous or asynchronous, and, for example, power consumption can be improved. This makes it possible to improve efficiency.
  • the neural network processor 13 receives input from the image sensor 12 and distributes the input to multiple neurons via synapses. Therefore, since each neuron receives an indeterminate amount of signals from multiple synapses, a neuron that exceeds a predetermined signal amount will wait for access to the memory 34 (Lock processing), that is, the neuron There is a concern that excessive input to the network processor 13 may occur. For this reason, conventionally, there has been a possibility that the amount of memory necessary to buffer the input increases, and there is a need to discard input that exceeds a specified amount.
  • the input amount can be controlled by transmitting a control signal instructing the adjustment of the signal amount to the image sensor 12, which is the input source.
  • a control signal instructing the adjustment of the signal amount to the image sensor 12, which is the input source.
  • this process is effective when the output of the image sensor 12 is asynchronous.
  • FIG. 2 shows a pixel signal with a certain temporal periodic pattern as an example of a pixel signal input to a certain synapse.
  • the group IF 31 can give a predetermined delay amount ⁇ t to a pixel signal input to a certain product-sum unit 33 and re-input it to the same product-sum unit 33 .
  • these pixel signals overlap that is, when the interval between the periodic patterns of the pixel signals and the delay amount ⁇ t match, the intermediate data obtained by the product-sum unit 33 will rise more easily, and the firing probability will increase. Become.
  • the neural network processor 13 when a pixel signal is re-inputted with a delay amount ⁇ t that roughly matches the periodic pattern of the pixel signal inputted to a certain neuron, the instantaneous amount of input to that neuron increases. It will be visible. As a result, the firing probability increases, and an accompanying enhancement of the learning signal can be observed.
  • the neural network processor 13 can easily detect pixel signals with a certain temporal periodic pattern, such as blinking signals or flickering light sources, and transmits the detection of such pixel signals to the image sensor 12. be able to. Note that there is a concern that the process of re-inputting pixel signals may cause excessive input to the product-sum unit 33, but by controlling the input amount as described above, excessive input to the product-sum unit 33 can be avoided. It can also be resolved efficiently.
  • the neural network processor 13 can detect a predetermined spatial pattern shown in the image captured by the image sensor 12 as a region of interest based on a heat map that maps the firing rate of active neurons.
  • FIG. 3 shows an example of a process in which "human eyes" captured in an image captured by the image sensor 12 are detected as a region of interest, and the region of interest is tracked.
  • the solid arrows shown in FIG. 3 represent areas where input from the image sensor 12 is active, and neurons in the first layer are bidirectionally connected to the surroundings including recursive connections, and neurons in the second layer are connected bidirectionally to the surroundings including recursive connections. Neurons are bi-directionally fully connected between layers.
  • the neurons N in the first layer act to repeat recursive inputs to maintain firing around areas with many inputs.
  • the neurons N in the second layer suppress the firing maintenance effect of the neurons N in the first layer as the overall firing rate increases, and have the same effect as noise removal.
  • the area where the heat map is active is set as a region-of-interest (RoI), and sensor output outside this area is suppressed.
  • RoI region-of-interest
  • the region of interest by placing pixels outside the area of interest in a standby state, power etc. can be reduced. It can be made more efficient. That is, based on the information that the region of interest has a high number of neuron firings, it is possible to control the presence or absence of output for each pixel 21, or to control the presence or absence of output for each pixel group 22.
  • the input from the pixel signals output from the 5th to 9th pixels is active according to the attention area
  • the input from the pixel signals output from the 5th to 9th pixels is active according to the attention area after movement.
  • Inputs from pixel signals output from the 8th to 12th pixels are active, and the region of interest can be determined or changed (tracked). Then, pixels other than the eye area can be placed in a standby state.
  • FIG. 3 only shows a network in one axis direction for convenience, the neural network processor 13 implements a network in two axis directions, and is capable of tracking the region of interest two-dimensionally. can.
  • FIG. 3 the neural network model (Attractor) in FIG. 3 (the same applies to FIGS. 17 and 24 described later) is illustrated more accurately, it has a structure as shown in FIG. 4.
  • FIG. 4A shows a neural network model using only the first layer.
  • connections from all neurons N to several peripherals of each neuron N are configured by "inputs” or “inverting inputs.” Further, the connection may be configured using only one of the input types of "input” and "inverted input”.
  • connections extending from neuron N indicated by a solid line to neuron N indicated by a broken line are emphasized, and in reality, connections extend from all neurons N. However, due to the complexity, it is omitted from the illustration.
  • FIG. 4B shows a neural network model using the first and second layers.
  • the connection pattern is similar to the configuration shown in A of FIG. 4, and here, it may be configured with only positive inputs or mixed with inverted inputs.
  • weights are set respectively so that the connection from the first layer to the second layer is positive, and the connection from the second layer to the first layer is reversed. be done.
  • These connections include a configuration in which the connections are fully connected, a configuration in which connections are stochastically thinned out from the total connection, and a configuration in which neurons N spatially adjacent to the first layer are locally connected (see B in Figure 4).
  • the solid line neurons N in the second layer are shown to be connected only to the neighboring solid line neurons N in the first layer, but each neuron N in the second layer and all neurons N in the first layer are connected to each other. It may be a combination or a probabilistic full combination.
  • a mechanism for transmitting information from the neural network processor 13 to the image sensor 12 will be described with reference to FIGS. 5 and 6.
  • the neural network processor 13 unrolls a plurality of neurons N in the time direction (unrolled model), acquires the value of learning information obtained by each neuron N at every time step, and stores it. can do.
  • FIG. 6A shows an example of processing for accumulating learning information for each pixel 21.
  • information is transmitted to the learning unit 38 at a ratio of k neurons N that are the output side to one pixel 21 that is the input side, and the learning unit 38 performs learning according to the ratio of the output to the input. Form information. Then, the learning unit 38 sequentially supplies this learning information to the learning memory 42 and adds it for each pixel 21. Thereafter, the group IF 31 transmits the learning information accumulated in the learning memory 42 for each pixel 21 of the image sensor 12 at a predetermined time.
  • FIG. 6B shows an example of processing for accumulating learning information for each pixel group 22.
  • information is transmitted to the learning unit 38 at a ratio of n ⁇ k neurons N serving as the output side to n pixels 21 serving as the input side, and the learning unit 38 responds to the ratio of output to input. form learning information. Then, the learning unit 38 sequentially supplies this learning information to the learning memory 42 and adds all the pixels 21 into one without dividing them.
  • the group IF 31 transmits the learning information stored in the learning memory 42 to the corresponding pixel group 22 of the image sensor 12 at a predetermined time.
  • the neural network processor 13 can accumulate learning information for each pixel 21 or pixel group 22 and transmit information based on the learning information to the image sensor 12 side.
  • a first connection configuration example shown in A of FIG. 7 is a connection configuration in which the neural network processor 13 includes one input/output IF 40 and a plurality of group IFs 31 are connected to the image sensor 12 via the input/output IF 40. It has become. Therefore, data is transmitted and received with the image sensor 12 via the input/output IF 40, and the input/output IF 40 distributes the data transmitted from the image sensor 12 to the corresponding group IF 31.
  • connection configuration example shown in FIG. 7B is a connection configuration in which the pixel group 22 and the neuron group 39 are connected via the group IF 31 in a one-to-one correspondence.
  • the third connection configuration example shown in FIG. 8 has a connection configuration in which group IFs 31 are connected in a hierarchical structure.
  • group IFs 31 are connected in a hierarchical structure.
  • a plurality of lower group IFs 31D are connected to an upper group IF 31U
  • a plurality of upper group IFs 31U are connected to the image sensor 12 via an input/output IF 40.
  • the image sensor 12 is configured such that a pixel array section 51 is connected to an input/output IF 54 via a pixel control section 52 and a pixel output control section 53.
  • the neural network processor 13 is connected to the group IF 31 in a connection configuration as shown in A of FIG.
  • the pixel control unit 52 controls the characteristics of the pixels 21 arranged in an array in the pixel array unit 51 and the area of interest captured in the image captured by the image sensor 12. For example, the characteristics of the pixel 21 are determined by a bias value or the like.
  • the pixel control unit 52 also caches and manages registers that determine pixel characteristics. For example, the characteristics of the pixel 21 include sensitivity, response speed, noise amount, and the like.
  • the pixel output control section 53 performs controls such as rasterizing and outputting the data of the pixel array section 51. Further, the pixel output control section 53 may perform preprocessing of the output data, or a block (not shown) connected to the pixel output control section 53 may perform preprocessing of the output data. For example, preprocessing includes denoising, adjusting gain or output amount, removing flicker, and the like.
  • the control content for the image sensor 12 is determined based on the processing result of the processing performed in the neural network processor 13. For example, based on the above-mentioned learning signal, the pixel control unit 52 adjusts the characteristics of the pixel 21 (for example, one or more of gain, delay, noise, and refractory period), controls the region of interest ( For example, the region of interest can be determined or changed and pixels other than the region of interest can be placed in a standby state, or the pixel output control unit 53 can change parameters such as preprocessing.
  • the characteristics of the pixel 21 for example, one or more of gain, delay, noise, and refractory period
  • the region of interest can be determined or changed and pixels other than the region of interest can be placed in a standby state, or the pixel output control unit 53 can change parameters such as preprocessing.
  • a configuration may be adopted in which the neural network processor 13 is mounted inside the image sensor 12.
  • the neural network processor 13 is connected to the group IF 31 in a connection configuration as shown in FIG. 7B.
  • the solid-state image sensor 11 can output only the necessary area by switching the output-driven pixels 21 according to the firing frequency of neurons.
  • the upper part of FIG. 11 shows an example of the image at each time output from the image sensor 12, and the lower part of FIG. 11 shows a map of the firing rate of active neurons obtained from the image at each time.
  • An example of a heat map is shown.
  • the necessary area at time T3 is learned from the heat map at time T1 and time T2, and an image of only the necessary area, that is, an image with pixels 21 other than the necessary area in a non-driving state (standby state) is created at time T3. will be output.
  • the solid-state image sensor 11 can improve the efficiency of power consumption by outputting only the necessary area.
  • the state transition of the pixel 21 may take time.
  • the solid-state image sensor 11 controls the driving so that the pixels 21 in the transition waiting state temporarily stop updating the state and hold the state, and the pixels 21 other than the transition waiting state continue processing. Then, based on the change in the firing rate of the neuron, that is, based on the frequency differentiation (or information equivalent to the frequency differentiation), it predicts which pixels will require a state transition at the next time.
  • the pixels 21 to start driving can be prepared in advance.
  • a learning signal With reference to FIG. 12, the formation of a learning signal will be described as a first example of an operation corresponding to frequency differentiation.
  • the LI unit 35 issues a signal (+1) when the cumulative leakage value ⁇ of the number of firings shown in A in FIG. -1) is issued.
  • the firing unit 36 sends a signal when the value v of the membrane potential shown in B in FIG. 12 and the cumulative leakage value ⁇ of the number of firings shown in A in FIG. ( ⁇ 1) is issued.
  • a learning scheme such as the first scheme or the second scheme is adopted, and the signal is incremented for a predetermined time by the group IF 31, and this value is used as a learning signal.
  • control for the pixel 21 is started.
  • flow estimation of the firing rate of a neuron will be described as a second example of the calculation equivalent to frequency differentiation.
  • the direction from the left to the right of the neuron N shown in FIG. 13 is assumed to be the positive direction. Then, when the timing of a signal from a certain neuron N and a signal arriving with a predetermined delay from the neuron N next to the left of the positive neuron N overlaps, the firing rate of that positive neuron N increases. do. In other words, forward direction can be replaced with firing rate.
  • the movement of the neuron heat map is predicted and the next time
  • the pixels 21 in the high firing region can be driven in advance.
  • the image sensor 12 when a region of interest is output from the image sensor 12 and input to the neural network processor 13, a calculation is performed to recognize a subject appearing in the region of interest, and the calculation is performed. Depending on the result, the image sensor 12 can be notified of the next time's attention area. Thereby, in the solid-state image sensor 11, the region of interest that the image sensor 12 outputs at the next time can be changed.
  • Example of network configuration A network configuration employed in the solid-state image sensor 11 will be described with reference to FIGS. 14 to 19. Note that the network configuration described here is an example, and the solid-state image sensor 11 is not limited to this example, and may adopt other network configurations.
  • the solid-state image sensor 11 is configured such that the pixels 21 included in the pixel group 22 overlap and the neurons N included in the neuron group 39 overlap.
  • pixel 21-3 among pixels 21-1 to 21-5 is connected to group IFs 31-1 and 31-2, respectively
  • neuron N-3 among neurons N-1 to N-5 is , are connected to group IFs 31-1 and 31-2, respectively. Therefore, the pixel 21-3 is included in two pixel groups 22, and the neuron N-3 is included in two neuron groups 39, which are configured to overlap in each group.
  • weights ⁇ 0 to ⁇ 3 shown in FIG. 14 indicate the weights of a weighted convolution operation (convolution), and FIG. 14 is an example of the convolution operation.
  • the solid-state image sensor 11 may have a network configuration (not shown) in which it is connected to the group IF 31 so that the arrangement of the pixels 21 does not overlap. Further, the solid-state image sensor 11 may have a network configuration (not shown) in which the array of pixels 21 is fully connected to the group IF 31.
  • the solid-state image sensor 11 is configured to include one or more layers of neural network circuits 61 between the array of pixels 21 and the group IF 31. That is, the pixel signals output from the pixels 21-1 to 21-5 are input to the neural network circuit 61, and the predicted pixels 62-1 to 62-5 of the predicted image output from the neural network circuit 61 are grouped into the group IF 31-1. and 31-2, respectively.
  • the solid-state image sensor 11 is configured such that a pixel conversion circuit 63 is disposed between the array of pixels 21 and the group IF 31.
  • the pixel conversion circuit 63 converts the value of the analog signal (potential or current) output from the pixel 21 into a digital value or binary value using an AD (Analog-Digital) converter or the like, and converts the value of the analog signal (potential or current) output from the pixel 21 into a digital value or a binary value, and converts it into a digital value or a binary value. Enter -2.
  • the solid-state image sensor 11 has a convolution layer 64 arranged between the array of pixels 21 and a plurality of group IFs 65 (an interface composed of a plurality of group IFs 31).
  • the convolution layer 64 may be a network that combines operations including a plurality of convolution operations.
  • the group neuron 66 connected to the multiple group IF 65 is configured with one type of weighted operation such as Attractor, Convolution, Fully Connection, or Self-Attention, or configured with a combination of multiple weighted operations. It's okay.
  • the group neuron 66 may be configured with operations other than those exemplified here.
  • the structure of the neural network model (Attractor) shown in the group neuron 66 is the structure shown in FIG. 4 described above to be more accurately illustrated.
  • Group addressing will be explained with reference to FIGS. 20 to 23.
  • the solid-state image sensor 11 in order to simplify learning and pixel control, and to reduce the scale of the control circuit, it is efficient to group a plurality of pixels 21 and a plurality of neurons N by associating them with each other.
  • the communication of both the image sensor 12 and the neural network processor 13 takes place through this group, ie via the group address.
  • controllability of the region of interest is improved, and address changes on the neural network processor 13 side corresponding to changes in the address of the region of interest on the image sensor 12 side can be exchanged using a small number of bits. becomes possible.
  • FIG. 20 For example, as shown in A of FIG. 20, an example will be described in which a small size attention area is changed to a large size attention area.
  • the address is changed from the pixel group 22 to the neuron group 39, as shown in FIG. 20B.
  • the address lines indicated by broken lines in D in FIG. 20 indicate that they are not used in small-sized attention areas, and address lines G0 to G2 are used in small-sized attention areas. Then, the address is manipulated in accordance with the change to a larger size area of interest, and address lines G0' to G4' are used. Note that D in FIG. 20 assumes an addressing/access circuit using content addressable memory (CAM), but addresses can be changed in the same way even with soft memory.
  • CAM content addressable memory
  • FIG. 21 is a block diagram showing a configuration example of the neural network processor 13 including the address control circuit 71.
  • the neural network processor 13 is configured to include an address control circuit 71 connected to the group IF 31, and the address control circuit 71 is provided with a storage section 72.
  • the storage unit 72 stores a virtual address table 73 that is rewritten according to notifications from the image sensor 12.
  • the address control circuit 71 refers to the virtual address table 73 stored in the storage unit 72 and performs address conversion processing to change the address on the neuron N side.
  • FIG. 22 is a diagram illustrating address conversion processing by the address control circuit 71.
  • the image sensor 12 supplies the RoI change notification, address pattern, group address, and data to the neural network processor 13.
  • the address control circuit 71 determines to change the address in accordance with the RoI change notification, performs an address replacement operation based on the group address pattern table and the address table, and outputs the changed address. Then, by integrating the group address supplied from the image sensor 12 and the changed address output from the address control circuit 71, the physical address of each neuron N in the neuron group 39 is specified. That is, by changing the virtual address of the neuron group 39 corresponding to the changed pixel group 22, the pixel group 22 and the neuron group 39 are newly associated.
  • FIG. 23 is a diagram illustrating an example of an RoI change notification.
  • the data when a rasterized group is input, the data is rearranged to match the arrangement of neurons, and then thinned out.
  • information for zero padding is input from the image sensor 12 to the neural network processor 13.
  • FIG. 24 is a diagram illustrating a network for post-processing. Note that the structure of the neural network model (Attractor) shown in FIG. 24 is the structure shown in FIG. 4 described above to be more accurately illustrated.
  • networks for tracking the region of interest are provided in a stacked manner inside the solid-state image sensor 11 so as to be directly connected to the pixels 21.
  • wiring is provided so as to be stacked via a Cu-Cu bond, and the neural network processor 13 side of this bonding surface is Group IF 31 is arranged in .
  • a neural network circuit 91 for post-processing is provided outside the solid-state image sensor 11, and both the neural network processor 13 and the neural network circuit 91 for post-processing communicate with each other, and the image sensor 12 and Both can communicate with the neural network circuit 91 for post-processing.
  • the outside of the solid-state image sensor 11 refers to a destination where the serialized output of the pixel 21 is communicated through a predetermined wiring such as a bus. Therefore, whether the neural network circuit 91 for post-processing is provided inside the solid-state image sensor 11 or outside the solid-state image sensor 11, as long as it is provided at the end of such communication, It may be.
  • the output value of the neural network circuit 91 for post-processing may be a vector value indicating the line-of-sight direction.
  • the address control circuit 71 shown in FIG. 21 described above is connected to the input stage group IF 31.
  • the neural network circuit 91 for tracking the attention area shown in FIG. 24 By mutually communicating with the neural network circuit 91 for tracking the attention area shown in FIG. 24, it is possible to communicate the reliability of the attention area, for example, and improve the accuracy of tracking the attention area.
  • a signal having an intensity in the form of a point spread function centered on the center of gravity of the region of interest may be defined and notified.
  • the configuration in which the neural network processor 13 is provided inside the solid-state image sensor 11 and the neural network circuit 91 for post-processing is provided outside the solid-state image sensor 11, that is, the configuration in which they are arranged separately, has the purpose. It is preferable to use the appropriate one depending on the network used.
  • all pixel groups 22 and all neuron groups 39 are associated with each other, as shown in FIG. 7B above. It is preferable to adopt a configuration that provides quick response and reduces power consumption. In other words, with such a configuration, the amount of data handled by each group IF 31 is relatively reduced, and congestion (waiting time) associated with data transmission and reception can be reduced. Furthermore, by employing such a laminated structure, the signal transmission distance between the pixel 21 and the neuron N can be shortened, so it is possible to expect an improvement in processing speed and a reduction in power consumption.
  • a neural network circuit 91 for post-processing and perform a predetermined output outside the solid-state image sensor 11. processing can be performed flexibly.
  • the configuration in which the neural network processor 13 is disposed all over the bottom of the image sensor 12 and the pixels 21 and the group IF 31 are connected to each other means that some pixels 21 are not used and the wiring This is because there will be a lot of waste.
  • the neural network circuit 91 regardless of whether it is inside or outside the solid-state image sensor 11, as long as it is outside the pixel 21, the neural network circuit 91 only has to be arranged on a necessary scale, which is efficient in terms of footprint and the like.
  • the neural network processor 13 is not limited to the configuration including the input/output IF 40 as shown in FIG. 7A.
  • a neural network circuit 91 using a general-purpose GPU performs advanced processing, and all pixel groups 22 and all neuron groups 39 correspond to each other, as shown in FIG. 7B above.
  • the neural network processor 13 having the above configuration may be responsible for lightweight and high-speed processing.
  • first network and the second network in combination, it is possible to optimize the processing division of the entire system (for example, adjustment of processing speed and power). Further, calculations can be performed while performing communication and control between the pixel 21 and the first network and the second network, and communication and control between the first network and the second network, as described above. We can expect further optimization of processing division and accuracy.
  • a solid-state image sensor that captures images (RGB images or brightness images)
  • the present technology is not limited to solid-state image sensors and can be applied to various light detection devices. be able to.
  • this technology uses sensors that use Photon-Count SPAD (Single Photon Avalanche Diode), EVS (Event-based Vision Sensor) that detects the occurrence of events, TOF (Time Of Flight) sensors that measure distance, and multiple It can be applied to various photodetection devices, such as multispectral sensors that acquire multispectral images of wavelengths.
  • the present technology may be applied to photodetecting devices other than these.
  • the solid-state image sensor 11 as described above is applied to various electronic devices such as an imaging system such as a digital still camera or a digital video camera, a mobile phone equipped with an imaging function, or other equipment equipped with an imaging function. be able to.
  • an imaging system such as a digital still camera or a digital video camera
  • a mobile phone equipped with an imaging function or other equipment equipped with an imaging function. be able to.
  • FIG. 25 is a block diagram showing an example of the configuration of an imaging device installed in an electronic device.
  • the imaging device 101 includes an optical system 102, an image sensor 103, a signal processing circuit 104, a monitor 105, and a memory 106, and is capable of capturing still images and moving images.
  • the optical system 102 is configured with one or more lenses, guides image light (incident light) from the subject to the image sensor 103, and forms an image on the light-receiving surface (sensor section) of the image sensor 103.
  • the solid-state image sensor 11 described above is applied as the image sensor 103. Electrons are accumulated in the image sensor 103 for a certain period of time depending on the image formed on the light-receiving surface via the optical system 102. A signal corresponding to the electrons accumulated in the image sensor 103 is then supplied to the signal processing circuit 104.
  • the signal processing circuit 104 performs various signal processing on the pixel signals output from the image sensor 103.
  • An image (image data) obtained by signal processing performed by the signal processing circuit 104 is supplied to a monitor 105 for display, or supplied to a memory 106 for storage (recording).
  • the imaging device 101 configured in this way, by applying the above-described solid-state imaging device 11, for example, it is possible to efficiently process a captured image.
  • FIG. 26 is a diagram showing an example of use of the above-described image sensor (imaging device).
  • the above-described image sensor can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays, for example, as described below.
  • ⁇ Digital cameras, mobile devices with camera functions, and other devices that take images for viewing purposes Devices used for transportation, such as in-vehicle sensors that take pictures of the rear, surroundings, and interior of the car, surveillance cameras that monitor moving vehicles and roads, and distance sensors that measure the distance between vehicles, etc.
  • Devices used for transportation such as in-vehicle sensors that take pictures of the rear, surroundings, and interior of the car, surveillance cameras that monitor moving vehicles and roads, and distance sensors that measure the distance between vehicles, etc.
  • User gestures Devices used in home appliances such as TVs, refrigerators, and air conditioners to take pictures and operate devices according to the gestures.
  • - Endoscopes devices that perform blood vessel imaging by receiving infrared light, etc.
  • Devices used for medical and healthcare purposes - Devices used for security, such as surveillance cameras for crime prevention and cameras for person authentication - Skin measurement devices that take pictures of the skin, and devices that take pictures of the scalp - Devices used for beauty purposes, such as microscopes for skin care.
  • - Devices used for sports such as action cameras and wearable cameras.
  • - Cameras, etc. used to monitor the condition of fields and crops. , equipment used for agricultural purposes
  • the present technology can also have the following configuration.
  • an image sensor provided with a pixel group consisting of N (N is a positive integer) pixels among a plurality of pixels arranged in an array on a sensor surface; a processor in which a neural network is configured by a neuron group having M (M is a positive integer) neurons; a group interface provided between the pixel group and the neuron group and performing bidirectional communication between the image sensor and the processor.
  • the photodetection device further comprising: a pixel control unit that uses a processing result of the processing performed in the neural network to control characteristics of the pixel.
  • a firing detection unit detects firing of a neuron that exceeds the threshold; a learning section that determines a learning signal based on the firing rate of the neuron detected by the firing detection section; further comprising a learning memory that accumulates the learning signal output from the learning unit over time,
  • the photodetection device according to any one of (2) to (5) above, wherein a value obtained by accumulating the learning signal in the learning memory is supplied to the pixel control unit as a control signal and used to control the characteristics of the pixel.
  • the photodetection device further comprising: a calculation unit that performs differentiation of the firing rate of the neuron or calculation equivalent to the differentiation, and supplies the calculation result to the firing detection unit.
  • a calculation unit that performs differentiation of the firing rate of the neuron or calculation equivalent to the differentiation, and supplies the calculation result to the firing detection unit.
  • the calculation unit performs calculation corresponding to the differentiation using at least one of the leakage integral value of the firing number of the neuron and the membrane potential.
  • the calculation unit calculates a temporal movement rate of the firing rate, which is a spatial differentiation of the spatial distribution of the firing rate of the neuron, by a calculation corresponding to the differentiation.
  • a neural network circuit other than the processor is connected to the outside of the photodetection device, and both the processor and the neural network circuit other than the processor communicate with each other, and the image sensor and the neural network circuit other than the processor communicate with each other.
  • the photodetection device according to any one of (1) to (13) above, wherein both communicate.
  • the processor When the region of interest is output from the image sensor and input to the processor, the processor performs a calculation to recognize a subject appearing in the region of interest, and adjusts the region of interest at the next time to the image according to the result of the calculation.
  • the photodetection device according to (5) above, wherein the area of interest that the image sensor outputs at the next time is changed by notifying the sensor.
  • an image sensor provided with a pixel group consisting of N (N is a positive integer) pixels among a plurality of pixels arranged in an array on a sensor surface; a processor in which a neural network is configured by a neuron group having M (M is a positive integer) neurons;
  • An electronic device comprising: a group interface that is provided between the pixel group and the neuron group and performs bidirectional communication between the image sensor and the processor.
  • Solid-state image sensor 12 Image sensor, 13 Neural network processor, 21 Pixel, 22 Pixel group, 31 Group IF, 32 Storage unit, 33 Product-sum unit, 34 Memory, 35 LI unit, 36 Firing unit, 37 neuron control unit, 38 learning unit, 39 neuron group, 40 input/output IF, 41 input buffer, 42 learning memory, 51 pixel array section, 52 pixel control section, 53 pixel output control section, 54 input/output IF, 61 neural network circuit, 62 Predicted pixel , 63 Pixel conversion circuit, 64 Convolution layer, 65 Multiple group IF, 66 Group neuron, 67 Full contact layer, 68 Down sample layer, 71 Address control circuit, 72 Storage unit, 73 Virtual address table, 91 Neural network for post-processing circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、より効率化を図ることができるようにする光検出装置および電子機器に関する。 センサ面にアレイ状に配置される複数の画素のうち、Ｎ個の画素からなる画素グループが設けられる画像センサと、Ｍ個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサとの間に設けられるグループインタフェースによって、画像センサおよびプロセッサの双方向通信を行う。本技術は、例えば、積層型のCMOSイメージセンサに適用できる。

Description

光検出装置および電子機器
　本開示は、光検出装置および電子機器に関し、特に、より効率化を図ることができるようにした光検出装置および電子機器に関する。
　近年、ニューラルネットワークを用いた画像処理システムは、ますます機能性と応用を拡げている一方で、処理速度や電力に改善の余地がある。
　例えば、特許文献１では、ニューラルネットワーク向けのハードウェアを並列かつ階層状に配する構成において、信号が発生した演算器箇所のみを駆動することにより効率化を図ることが提案されている。
特開２０１９－２０４４９２号公報
　しかしながら、特許文献１では、ニューラルネットワーク向けのハードウェアのみ効率化が図られており、画像センサを含めた画像処理システム全体の効率化が考慮されていない。そのため、画像センサを含めた画像処理システム全体の効率化が求められている。
　本開示は、このような状況に鑑みてなされたものであり、より効率化を図ることができるようにするものである。
　本開示の一側面の光検出装置は、センサ面にアレイ状に配置される複数の画素のうち、Ｎ（Ｎは正の整数）個の画素からなる画素グループが設けられる画像センサと、Ｍ（Ｍは正の整数）個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサと、前記画素グループと前記ニューロングループとの間に設けられ、前記画像センサおよび前記プロセッサの双方向通信を行うグループインタフェースとを備える。
　本開示の一側面の電子機器は、センサ面にアレイ状に配置される複数の画素のうち、Ｎ（Ｎは正の整数）個の画素からなる画素グループが設けられる画像センサと、Ｍ（Ｍは正の整数）個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサと、前記画素グループと前記ニューロングループとの間に設けられ、前記画像センサおよび前記プロセッサの双方向通信を行うグループインタフェースとを有する光検出装置を備える。
　本開示の一側面においては、センサ面にアレイ状に配置される複数の画素のうち、Ｎ（Ｎは正の整数）個の画素からなる画素グループが設けられる画像センサと、Ｍ（Ｍは正の整数）個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサとの間に設けられるグループインタフェースにより、画像センサおよびプロセッサの双方向通信が行われる。
本技術を適用した光検出装置の一実施の形態の構成例を示すブロック図である。 一定の時間的な周期パターンのある画素信号を検出する処理について説明する図である。 注目領域の抽出例について説明する図である。 ニューラルネットワークモデルについて説明する図である。 複数のニューロンを時間方向に展開する一例を示す図である。 画素または画素グループごとに学習情報を蓄積する処理について説明する図である。 グループＩＦの接続構成例を示す図である。 階層構造で構成されるグループＩＦの接続構成例を示す図である。 画像センサの構成例を示す図である。 ニューラルネットワークプロセッサが画像センサの内部に実装される構成例を示す図である。 必要領域のみを出力する例について説明する図である。 発火数の漏れ積算値および膜電位の値の一例を示す図である。 ニューロンの発火率のフロー推定について説明する図である。 ネットワーク構成の第１の構成例を示す図である。 ネットワーク構成の第２の構成例を示す図である。 ネットワーク構成の第３の構成例を示す図である。 ネットワーク構成の第４の構成例を示す図である。 ネットワーク構成の第５の構成例を示す図である。 ネットワーク構成の第６の構成例を示す図である。 アドレス変更について説明する図である。 アドレス制御回路を備えたニューラルネットワークプロセッサの構成例を示すブロック図である。 アドレス変換処理について説明する図である。 注目領域の変更通知の一例を示す図である。 後段処理用のネットワークについて説明する図である。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜固体撮像素子の構成例＞
　図１は、本技術を適用した光検出装置の一例となる固体撮像素子の一実施の形態の構成例を示すブロック図である。
　図１に示す固体撮像素子１１は、画像センサ１２およびニューラルネットワークプロセッサ１３が積層された積層構造となっており、画像センサ１２とニューラルネットワークプロセッサ１３との間で双方向に通信を行うことができる。即ち、画像センサ１２からニューラルネットワークプロセッサ１３にデータ（例えば、画素信号）が入力され、ニューラルネットワークプロセッサ１３から画像センサ１２にデータ（例えば、制御信号）が出力される。
　画像センサ１２は、例えば、裏面照射型のCMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、センサ面に複数の画素２１がアレイ状に配置されて構成される。また、画像センサ１２では、所定数の画素２１により画素グループ２２が構成され、図示する例では、Ｎ個の画素２１－１乃至２１－Ｎにより画素グループ２２が構成されている。
　ニューラルネットワークプロセッサ１３は、グループＩＦ（Interface）３１、蓄積部３２、複数の積和ユニット３３、メモリ３４、ＬＩ（Leaky Integrate）ユニット３５、発火ユニット３６、ニューロン制御ユニット３７、および学習ユニット３８を備えて構成される。また、ニューラルネットワークプロセッサ１３では、所定数の積和ユニット３３、ＬＩユニット３５、発火ユニット３６、およびニューロン制御ユニット３７によりニューロングループ３９を構成する。例えば、Ｍ個の積和ユニット３３－１乃至ト３３－Ｍを有するニューロングループ３９は、Ｍ個のニューロンがシナプス接続されたニューラルネットワークを構成する。
　図示するように、固体撮像素子１１では、グループＩＦ３１を介して、画素グループ２２とニューロングループ３９とが接続されている。そして、固体撮像素子１１は、画像センサ１２に設けられる複数の画素グループ２２と、ニューラルネットワークプロセッサ１３に設けられる複数のニューロングループ３９とが、それぞれグループＩＦ３１を介して接続されるように構成される。
　グループＩＦ３１は、画像センサ１２およびニューラルネットワークプロセッサ１３の双方向通信を行うことができ、データの送受信をアドレシングとともに行い、例えば、ニューロン間でのスパイク情報の通信を受け取り必要な形式にデコードした上で、個々のニューロンへ受け渡すことができる。なお、アドレシングの方法については、後述の図２０乃至図２３を参照して説明する。
　蓄積部３２は、画像センサ１２とのデータの送受信をグループＩＦ３１が行う際に、一時的にデータを蓄積する。例えば、蓄積部３２は、画像センサ１２からニューラルネットワークプロセッサ１３に入力されるデータを入力バッファ４１に蓄積し、学習ユニット３８から供給される学習情報を学習メモリ４２に蓄積する。
　積和ユニット３３は、グループＩＦ３１を介して供給されるデータと、メモリ３４に記憶されている重みとの積和演算を行い、積和演算の途中で得られる中間データをメモリ３４に記憶させる。
　メモリ３４は、積和ユニット３３が積和演算を行うのに必要な重みおよび中間データを記憶する。
　ＬＩユニット３５は、各ニューロンが持つ中間データを入力とし、積和演算結果に基づいた漏れ積分を行う。例えば、ＬＩユニット３５は、ニューロンの発火率の微分、または、微分に相当する演算を行い、その演算結果を発火ユニット３６に供給する。例えば、ＬＩユニット３５は、図１２を参照して後述する発火数の漏れ積分値および膜電位のうちの少なくともいずれか一方を用いて、この微分に相当する演算を行うことができる。または、ＬＩユニット３５は、図１３を参照して後述するニューロンの発火率のフロー推定（ニューロンの発火率の空間分布の空間方向の微分である発火率の時間移動率）を、この微分に相当する演算により求めることができる。
　発火ユニット３６は、ＬＩユニット３５から供給される演算結果に基づいて、ニューロンごとに、それぞれのニューロンにより求められる中間データが所定の閾値を超えた場合に、その閾値を超えたニューロンの発火を検出して、次のシナプスへの信号を出力する判定を行う。
　ニューロン制御ユニット３７は、発火ユニット３６により検出されたニューロンの発火に基づいて、ＬＩユニット３５に対する制御を行う。
　学習ユニット３８は、入力信号と発火信号ないし中間データ値に基づき、所定の演算（例えば、漏れ積分演算などを用いてもよい）を行い、積和ユニット３３－１乃至ト３３－Ｍそれぞれが積和演算を行うのに用いる重みを更新する。また、学習ユニット３８がグループＩＦ３１に出力する学習情報（学習信号）は、後述する図１２または図１３を参照して説明するようにニューロンの発火率に基づいて決定され、その学習情報は、学習メモリ４２において経時的に蓄積される。
　以上のように構成される固体撮像素子１１は、画像センサ１２およびニューラルネットワークプロセッサ１３が双方向に通信することで、ニューラルネットワークプロセッサ１３において行われる処理の処理結果を、画像センサ１２の画素２１の特性の制御に用いることができる。これにより、固体撮像素子１１は、画像センサ１２の出力が同期または非同期であるに関わらず、画像センサ１２とニューラルネットワークプロセッサ１３との入出力の制御性を向上させることができ、例えば、消費電力などの効率化を図ることができる。
　例えば、ニューラルネットワークプロセッサ１３は、画像センサ１２からの入力を受け取り、シナプスを介して、複数のニューロンへ入力を振り分けることになる。従って、各ニューロンは、複数のシナプスから不定量の信号を受け取ることになるため、所定の信号量を超えたニューロンは、メモリ３４のアクセス待ち（Lock処理）が発生してしまうこと、即ち、ニューラルネットワークプロセッサ１３への過剰入力が発生してしまうことが懸念される。このため、従来、入力をバッファするのに必要なメモリ量が増大する可能性や、規定量を超える入力を破棄する必要性などが生じることがあった。
　これに対し、固体撮像素子１１では、入力元となる画像センサ１２に対して信号量の調整を指示する制御信号を送信することによって、入力量制御を行うことができる。これにより、例えば、特定の積和ユニット３３への入力が集中することを回避することができる結果、処理待ち時間、即ち、メモリ３４へのアクセス待ちが発生することなく、従来よりも効率化を図ることができる。例えば、このような制御信号は、学習ユニット３８の演算に基づき決定することができる。
　図２を参照して、ニューラルネットワークプロセッサ１３が一定の時間的な周期パターンのある画素信号を検出する処理について説明する。例えば、この処理は、画像センサ１２の出力が非同期であるときに有効である。
　図２には、あるシナプスに入力される画素信号の一例として、一定の時間的な周期パターンのある画素信号が示されている。
　ニューラルネットワークプロセッサ１３では、グループＩＦ３１は、ある積和ユニット３３に入力される画素信号に対して所定の遅延量Δｔを与えて、同じ積和ユニット３３に再入力することができる。そして、それらの画素信号が重なると、つまり、画素信号の周期パターンの間隔と遅延量Δｔとが合致すると、積和ユニット３３により求められる中間データがより立上りやすくなり、発火確率が上昇することになる。
　このように、ニューラルネットワークプロセッサ１３では、あるニューロンに入力される画素信号の周期パターンに概ね合致する遅延量Δｔで画素信号を再入力すると、当該ニューロンへの瞬時的な入力量が増大するように見えることになる。これにより、発火確率が増大し、それに伴う学習信号の増強を観測することができる。
　その結果、ニューラルネットワークプロセッサ１３は、例えば、点滅信号やフリッカ光源などのような一定の時間的な周期パターンのある画素信号を検出し易くなり、そのような画素信号の検出を画像センサ１２へ伝えることができる。なお、画素信号の再入力を行う処理は、積和ユニット３３への過剰入力が生じることが懸念されるが、上述したような入力量制御を行うことで、積和ユニット３３への過剰入力を効率的に解消することもできる。
　図３を参照して、ニューラルネットワークプロセッサ１３が所定の空間的なパターンを検出する処理について説明する。
　ニューラルネットワークプロセッサ１３は、活性ニューロンの発火率をマップ化したヒートマップに基づいて、画像センサ１２により撮像された画像に写されている所定の空間的なパターンを注目領域として検出することができる。
　図３には、画像センサ１２により撮像された画像に写されている「人の目」を注目領域として検出し、その注目領域を追跡する処理の一例が示されている。図３に示される実線の矢印は、画像センサ１２からの入力が活発な領域を表しており、第１層のニューロンは、再帰結合を含む周辺への双方向接続されており、第２層のニューロンは、層間の双方向－全結合されている。
　第１層のニューロンＮは、入力が多い領域周辺の発火を維持するよう再帰入力を繰り返すように作用する。第２層のニューロンＮは、全体の発火率が大きくなるほど、第１層のニューロンＮの発火の維持作用を抑制し、ノイズ除去と同様の効果を備える。
　そして、ヒートマップが活性な箇所を注目領域（RoI：Region-of-Interest）とし、この領域以外のセンサ出力を抑制し、例えば、注目領域以外の画素を待機状態とすることで、電力等を効率化することができる。つまり、注目領域は、ニューロン発火が多いという情報から、画素２１ごとに出力の有無を制御したり、画素グループ２２ごとに出力の有無を制御したりすることができる。
　図３に示す例では、時刻Ｔでは、注目領域に応じて５番目から９番目までの画素から出力される画素信号からの入力が活発であり、時刻Ｔ＋１では、移動後の注目領域に応じて８番目から１２番目までの画素から出力される画素信号からの入力が活発となっていて、注目領域を決定または変更（追跡）することができる。そして、目領域以外の画素を待機状態とすることができる。
　なお、図３では、便宜的に１軸方向のネットワークのみを図示しているが、ニューラルネットワークプロセッサ１３は、２軸方向にネットワークを実装しており、注目領域を２次元的に追跡することができる。
　ここで、図３（後述の図１７および図２４も同様）におけるニューラルネットワークモデル（Attractor）を、より正確に図示すると、図４に示すような構造となる。
　図４のＡには、第１層のみを使用したニューラルネットワークモデルが示されている。図示するように、ニューラルネットワークモデルは、全てのニューロンＮから、各ニューロンＮの周辺数個への接続が“入力”または“反転入力”により構成される。また、“入力”および“反転入力”のうちの、いずれか一方だけの入力種類だけで接続を構成してもよい。なお、図４のＡに示す例では、実線で示されたニューロンＮから破線で示されたニューロンＮへ延びる接続が強調して示されており、実際は、全てのニューロンＮから接続が伸びているが、複雑になるため省略して図示されている。
　図４のＢには、第１層および第２層を使用したニューラルネットワークモデルが示されている。例えば、第１層内では、図４のＡに示した構成と同様の接続パターンとなっており、ここでは、正の入力のみで構成しても反転入力を混同させてもよい。また、第１層および第２層の間は、第１層から第２層への接続が正となり、かつ、第２層から第１層への接続が反転となるように、それぞれ重みが設定される。これらの接続は、全結合となる構成や、全結合から確率的に接続を間引いた構成、第１層と空間的に近傍のニューロンＮどうしが局所的に接続される構成（図４のＢに示す構成）などを用いることができる。なお、図４のＢに示す例では、第１層において実線で示されたニューロンＮと第２層において実線で示されたニューロンＮとの双方向接続部分のみ強調して示されており、第２層の実線のニューロンＮが、近傍した第１層の実線のニューロンＮとのみ接続するように図示されているが、第２層の各ニューロンＮと第１層の全てのニューロンＮとが全結合または確率的な全結合であってもよい。
　図５および図６を参照して、ニューラルネットワークプロセッサ１３から画像センサ１２へ情報を送信する仕組みについて説明する。
　例えば、図５に示すように、ニューラルネットワークプロセッサ１３では、複数のニューロンＮを時間方向に展開（unrolled model）し、個々のニューロンＮにより得られる学習情報の値を毎タイムステップで取得し、蓄積することができる。
　図６のＡには、画素２１ごとに学習情報を蓄積する処理例が示されている。
　例えば、入力側となる１個の画素２１に対し、出力側となるｋ個のニューロンＮの割合で、学習ユニット３８へ情報が送信され、学習ユニット３８は、入力に対する出力の比率に応じた学習情報を形成する。そして、学習ユニット３８は、この学習情報を逐次的に、学習メモリ４２に供給して画素２１ごとに加算させる。その後、グループＩＦ３１は、学習メモリ４２において蓄積されている学習情報を、所定の時間に、画像センサ１２の画素２１ごとに送信する。
　図６のＢには、画素グループ２２ごとに学習情報を蓄積する処理例が示されている。
　例えば、入力側となるｎ個の画素２１に対し、出力側となるｎ×ｋ個のニューロンＮの割合で、学習ユニット３８へ情報が送信され、学習ユニット３８は、入力に対する出力の比率に応じた学習情報を形成する。そして、学習ユニット３８は、この学習情報を逐次的に、学習メモリ４２に供給して画素２１を分けず全て１つに加算させる。グループＩＦ３１は、学習メモリ４２において蓄積されている学習情報を、所定の時間に、画像センサ１２の対応する画素グループ２２に対して送信する。
　このように、ニューラルネットワークプロセッサ１３は、画素２１または画素グループ２２ごとに学習情報を蓄積し、その学習情報に基づいた情報を画像センサ１２側へ送信することができる。
　＜グループＩＦの接続構成例＞
　例えば、図７のＡに示す第１の接続構成例は、ニューラルネットワークプロセッサ１３が１つの入出力ＩＦ４０を備え、複数のグループＩＦ３１が入出力ＩＦ４０を介して画像センサ１２と接続される接続構成となっている。従って、画像センサ１２との間におけるデータの送受信は、入出力ＩＦ４０を介して行われ、入出力ＩＦ４０は、画像センサ１２から送信されてくるデータを、それぞれ対応するグループＩＦ３１に分配する。
　また、図７のＢに示す第２の接続構成例は、画素グループ２２とニューロングループ３９とがグループＩＦ３１を介して、１対１で対応するように接続される接続構成となっている。
　また、図８に示す第３の接続構成例は、グループＩＦ３１が階層構造で接続される接続構成となっている。図示する例では、複数の下層のグループＩＦ３１Ｄが上層のグループＩＦ３１Ｕに接続され、複数の上層のグループＩＦ３１Ｕが入出力ＩＦ４０を介して画像センサ１２と接続される接続構成となっている。
　＜画像センサ１２の構成例＞
　例えば、図９に示すように、画像センサ１２は、画素アレイ部５１が画素制御部５２および画素出力制御部５３を介して入出力ＩＦ５４に接続されるように構成される。この場合、ニューラルネットワークプロセッサ１３は、図７のＡに示したような接続構成でグループＩＦ３１が接続される。
　画素制御部５２は、画素アレイ部５１にアレイ状に配置される画素２１の特性の制御や、画像センサ１２により撮像される画像に写されている注目領域の制御などを行う。例えば、画素２１の特性は、バイアス値などによって決定される。また、画素制御部５２は、画素特性を決めるレジスタなどのキャッシュおよび管理も行う。例えば、画素２１の特性には、感度や応答速度、ノイズ量などが含まれる。
　画素出力制御部５３は、画素アレイ部５１のデータをラスタライズして出力する制御などを行う。また、画素出力制御部５３は、出力データの前処理を実行してもよく、画素出力制御部５３に接続されるブロック（図示せず）が、出力データの前処理を実行してもよい。例えば、前処理は、デノイズや、ゲインまたは出力量の調整、フリッカの除去などが含まれる。
　そして、固体撮像素子１１では、画像センサ１２に対する制御内容は、ニューラルネットワークプロセッサ１３において行われる処理の処理結果に基づいて決定される。例えば、上述した学習信号に基づいて、画素制御部５２が、画素２１の特性（例えば、ゲイン、遅延、ノイズ、および不応期間のいずれか１つ以上）を調整したり、注目領域を制御（例えば、注目領域を決定または変更し、注目領域以外の画素を待機状態と）したり、画素出力制御部５３が、前処理などのパラメータを変更したりすることができる。
　また、図１０に示すように、ニューラルネットワークプロセッサ１３が画像センサ１２の内部に実装されるような構成としてもよい。この場合、ニューラルネットワークプロセッサ１３は、図７のＢに示したような接続構成でグループＩＦ３１が接続される。
　＜学習の動作＞
　図１１乃至図１３を参照して、固体撮像素子１１における画像センサ１２とニューラルネットワークプロセッサ１３とを跨ぐ学習の動作について説明する。
　固体撮像素子１１は、ニューロンの発火頻度に応じて出力駆動する画素２１を切り替えることによって、必要領域のみを出力することができる。
　図１１の上側には、画像センサ１２から出力される各時刻の画像の一例が示されており、図１１の下側には、それぞれの時刻の画像から得られる活性ニューロンの発火率をマップ化したヒートマップの一例が示されている。例えば、時刻Ｔ１および時刻Ｔ２のヒートマップから、時刻Ｔ３における必要領域を学習し、必要領域のみの画像、即ち、必要領域以外の画素２１を非駆動状態（待機状態）とした画像が、時刻Ｔ３では出力される。
　このように、固体撮像素子１１は、必要領域のみを出力することによって、電力などの効率化を図ることができる。
　ここで、固体撮像素子１１では、画素２１を非駆動状態と駆動状態とを切り替える際に、画素２１の状態遷移に時間が掛かることがある。
　そこで、固体撮像素子１１は、遷移待ち状態の画素２１は、状態更新を一時停止して状態を保持するようにし、遷移待ち以外の画素２１は処理を継続するように駆動を制御する。そして、ニューロンの発火率の変化に基づいて、即ち、頻度の微分（または、頻度の微分に相当する情報）に基づいて、次の時刻に状態遷移が必要な画素を予測し、次の時刻で駆動を開始する画素２１を予め準備することができる。
　図１２を参照して、頻度の微分に相当する演算の第１の例として、学習信号の形成について説明する。
　まず、第１のスキームとして、ＬＩユニット３５は、図１２のＡに示す発火数の漏れ積算値γが、所定の値を超えると信号（＋１）を発行し、所定の値を下回ると信号（－１）を発行する。また、第２のスキームとして、発火ユニット３６は、図１２のＢに示す膜電位の値ｖ、および、図１２のＡに示す発火数の漏れ積算値γが、所定の値域であるときに信号（±１）を発行する。
　そして、固体撮像素子１１では、第１のスキームや第２のスキームなどの学習スキームを採用し、その信号をグループＩＦ３１にて所定の時間インクリメントしたものを学習信号とし、この値が所定の閾値を超えると画素２１に対する制御を開始する。このような処理を採用することで、次の時刻に状態遷移が必要な画素を予測し、次の時刻で駆動を開始する画素２１を予め準備することができる。
　図１３を参照して、頻度の微分に相当する演算の第２の例として、ニューロンの発火率のフロー推定について説明する。
　例えば、図１３に示すニューロンＮの左から右方向を正向きとする。そして、正向きニューロンＮに、あるニューロンＮからの信号と、その左隣のニューロンＮから所定の遅延を持って到達する信号とのタイミングが重なる場合に、その正向きニューロンＮの発火率が上昇する。つまり、正向きを発火率に置き換えることができる。
　そして、固体撮像素子１１では、この発火率を、例えば、図１２を参照して説明した学習信号に置き換えて画素２１に対する制御に用いることで、ニューロンヒートマップの動きを予測して、次の時刻の高発火領域の画素２１を予め駆動することができる。
　以上のように構成される固体撮像素子１１では、例えば、注目領域が画像センサ１２から出力されてニューラルネットワークプロセッサ１３へ入力されると、その注目領域に写る被写体を認識する演算を行い、その演算結果に応じて次時刻の注目領域を画像センサ１２へ通知することができる。これにより、固体撮像素子１１では、画像センサ１２が次時刻に出力する注目領域を変更することができる。
　＜ネットワーク構成の例示＞
　図１４乃至図１９を参照して、固体撮像素子１１で採用されるネットワーク構成について説明する。なお、ここで説明するネットワーク構成は例示であって、固体撮像素子１１は、この例示に限定されることなく他のネットワーク構成を採用してもよい。
　図１４に示すネットワーク構成の第１の構成例では、固体撮像素子１１は、画素グループ２２に含まれる画素２１が重複するとともに、ニューロングループ３９に含まれるニューロンＮが重複するように構成されている。つまり、画素２１－１乃至２１－５のうちの画素２１－３は、グループＩＦ３１－１および３１－２それぞれに接続されるとともに、ニューロンＮ－１乃至Ｎ－５のうちのニューロンＮ－３は、グループＩＦ３１－１および３１－２それぞれに接続される。従って、画素２１－３は、２つの画素グループ２２に含まれるとともに、ニューロンＮ－３は、２つのニューロングループ３９に含まれることになり、それぞれのグループで重複するように構成されている。
　また、図１４に示す重みω０乃至ω３は、重み付き畳み込み演算（convolution）の重みを示しており、図１４は、畳み込み演算の例である。
　なお、固体撮像素子１１は、画素２１の配列が重複しないようにグループＩＦ３１に接続されるようなネットワーク構成（図示せず）としてもよい。また、固体撮像素子１１は、画素２１の配列が全結合でグループＩＦ３１に接続されるようなネットワーク構成（図示せず）としてもよい。
　図１５に示すネットワーク構成の第２の構成例では、固体撮像素子１１は、画素２１の配列とグループＩＦ３１との間に、１層以上のニューラルネットワーク回路６１を含むように構成されている。つまり、画素２１－１乃至２１－５から出力される画素信号がニューラルネットワーク回路６１入力され、ニューラルネットワーク回路６１から出力される予測画像の予測画素６２－１乃至６２－５が、グループＩＦ３１－１および３１－２それぞれに接続される。
　図１６に示すネットワーク構成の第３の構成例では、固体撮像素子１１は、画素２１の配列とグループＩＦ３１との間に、画素変換回路６３が配置されるように構成されている。画素変換回路６３は、ＡＤ（Analog-Digital）コンバータなどを用い、画素２１から出力されるアナログ信号（電位または電流）の値を、デジタル値やバイナリ値に変換して、グループＩＦ３１－１および３１－２に入力する。
　図１７に示すネットワーク構成の第４の構成例では、固体撮像素子１１は、画素２１の配列と複数グループＩＦ６５（複数のグループＩＦ３１から構成されるインタフェース）との間に、畳み込みレイヤ６４が配置されるように構成されている。なお、畳み込みレイヤ６４は、複数の畳み込み演算を含む演算を組合せたネットワークであってもよい。さらに、複数グループＩＦ６５に接続されるグループニューロン６６は、Attractor，Convolution，Fully Connection、またはSelf-Attentionのような重み付き演算を１種類で構成、または、これらの重み付き演算を複数組合せて構成してもよい。もちろん、グループニューロン６６は、ここで例示した演算以外の種類で構成されてもよい。なお、グループニューロン６６に示されているニューラルネットワークモデル（Attractor）の構造は、より正確に図示すると、上述の図４に示した構造である。
　図１８に示すネットワーク構成の第５の構成例では、固体撮像素子１１は、学習ユニット３８が、ニューラルネットワークプロセッサ１３内の重み付き演算レイヤであるフルコンタクトレイヤ６７の重みの更新（オンライン学習）のための演算と、画素２１の制御のための演算との両方を目的に共用するように構成されている。
　図１９に示すネットワーク構成の第６の構成例では、固体撮像素子１１は、学習ユニット３８が、ニューラルネットワークプロセッサ１３内の重み付き演算レイヤであるダウンサンプルレイヤ６８の重みの更新（オンライン学習）のための演算と、画素２１の制御のための演算との両方を目的に共用するように構成されている。
　＜グループアドレス化＞
　図２０乃至図２３を参照して、グループアドレス化について説明する。
　例えば、固体撮像素子１１では、学習および画素制御の簡便化、並びに、制御回路規模の低減のため、複数の画素２１および複数のニューロンＮどうしを対応付けるグループ化を行うのが効率的である。このようなグループ化を行うとき、画像センサ１２およびニューラルネットワークプロセッサ１３の双方の通信は、このグループを通じて、即ち、グループアドレスを介して行われる。これにより、固体撮像素子１１では、注目領域の制御性が向上するとともに、画像センサ１２側での注目領域のアドレスの変化に対応するニューラルネットワークプロセッサ１３側のアドレス変更を、少ないビット数でやり取りすることが可能になる。
　例えば、図２０のＡに示すように、小さなサイズの注目領域から大きなサイズの注目領域に変更される例について説明する。この場合、図２０のＢに示すように、画素グループ２２からニューロングループ３９へアドレスを変更することになる。
　例えば、インタフェース部分でアドレスを変更する方法を用いた場合、画素２１の出力から毎入力、アドレス変換演算を行う必要があり、処理の効率が悪化することになる。即ち、この場合、アドレスの変更に画素グループ２２を活用することができないため、画素グループ２２を跨いで画素座標を再解釈するのに手間が掛かってしまう。例えば、図２０のＣに示すように、小グリッドで示される画素グループ２２に対して、大グリッドで示されるニューロングループ３９が大きい場合（左側）および小さい場合（右側）のどちらであっても、異なる画素グループ２２の入力が同一のニューロングループ３９へ入り得ることになる。このため、ニューロングループ３９（アドレス）へのアクセスが増加し、処理待ちが発生してしまう。特に、画素出力フォーマットが“Rastered”である場合に、処理待ちの発生頻度が顕著になり得ることになる。
　そこで、固体撮像素子１１では、ニューロンＮ側のアドレスを変更し、画像センサ１２とニューラルネットワークプロセッサ１３との間で、画素グループ２２とニューロングループ３９との対応を１対１に維持する方法を採用する。
　即ち、図２０のＤに示すように、ニューロンＮのアドレスを操作して、画素グループ２２とニューロングループ３９とを対応付けることによって、注目領域が変化するごとに１度だけアドレスを操作するだけでよく、より効率良く処理を行うことができる。
　図２０のＤにおいて破線で示されているアドレス線は、小さなサイズの注目領域のときには使用されていないことを表しており、小さなサイズの注目領域では、アドレス線Ｇ０乃至Ｇ２が使用されている。そして、大きなサイズの注目領域に変更するのに応じてアドレスが操作され、アドレス線Ｇ０’乃至Ｇ４’が使用される。なお、図２０のＤは、連想メモリ（Content Addressable Memory：CAM）によるアドレシング／アクセスの回路を想定しているが、ソフトメモリであっても同様にアドレスを変更することができる。
　図２１は、アドレス制御回路７１を備えたニューラルネットワークプロセッサ１３の構成例を示すブロック図である。
　図２１に示すように、ニューラルネットワークプロセッサ１３は、グループＩＦ３１に接続するようにアドレス制御回路７１を備えて構成され、アドレス制御回路７１には、記憶部７２が設けられている。そして、記憶部７２には、画像センサ１２からの通知によって書き換えられる仮想アドレステーブル７３が記憶されている。
　アドレス制御回路７１は、記憶部７２に記憶されている仮想アドレステーブル７３を参照して、ニューロンＮ側のアドレスを変更するアドレス変換処理を行う。
　図２２は、アドレス制御回路７１によるアドレス変換処理について説明する図である。
　例えば、注目領域の変化に伴って画素グループ２２の変更が行われると、画像センサ１２は、ＲｏＩ変更通知およびアドレスパターン、グループアドレス、並びに、データをニューラルネットワークプロセッサ１３に供給する。アドレス制御回路７１は、そのＲｏＩ変更通知に従って、アドレス変更を行うと判定し、グループアドレスのパターン表とアドレステーブルとに基づいてアドレスの置き換え操作を行い、変更後のアドレスを出力する。そして、画像センサ１２から供給されたグループアドレスと、アドレス制御回路７１から出力された変更後のアドレスとを積算することによって、ニューロングループ３９における各ニューロンＮの物理アドレスが特定される。つまり、変更後の画素グループ２２に該当するニューロングループ３９の仮想アドレスを変更することで、新たに画素グループ２２とニューロングループ３９とが対応付けられる。
　図２３は、ＲｏＩ変更通知の一例について説明する図である。
　例えば、図２３のＡに示すように、ラスタライズされたグループが入力されると、ニューロンの配置に整合するようにデータの再配置が行われた後、間引きが行われる。ここで、再配置の際に、データが正方でない場合も受けられるようにするため、ゼロパディングのための情報が画像センサ１２からニューラルネットワークプロセッサ１３に入力される。
　そして、注目領域が１つのとき、図２３のＢに示すようなデータがヘッダに付加される。一方、注目領域が複数のとき、図２３のＣに示すようなデータがヘッダに付加される。
　＜注目領域の制御例＞
　図２４は、後段処理用のネットワークについて説明する図である。なお、図２４に示すニューラルネットワークモデル（Attractor）の構造は、より正確に図示すると、上述の図４に示した構造である。
　例えば、注目領域を追跡するためのネットワーク（第１層のニューロンＮおよび第２層のニューロンＮ）は、画素２１と直結するように、固体撮像素子１１の内部で積層して設けられる。画像センサ１２が設けられる半導体基板とニューラルネットワークプロセッサ１３が設けられる半導体基板との接合面では、Cu-Cu接合を介して積層されるように配線が設けられ、この接合面のニューラルネットワークプロセッサ１３側にグループＩＦ３１が配置される。
　そして、固体撮像素子１１の外側には、後段処理用のニューラルネットワーク回路９１が設けられており、ニューラルネットワークプロセッサ１３と後段処理用のニューラルネットワーク回路９１との双方が通信するとともに、画像センサ１２と後段処理用のニューラルネットワーク回路９１との双方が通信することができる。なお、固体撮像素子１１の外側とは、画素２１の出力がシリアライズされたものをバス等の所定の配線を通じて通信する先のことを示すものとする。従って、後段処理用のニューラルネットワーク回路９１が固体撮像素子１１の内部に設けられていても、固体撮像素子１１の外部に設けられていても、このような通信の先に設けられていればどちらであってもよい。
　例えば、被写体である「人の目」の視線方向の推定を一例として説明する。なお、後段処理用のニューラルネットワーク回路９１の出力値は、視線方向を示すベクトル値などであってもよい。
　まず、上述の図２１に示したアドレス制御回路７１を、入力段のグループＩＦ３１に接続する。そして、図２４に示す注目領域を追跡するためのニューラルネットワーク回路９１と相互に通信を行うことで、例えば、注目領域の信頼度を通信し注目領域の追跡精度の向上を図ることができる。例えば、この信頼度の示す信号形式として、注目領域の重心を中心とした点拡がり関数状の強度を持つ信号を定義して通知してもよい。
　このように、ニューラルネットワークプロセッサ１３を固体撮像素子１１の内部に設け、後段処理用のニューラルネットワーク回路９１を固体撮像素子１１の外部に設けること、即ち、それらを分けて配置する構成は、目的とするネットワークに応じて使い分けることが好ましい。
　例えば、画角の全体から必要情報を抽出することを目的とする第１のネットワークでは、上述の図７のＢに示したように全ての画素グループ２２と全てのニューロングループ３９とが対応付けられた構成を採用することが好ましく、即応性を得られるとともに、低電力化を図ることができる。つまり、このような構成の方が、個々のグループＩＦ３１の扱うデータ量が相対的に低減され、データ送受信に伴う輻輳（待ち時間）などの軽減を図ることができる。さらに、このような積層構造を採用することで、画素２１とニューロンＮとの間の信号伝送距離を短くすることができるので、処理速度の向上や消費電力の低減を期待することができる。
　例えば、画角の一部から必要情報の抽出を目的とする第２のネットワークでは、後段処理用のニューラルネットワーク回路９１を設け、所定の出力を固体撮像素子１１の外で行うことが好ましく、高度な処理を柔軟に行うことができる。つまり、上述の図７のＢに示したように、ニューラルネットワークプロセッサ１３を画像センサ１２下全面に配置して画素２１とグループＩＦ３１どうしを接続する構成は、一部の画素２１が使用されず配線などの無駄が多くなってしまうためである。また、固体撮像素子１１の内外は問わず画素２１外であれば、ニューラルネットワーク回路９１を必要規模だけ配置すれば良いため、フットプリントなどの観点で効率が良い。または、図７のＡに示したような入出力ＩＦ４０を備える構成のニューラルネットワークプロセッサ１３に限らなくてもよい。例えば、汎用のGPU（Graphics Processing Unit）などを用いたニューラルネットワーク回路９１では高度な処理を行い、上述の図７のＢに示したように全ての画素グループ２２と全てのニューロングループ３９とが対応付けられた構成のニューラルネットワークプロセッサ１３では軽量で高速な処理を担うといった分担をしてもよい。
　そして、第１のネットワークと第２のネットワークとを組み合わせて使用することで、システム全体の処理分担（例えば、処理速度や電力の調整など）の最適化を期待することができる。また、上述したような画素２１と第１のネットワークおよび第２のネットワークとの間の通信や制御、および、第１のネットワークと第２のネットワークとの間の通信や制御を行いながら演算することで、処理分担や精度の更なる最適化を期待することができる。
　なお、本実施の形態では、画像（RGB画像または輝度画像）の撮像を行う固体撮像素子について説明したが、本技術は、固体撮像素子に限定されることなく、様々な光検出装置に適用することができる。例えば、本技術は、Photon-Count SPAD（Single Photon Avalanche Diode）を利用したセンサや、イベントの発生を検出するEVS（Event-based Vision Sensor）、距離を測定するTOF（Time Of Flight）センサ、多波長のマルチスペクトル画像を取得するマルチスペクトルセンサなどのような、様々な光検出装置に適用することができる。もちろん、本技術は、これら以外の光検出装置に適用してもよい。
　＜電子機器の構成例＞
　上述したような固体撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　図２５は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
　図２５に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
　光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
　撮像素子１０３としては、上述した固体撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
　信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置１０１では、上述した固体撮像素子１１を適用することで、例えば、撮像した画像に対する処理を効率的に行うことができる。
　＜イメージセンサの使用例＞
　図２６は、上述のイメージセンサ（撮像素子）を使用する使用例を示す図である。
　上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　センサ面にアレイ状に配置される複数の画素のうち、Ｎ（Ｎは正の整数）個の画素からなる画素グループが設けられる画像センサと、
　Ｍ（Ｍは正の整数）個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサと、
　前記画素グループと前記ニューロングループとの間に設けられ、前記画像センサおよび前記プロセッサの双方向通信を行うグループインタフェースと
　を備える光検出装置。
（２）
　前記ニューラルネットワークにおいて行われる処理の処理結果を、前記画素の特性の制御に用いる画素制御部
　をさらに備える上記（１）に記載の光検出装置。
（３）
　前記画素制御部は、前記画素が出力する画素信号のゲイン、遅延、ノイズ、および不応期間のいずれか１つ以上を調整する
　上記（２）に記載の光検出装置。
（４）
　前記ニューラルネットワークは、前記画像センサにより取得される一定の時間的な周期パターンのある画素信号を検出する処理を行う
　上記（２）または（３）に記載の光検出装置。
（５）
　前記画素制御部は、前記画像センサにより撮像される画像において注目される被写体が写された注目領域を決定または変更し、前記注目領域以外の画素を待機状態とする
　上記（２）から（４）までのいずれかに記載の光検出装置。
（６）
　前記ニューロングループの前記ニューロンごとに、それぞれのニューロンにより求められる中間データが所定の閾値を超えた場合に、その閾値を超えたニューロンの発火を検出する発火検出部と、
　前記発火検出部により検出された前記ニューロンの発火率に基づいた学習信号を決定する学習部と、
　前記学習部から出力される前記学習信号を経時的に蓄積する学習メモリと
　をさらに備え、
　前記学習メモリにおいて前記学習信号を蓄積した値が制御信号として前記画素制御部に供給され、前記画素の特性の制御に用いられる
　上記（２）から（５）までのいずれかに記載の光検出装置。
（７）
　前記ニューロンの発火率の微分、または、微分に相当する演算を行い、その演算結果を前記発火検出部に供給する演算部
　をさらに備える上記（６）に記載の光検出装置。
（８）
　前記演算部は、前記ニューロンの発火数の漏れ積分値および膜電位のうちの少なくともいずれか一方を用いて、前記微分に相当する演算を行う
　上記（７）に記載の光検出装置。
（９）
　前記演算部は、前記ニューロンの発火率の空間分布の空間方向の微分である前記発火率の時間移動率を、前記微分に相当する演算により求める
　上記（７）に記載の光検出装置。
（１０）
　前記グループインタフェースは、前記学習メモリにおいて前記学習信号を蓄積しておき、所定の時間に前記制御信号を送信する通信を行う
　上記（６）に記載の光検出装置。
（１１）
　前記画素グループの変更が行われた場合に、前記画像センサから送信されてくる前記画素グループの変更内容が通信に含まれ、その変更内容を受信するのに応じて、該当する前記ニューロングループの仮想アドレスを変更することで新たに前記画素グループと前記ニューロングループを特定に対応付けるアドレス変換処理を行うアドレス制御部
　をさらに備える上記（１）から（１０）までのいずれかに記載の光検出装置。
（１２）
　前記アドレス制御部は、前記アドレス変換処理を行う際には、予め保持しているアドレステーブルを参照してアドレスを置き換えることで、前記画素グループの変更を実現する
　上記（１１）に記載の光検出装置。
（１３）
　前記画像センサが設けられる半導体基板と前記プロセッサが設けられる半導体基板との接合面では、Cu-Cu接合を介し積層されるように配線が設けられ、この接合面の前記プロセッサ側に前記グループインタフェースが配置される
　上記（１）から（１２）までのいずれかに記載の光検出装置。
（１４）
　前記光検出装置の外側に、前記プロセッサ以外のニューラルネットワーク回路が接続され、前記プロセッサと前記プロセッサ以外のニューラルネットワーク回路との双方が通信するとともに、前記画像センサと前記プロセッサ以外のニューラルネットワーク回路との双方が通信する
　上記（１）から（１３）までのいずれかに記載の光検出装置。
（１５）
　前記プロセッサは、前記注目領域が前記画像センサから出力されて前記プロセッサへ入力されると、前記注目領域に写る被写体を認識する演算を行い、その演算結果に応じて次時刻の注目領域を前記画像センサへ通知することで、前記画像センサが次時刻に出力する注目領域を変更する
　上記（５）に記載の光検出装置。
（１６）
　センサ面にアレイ状に配置される複数の画素のうち、Ｎ（Ｎは正の整数）個の画素からなる画素グループが設けられる画像センサと、
　Ｍ（Ｍは正の整数）個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサと、
　前記画素グループと前記ニューロングループとの間に設けられ、前記画像センサおよび前記プロセッサの双方向通信を行うグループインタフェースと
　を有する光検出装置を備える電子機器。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　固体撮像素子，　１２　画像センサ，　１３　ニューラルネットワークプロセッサ，　２１　画素，　２２　画素グループ，　３１　グループＩＦ，　３２　蓄積部，　３３　積和ユニット，　３４　メモリ，　３５　ＬＩユニット，　３６　発火ユニット，　３７　ニューロン制御ユニット，　３８　学習ユニット，　３９　ニューロングループ，　４０　入出力ＩＦ，　４１　入力バッファ，　４２　学習メモリ，　５１　画素アレイ部，　５２　画素制御部，　５３　画素出力制御部，　５４　入出力ＩＦ，　６１　ニューラルネットワーク回路，　６２　予測画素，　６３　画素変換回路，　６４　畳み込みレイヤ，　６５　複数グループＩＦ，　６６　グループニューロン，　６７　フルコンタクトレイヤ，　６８　ダウンサンプルレイヤ，　７１　アドレス制御回路，　７２　記憶部，　７３　仮想アドレステーブル，　９１　後段処理用のニューラルネットワーク回路

Claims (16)

  1. 　センサ面にアレイ状に配置される複数の画素のうち、Ｎ（Ｎは正の整数）個の画素からなる画素グループが設けられる画像センサと、
    　Ｍ（Ｍは正の整数）個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサと、
    　前記画素グループと前記ニューロングループとの間に設けられ、前記画像センサおよび前記プロセッサの双方向通信を行うグループインタフェースと
    　を備える光検出装置。
  2. 　前記ニューラルネットワークにおいて行われる処理の処理結果を、前記画素の特性の制御に用いる画素制御部
    　をさらに備える請求項１に記載の光検出装置。
  3. 　前記画素制御部は、前記画素が出力する画素信号のゲイン、遅延、ノイズ、および不応期間のいずれか１つ以上を調整する
    　請求項２に記載の光検出装置。
  4. 　前記ニューラルネットワークは、前記画像センサにより取得される一定の時間的な周期パターンのある画素信号を検出する処理を行う
    　請求項２に記載の光検出装置。
  5. 　前記画素制御部は、前記画像センサにより撮像される画像において注目される被写体が写された注目領域を決定または変更し、前記注目領域以外の画素を待機状態とする
    　請求項２に記載の光検出装置。
  6. 　前記ニューロングループの前記ニューロンごとに、それぞれのニューロンにより求められる中間データが所定の閾値を超えた場合に、その閾値を超えたニューロンの発火を検出する発火検出部と、
    　前記発火検出部により検出された前記ニューロンの発火率に基づいた学習信号を決定する学習部と、
    　前記学習部から出力される前記学習信号を経時的に蓄積する学習メモリと
    　をさらに備え、
    　前記学習メモリにおいて前記学習信号を蓄積した値が制御信号として前記画素制御部に供給され、前記画素の特性の制御に用いられる
    　請求項２に記載の光検出装置。
  7. 　前記ニューロンの発火率の微分、または、微分に相当する演算を行い、その演算結果を前記発火検出部に供給する演算部
    　をさらに備える請求項６に記載の光検出装置。
  8. 　前記演算部は、前記ニューロンの発火数の漏れ積分値および膜電位のうちの少なくともいずれか一方を用いて、前記微分に相当する演算を行う
    　請求項７に記載の光検出装置。
  9. 　前記演算部は、前記ニューロンの発火率の空間分布の空間方向の微分である前記発火率の時間移動率を、前記微分に相当する演算により求める
    　請求項７に記載の光検出装置。
  10. 　前記グループインタフェースは、前記学習メモリにおいて前記学習信号を蓄積しておき、所定の時間に前記制御信号を送信する通信を行う
    　請求項６に記載の光検出装置。
  11. 　前記画素グループの変更が行われた場合に、前記画像センサから送信されてくる前記画素グループの変更内容が通信に含まれ、その変更内容を受信するのに応じて、該当する前記ニューロングループの仮想アドレスを変更することで新たに前記画素グループと前記ニューロングループを特定に対応付けるアドレス変換処理を行うアドレス制御部
    　をさらに備える請求項１に記載の光検出装置。
  12. 　前記アドレス制御部は、前記アドレス変換処理を行う際には、予め保持しているアドレステーブルを参照してアドレスを置き換えることで、前記画素グループの変更を実現する
    　請求項１１に記載の光検出装置。
  13. 　前記画像センサが設けられる半導体基板と前記プロセッサが設けられる半導体基板との接合面では、Cu-Cu接合を介し積層されるように配線が設けられ、この接合面の前記プロセッサ側に前記グループインタフェースが配置される
    　請求項１に記載の光検出装置。
  14. 　前記光検出装置の外側に、前記プロセッサ以外のニューラルネットワーク回路が接続され、前記プロセッサと前記プロセッサ以外のニューラルネットワーク回路との双方が通信するとともに、前記画像センサと前記プロセッサ以外のニューラルネットワーク回路との双方が通信する
    　請求項１３に記載の光検出装置。
  15. 　前記プロセッサは、前記注目領域が前記画像センサから出力されて前記プロセッサへ入力されると、前記注目領域に写る被写体を認識する演算を行い、その演算結果に応じて次時刻の注目領域を前記画像センサへ通知することで、前記画像センサが次時刻に出力する注目領域を変更する
    　請求項５に記載の光検出装置。
  16. 　センサ面にアレイ状に配置される複数の画素のうち、Ｎ（Ｎは正の整数）個の画素からなる画素グループが設けられる画像センサと、
    　Ｍ（Ｍは正の整数）個のニューロンを有するニューロングループによりニューラルネットワークが構成されるプロセッサと、
    　前記画素グループと前記ニューロングループとの間に設けられ、前記画像センサおよび前記プロセッサの双方向通信を行うグループインタフェースと
    　を有する光検出装置を備える電子機器。
PCT/JP2023/005917 2022-03-08 2023-02-20 光検出装置および電子機器 Ceased WO2023171333A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380024796.1A CN118830257A (zh) 2022-03-08 2023-02-20 光检测装置及电子装置
JP2024506016A JPWO2023171333A1 (ja) 2022-03-08 2023-02-20
EP23766512.0A EP4492287A4 (en) 2022-03-08 2023-02-20 LIGHT DETECTION DEVICE AND ELECTRONIC INSTRUMENT
US18/835,039 US20250159333A1 (en) 2022-03-08 2023-02-20 Photodetection apparatus and electronic equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-035042 2022-03-08
JP2022035042 2022-03-08

Publications (1)

Publication Number Publication Date
WO2023171333A1 true WO2023171333A1 (ja) 2023-09-14

Family

ID=87936896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005917 Ceased WO2023171333A1 (ja) 2022-03-08 2023-02-20 光検出装置および電子機器

Country Status (5)

Country Link
US (1) US20250159333A1 (ja)
EP (1) EP4492287A4 (ja)
JP (1) JPWO2023171333A1 (ja)
CN (1) CN118830257A (ja)
WO (1) WO2023171333A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204492A (ja) 2018-03-27 2019-11-28 インテル・コーポレーション ニューロモルフィック・アクセラレータ・マルチタスキング
JP2022511414A (ja) * 2018-12-17 2022-01-31 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 動的にプログラム可能な画像センサ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3616210A1 (en) * 2017-04-23 2020-03-04 Orcam Technologies Ltd. Wearable apparatus and methods for analyzing images
US20210264679A1 (en) * 2017-07-25 2021-08-26 Facebook Technologies, Llc Smart sensor
US20190325250A1 (en) * 2018-04-24 2019-10-24 Board Of Trustees Of The University Of Arkansas Reconfigurable 3D Pixel-Parallel Neuromorphic Architecture for Smart Image Sensor
CN117474061B (zh) * 2023-12-26 2024-03-19 华中师范大学 一种抗辐射低延迟神经网络推理加速芯片

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204492A (ja) 2018-03-27 2019-11-28 インテル・コーポレーション ニューロモルフィック・アクセラレータ・マルチタスキング
JP2022511414A (ja) * 2018-12-17 2022-01-31 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 動的にプログラム可能な画像センサ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4492287A4

Also Published As

Publication number Publication date
JPWO2023171333A1 (ja) 2023-09-14
US20250159333A1 (en) 2025-05-15
CN118830257A (zh) 2024-10-22
EP4492287A4 (en) 2025-04-09
EP4492287A1 (en) 2025-01-15

Similar Documents

Publication Publication Date Title
US11972342B2 (en) Image sensor architecture
US12342072B2 (en) System and apparatus for co-registration and correlation between multi-modal imagery and method for same
US11631246B2 (en) Method for outputting a signal from an event-based sensor, and event-based sensor using such method
CN107925730B (zh) 图像传感器和电子设备
CN107431774B (zh) 图像传感器、处理方法和电子设备
US12147891B2 (en) High bandwidth camera data transmission
US20200174094A1 (en) Star tracker for multiple-mode detection and tracking of dim targets
KR20210053883A (ko) 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
CN103024299B (zh) 凝视型数字tdi短波红外微光成像仪及成像方法
US20230369373A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, and mobile body
US11972045B2 (en) Imaging display device and wearable device
KR102604317B1 (ko) 촬상 소자, 촬상 방법 및 전자 기기
US20240259703A1 (en) Sensor device and method for operating a sensor device
US10713749B2 (en) Image sensor and driving method, and electronic apparatus
WO2023171333A1 (ja) 光検出装置および電子機器
US20240031691A1 (en) Imaging element and imaging device
CN117716387A (zh) 固态成像设备和用于操作固态成像设备的方法
JP2024119024A (ja) 撮像装置、撮像システム及び機器
JP2025006707A (ja) 光電変換装置、機器
JP2024546847A (ja) センサ装置及びセンサ装置の動作方法
KR20170131818A (ko) 고체 촬상 소자, 촬상 모듈, 및 전자 기기
Rizk et al. High-performance, event-driven, low-cost, and SWaP imaging sensor for hostile fire detection, homeland protection, and border security
US20250131527A1 (en) Imaging element, imaging device, and imaging method
US20180183985A1 (en) Imaging device and control method
CN118784989A (zh) 处理设备、系统、处理方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766512

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024506016

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18835039

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202380024796.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023766512

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023766512

Country of ref document: EP

Effective date: 20241008

WWP Wipo information: published in national office

Ref document number: 18835039

Country of ref document: US

WWW Wipo information: withdrawn in national office

Ref document number: 2023766512

Country of ref document: EP