WO2020158583A1 - 固体撮像装置及び撮像装置 - Google Patents

固体撮像装置及び撮像装置 Download PDF

Info

Publication number
WO2020158583A1
WO2020158583A1 PCT/JP2020/002412 JP2020002412W WO2020158583A1 WO 2020158583 A1 WO2020158583 A1 WO 2020158583A1 JP 2020002412 W JP2020002412 W JP 2020002412W WO 2020158583 A1 WO2020158583 A1 WO 2020158583A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
imaging device
solid
state imaging
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/002412
Other languages
English (en)
French (fr)
Inventor
篤親 丹羽
元就 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019086853A external-priority patent/JP7398880B2/ja
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US17/424,684 priority Critical patent/US11558565B2/en
Priority to EP20748100.3A priority patent/EP3920211B1/en
Publication of WO2020158583A1 publication Critical patent/WO2020158583A1/ja
Anticipated expiration legal-status Critical
Priority to US18/153,488 priority patent/US11910108B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected two-dimensional [2D] regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to a solid-state imaging device and an imaging device.
  • a synchronous solid-state imaging device that captures image data (frame) in synchronization with a synchronization signal such as a vertical synchronization signal has been used in an imaging device or the like.
  • image data can be acquired only every cycle (for example, 1/60 seconds) of a sync signal, so that higher-speed processing can be performed in fields related to traffic, robots, and the like. It becomes difficult to respond when requested. Therefore, an asynchronous solid-state imaging device has been proposed in which a detection circuit for detecting in real time that the amount of received light exceeds a threshold value is detected as an address event.
  • An asynchronous solid-state image sensor that detects an address event for each pixel is also called a DVS (Dynamic Vision Sensor).
  • DVS has also been developed that acquires a gradation image along with detection of an address event.
  • a detection circuit is arranged not for each pixel but for each pixel block, and an event is detected for each pixel block, and gradation is acquired for each pixel.
  • a method has been proposed. However, in such a method, since it is necessary to perform both event detection and gradation acquisition using the same pixel in a time-division manner, the time between event detection and gradation acquisition can be increased in a fast-changing scene. There is a possibility that it is not possible to acquire the gradation image of the subject to be photographed due to the physical shift.
  • the present disclosure proposes a solid-state imaging device and an imaging device capable of reducing a time lag between event detection and gradation acquisition.
  • a solid-state imaging device is a pixel array unit including a plurality of pixel blocks arranged in a matrix, and among the plurality of pixel blocks, an address event fires.
  • the detected first pixel block includes a drive circuit that generates a pixel signal, and each of the pixel blocks generates a charge according to the amount of incident light, and a first photoelectric conversion element that generates a charge.
  • a detection unit that detects the firing of the address event based on electric charge, a second photoelectric conversion element that generates electric charge according to the amount of incident light, and a pixel that generates a pixel signal based on the electric charge generated in the second photoelectric conversion element And a circuit.
  • FIG. 3 is a block diagram showing a schematic configuration example of a pixel block according to the first embodiment.
  • FIG. 5 is a diagram showing an example of a laminated structure when the pixel block shown in FIG. 4 is applied to the laminated chip shown in FIG.
  • FIG. 3 is a plan view showing a planar layout example of pixel blocks in the pixel array unit according to the first embodiment.
  • FIG. 3 is a circuit diagram showing a circuit configuration example of a gradation pixel according to the first embodiment.
  • 3 is a circuit diagram showing a circuit configuration example of an event pixel according to the first embodiment.
  • FIG. 3 is a block diagram showing a schematic configuration example of an address event detection circuit according to the first embodiment.
  • FIG. It is a circuit diagram which shows the schematic structural example of the current voltage conversion part which concerns on 1st Embodiment. It is a circuit diagram which shows the other schematic structural example of the current voltage conversion part which concerns on 1st Embodiment.
  • FIG. 3 is a circuit diagram showing a schematic configuration example of a subtractor and a quantizer according to the first embodiment.
  • FIG. 3 is a circuit diagram showing a schematic configuration example of a transfer unit according to the first embodiment.
  • FIG. 3 is a block diagram showing a schematic configuration example of an AD conversion unit according to the first embodiment.
  • 3 is a block diagram showing a schematic configuration example of a control circuit according to the first embodiment.
  • FIG. 3 is a flowchart showing a schematic operation example of the solid-state imaging device according to the first embodiment.
  • FIG. 9 is a circuit diagram showing a circuit configuration example of a pixel block according to a first modified example of the first embodiment. It is a block diagram which shows the schematic structural example of the solid-state imaging device concerning the 2nd modification of 1st Embodiment.
  • FIG. 9 is a diagram for explaining an example of read control at the time of reading pixel signals according to the second embodiment.
  • FIG. 16 is a plan view showing a layout example of part of a pixel array section and a column ADC according to a first example of the third embodiment.
  • FIG. 16 is a plan view showing a layout example of part of a pixel array section and a column ADC according to a second example of the third embodiment.
  • FIG. 16 is a plan view showing a layout example of part of a pixel array section and a column ADC according to a third example of the third embodiment.
  • It is a block diagram which shows the schematic structural example of the solid-state imaging device which concerns on 4th Embodiment.
  • It is a block diagram which shows the schematic structural example of the Y arbiter which concerns on 4th Embodiment.
  • It is a block diagram which shows the example of schematic structure of the event process part which concerns on 4th Embodiment.
  • FIG. 35 is a timing chart for explaining the update of the gradation value focusing on the pixel block on the second row in FIG. 34.
  • FIG. 1 is a block diagram showing a schematic configuration example of the imaging device according to the first embodiment.
  • the imaging device 100 includes an optical system 110, a solid-state imaging device 200, a recording unit 120, a control unit 130, and an external interface (I/F) 140.
  • I/F external interface
  • As the imaging device 100 a camera mounted on an industrial robot, a vehicle-mounted camera, or the like is assumed.
  • the optical system 110 includes, for example, a lens, and forms an image of incident light on the light receiving surface of the solid-state imaging device 200.
  • the solid-state imaging device 200 photoelectrically converts incident light to capture image data while detecting whether or not an address event is fired.
  • the detection result indicating the presence or absence of the firing of the address event (hereinafter referred to as event detection data) and the image data of the brightness value corresponding to the incident light amount (hereinafter referred to as gradation image data) are input to the recording unit 120, for example. It may be output to the external host 150 or the like via the external I/F 140.
  • the external I/F 140 is, for example, a wireless LAN (Local Area Network), a wired LAN, a communication network that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), and FlexRay (registered trademark). It may be a communication adapter for establishing communication with the external host 150 via.
  • a wireless LAN Local Area Network
  • a wired LAN a communication network that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), and FlexRay (registered trademark). It may be a communication adapter for establishing communication with the external host 150 via.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • FlexRay registered trademark
  • the host 150 may be, for example, an ECU (Engine Control Unit) mounted in an automobile or the like when the imaging device 100 is mounted in the automobile or the like.
  • an autonomous mobile robot such as a domestic pet robot, an autonomous mobile body such as a robot cleaner, an unmanned aerial vehicle, or a follow-up transport robot
  • the host 150 controls the autonomous mobile body. It may be a control device or the like.
  • the host 150 may be, for example, an information processing device such as a personal computer.
  • the recording unit 120 is composed of, for example, a non-volatile memory such as a flash memory, and records event detection data and gradation image data input from the solid-state imaging device 200, and various other data.
  • a non-volatile memory such as a flash memory
  • the control unit 130 is composed of, for example, an information processing device such as a CPU (Central Processing Unit), and controls the solid-state imaging device 200 to acquire event detection data and gradation image data.
  • an information processing device such as a CPU (Central Processing Unit)
  • CPU Central Processing Unit
  • FIG. 2 is a diagram showing a stacked structure example of the solid-state imaging device according to the first embodiment.
  • the solid-state imaging device 200 has a laminated chip structure in which a light receiving chip 201 and a detection chip 202 are vertically stacked.
  • a light receiving chip 201 and a detection chip 202 are vertically stacked.
  • direct joining can be used, in which the respective joining surfaces are flattened and the two are attached by an electron force.
  • the present invention is not limited to this, and for example, so-called Cu-Cu bonding, in which electrode pads made of copper (Cu) formed on the bonding surfaces of each other are bonded, or other bump bonding can be used. ..
  • the light receiving chip 201 and the detection chip 202 are electrically connected to each other, for example, through a connecting portion such as a TSV (Through-Silicon Via) penetrating the semiconductor substrate.
  • the connection using the TSV includes, for example, a so-called twin TSV method in which two TSVs, a TSV provided on the light receiving chip 201 and a TSV provided from the light receiving chip 201 to the detection chip 202, are connected on the outside of the chip, or a light receiving It is possible to employ a so-called shared TSV system or the like, in which both are connected by a TSV penetrating from the chip 201 to the detection chip 202.
  • FIG. 3 is a block diagram showing a schematic configuration example of the solid-state imaging device according to the first embodiment.
  • the solid-state imaging device 200 includes a drive circuit 211, a signal processing unit 212, a Y arbiter (arbitration unit) 213, a column ADC (conversion unit) 220, an event encoder 250, and a pixel array unit. And 300.
  • the pixel array unit 300 has a configuration in which a plurality of pixel blocks 310 are arranged in a two-dimensional lattice (also referred to as a matrix).
  • a set of pixel blocks arranged in the horizontal direction is referred to as a “row”
  • a set of pixel blocks arranged in the direction perpendicular to the rows is referred to as a “column”.
  • the position in the row direction of each pixel block 310 in the pixel array unit 300 is specified by the X address, and the position in the column direction is specified by the Y address.
  • Each pixel block 310 photoelectrically converts incident light to generate an analog pixel signal having a voltage value corresponding to the incident light amount. Further, the pixel block 310 detects whether or not an address event is fired based on whether or not the amount of change in the amount of incident light exceeds a predetermined threshold value.
  • the pixel block 310 that detects the firing of the address event outputs a request to the Y arbiter 213.
  • the pixel block 310 receives a response to the request from the Y arbiter, the pixel block 310 transmits a detection signal indicating the detection result of the address event to the drive circuit 211 and the column ADC 220.
  • the Y arbiter 213 arbitrates the request from the pixel block 310 to determine the read order for the rows to which the pixel block 310 that is the request transmission source belongs, and is the request transmission source based on the determined read order. A response is returned to all the pixel blocks 310 included in the row to which the pixel block 310 belongs. In the following description, arbitrating the request to determine the reading order is referred to as “arbitrating the reading order”.
  • the driving circuit 211 drives each of the pixel blocks 310 that output the detection signal, and thereby supplies a pixel signal having a voltage value corresponding to the amount of incident light to the photoelectric conversion element 321 to the vertical signal line 308 connected to each of the pixel blocks 310. Make it appear.
  • the column ADC 220 reads the pixel signals in columns in parallel by converting the analog pixel signals appearing on the vertical signal lines 308 of each column into digital pixel signals for each row. Then, the column ADC 220 supplies the read digital pixel signal to the signal processing unit 212.
  • the signal processing unit 212 executes predetermined signal processing such as CDS (Correlated Double Sampling) processing on the pixel signal from the column ADC 220, and outputs the gradation image data including the pixel signal after the signal processing to the outside. ..
  • predetermined signal processing such as CDS (Correlated Double Sampling) processing on the pixel signal from the column ADC 220, and outputs the gradation image data including the pixel signal after the signal processing to the outside. ..
  • the event encoder 250 generates, for each row in the pixel array unit 300, data indicating in which pixel block 310 an on event has occurred, and in which pixel block 310 an off event has occurred. For example, when the event encoder 250 receives a request from a certain pixel block 310, an on event or an off event has occurred in this pixel block 310, and an X address for specifying the position of the pixel block 310 in the pixel array unit 300 and Event detection data including a Y address is generated.
  • the event encoder 250 also includes information (time stamp) about the time when the firing of the on event or the off event is detected in the event detection data. Then, the event encoder 250 outputs the generated event detection data to the outside.
  • FIG. 4 is a block diagram showing a schematic configuration example of the pixel block according to the first embodiment.
  • the pixel block 310 includes a grayscale pixel 320 for generating a pixel signal which is grayscale information, an event pixel 330 for detecting whether or not an address event is fired, and an event pixel 330.
  • an address event detection circuit (detection unit) 400 for detecting the presence or absence of the firing of the address event based on the photocurrent.
  • FIG. 5 is a diagram showing an exemplary laminated configuration when the pixel block shown in FIG. 4 is applied to the laminated chip shown in FIG.
  • the gradation pixel 320 and the event pixel 330 are arranged in the light receiving chip 201, and the address event detection circuit 400 is arranged in the detection chip 202.
  • the present invention is not limited to this, and various modifications can be made, for example, by disposing a part of the circuit configuration of the gradation pixel 320 on the detection chip 202.
  • FIG. 6 is a plan view showing an example of plane layout of a pixel block in the pixel array section according to the first embodiment.
  • the pixel array unit 300 includes a plurality of pixel blocks 310 arranged in a matrix. Further, in the pixel array section 300, the detection signal lines 306 and 307, the vertical signal line 308, and the enable signal line 309 are wired for each column along the column direction. Each of the pixel blocks 310 is connected to the detection signal lines 306 and 307 of the corresponding column, the vertical signal line 308, and the enable signal line 309.
  • FIG. 7 is a circuit diagram showing a circuit configuration example of the gradation pixel 320 according to the first embodiment.
  • the grayscale pixel 320 includes a photoelectric conversion element 321, a transfer transistor 322, a floating diffusion layer 323, a reset transistor 324, an amplification transistor 325, and a selection transistor 326, and outputs a photocurrent.
  • An analog signal having a corresponding voltage is generated as the pixel signal Vsig.
  • the configuration other than the photoelectric conversion element 321 in the gradation pixel 320 is also referred to as a pixel circuit.
  • the transfer transistor, the reset transistor 324, the amplification transistor 325, and the selection transistor 326 may be, for example, N-type MOS (Metal-Oxide-Semiconductor) transistors.
  • the photoelectric conversion element (second photoelectric conversion element) 321 is composed of, for example, a photodiode, and photoelectrically converts incident light to generate electric charges.
  • the transfer transistor 322 transfers charges from the photoelectric conversion element 321 to the floating diffusion layer 323 according to the transfer signal TRG from the drive circuit 211.
  • the floating diffusion layer 323 is a charge storage unit that generates a voltage according to the amount of stored charges.
  • the reset transistor 324 discharges (initializes) the charge of the floating diffusion layer 323 according to the reset signal RST from the drive circuit 211.
  • the amplification transistor 325 amplifies the voltage of the floating diffusion layer 323.
  • the selection transistor 326 causes the signal of the amplified voltage to appear on the vertical signal line 308 as the pixel signal Vsig in accordance with the selection signal SEL from the drive circuit 211.
  • the pixel signal Vsig that appears on the vertical signal line 308 is read by the column ADC 220, for example, and converted into a digital pixel signal.
  • FIG. 8 is a circuit diagram showing a circuit configuration example of the event pixel according to the first embodiment. As shown in FIG. 8, the event pixel 330 includes a photoelectric conversion element 331.
  • the photoelectric conversion element (first photoelectric conversion element) 331 includes, for example, a photodiode, and photoelectrically converts incident light to generate electric charges.
  • the charges generated by the photoelectric conversion performed by the photoelectric conversion element 331 are supplied to the address event detection circuit 400 as photocurrent.
  • the address event detection circuit 400 shown in FIG. 8 depends on whether the amount of change in photocurrent flowing out from the photoelectric conversion element 331 exceeds a predetermined threshold value. , Detects the firing of address events.
  • This address event includes, for example, an on event indicating that the amount of change in photocurrent according to the amount of incident light exceeds the upper limit threshold value, and an off event indicating that the amount of change is below the lower limit threshold value.
  • the address event is detected when the change amount of the incident light amount is outside the predetermined range from the lower limit to the upper limit.
  • the address event detection signal includes, for example, 1 bit indicating the detection result of the on event and 1 bit indicating the detection result of the off event.
  • the address event detection circuit 400 can also detect only an on event.
  • the address event detection circuit 400 sends a request for sending a detection signal to the Y arbiter 213 when an address event occurs. Then, when the response to the request is received from the Y arbiter 213, the address event detection circuit 400 transmits the detection signals DET+ and DET ⁇ to the drive circuit 211 and the column ADC 220.
  • the detection signal DET+ is a signal indicating the detection result of the presence or absence of an on event, and is transmitted to the column ADC 220 via the detection signal line 306, for example.
  • the detection signal DET- is a signal indicating the detection result of the presence or absence of an off event, and is transmitted to the column ADC 220 via the detection signal line 307, for example.
  • the address event detection circuit 400 sets the column enable signal ColEN to enable in synchronization with the selection signal SEL, and transmits the signal to the column ADC 220 via the enable signal line 309.
  • the column enable signal ColEN is a signal for enabling or disabling AD (Analog to Digital) conversion for the pixel signal of the corresponding column.
  • the drive circuit 211 drives that row by the selection signal SEL or the like.
  • Each of the pixel blocks 310 in the driven row causes the pixel signal Vsig to appear on the vertical signal line 308.
  • the pixel signal Vsig appearing on the vertical signal line 308 is read by the column ADC 220 and converted into a digital pixel signal.
  • the pixel block 310 that has detected the address event in the driven row transmits the column enable signal ColEN set to enable to the column ADC 220.
  • the column enable signal ColEN of the pixel block 310 that has not detected the address event is set to be disabled.
  • FIG. 9 is a block diagram showing a schematic configuration example of the address event detection circuit according to the first embodiment.
  • the address event detection circuit 400 includes a current/voltage conversion unit 410, a buffer 420, a subtractor 430, a quantizer 440, and a transfer unit 450.
  • the current-voltage converter 410 converts the photocurrent from the event pixel 330 into a logarithmic voltage signal. Then, the current-voltage converter 410 supplies the voltage signal to the buffer 420.
  • the buffer 420 outputs the voltage signal from the current-voltage converter 410 to the subtractor 430. With this buffer 420, the driving force for driving the subsequent stage can be improved. In addition, the buffer 420 can ensure the isolation of noise associated with the switching operation in the subsequent stage.
  • the subtractor 430 lowers the level of the voltage signal from the buffer 420 according to the row drive signal from the drive circuit 211. Then, the subtractor 430 supplies the reduced voltage signal to the quantizer 440.
  • Quantizer 440 quantizes the voltage signal from subtractor 430 into a digital signal and outputs it as a detection signal to transfer unit 450.
  • the transfer unit 450 transfers the detection signal from the quantizer 440 to the signal processing unit 212 and the like.
  • the transfer unit 450 transmits a request for transmitting a detection signal to the Y arbiter 213 and the event encoder 250 when an address event is detected. Then, when the transfer unit 450 receives a response to the request from the Y arbiter 213, the transfer unit 450 supplies the detection signals DET+ and DET ⁇ to the drive circuit 211 and the column ADC 220. Further, when the selection signal SEL is transmitted, the transfer unit 450 transmits the column enable signal ColEN set to enable to the column ADC 220.
  • FIG. 10 is a circuit diagram showing a schematic configuration example of the current-voltage conversion unit according to the first embodiment.
  • the current-voltage conversion unit 410 includes an LG (LoG) transistor 411, an amplification transistor 413, and a load MOS transistor 412.
  • LG transistor 411 and the amplification transistor 413 for example, N-type MOS transistors can be used.
  • the load MOS transistor 412 is a constant current circuit, and a P-type MOS transistor can be used for this.
  • the source of the LG transistor 411 is connected to the cathode of the photoelectric conversion element 331 in the event pixel 330, and the drain is connected to the power supply terminal.
  • the load MOS transistor 412 and the amplification transistor 413 are connected in series between the power supply terminal and the ground terminal.
  • the connection point between the load MOS transistor 412 and the amplification transistor 413 is connected to the gate of the LG transistor 411 and the input terminal of the buffer 420. Further, a predetermined bias voltage Vbias is applied to the gate of the load MOS transistor 412.
  • the drains of the LG transistor 411 and the amplification transistor 413 are connected to the power supply side, and such a circuit is called a source follower.
  • the two source followers connected in a loop form convert the photocurrent from the photoelectric conversion element 331 into a logarithmic voltage signal.
  • the load MOS transistor 412 supplies a constant current to the amplification transistor 413.
  • the LG transistor 411 and the amplification transistor 413 may be arranged in the light receiving chip 201 shown in FIG.
  • the source of the LG transistor 411 and the gate of the amplification transistor 413 are connected to, for example, the cathode of the photoelectric conversion element 331 in the event pixel 330.
  • the drain of the LG transistor 411 is connected to, for example, the source of the LG transistor 414 and the gate of the amplification transistor 413.
  • the drain of the LG transistor 414 is connected to the power supply terminal VDD, for example.
  • the source of the amplification transistor 415 is connected to the gate of the LG transistor 411 and the drain of the amplification transistor 413.
  • the drain of the amplification transistor 415 is connected to the power supply terminal VDD via the load MOS transistor 412, for example.
  • the photocurrent from the photoelectric conversion element 331 is converted into a logarithmic voltage signal corresponding to the charge amount.
  • the LG transistors 411 and 414 and the amplification transistors 413 and 415 may be configured by N-type MOS transistors, respectively.
  • the LG transistors 411 and 414 and the amplification transistors 413 and 415 may be arranged in the light receiving chip 201 shown in FIG.
  • FIG. 12 is a circuit diagram showing a schematic configuration example of the subtractor and the quantizer according to the first embodiment.
  • the subtractor 430 includes capacitors 431 and 433, an inverter 432, and a switch 434.
  • the quantizer 440 also includes comparators 441 and 442.
  • One end of the capacitor 431 is connected to the output terminal of the buffer 420, and the other end is connected to the input terminal of the inverter 432.
  • the capacitor 433 is connected in parallel with the inverter 432.
  • the switch 434 opens and closes a path connecting both ends of the capacitor 433 in accordance with the auto-zero signal AZ from the drive circuit 211.
  • the inverter 432 inverts the voltage signal input via the capacitor 431.
  • the inverter 432 outputs the inverted signal to the non-inverting input terminal (+) of the comparator 441.
  • (5) represents the subtraction operation of the voltage signal, and the gain of the subtraction result is C1/C2. Since it is usually desired to maximize the gain, it is preferable to design C1 to be large and C2 to be small. On the other hand, if C2 is too small, kTC noise may increase and noise characteristics may be deteriorated. Therefore, the capacity reduction of C2 is limited to a range in which noise can be allowed. Further, since the address event detection circuit 400 including the subtractor 430 is mounted for each pixel block, there is a restriction on the area of the capacitors C1 and C2. In consideration of these, the values of the capacitors C1 and C2 are determined.
  • the comparator 441 compares the voltage signal from the subtractor 430 with the upper limit voltage Vbon applied to the inverting input terminal ( ⁇ ).
  • the upper limit voltage Vbon is a voltage indicating an upper limit threshold.
  • the comparator 441 outputs the comparison result COMP+ to the transfer unit 450.
  • the comparator 441 outputs a high level comparison result COMP+ when an on event occurs, and outputs a low level comparison result COMP+ when there is no on event.
  • the comparator 442 compares the voltage signal from the subtractor 430 with the lower limit voltage Vboff applied to the inverting input terminal ( ⁇ ).
  • the lower limit voltage Vboff is a voltage indicating a lower limit threshold.
  • the comparator 442 outputs the comparison result COMP- to the transfer unit 450.
  • the comparator 442 outputs a high-level comparison result COMP- when an off event occurs, and outputs a low-level comparison result COMP- when there is no off event.
  • FIG. 13 is a circuit diagram showing a schematic configuration example of the transfer unit according to the first embodiment.
  • the transfer unit 450 includes AND (logical product) gates 451 and 453, an OR (logical sum) gate 452, and flip-flops 454 and 455.
  • the AND gate 451 outputs the logical product of the comparison result COMP+ of the quantizer 440 and the response AckY from the Y arbiter 213 to the column ADC 220 as the detection signal DET+.
  • the AND gate 451 outputs a high-level detection signal DET+ when an ON event occurs and outputs a low-level detection signal DET+ when there is no ON event.
  • the OR gate 452 outputs the logical sum of the comparison result COMP+ and the comparison result COMP ⁇ of the quantizer 440 to the Y arbiter 213 as a request ReqY.
  • the OR gate 452 outputs a high-level request ReqY when an address event occurs, and outputs a low-level request ReqY when there is no address event. Further, the inverted value of the request ReqY is input to the input terminal D of the flip-flop 454.
  • the AND gate 453 outputs the logical product of the comparison result COMP ⁇ of the quantizer 440 and the response AckY from the Y arbiter 213 to the column ADC 220 as the detection signal DET ⁇ .
  • the AND gate 453 outputs a high-level detection signal DET- when an off event occurs, and outputs a low-level detection signal DET- when there is no off event.
  • the flip-flop 454 holds the inverted value of the request ReqY in synchronization with the response AckY. Then, the flip-flop 454 outputs the held value as the internal signal ColEN′ to the input terminal D of the flip-flop 455.
  • the flip-flop 455 holds the internal signal ColEN' in synchronization with the selection signal SEL from the drive circuit 211. Then, the flip-flop 455 outputs the held value to the column ADC 220 as the column enable signal ColEN.
  • FIG. 14 is a block diagram showing a schematic configuration example of the column ADC according to the first embodiment.
  • the column ADC 220 for example, one AD conversion unit 230 is arranged for each column in the pixel array unit 300.
  • the AD conversion unit 230 converts the analog pixel signal appearing on the vertical signal line 308 of each column into a digital pixel signal.
  • FIG. 15 is a block diagram illustrating a schematic configuration example of the AD conversion unit according to the first embodiment.
  • the AD conversion unit 230 includes an ADC 232 and a control circuit 240.
  • the ADC 232 converts the pixel signal Vsig into a digital pixel signal Dout.
  • the ADC 232 includes a comparator 233 and a counter 234.
  • the comparator 233 compares the predetermined reference signal RMP with the pixel signal Vsig according to the comparator enable signal CompEN from the control circuit 240.
  • the reference signal RMP for example, a ramp signal that changes in a slope shape or a step shape can be used.
  • the comparator enable signal CompEN is a signal for enabling or disabling the comparison operation of the comparator 233.
  • the comparator 233 supplies the comparison result VCO to the counter 234.
  • the counter 234 According to the counter enable signal CntEN from the control circuit 240, the counter 234 counts the count value in synchronization with the clock signal CLK until the comparison result VCO is inverted.
  • the counter enable signal CntEN is a signal for enabling or disabling the counting operation of the counter 234.
  • the counter 234 outputs a digital pixel signal Dout indicating the count value to the signal processing unit 212.
  • the control circuit 240 controls the multiplexer 231 and the ADC 232 according to the column enable signal ColEN. Details of the control contents will be described later.
  • detection signals DET+ and DET ⁇ output from each pixel block 310 are output to the signal processing unit 212 via the AD conversion unit 230.
  • a single-slope ADC including the comparator 233 and the counter 234 is used as the ADC 232, but the configuration is not limited to this.
  • a delta-sigma type ADC can be used as the ADC 232.
  • FIG. 16 is a block diagram showing a schematic configuration example of the control circuit according to the first embodiment.
  • the control circuit 240 includes an OR (logical sum) gate 241, a level shifter 242, and an AND (logical product) gate 243.
  • the OR gate 241 outputs a logical sum of the column enable signal ColEN and the extra enable signal ExtEN to the level shifter 242 and the AND gate 243.
  • the extra enable signal ExtEN is a signal for instructing to validate AD conversion regardless of the presence or absence of an address event, and is set in accordance with a user operation or the like. For example, the high level is set to the extra enable signal ExtEN when it is enabled, and the low level is set when it is disabled.
  • the level shifter 242 converts the voltage of the output signal of the OR gate 241. Then, the level shifter 242 supplies the converted signal as the comparator enable signal CompEN to the comparator 233 in the ADC 232 according to the block control signal Crtl2, for example.
  • the block control signal Crtl2 is a signal for invalidating the comparator 233 regardless of the presence or absence of an address event. For example, regardless of the presence or absence of an address event, the block control signal Crtl2 is set to a low level when the comparator 233 is disabled, and is set to a high level otherwise.
  • the AND gate 243 outputs the logical product of the output signal of the OR gate 241 and the block control signal Crtl1 to the counter 234 as the counter enable signal CntEN.
  • the block control signal Crtl1 is a signal for invalidating the counter 234 regardless of the presence or absence of an address event. For example, regardless of the presence or absence of an address event, the block control signal Crtl1 is set to a low level when the counter 234 is invalidated, and is set to a high level otherwise.
  • FIG. 17 is a flowchart showing a schematic operation example of the solid-state imaging device according to the first embodiment. This operation is started, for example, when an application for detecting and imaging an address event is executed.
  • the solid-state imaging device 200 starts detecting whether or not an address event has fired (step S101), and determines whether or not an address event has occurred (step S102).
  • the event pixel 330 is used to detect the firing of the address event.
  • the operation proceeds to step S105.
  • the event encoder 250 outputs the event detection data for the pixel block 310 in which the firing of the address event is detected (step S103).
  • the column ADC 220 reads out pixel signals from all the pixel blocks 310 included in the row to which the pixel block 310 in which the firing of the address event is detected belongs (step S104).
  • the gradation pixel 320 is used for reading the pixel signal.
  • the pixel signals for one row are read in parallel (column parallel) from all the pixel blocks 310 included in the row to which the pixel block 310 in which the firing of the address event is detected belongs. Then, the operation proceeds to step S105.
  • step S105 the solid-state imaging device 200 determines whether or not to end this operation, and if it ends (YES in step S105), this operation ends. On the other hand, when the process is not completed (NO in step S105), the process returns to step S101 and the subsequent operations are executed.
  • pixel signals are read in column parallel from all the pixel blocks 310 included in the row to which the pixel block 310 in which the firing of the address event is detected belongs. Be done. This makes it possible to omit the procedure of individually identifying and individually reading the pixel blocks 310 in which the address event has fired, and thus reducing the time difference from the detection of the firing of the address event to the reading of the pixel signal (gradation). It becomes possible to do.
  • the circuit of the solid-state imaging device 200 can be omitted. It is also possible to simplify the configuration and reduce the size.
  • a pixel for event detection (event pixel 330) and a pixel for gradation acquisition (gradation pixel 320) are provided separately, and each pixel is independently controlled. Since it is possible to eliminate the dead time from the detection of the firing of the address event to the reading of the pixel signal (gradation), it is also possible to execute the event detection and the gradation acquisition in parallel.
  • a circuit other than the photoelectric conversion element 331 in the event pixel 330 is provided for one photoelectric conversion element 341.
  • the configuration is connected to the circuit configuration other than the photoelectric conversion element 321 in the gradation pixel 320.
  • the OFG (OverFlow Gate) transistor 332 is first turned on for the monitoring of the address event, and when the firing of the address event is detected in that state, the OFG transistor 332 is turned off.
  • the transfer transistor 322 is turned on and the transfer transistor 322 is turned on, the charge generated in the photoelectric conversion element 341 is transferred to the floating diffusion layer 323 of the grayscale pixel 320. Since the pixel signal reading operation at that time is the same as the operation described above, detailed description thereof will be omitted here.
  • FIG. 19 is a block diagram showing a schematic configuration example of a solid-state imaging device according to the second modified example of the first embodiment.
  • 20 is a block diagram showing a schematic configuration example of a pixel block according to the second modification of the first embodiment.
  • each pixel block 310 the case where the address event detection circuit 400 is provided in each pixel block 310 is illustrated, but the present invention is not limited to such a configuration, and for example, as shown in FIG. It is also possible to replace the address event detection circuit 400 of (1) with the address event detection unit 400A configured by the common address event detection circuit 400 for each row.
  • the address event detection circuit 400 can be omitted from each pixel block 310A, so that the solid-state imaging device 200 can be further downsized.
  • the configuration of a so-called 1-column 1-ADC in which one AD conversion unit 230 is provided for each column has been illustrated, but the configuration is not limited to such a configuration and, for example, two columns or more. It is also possible to share one AD conversion unit 230. Therefore, in the second embodiment, a case where one AD conversion unit 230 is shared by two or more columns will be described with an example.
  • the configurations of the imaging device and the solid-state imaging device according to the present embodiment may be the same as, for example, the imaging device 100 and the solid-state imaging device 200 illustrated in the first embodiment.
  • the AD conversion unit 230 is replaced with an AD conversion unit 530 described later.
  • FIG. 21 is a block diagram showing a schematic configuration example of the AD conversion unit according to the second embodiment.
  • the AD conversion unit 530 has a configuration similar to that of the AD conversion unit 230 illustrated in FIG. 15 except that the control circuit 240 is replaced by the control circuit 540 and a multiplexer 531 is added.
  • the two columns corresponding to the AD conversion unit 530 are a 2m-1 (m is an integer of 1 to M) column and a 2m column.
  • the multiplexer 531 selects one of the pixel signal Vsig2m-1 of the 2m-1 column and the pixel signal Vsig2m of the 2m column according to the control signal from the control circuit 540, and outputs it as the pixel signal VsigSEL to the ADC 232.
  • the switch signal SW and the multiplexer enable signal MuxEN are input to the multiplexer 531 as control signals.
  • the ADC 232 includes a comparator 233 and a counter 234, and converts the pixel signal VsigSEL into a digital pixel signal Dout.
  • the comparator 233 compares the predetermined reference signal RMP with the pixel signal VsigSEL according to the comparator enable signal CompEN from the control circuit 540.
  • the control circuit 540 controls the multiplexer 531 and the ADC 232 according to the column enable signals ColEN2m-1 and ColEN2m of the 2m-1th column and the 2mth column, respectively. Details of the control contents will be described later.
  • detection signals DET+ and DET ⁇ of each column are output to the signal processing unit 212 via the AD conversion unit 530.
  • a single-slope ADC including the comparator 233 and the counter 234 is used as the ADC 232, but the configuration is not limited to this.
  • a delta-sigma type ADC can be used as the ADC 232.
  • FIG. 22 is a block diagram showing a schematic configuration example of the control circuit 540 according to the second embodiment. As shown in FIG. 22, the control circuit 540 further includes a demultiplexer 544 and a switching control unit 545 in addition to the same configuration as the control circuit 240 illustrated in FIG. 16.
  • the demultiplexer 544 distributes the output signal of the level shifter 242 to the multiplexer 531 and the comparator 233 according to the block control signal Crtl2.
  • the block control signal Crtl2 is a signal for invalidating at least one of the multiplexer 531 and the comparator 233 regardless of the presence or absence of an address event.
  • a binary number “10” is set to the block control signal Crtl2.
  • the output signal of the level shifter 242 is output to the comparator 233 as the comparator enable signal CompEN.
  • a binary number "01” is set to the block control signal Crtl2.
  • the output signal of the level shifter 242 is output to the multiplexer 531 as the multiplexer enable signal MuxEN.
  • both the multiplexer 531 and the comparator 233 are disabled, "00” is set, and otherwise "11” is set. When “11” is set, the output signal of the level shifter 242 is output to both the multiplexer 531 and the comparator 233.
  • the switching control unit 545 switches the pixel signal output from the multiplexer 531 based on the column enable signals ColEN2m-1 and ColEN2m. For example, when the enable is set to only one side, the switching control unit 545 causes the multiplexer 531 to select the pixel signal of the enabled column by the switching signal SW. When enable is set for both of the two columns, the switching control unit 545 causes the multiplexer 531 to select the pixel signal of one column by the switching signal SW, and then selects the pixel signal of the other column.
  • FIG. 23 is a diagram for explaining an example of the reading control at the time of reading the pixel signal according to the second embodiment. Note that, in the present embodiment as well, as in the first embodiment, pixel signals are read from all the pixel blocks 310 included in the row to which the pixel block 310 in which the firing of the address event is detected belongs, and therefore the pixel signals shown in FIG.
  • the control is a control executed when the firing of the address event is detected in at least one pixel block 310 included in the rows to which the pixel blocks 310 in the 2m ⁇ 1th column and the 2mth column belong.
  • the control circuit 540 when the firing of the address event is detected in at least one of the 2m ⁇ 1-column pixel block 310 and the 2m-column pixel block 310, the control circuit 540 outputs, for example, The multiplexer block 531 first selects the pixel block 310 of the 2m ⁇ 1th column, and then the multiplexer 531 selects the pixel block 310 of the 2mth column. At that time, the control circuit 540 enables the ADC 232 over the AD conversion periods of the 2m ⁇ 1th column and the 2mth column.
  • control circuit 540 sets the ADC 232 to be disabled when both the 2m ⁇ 1th column and the 2mth column are disabled.
  • FIG. 24 is a plan view showing a layout example of a part of the pixel array section and the column ADC according to the first example of the third embodiment. As shown in FIG. 24, in the pixel array section 300 according to the first example, two ADCs 232 are associated with one column.
  • the pixel blocks 310 in a row are connected to the other AD conversion section 230 via different signal lines 306 to 309.
  • FIG. 25 is a plan view showing a layout example of a part of the pixel array section and the column ADC according to the second example of the third embodiment. As shown in FIG. 25, in the second example, two ADCs 232 are arranged to sandwich the pixel array section 300 in the same configuration as the first example.
  • the circuit scale per column ADC 220 can be reduced.
  • FIG. 26 is a plan view showing a layout example of part of the pixel array section and the column ADC according to the third example of the third embodiment.
  • the number of columns is 4M
  • 4m columns and 4m ⁇ 2 columns are connected to the column ADC 220 arranged above the pixel array section 300, and 4m ⁇ 1 columns and 4m ⁇ 1 columns are connected.
  • the 4m-3 row is connected to the column ADC 220 arranged on the lower side.
  • each AD conversion unit 230 is arranged for every K columns for a total of 2M columns connected.
  • K is “2”
  • M AD conversion units 530 are arranged.
  • the configuration of each AD conversion unit 530 according to the third example may be the same as that of the AD conversion unit 530 according to the second embodiment.
  • an AD conversion unit 530 is arranged every two columns in the upper column ADC 220.
  • one AD conversion unit 530 is shared by a plurality of columns, and the column ADC 220 is divided into two and arranged at positions sandwiching the pixel array unit 300. It is possible to reduce the circuit scale of the entire column ADC 220 and reduce the circuit scale of each column ADC 220.
  • the configuration of the imaging device according to the present embodiment may be the same as that of the imaging device 100 illustrated in the first embodiment, for example.
  • the solid-state imaging device 200 is replaced with a solid-state imaging device 600 described later.
  • FIG. 27 is a block diagram showing a schematic configuration example of the solid-state imaging device according to the fourth embodiment.
  • the solid-state imaging device 600 has a configuration similar to that of the solid-state imaging device 200 illustrated in FIG. 3, except that the drive circuit 211 is omitted and the Y arbiter 213 is replaced with a Y arbiter 601. ..
  • the Y arbiter 601 has the same function as the Y arbiter 213 in the first embodiment, as well as the function of the drive circuit 211 in the first embodiment. Therefore, when the Y-arbiter 601 detects the firing of an address event in one or more pixel blocks 310 in the pixel array unit 300, the Y arbiter 601 arbitrates the read order for the row to which each pixel block 310 in which the firing of the address event is detected belongs. Then, each row is driven in accordance with the arbitrated read order. As a result, pixel signals are read in column parallel from each row to which the pixel block 310 in which the firing of the address event is detected belongs.
  • FIG. 28 is a block diagram showing a schematic configuration example of the Y arbiter according to the fourth embodiment.
  • the Y arbiter 601 includes an event processing unit 620 and a gradation pixel control unit 610.
  • the event processing unit 620 When receiving the request ReqY from a plurality of pixel blocks 310 belonging to different rows, the event processing unit 620 arbitrates the reading order for the rows and returns a response AckY according to the arbitration result to all the pixel blocks 310 belonging to the row. .. On the other hand, each pixel block 310 that has received the response AckY transmits a detection signal to the column ADC 220.
  • the event processing unit 620 also inputs the arbitrated read order to the gradation pixel control unit 610.
  • the gradation pixel control unit 610 drives the rows according to the input read order. As a result, in all the pixel blocks 310 included in the driven row, a pixel signal having a voltage value corresponding to the amount of light incident on the photoelectric conversion element 321 appears on the vertical signal line 308.
  • the column ADC 220 reads the pixel signals appearing on each vertical signal line 308 in parallel in a column to collectively read the pixel signals for one row.
  • FIG. 29 is a block diagram showing a schematic configuration example of the event processing unit according to the fourth embodiment.
  • the event processing unit 620 includes an address specifying unit 621, a latch circuit 622, and a driver 623.
  • the latch circuit 622 is provided for each row and temporarily holds the request ReqY input from the pixel block 310. Then, the latch circuit 622 inputs the held request ReqY to the address specifying unit 621 in synchronization with the input clock CLK.
  • the address identifying unit 621 identifies the Y address of the row to which the pixel block 310 that is the transmission source of the request ReqY belongs, based on the input request ReqY, and sends the response AckY to the driver 623 corresponding to the identified Y address. Output.
  • the driver 623 to which the response AckY is input inputs the input response AckY to all the pixel blocks 310 included in the row corresponding to the Y address.
  • FIG. 30 is a block diagram illustrating a schematic configuration example of the gray scale pixel control unit according to the fourth embodiment.
  • the gradation pixel control unit 610 includes an address generation unit 611 and a driver 612.
  • the address generation unit 611 specifies the Y address of the pixel block 310 that is the transmission source of the detection signal, and inputs the specified Y address to the driver 612 in synchronization with the clock CLK.
  • the driver 612 appropriately inputs the reset signal RST, the transfer signal TRG, and the selection signal SEL to all the pixel blocks 310 included in the row of the Y address input from the address generation unit 611, and thus the pixels of the row Drive all blocks 310.
  • the drive circuit 211 can be omitted, so that the circuit scale of the solid-state imaging device 600 can be reduced and downsized. Become.
  • the configurations of the imaging device and the solid-state imaging device according to the present embodiment may be the same as, for example, the imaging device 100 and the solid-state imaging device 200, 200A, or 600 illustrated in the above-described embodiments.
  • the base embodiment is not limited to the fourth embodiment, and other embodiments can be used.
  • the solid-state imaging device 200 performs an address event detection operation of asynchronously detecting the firing of an address event, and a cycle of periodically acquiring gradation image data from the pixel block 310. Read operation is performed.
  • FIG. 31 is a flowchart showing an example of the event detection operation according to the fifth embodiment. This operation is started, for example, when an application for detecting and imaging an address event is executed.
  • the solid-state imaging device 200 starts detecting whether or not an address event is fired (step S701), and determines whether or not an address event has occurred (step S702).
  • the event pixel 330 is used to detect the firing of the address event.
  • the operation proceeds to step S704.
  • step S703 when the firing of the address event is detected (YES in step S702), the event encoder 250 outputs the event detection data for the pixel block 310 in which the firing of the address event is detected (step S703), and then The operation proceeds to step S704.
  • the event detection data read in step S703 is stored in the recording unit 120 or transmitted to the host 150 via the external I/F 140.
  • step S704 the solid-state imaging device 200 determines whether or not to end this operation, and if it ends (YES in step S704), this operation is ended. On the other hand, when the process is not completed (NO in step S704), the process returns to step S701 and the subsequent operations are executed.
  • FIG. 32 is a flowchart showing an example of the periodic read operation according to the fifth embodiment. Similar to the event detection operation, this operation is started, for example, when an application for detecting and imaging an address event is executed.
  • the solid-state imaging device 200 starts measuring elapsed time (step S721) and waits until a predetermined time has elapsed (NO in step S722). After that, when a predetermined time has elapsed (YES in step S722), the solid-state imaging device 200 causes the gradation pixel control unit 610 of the Y arbiter 601 to execute the reading of pixel signals from all the pixel blocks 310 (step S723), and Proceed to S724.
  • the pixel signal read in step S723 is stored in the recording unit 120 as gradation image data or is transmitted to the host 150 via the external I/F 140.
  • step S724 the solid-state imaging device 200 determines whether or not to end this operation, and if it ends (YES in step S724), this operation is ended. On the other hand, if not completed (NO in step S724), the counter or the like that measures the elapsed time is reset (step S725), and then the process returns to step S722 to execute the subsequent operations.
  • the gradation image data read by the periodic read operation is sequentially updated using the event detection data output by the event detection operation (gradation image data update operation).
  • This gradation image data updating operation may be executed by, for example, the signal processing unit 212 in the solid-state imaging device 200, or may be executed by the external control unit 130, the host 150, or the like.
  • FIG. 33 is a flowchart showing an example of the gradation image data updating operation according to the fifth embodiment. In this description, an example will be given in which the host 150 executes the gradation image data updating operation.
  • step S301 when the host 150 receives the gradation image data from the solid-state imaging device 200 (step S301), the host 150 stores the input gradation image data in a predetermined memory (step S302).
  • step S303 the host 150 determines whether or not the event detection data is input from the solid-state imaging device 200 within a predetermined time (step S303), and if not input (NO in step S303), the process proceeds to step S308.
  • step S303 when the event detection data is input (YES in step S303), the host 150 accumulates the input event detection data in a predetermined memory (step S304).
  • the host 150 determines whether the input event detection data indicates an on event or an off event (step S305), and if the input event detection data indicates an on event (YES in step S305), the event detection data
  • the gradation value of the pixel is increased by adding a predetermined value to the gradation value (also referred to as a pixel value) of the pixel specified by the X address and the Y address included in step S306, and the process proceeds to step S308. move on.
  • step S305 the host 150 determines the pixel specified by the X address and the Y address included in the event detection data. By subtracting a predetermined value from the gradation value (also referred to as a pixel value) of (3), the gradation value of the pixel is reduced (step S307), and the process proceeds to step S308.
  • step S308 it is determined whether or not a predetermined time has elapsed since the input of the previous gradation image data. If the predetermined time has not elapsed (NO in step S308), the host 150 returns to step S303. , Execute the following operations. On the other hand, if the predetermined time has elapsed (YES in step S308), the host 150 determines whether or not to end this operation (step S309), and if it ends (YES in step S309), this operation is performed. finish. On the other hand, if not completed (NO in step S309), the host 150 returns to step S301, inputs the next gradation image data, and executes the subsequent operations.
  • the predetermined time may be the acquisition cycle of the gradation image data in the solid-state imaging device 200, that is, the frame rate.
  • FIG. 34 is a timing chart showing an operation example of the solid-state imaging device according to the fifth embodiment. Note that FIG. 34 shows an operation example of the pixel block 310 in a certain column. In addition, FIG. 35 is a timing chart for explaining the update of the gradation value focusing on the pixel block on the second row in FIG. 34.
  • the reset operation and the pixels for the gradation pixels 320 are sequentially performed in order from the pixel block 310 in the first row in synchronization with the frame synchronization signal XVS input in a predetermined cycle T1.
  • a signal read operation is executed.
  • the presence or absence of the firing of an address event using the event pixel 330 is detected asynchronously.
  • the gradation value by the pixel signal read from the gradation pixel 320 at the timing t1 is the next timing t2.
  • the detected address event is an on event each time an address event is detected by the event pixel 330 until the pixel signal is read from the grayscale pixel 320 at, that is, during the period from timing t1 to t2.
  • the value is increased or decreased by a predetermined value depending on whether it is an off event.
  • the gradation value by the pixel signal read from the gradation pixel 320 at the timing t2 is the address event at the event pixel 330 during the period from the timing t2 to t3.
  • Each time is detected, it is increased or decreased by a predetermined value depending on whether the detected address event is an on event or an off event.
  • the pixel signals are periodically read from all or some of the pixel blocks 310 regardless of the firing of the address event, and the grayscale image data read by this is read.
  • the case where the event detection data is updated is illustrated.
  • the gradation value due to the pixel signal read from the gradation pixel 320 has not changed.
  • the pixels from the grayscale pixel 320 are selected.
  • the case where no signal is read will be described with an example.
  • the configurations of the imaging device and the solid-state imaging device according to the present embodiment are similar to those of the fifth embodiment, for example, the imaging device 100 and the solid-state imaging device 200, 200A, or 600 illustrated in the above-described embodiments. Good.
  • the event processing unit 620 illustrated in FIG. 29 is replaced with the event processing unit 720 described later. Note that, in the following description, the case where the fourth embodiment is used as a base is illustrated, but the base embodiment is not limited to the fourth embodiment, and other embodiments are possible.
  • FIG. 36 is a block diagram showing a schematic configuration example of the event processing unit according to the sixth embodiment.
  • the event processing unit 720 further includes an address storage unit 721 in addition to the same configuration as the event processing unit 620 illustrated in FIG.
  • the address specifying unit 621 specifies the X address and the Y address of the pixel block 310 that is the transmission source of the request ReqY based on the input request ReqY, and corresponds to the specified X address and Y address.
  • the response AckY is output to the driver 623 that operates.
  • the driver 623 to which the response AckY is input inputs the input response AckY to the pixel block 310 specified by the X address and the Y address.
  • the address storage unit 721 also temporarily holds the X address and the Y address (address information) specified by the address specifying unit 621. After that, the address storage unit 721 inputs the held X address and Y address to the address generation unit 611 of the gradation pixel control unit 610 in synchronization with the frame synchronization signal XVS.
  • the address generation unit 611 of the gradation pixel control unit 610 inputs the X address and Y address input from the address storage unit 721 to the driver 612 in synchronization with the clock CLS. Then, the driver 612 appropriately inputs the reset signal RST, the transfer signal TRG, and the selection signal SEL to the pixel block 310 specified by the X address and the Y address input from the address generation unit 611, and thereby the pixel concerned. Drive block 310.
  • FIG. 37 is a timing chart showing an example of operation of the solid-state imaging device according to the sixth embodiment. Note that, similar to FIG. 34, FIG. 37 illustrates an operation example of the pixel block 310 in a certain column.
  • the operation of resetting the gradation pixel 320 is performed in the period of the next cycle T1.
  • the pixel signal read operation is not executed.
  • the firing of the address event is detected once or more during the period from timing t10 to t11, so that in the next cycle (timing t12 to t13), the second row
  • the reset operation and the read operation for the grayscale pixels 320 of the pixel block 310 are being executed.
  • the configurations of the imaging device and the solid-state imaging device according to the present embodiment are similar to those of the fifth embodiment, for example, the imaging device 100 and the solid-state imaging device 200, 200A, or 600 illustrated in the above-described embodiments. Good. However, in the present embodiment, the pixel block 310 illustrated in FIG. 4 is replaced with a pixel block 810 described later. Note that, in the following description, the case where the fourth embodiment is used as a base is illustrated, but the base embodiment is not limited to the fourth embodiment, and other embodiments are possible.
  • FIG. 38 is a block diagram showing a schematic configuration example of a pixel block according to the seventh embodiment.
  • the gradation pixel 320 further includes a memory 801.
  • the memory 801 is a charge storage unit that temporarily holds the charges generated in the photoelectric conversion element 321, and may be configured using, for example, a capacitive element formed on the same semiconductor substrate as the photoelectric conversion element 321.
  • Electric charges generated in the photoelectric conversion element 321 according to the amount of incident light are temporarily transferred to and retained in the memory 801. After that, the charge held in the memory 801 is transferred to the floating diffusion layer 323 by the read operation for the gradation pixel 320, and thereafter, the same operation as the normal read operation is executed.
  • FIG. 39 is a timing chart showing an example of the pixel signal read operation according to the seventh embodiment. Note that FIG. 39 shows an operation example of the pixel block 810 in a certain column.
  • charges are transferred from the photoelectric conversion element 321 in the gradation pixel 320 of each pixel block 810 to the memory 801 in synchronization with the frame synchronization signal XVS. After that, for example, the pixel signal reading operation is sequentially performed from the pixel block 810 in the first row to the pixel block 810 in the last row.
  • event detection operation may be the same as in the above-described embodiment.
  • the charge generated in the photoelectric conversion element 321 of the grayscale pixel 320 is temporarily held in the memory 801 so that the shutter operation (reset operation) of all the pixel blocks 810 is performed. It is possible to realize a so-called global shutter operation in which (equivalent) is simultaneously executed.
  • the gradation pixel 320 Due to the progress of process technology in recent years, the gradation pixel 320 is becoming finer. Therefore, in the case where the gradation pixel 320 and the event pixel 330 are combined as in the above-described embodiment, the gradation pixel 320 and the address event detection circuit for detecting the presence or absence of the firing of the address event from the event pixel 330. The difference in pitch (or size) from 400 becomes large.
  • the same area as the address event detection circuit 400 is provided in the area on the light receiving chip 201 having the same size as the area of one address event detection circuit 400.
  • Gradation pixels 320 and event pixels 330 belonging to the pixel block 310 may be arranged.
  • gradation pixel 320 it is conceivable to add the gradation pixel 320 to the surplus area on the light receiving chip 201 caused by the size difference between the gradation pixel 320 and the address event detection circuit 400. In that case, a plurality of gradation pixels 320 belong to one pixel block 310.
  • a structured light method For example, in a distance measurement method using a structured light (hereinafter referred to as a structured light method), it is necessary to improve the positional accuracy of each dot by making the event pixel 330 fine to obtain the center of gravity of the dot. There is.
  • the dots of the structured light to be irradiated include on/off codes in the time direction, that is, each dot is blinked in a different pattern, so that the structured pattern is generated from the address event generation pattern in the event pixel 330. It is possible to specify which dot in the light, and it is possible to greatly simplify the signal processing in distance measurement.
  • a plurality of event pixels 330 are scattered and arranged in one pixel block, and the sum of the currents thereof is received by one address event detection circuit 400, whereby the sensitivity to the firing of the address event is improved.
  • the configuration of the pixel block that enables the center of gravity of the dots of the structured light to be acquired accurately without dropping will be described with an example.
  • FIG. 41 is a schematic diagram showing a schematic configuration example of a pixel block according to the eighth embodiment.
  • the white squares in the light receiving chip 201 indicate the gradation pixels 320
  • the hatched squares indicate the event pixels 330.
  • the pixel block 910 includes one address event detection circuit 400, four event pixels 330, and 32 gradation pixels 320.
  • a total of 36 pixels including event pixels 330 and gradation pixels 320 are arranged in a 6 ⁇ 6 matrix.
  • the 6 ⁇ 6 matrix pixel array 911 is The area is a 6 ⁇ m square area.
  • the size of the address event detection circuit 400 in the detection chip 202 may be a rectangular area of 6 ⁇ m square.
  • the event pixels 330 are scattered at equal intervals (for example, every two pixels are arranged in the vertical direction and the horizontal direction). As described above, by scattering the event pixels 330 at equal intervals, it is possible to accurately obtain the barycenter of the dots of the structured light.
  • the four event pixels 330 of the same pixel block 910 are connected to the same address event detection circuit 400.
  • the address event detection circuit 400 receives the sum of currents from a plurality (four in this example) of the event pixels 330, so that the center of gravity of the dots of the structured light can be accurately measured without lowering the sensitivity to the firing of the address event. It becomes possible to ask well.
  • the size of the light receiving area of the event pixel 330 included in one pixel block 1010 may be increased.
  • the size of the light receiving area of one event pixel 330 may be the same as the size of the light receiving area of 2 ⁇ 2 gradation pixels 320. .. In that case, the event pixels 330 are arranged using the 2 ⁇ 2 pixel area in the 6 ⁇ 6 pixel array 1011.
  • the size of the light receiving area of each event pixel 330 may be increased as illustrated in FIG.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 43 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, a voice image output unit 12052, and an in-vehicle network I/F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 12020 receives these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or can output the information as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of tiredness or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether or not the driver is asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including avoidance or impact mitigation of vehicle, follow-up traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, thereby It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to a passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 44 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the image pickup unit 12031 includes image pickup units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the image capturing unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 44 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown. For example, by overlaying the image data captured by the image capturing units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). By determining, the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as the preceding vehicle. it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 uses the distance information obtained from the image capturing units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for collision avoidance by outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize the pedestrian by determining whether or not the pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera and a pattern matching process on a series of feature points indicating the contour of an object are performed to determine whether the pedestrian is a pedestrian. It is performed by the procedure of determining.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display.
  • the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the imaging device 100 of FIG. 1 can be applied to the imaging unit 12031.
  • the power consumption of the image capturing unit 12031 can be reduced, and thus the power consumption of the entire vehicle control system can be reduced.
  • the processing procedure described in the above-described embodiment may be regarded as a method having these series of procedures, or as a program for causing a computer to execute the series of procedures or a recording medium storing the program. May be.
  • this recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • a pixel array section including a plurality of pixel blocks arranged in a matrix;
  • a detection unit that detects the firing of the address event based on the charge generated in the first photoelectric conversion element;
  • a second photoelectric conversion element that generates an electric charge according to the amount of incident light;
  • a solid-state imaging device comprising: (2) The solid-state imaging device according to (1), wherein the drive circuit causes each of the plurality of second pixel blocks included in the row to which the first pixel block belongs to generate a pixel signal.
  • the solid-state imaging device further including a conversion unit that reads in parallel the pixel signals generated by each of the plurality of second pixel blocks.
  • a conversion unit that reads in parallel the pixel signals generated by each of the plurality of second pixel blocks.
  • the read order for each of the rows to which the one or more first pixel blocks belong is determined.
  • the solid-state imaging device according to (2) or (3), further including an arbitration unit for determining.
  • the first pixel block outputs, to the arbitration unit, a request for arbitrating the read order for the row to which the first pixel block belongs
  • the arbitration unit is provided in a one-to-one relationship with each row, and includes a plurality of latch circuits for temporarily holding the requests input from the corresponding rows, Each of the latch circuits inputs the held request to the arbitration unit in synchronization with a clock input from the outside,
  • the solid-state imaging device according to (4) or (5), wherein the arbitration unit determines the reading order based on the request input via the latch circuit.
  • the drive circuit causes at least one third pixel block of the plurality of pixel blocks to generate the pixel signal at a predetermined cycle.
  • the arbitration unit includes an address storage unit that stores address information that identifies a position in the pixel array unit of the first pixel block that has detected the address event within a predetermined period, The drive circuit generates the pixel signal at the predetermined cycle by using the first pixel block specified by the address information stored in the address storage unit as the third pixel block.
  • Each of the pixel blocks further includes a memory that temporarily holds charges generated in the second photoelectric conversion element, When the first pixel block detects the firing of the address event, the drive circuit sends a pixel signal to the first pixel block based on the electric charge held in the memory of the first pixel block. Generate the solid-state imaging device according to (1).
  • the arbitration unit includes an address storage unit that stores address information that identifies a position in the pixel array unit of the first pixel block that has detected the address event within a predetermined period,
  • the solid-state imaging device according to (10), wherein the drive circuit causes the first pixel block identified by the address information stored in the address storage unit to generate a pixel signal at a predetermined cycle.
  • Each of the pixel blocks includes a plurality of the first photoelectric conversion elements, The solid-state imaging device according to any one of (1) to (11), wherein the plurality of first photoelectric conversion elements are connected to the detection unit. (13) Each of the pixel blocks further includes a plurality of the second photoelectric conversion elements, The plurality of first photoelectric conversion elements and the plurality of second photoelectric conversion elements form a matrix array, The solid-state imaging device according to (12), wherein the plurality of first photoelectric conversion elements are scattered at equal intervals in the matrix arrangement. (14) The solid-state imaging device according to any one of (1) to (13), wherein the size of the light receiving area of the first photoelectric conversion element is larger than the size of the light receiving area of the second photoelectric conversion element.
  • a solid-state imaging device An optical system for forming an image of incident light on the light receiving surface of the solid-state imaging device, A recording unit that stores image data acquired by the solid-state imaging device, Equipped with The solid-state imaging device, A pixel array section including a plurality of pixel blocks arranged in a matrix; A driving circuit for generating a pixel signal in a first pixel block in which the firing of an address event is detected among the plurality of pixel blocks; Equipped with Each of the pixel blocks is A first photoelectric conversion element that generates an electric charge according to the amount of incident light; A detection unit that detects the firing of the address event based on the charge generated in the first photoelectric conversion element; A second photoelectric conversion element that generates an electric charge according to the amount of incident light; A pixel circuit for generating a pixel signal based on charges generated in the second photoelectric conversion element; An imaging device including.
  • Imaging Device 110 Optical System 120 Recording Unit 130 Control Unit 140 External I/F 150 Host 200, 200A, 600 Solid-state imaging device 201 Light receiving chip 202 Detection chip 211 Drive circuit 212 Signal processing unit 213, 601 Y arbiter 220 Column ADC 230, 530 AD conversion section 233 Comparator 234 Counter 240, 540 Control circuit 241 OR gate 242 Level shifter 243 AND gate 250 Event encoder 300 Pixel array section 306, 307 Detection signal line 308 Vertical signal line 309 Enable signal line 310, 310A, 810 , 910, 1010 Pixel block 320 Gray scale pixel 321, 331, 341 Photoelectric conversion element 322 Transfer transistor 323 Floating diffusion layer 324 Reset transistor 325 Amplification transistor 326 Select transistor 330 Event pixel 332 OFG transistor 400 Address event detection circuit 400A Address event detection unit 410, 410A Current-voltage converter 411, 414 LG transistor 412 Load MOS transistor 413, 415 Amplification transistor 420 Buffer 430 Sub

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

イベント検出と階調取得との時間的なずれを低減する。実施形態に係る固体撮像装置は、行列状に配列する複数の画素ブロック（３１０）を備える画素アレイ部（３００）と、前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路（２１１）とを備え、前記画素ブロックそれぞれは、入射光量に応じた電荷を発生させる第１光電変換素子（３３１）と、前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部（４００）と、入射光量に応じた電荷を発生させる第２光電変換素子（３２１）と、前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路（３２２、３２３、３２４、３２５、３２６）とを備える。

Description

固体撮像装置及び撮像装置
　本開示は、固体撮像装置及び撮像装置に関する。
　従来より、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像装置が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像装置では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、受光量が閾値を超えたことをアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像装置が提案されている。画素毎にアドレスイベントを検出する非同期型の固体撮像装置は、ＤＶＳ（Dynamic　Vision　Sensor）とも称される。
　また、近年では、アドレスイベントの検出と合せて階調画像を取得するＤＶＳも開発されてきている。
特表２０１７－５３５９９９号公報
　アドレスイベントの検出と合せて階調画像を取得するＤＶＳとしては、画素毎ではなく画素ブロック毎に検出回路を配置し、画素ブロック単位でイベントを検出しつつ、１画素単位で階調取得を行う方法が提案されている。しかしながら、このような方法では、同一の画素を用いてイベント検出と階調取得との両方を時分割で行なう必要があるため、変化が高速なシーン等では、イベント検出と階調取得との時間的なずれから、撮影したい被写体の階調画像を取得することができないという可能性が存在する。
　そこで本開示では、イベント検出と階調取得との時間的なずれを低減することが可能な固体撮像装置及び撮像装置を提案する。
　上記の課題を解決するために、本開示に係る一形態の固体撮像装置は、行列状に配列する複数の画素ブロックを備える画素アレイ部と、前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路とを備え、前記画素ブロックそれぞれは、入射光量に応じた電荷を発生させる第１光電変換素子と、前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、入射光量に応じた電荷を発生させる第２光電変換素子と、前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路とを備える。
第１の実施形態に係る撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係る固体撮像装置の積層構造例を示す図である。 第１の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係る画素ブロックの概略構成例を示すブロック図である。 図４に示す画素ブロックを図３に示す積層チップにあてはめた場合の積層構成例を示す図である。 第１の実施形態に係る画素アレイ部における画素ブロックの平面レイアウト例を示す平面図である。 第１の実施形態に係る階調画素の回路構成例を示す回路図である。 第１の実施形態に係るイベント画素の回路構成例を示す回路図である。 第１の実施形態に係るアドレスイベント検出回路の概略構成例を示すブロック図である。 第１の実施形態に係る電流電圧変換部の概略構成例を示す回路図である。 第１の実施形態に係る電流電圧変換部の他の概略構成例を示す回路図である。 第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。 第１の実施形態に係る転送部の概略構成例を示す回路図である。 第１の実施形態に係るカラムＡＤＣの概略構成例を示すブロック図である。 第１の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。 第１の実施形態に係る制御回路の概略構成例を示すブロック図である。 第１の実施形態に係る固体撮像装置の概略動作例を示すフローチャートである。 第１の実施形態の第１変形例に係る画素ブロックの回路構成例を示す回路図である。 第１の実施形態の第２変形例に係る固体撮像装置の概略構成例を示すブロック図である。 第１の実施形態の第２変形例に係る画素ブロックの概略構成例を示すブロック図である。 第２の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。 第２の実施形態係る制御回路の概略構成例を示すブロック図である。 第２の実施形態に係る画素信号読出し時の読出し制御の一例を説明するための図である。 第３の実施形態の第１例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。 第３の実施形態の第２例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。 第３の実施形態の第３例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。 第４の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。 第４の実施形態に係るＹアービタの概略構成例を示すブロック図である。 第４の実施形態に係るイベント処理部の概略構成例を示すブロック図である。 第４の実施形態に係る階調画素制御部の概略構成例を示すブロック図である。 第５の実施形態に係るイベント検出動作の一例を示すフローチャートである。 第５の実施形態に係る周期的読出し動作の一例を示すフローチャートである。 第５の実施形態に係る階調画像データ更新動作の一例を示すフローチャートである。 第５の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。 図３４における２行目の画素ブロックに着目した階調値の更新を説明するためのタイミングチャートである。 第６の実施形態に係るイベント処理部の概略構成例を示すブロック図である。 第６の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。 第７の実施形態に係る画素ブロックの概略構成例を示すブロック図である。 第７の実施形態に係る画素信号読出し動作の一例を示すタイミングチャートである。 第７の実施形態の変形例に係る画素信号読出し動作の一例を示すタイミングチャートである。 第８の実施形態に係る画素ブロックの概略構成例を示す模式図である。 第８の実施形態の変形例に係る画素ブロックの概略構成例を示す模式図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　撮像装置の構成例
　　　１．２　固体撮像装置の積層構成例
　　　１．３　固体撮像装置の概略構成例
　　　１．４　画素ブロックの構成例
　　　　１．４．１　画素ブロックの積層構成例
　　　　１．４．２　画素アレイ部における画素ブロックの平面レイアウト例
　　　　１．４．３　階調画素の回路構成例
　　　　１．４．４　イベント画素の回路構成例
　　　　１．４．５　アドレスイベント検出回路の機能例
　　　　１．４．６　アドレスイベント検出回路の構成例
　　　　　１．４．６．１　電流電圧変換部の構成例
　　　　　　１．４．６．１．１　電流電圧変換部の変形例
　　　　１．４．７　減算器及び量子化器の構成例
　　　　１．４．８　転送部の構成例
　　　　１．４．９　カラムＡＤＣの構成例
　　　　　１．４．９．１　ＡＤ変換部の構成例
　　　　　１．４．９．２　制御回路の構成例
　　　１．５　固体撮像装置の動作例
　　　１．６　作用・効果
　　　１．７　第１変形例
　　　１．８　第２変形例
　　２．第２の実施形態
　　　２．１　ＡＤ変換部の構成例
　　　２．２　制御回路の構成例
　　　２．３　画素信号読出し時の切替制御例
　　　２．４　作用・効果
　　３．第３の実施形態
　　　３．１　第１例
　　　３．２　第２例
　　　３．３　第３例
　　４．第４の実施形態
　　　４．１　固体撮像装置の概略構成例
　　　４．２　Ｙアービタの概略構成例
　　　４．３　イベント処理部の概略構成例
　　　４．４　階調画素制御部の概略構成例
　　　４．５　作用・効果
　　５．第５の実施形態
　　　５．１　固体撮像装置の動作例
　　　　５．１．１　イベント検出動作例
　　　　５．１．２　周期的読出し動作例
　　　５．２　階調画像データ更新動作例
　　　　５．２．１　フローチャート
　　　　５．２．２　タイミングチャート
　　　５．３　作用・効果
　　６．第６の実施形態
　　　６．１　イベント処理部の概略構成例
　　　６．２　階調画像データ更新動作例
　　　６．３　作用・効果
　　７．第７の実施形態
　　　７．１　画素ブロックの構成例
　　　７．２　画素信号読出し動作例
　　　７．３　作用・効果
　　　７．４　変形例
　　８．第８の実施形態
　　　８．１　変形例
　　９．移動体への応用例
　１．第１の実施形態
　まず、第１の実施形態について、図面を参照して詳細に説明する。
　１．１　撮像装置の構成例
　図１は、第１の実施形態に係る撮像装置の概略構成例を示すブロック図である。図１に示すように、撮像装置１００は、光学系１１０と、固体撮像装置２００と、記録部１２０と、制御部１３０と、外部インタフェース（Ｉ／Ｆ）１４０とを備える。撮像装置１００としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
　光学系１１０は、例えば、レンズ等を含み、入射光の像を固体撮像装置２００の受光面に結像させる。
　固体撮像装置２００は、アドレスイベントの発火の有無を検出しつつ、入射光を光電変換して画像データを撮像する。アドレスイベントの発火の有無を示す検出結果（以下、イベント検出データという）と、入射光量に応じた輝度値の画像データ（以下、階調画像データという）とは、例えば、記録部１２０に入力されてもよいし、外部Ｉ／Ｆ１４０を介して外部のホスト１５０等へ出力されてもよい。
　外部Ｉ／Ｆ１４０は、例えば、無線ＬＡＮ（Local　Area　Network）や有線ＬＡＮの他、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークを介して外部のホスト１５０と通信を確立するための通信アダプタであってよい。
　ここで、ホスト１５０は、例えば、撮像装置１００が自動車等に実装される場合には、自動車等に搭載されているＥＣＵ（Engine　Control　Unit）などであってよい。また、撮像装置１００が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、ホスト１５０は、その自律移動体を制御する制御装置等であってよい。その他、ホスト１５０は、例えば、パーソナルコンピュータなどの情報処理装置であってもよい。
　記録部１２０は、例えば、フラッシュメモリなどの不揮発性メモリ等で構成され、固体撮像装置２００から入力されたイベント検出データ及び階調画像データやその他各種データを記録する。
　制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）などの情報処理装置で構成され、固体撮像装置２００を制御してイベント検出データ及び階調画像データを取得させる。
　１．２　固体撮像装置の積層構成例
　図２は、第１の実施形態に係る固体撮像装置の積層構造例を示す図である。図２に示すように、固体撮像装置２００は、受光チップ２０１と検出チップ２０２とが上下に積層された積層チップの構造を備える。受光チップ２０１と検出チップ２０２との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅（Ｃｕ）製の電極パッド同士をボンディングする、いわゆるＣｕ－Ｃｕ接合や、その他、バンプ接合などを用いることも可能である。
　また、受光チップ２０１と検出チップ２０２とは、例えば、半導体基板を貫通するＴＳＶ（Through-Silicon　Via）などの接続部を介して電気的に接続される。ＴＳＶを用いた接続には、例えば、受光チップ２０１に設けられたＴＳＶと受光チップ２０１から検出チップ２０２にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインＴＳＶ方式や、受光チップ２０１から検出チップ２０２まで貫通するＴＳＶで両者を接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。
　ただし、受光チップ２０１と検出チップ２０２との接合にＣｕ－Ｃｕ接合やバンプ接合を用いた場合には、Ｃｕ－Ｃｕ接合部やバンプ接合部を介して両者が電気的に接続される。
　１．３　固体撮像装置の概略構成例
　図３は、第１の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。図３に示すように、固体撮像装置２００は、駆動回路２１１と、信号処理部２１２と、Ｙアービタ（調停部）２１３と、カラムＡＤＣ（変換部）２２０と、イベントエンコーダ２５０と、画素アレイ部３００とを備える。
　画素アレイ部３００は、複数の画素ブロック３１０が二次元格子状（行列状ともいう）に配列された構成を備える。以下、水平方向に配列された画素ブロックの集合を「行」と称し、行に垂直な方向に配列された画素ブロックの集合を「列」と称する。画素アレイ部３００における各画素ブロック３１０の行方向の位置は、Ｘアドレスによって特定され、列方向の位置はＹアドレスによって特定される。
　各画素ブロック３１０は、入射光を光電変換することで、その入射光量に応じた電圧値のアナログの画素信号を生成する。また、画素ブロック３１０は、入射光量の変化量が所定の閾値を超えたか否かに基づいて、アドレスイベントの発火の有無を検出する。
　アドレスイベントの発火を検出した画素ブロック３１０は、リクエストをＹアービタ２１３に出力する。また、画素ブロック３１０は、リクエストに対する応答をＹアービタから受け取ると、アドレスイベントの検出結果を示す検出信号を駆動回路２１１及びカラムＡＤＣ２２０に送信する。
　Ｙアービタ２１３は、画素ブロック３１０からリクエストを調停することで、リクエストの送信元である画素ブロック３１０がそれぞれ属する行に対する読出し順序を決定し、決定した読出し順序に基づいて、リクエストの送信元である画素ブロック３１０がそれぞれ属する行に含まれる全ての画素ブロック３１０に対して、応答を返す。なお、以下の説明では、リクエストを調停して読出し順序を決定することを、「読出し順序を調停する」という。
　駆動回路２１１は、検出信号を出力した画素ブロック３１０それぞれを駆動することで、画素ブロック３１０それぞれが接続された垂直信号線３０８に光電変換素子３２１への入射光量に応じた電圧値の画素信号を出現させる。
　カラムＡＤＣ２２０は、行ごとに、各列の垂直信号線３０８に出現したアナログの画素信号をデジタルの画素信号に変換することで、画素信号をカラム並列に読み出す。そして、カラムＡＤＣ２２０は、読み出したデジタルの画素信号を信号処理部２１２に供給する。
　信号処理部２１２は、カラムＡＤＣ２２０からの画素信号に対して、ＣＤＳ（Correlated　Double　Sampling）処理等の所定の信号処理を実行し、信号処理後の画素信号からなる階調画像データを外部へ出力する。
　イベントエンコーダ２５０は、画素アレイ部３００における行ごとに、いずれの画素ブロック３１０でオンイベントが発生したか、及び、いずれの画素ブロック３１０でオフイベントが発生したかを示すデータを生成する。例えば、イベントエンコーダ２５０は、ある画素ブロック３１０からリクエストを受信すると、この画素ブロック３１０でオンイベント又はオフイベントが発生したことと、当該画素ブロック３１０の画素アレイ部３００における位置を特定するＸアドレス及びＹアドレスとを含むイベント検出データを生成する。
　その際、イベントエンコーダ２５０は、オンイベント又はオフイベントの発火が検出された際の時間に関する情報（タイムスタンプ）も、イベント検出データに含める。そして、イベントエンコーダ２５０は、生成したイベント検出データを外部へ出力される。
　１．４　画素ブロックの構成例
　図４は、第１の実施形態に係る画素ブロックの概略構成例を示すブロック図である。図４に示すように、画素ブロック３１０は、階調情報である画素信号を生成するための階調画素３２０と、アドレスイベントの発火の有無を検出するためのイベント画素３３０と、イベント画素３３０からの光電流に基づいてアドレスイベントの発火の有無を検出するアドレスイベント検出回路（検出部）４００とを備える。
　１．４．１　画素ブロックの積層構成例
　図５は、図４に示す画素ブロックを図３に示す積層チップにあてはめた場合の積層構成例を示す図である。図５に示すように、画素ブロック３１０のうち、例えば、階調画素３２０及びイベント画素３３０は、受光チップ２０１に配置され、アドレスイベント検出回路４００は、検出チップ２０２に配置される。
　ただし、これに限定されず、例えば、階調画素３２０における回路構成の一部を検出チップ２０２へ配置するなど、種々変形することが可能である。
　１．４．２　画素アレイ部における画素ブロックの平面レイアウト例
　図６は、第１の実施形態に係る画素アレイ部における画素ブロックの平面レイアウト例を示す平面図である。図６に示すように、画素アレイ部３００は、行列状に配列した複数の画素ブロック３１０を備える。また、画素アレイ部３００には、検出信号線３０６及び３０７と、垂直信号線３０８と、イネーブル信号線３０９とが、列方向に沿って列ごとに配線される。画素ブロック３１０のそれぞれは、対応する列の検出信号線３０６及び３０７と、垂直信号線３０８と、イネーブル信号線３０９とに接続される。
　１．４．３　階調画素の回路構成例
　図７は、第１の実施形態に係る階調画素３２０の回路構成例を示す回路図である。図７に示すように、階調画素３２０は、光電変換素子３２１と、転送トランジスタ３２２と、浮遊拡散層３２３と、リセットトランジスタ３２４と、増幅トランジスタ３２５と、選択トランジスタ３２６とを備え、光電流に応じた電圧のアナログ信号を画素信号Ｖｓｉｇとして生成する。階調画素３２０における光電変換素子３２１以外の構成は、画素回路とも称される。転送トランジスタ、リセットトランジスタ３２４、増幅トランジスタ３２５及び選択トランジスタ３２６は、例えば、Ｎ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタであってよい。
　光電変換素子（第２光電変換素子）３２１は、例えば、フォトダイオードなどで構成され、入射光を光電変換して電荷を生成する。転送トランジスタ３２２は、駆動回路２１１からの転送信号ＴＲＧに従って、光電変換素子３２１から浮遊拡散層３２３へ電荷を転送する。
　浮遊拡散層３２３は、蓄積している電荷の量に応じた電圧を生成する電荷蓄積部である。リセットトランジスタ３２４は、駆動回路２１１からのリセット信号ＲＳＴに従って、浮遊拡散層３２３の電荷を放出（初期化）する。増幅トランジスタ３２５は、浮遊拡散層３２３の電圧を増幅する。選択トランジスタ３２６は、駆動回路２１１からの選択信号ＳＥＬに従って、増幅された電圧の信号を画素信号Ｖｓｉｇとして垂直信号線３０８に出現させる。垂直信号線３０８に出現した画素信号Ｖｓｉｇは、例えば、カラムＡＤＣ２２０により読み出されて、デジタルの画素信号に変換される。
　１．４．４　イベント画素の回路構成例
　図８は、第１の実施形態に係るイベント画素の回路構成例を示す回路図である。図８に示すように、イベント画素３３０は、光電変換素子３３１を備える。
　光電変換素子（第１光電変換素子）３３１は、光電変換素子３２１と同様に、例えば、フォトダイオードなどで構成され、入射光を光電変換して電荷を生成する。光電変換素子３３１が光電変換することで発生した電荷は、光電流としてアドレスイベント検出回路４００へ供給される。
　１．４．５　アドレスイベント検出回路の機能例
　また、図８に示されているアドレスイベント検出回路４００は、光電変換素子３３１から流出した光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの発火の有無を検出する。このアドレスイベントは、例えば、入射光量に応じた光電流の変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとからなる。言い換えれば、アドレスイベントは、入射光量の変化量が下限から上限までの所定の範囲外であるときに検出される。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す１ビットと、オフイベントの検出結果を示す１ビットからなる。なお、アドレスイベント検出回路４００は、オンイベントのみを検出することもできる。
　アドレスイベント検出回路４００は、アドレスイベントが生じた際に、Ｙアービタ２１３へ、検出信号の送信を要求するリクエストを送信する。そして、Ｙアービタ２１３から、リクエストに対する応答を受け取ると、アドレスイベント検出回路４００は、検出信号ＤＥＴ＋及びＤＥＴ－を駆動回路２１１及びカラムＡＤＣ２２０へ送信する。ここで、検出信号ＤＥＴ＋は、オンイベントの有無の検出結果を示す信号であり、例えば、検出信号線３０６を介してカラムＡＤＣ２２０へ送信される。また、検出信号ＤＥＴ－は、オフイベントの有無の検出結果を示す信号であり、例えば、検出信号線３０７を介してカラムＡＤＣ２２０へ送信される。
　また、アドレスイベント検出回路４００は、選択信号ＳＥＬに同期して、カラムイネーブル信号ＣｏｌＥＮをイネーブルに設定し、その信号をイネーブル信号線３０９を介してカラムＡＤＣ２２０へ送信する。ここで、カラムイネーブル信号ＣｏｌＥＮは、対応する列の画素信号に対するＡＤ（Analog　to　Digital）変換を有効または無効にするための信号である。
　駆動回路２１１は、ある行でアドレスイベントが検出されると、その行を選択信号ＳＥＬ等により駆動する。駆動された行内の画素ブロック３１０のそれぞれは、画素信号Ｖｓｉｇを垂直信号線３０８に出現させる。垂直信号線３０８に出現した画素信号Ｖｓｉｇは、カラムＡＤＣ２２０により読み出され、デジタルの画素信号へ変換される。
　また、駆動された行のうちアドレスイベントを検出した画素ブロック３１０は、イネーブルに設定されたカラムイネーブル信号ＣｏｌＥＮをカラムＡＤＣ２２０へ送信する。一方、アドレスイベントを検出していない画素ブロック３１０のカラムイネーブル信号ＣｏｌＥＮは、ディセーブルに設定される。
　１．４．６　アドレスイベント検出回路の構成例
　図９は、第１の実施形態に係るアドレスイベント検出回路の概略構成例を示すブロック図である。図９に示すように、アドレスイベント検出回路４００は、電流電圧変換部４１０、バッファ４２０、減算器４３０、量子化器４４０及び転送部４５０を備える。
　電流電圧変換部４１０は、イベント画素３３０からの光電流を、その対数の電圧信号に変換する。そして、電流電圧変換部４１０は、電圧信号をバッファ４２０に供給する。
　バッファ４２０は、電流電圧変換部４１０からの電圧信号を減算器４３０に出力する。このバッファ４２０により、後段を駆動する駆動力を向上させることができる。また、バッファ４２０により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
　減算器４３０は、駆動回路２１１からの行駆動信号に従ってバッファ４２０からの電圧信号のレベルを低下させる。そして、減算器４３０は、低下後の電圧信号を量子化器４４０に供給する。
　量子化器４４０は、減算器４３０からの電圧信号をデジタル信号に量子化して検出信号として転送部４５０に出力する。
　転送部４５０は、量子化器４４０からの検出信号を信号処理部２１２等に転送する。この転送部４５０は、アドレスイベントが検出された際に、検出信号の送信を要求するリクエストをＹアービタ２１３及びイベントエンコーダ２５０に送信する。そして、転送部４５０は、リクエストに対する応答をＹアービタ２１３から受け取ると、検出信号ＤＥＴ＋及びＤＥＴ－を駆動回路２１１及びカラムＡＤＣ２２０に供給する。また、選択信号ＳＥＬが送信された際に転送部４５０は、イネーブルに設定したカラムイネーブル信号ＣｏｌＥＮをカラムＡＤＣ２２０へ送信する。
　１．４．６．１　電流電圧変換部の構成例
　図１０は、第１の実施形態に係る電流電圧変換部の概略構成例を示す回路図である。図１０に示すように、電流電圧変換部４１０は、ＬＧ（LoG）トランジスタ４１１と、増幅トランジスタ４１３と、負荷ＭＯＳトランジスタ４１２とを備える。ＬＧトランジスタ４１１及び増幅トランジスタ４１３には、例えば、Ｎ型のＭＯＳトランジスタを用いることができる。一方、負荷ＭＯＳトランジスタ４１２は、定電流回路であり、これには、Ｐ型のＭＯＳトランジスタを用いることができる。
　ＬＧトランジスタ４１１のソースは、イベント画素３３０における光電変換素子３３１のカソードに接続され、ドレインは電源端子に接続される。負荷ＭＯＳトランジスタ４１２及び増幅トランジスタ４１３は、電源端子と接地端子との間において、直列に接続される。また、負荷ＭＯＳトランジスタ４１２及び増幅トランジスタ４１３の接続点は、ＬＧトランジスタ４１１のゲートとバッファ４２０の入力端子とに接続される。また、負荷ＭＯＳトランジスタ４１２のゲートには、所定のバイアス電圧Ｖｂｉａｓが印加される。
　ＬＧトランジスタ４１１及び増幅トランジスタ４１３のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、光電変換素子３３１からの光電流は、その対数の電圧信号に変換される。また、負荷ＭＯＳトランジスタ４１２は、一定の電流を増幅トランジスタ４１３に供給する。
　なお、図１０に示す構成において、例えば、ＬＧトランジスタ４１１と増幅トランジスタ４１３とは、図５に示す受光チップ２０１に配置されてもよい。
　１．４．６．１．１　電流電圧変換部の変形例
　なお、図１０に例示するような、ソースフォロワ型の電流電圧変換部４１０に代えて、図１１に例示するような、ゲインブースト型の電流電圧変換部４１０Ａを用いることも可能である。
　図１１に示すように、電流電圧変換部４１０Ａでは、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１３のゲートは、例えば、イベント画素３３０における光電変換素子３３１のカソードに接続される。また、ＬＧトランジスタ４１１のドレインは、例えば、ＬＧトランジスタ４１４のソース及び増幅トランジスタ４１３のゲートに接続される。ＬＧトランジスタ４１４のドレインは、例えば、電源端子ＶＤＤに接続される。
　また、例えば、増幅トランジスタ４１５のソースはＬＧトランジスタ４１１のゲート及び増幅トランジスタ４１３のドレインに接続される。増幅トランジスタ４１５のドレインは、例えば、負荷ＭＯＳトランジスタ４１２を介して電源端子ＶＤＤに接続される。
　このような構成においても、光電変換素子３３１からの光電流が、その電荷量に応じた対数値の電圧信号に変換される。なお、ＬＧトランジスタ４１１及び４１４と、増幅トランジスタ４１３及び４１５とは、それぞれ例えばＮ型のＭＯＳトランジスタで構成されてよい。
　なお、図１１に示す構成において、例えば、ＬＧトランジスタ４１１及び４１４と増幅トランジスタ４１３及び４１５とは、図５に示す受光チップ２０１に配置されてもよい。
　１．４．７　減算器及び量子化器の構成例
　図１２は、第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。図１２に示すように、減算器４３０は、コンデンサ４３１及び４３３と、インバータ４３２と、スイッチ４３４とを備える。また、量子化器４４０は、コンパレータ４４１及び４４２を備える。
　コンデンサ４３１の一端は、バッファ４２０の出力端子に接続され、他端は、インバータ４３２の入力端子に接続される。コンデンサ４３３は、インバータ４３２に並列に接続される。スイッチ４３４は、コンデンサ４３３の両端を接続する経路を駆動回路２１１からのオートゼロ信号ＡＺに従って開閉する。
　インバータ４３２は、コンデンサ４３１を介して入力された電圧信号を反転する。このインバータ４３２は反転した信号をコンパレータ４４１の非反転入力端子（＋）に出力する。
　スイッチ４３４をオンした際にコンデンサ４３１のバッファ４２０側に電圧信号Ｖｉｎｉｔが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ４３１に蓄積されている電位Ｑｉｎｉｔは、コンデンサ４３１の容量をＣ１とすると、次の式（１）により表される。一方、コンデンサ４３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
　Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ　・・・（１）
　次に、スイッチ４３４がオフされて、コンデンサ４３１のバッファ４２０側の電圧が変化してＶａｆｔｅｒになった場合を考えると、コンデンサ４３１に蓄積される電荷Ｑａｆｔｅｒは、次の式（２）により表される。
　Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ　・・・（２）
　一方、コンデンサ４３３に蓄積される電荷Ｑ２は、出力電圧をＶｏｕｔとすると、次の式（３）により表される。
　Ｑ２＝－Ｃ２×Ｖｏｕｔ　・・・（３）
　このとき、コンデンサ４３１及び４３３の総電荷量は変化しないため、次の式（４）が成立する。
　Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２　・・・（４）
　式（４）に式（１）乃至式（３）を代入して変形すると、次の式（５）が得られる。
　Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）　・・・（５）
　式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロックごとに減算器４３０を含むアドレスイベント検出回路４００が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、容量Ｃ１及びＣ２の値が決定される。
　コンパレータ４４１は、減算器４３０からの電圧信号と、反転入力端子（－）に印加された上限電圧Ｖｂｏｎとを比較する。ここで、上限電圧Ｖｂｏｎは、上限閾値を示す電圧である。コンパレータ４４１は、比較結果ＣＯＭＰ＋を転送部４５０に出力する。コンパレータ４４１により、オンイベントが生じた場合にハイレベルの比較結果ＣＯＭＰ＋が出力され、オンイベントが無い場合にローレベルの比較結果ＣＯＭＰ＋が出力される。
　コンパレータ４４２は、減算器４３０からの電圧信号と、反転入力端子（－）に印加された下限電圧Ｖｂｏｆｆとを比較する。ここで、下限電圧Ｖｂｏｆｆは、下限閾値を示す電圧である。コンパレータ４４２は、比較結果ＣＯＭＰ－を転送部４５０に出力する。コンパレータ４４２により、オフイベントが生じた場合にハイレベルの比較結果ＣＯＭＰ－が出力され、オフイベントが無い場合にローレベルの比較結果ＣＯＭＰ－が出力される。
　１．４．８　転送部の構成例
　図１３は、第１の実施形態に係る転送部の概略構成例を示す回路図である。図１３に示すように、転送部４５０は、ＡＮＤ（論理積）ゲート４５１及び４５３と、ＯＲ（論理和）ゲート４５２と、フリップフロップ４５４及び４５５とを備える。
　ＡＮＤゲート４５１は、量子化器４４０の比較結果ＣＯＭＰ＋と、Ｙアービタ２１３からの応答ＡｃｋＹとの論理積を検出信号ＤＥＴ＋としてカラムＡＤＣ２２０に出力する。このＡＮＤゲート４５１により、オンイベントが生じた場合にハイレベルの検出信号ＤＥＴ＋が出力され、オンイベントが無い場合にローレベルの検出信号ＤＥＴ＋が出力される。
　ＯＲゲート４５２は、量子化器４４０の比較結果ＣＯＭＰ＋と比較結果ＣＯＭＰ－との論理和をリクエストＲｅｑＹとしてＹアービタ２１３に出力する。ＯＲゲート４５２により、アドレスイベントが生じた場合にハイレベルのリクエストＲｅｑＹが出力され、アドレスイベントの無い場合にローレベルのリクエストＲｅｑＹが出力される。また、リクエストＲｅｑＹの反転値がフリップフロップ４５４の入力端子Ｄに入力される。
　ＡＮＤゲート４５３は、量子化器４４０の比較結果ＣＯＭＰ－と、Ｙアービタ２１３からの応答ＡｃｋＹとの論理積を検出信号ＤＥＴ－としてカラムＡＤＣ２２０に出力する。このＡＮＤゲート４５３により、オフイベントが生じた場合にハイレベルの検出信号ＤＥＴ－が出力され、オフイベントが無い場合にローレベルの検出信号ＤＥＴ－が出力される。
　フリップフロップ４５４は、応答ＡｃｋＹに同期してリクエストＲｅｑＹの反転値を保持する。そして、フリップフロップ４５４は、保持値を内部信号ＣｏｌＥＮ’としてフリップフロップ４５５の入力端子Ｄに出力する。
　フリップフロップ４５５は、駆動回路２１１からの選択信号ＳＥＬに同期して、内部信号ＣｏｌＥＮ’を保持する。そして、フリップフロップ４５５は、保持値をカラムイネーブル信号ＣｏｌＥＮとしてカラムＡＤＣ２２０に出力する。
　１．４．９　カラムＡＤＣの構成例
　図１４は、第１の実施形態に係るカラムＡＤＣの概略構成例を示すブロック図である。図１４に示すように、カラムＡＤＣ２２０では、例えば、画素アレイ部３００における各列に対して、１つのＡＤ変換部２３０が配置される。ただし、各列に対して一対一にＡＤ変換部２３０を設けることは必須の構成ではなく、例えば、２列以上の複数の列に対して、１つのＡＤ変換部２３０が配置されてもよい。
　ＡＤ変換部２３０は、各列の垂直信号線３０８に出現したアナログの画素信号をデジタルの画素信号に変換する。
　１．４．９．１　ＡＤ変換部の構成例
　図１５は、第１の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。図１５に示すように、ＡＤ変換部２３０は、ＡＤＣ２３２と、制御回路２４０とを備える。
　ＡＤＣ２３２は、画素信号Ｖｓｉｇをデジタルの画素信号Ｄｏｕｔに変換する。このＡＤＣ２３２は、比較器２３３及びカウンタ２３４を備える。
　比較器２３３は、制御回路２４０からのコンパレータイネーブル信号ＣｏｍｐＥＮに従って、所定の参照信号ＲＭＰと、画素信号Ｖｓｉｇとを比較する。参照信号ＲＭＰとしては、例えば、スロープ状又は階段状に変化するランプ信号を用いることができる。また、コンパレータイネーブル信号ＣｏｍｐＥＮは、比較器２３３の比較動作を有効または無効にするための信号である。比較器２３３は、比較結果ＶＣＯをカウンタ２３４に供給する。
　カウンタ２３４は、制御回路２４０からのカウンタイネーブル信号ＣｎｔＥＮに従って、比較結果ＶＣＯが反転するまでの期間に亘って、クロック信号ＣＬＫに同期して計数値を計数する。カウンタイネーブル信号ＣｎｔＥＮは、カウンタ２３４の計数動作を有効または無効にするための信号である。このカウンタ２３４は、計数値を示すデジタルの画素信号Ｄｏｕｔを信号処理部２１２に出力する。
　制御回路２４０は、カラムイネーブル信号ＣｏｌＥＮに従って、マルチプレクサ２３１及びＡＤＣ２３２を制御する。制御内容の詳細については後述する。
　また、各画素ブロック３１０から出力された検出信号ＤＥＴ＋及びＤＥＴ－は、ＡＤ変換部２３０を介して信号処理部２１２へ出力される。
　なお、比較器２３３及びカウンタ２３４からなるシングルスロープ型のＡＤＣをＡＤＣ２３２として用いているが、この構成に限定されない。例えば、デルタシグマ型のＡＤＣをＡＤＣ２３２として用いることもできる。
　１．４．９．２　制御回路の構成例
　図１６は、第１の実施形態に係る制御回路の概略構成例を示すブロック図である。図１６に示すように、制御回路２４０は、ＯＲ（論理和）ゲート２４１と、レベルシフタ２４２と、ＡＮＤ（論理積）ゲート２４３とを備える。
　ＯＲゲート２４１は、カラムイネーブル信号ＣｏｌＥＮと、エクストライネーブル信号ＥｘｔＥＮとの論理和をレベルシフタ２４２及びＡＮＤゲート２４３へ出力する。エクストライネーブル信号ＥｘｔＥＮは、アドレスイベントの有無に関わらず、ＡＤ変換を有効にする旨を指示する信号であり、ユーザ操作などに従って設定される。例えば、有効にする際にエクストライネーブル信号ＥｘｔＥＮにハイレベルが設定され、無効にする際にローレベルが設定される。
　レベルシフタ２４２は、ＯＲゲート２４１の出力信号の電圧を変換する。そして、レベルシフタ２４２は、例えば、ブロック制御信号Ｃｒｔｌ２に従って、変換後の信号をコンパレータイネーブル信号ＣｏｍｐＥＮとしてＡＤＣ２３２における比較器２３３に供給する。ブロック制御信号Ｃｒｔｌ２は、アドレスイベントの有無に関わらず、比較器２３３を無効にするための信号である。例えば、アドレスイベントの有無に関わらず、比較器２３３を無効にする場合にブロック制御信号Ｃｒｔｌ２にローレベルが設定され、そうでない場合にハイレベルが設定される。
　ＡＮＤゲート２４３は、ＯＲゲート２４１の出力信号と、ブロック制御信号Ｃｒｔｌ１との論理積をカウンタイネーブル信号ＣｎｔＥＮとしてカウンタ２３４に出力する。ブロック制御信号Ｃｒｔｌ１は、アドレスイベントの有無に関わらず、カウンタ２３４を無効にするための信号である。例えば、アドレスイベントの有無に関わらず、カウンタ２３４を無効にする場合にブロック制御信号Ｃｒｔｌ１にローレベルが設定され、そうでない場合にハイレベルが設定される。
　１．５　固体撮像装置の動作例
　図１７は、第１の実施形態に係る固体撮像装置の概略動作例を示すフローチャートである。この動作は、例えば、アドレスイベントの検出及び撮像を行うためのアプリケーションが実行されたときに開始される。
　図１７に示すように、固体撮像装置２００は、アドレスイベントの発火有無の検出を開始し（ステップＳ１０１）、アドレスイベントが発生したか否かを判断する（ステップＳ１０２）。アドレスイベントの発火検出には、イベント画素３３０が使用される。アドレスイベントの発火が検出されなかった場合（ステップＳ１０２のＮＯ）、本動作は、ステップＳ１０５へ進む。
　一方、アドレスイベントの発火が検出された場合（ステップＳ１０２のＹＥＳ）、イベントエンコーダ２５０が、アドレスイベントの発火が検出された画素ブロック３１０についてのイベント検出データを出力する（ステップＳ１０３）。
　つぎに、カラムＡＤＣ２２０が、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から画素信号を読み出す（ステップＳ１０４）。画素信号の読出しには、階調画素３２０が使用される。また、１行分の画素信号は、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から並列（カラム並列）に読み出される。その後、本動作は、ステップＳ１０５へ進む。
　ステップＳ１０５では、固体撮像装置２００は、本動作を終了するか否かを判定し、終了する場合（ステップＳ１０５のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ１０５のＮＯ）、ステップＳ１０１へリターンし、以降の動作が実行される。
　１．６　作用・効果
　以上のように、第１の実施形態によれば、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から画素信号がカラム並列に読み出される。それにより、アドレスイベントが発火した画素ブロック３１０を１つずつ特定して個別に読み出すという手順を省略すること可能となるため、アドレスイベントの発火検出から画素信号（階調）読出しまでの時間差を低減することが可能となる。
　また、第１の実施形態によれば、列方向でアドレスイベントの発火が検出された画素ブロック３１０に対する読出し順序の調停を行うＸアービタを省略することが可能となるため、固体撮像装置２００の回路構成を簡略化して小型化を図ることも可能となる。
　さらに、本実施形態では、１つの画素ブロック３１０において、イベント検出用の画素（イベント画素３３０）と階調取得用の画素（階調画素３２０）とが別々に設けられ、それぞれを独立して制御することが可能であるため、アドレスイベントの発火検出から画素信号（階調）読出しまでのデッドタイムを無くして、イベント検出と階調取得とを同時並行的に実行することも可能となる。
　１．７　第１変形例
　なお、本実施形態では、イベント画素３３０と階調画素３２０とがそれぞれ別々の光電変換素子３３１又は３２１を備える場合を例示したが、本実施形態では、このような構成に限定されず、例えば、イベント画素３３０と階調画素３２０とで１つの光電変換素子を共有する構成など、種々変形することが可能である。
　なお、イベント画素３３０と階調画素３２０とで１つの光電変換素子を共有する場合、図１８に示すように、１つの光電変換素子３４１に対して、イベント画素３３０における光電変換素子３３１以外の回路構成と、階調画素３２０における光電変換素子３２１以外の回路構成とが接続された構成となる。
　また、図１８に示す構成に対する駆動では、先にアドレスイベントの監視用にＯＦＧ（OverFlow　Gate）トランジスタ３３２をオン状態としておき、その状態でアドレスイベントの発火が検出されると、ＯＦＧトランジスタ３３２をオフ状態にするとともに、転送トランジスタ３２２をオン状態とすることで、光電変換素子３４１に発生した電荷が階調画素３２０の浮遊拡散層３２３へ転送される。なお、その際の画素信号読出し動作は、上述において説明した動作と同様であっていため、ここでは詳細な説明を省略する。
　１．８　第２変形例
　また、図１９は、第１の実施形態の第２変形例に係る固体撮像装置の概略構成例を示すブロック図である。また、図２０は、第１の実施形態の第２変形例に係る画素ブロックの概略構成例を示すブロック図である。
　上述した第１の実施形態では、各画素ブロック３１０にアドレスイベント検出回路４００を設けた場合を例示したが、このような構成に限定されず、例えば、図１９に示すように、各画素ブロック３１０Ａのアドレスイベント検出回路４００を行ごとに共通のアドレスイベント検出回路４００で構成されたアドレスイベント検出部４００Ａに置き換えることも可能である。
　このように構成することで、図２０に示すように、各画素ブロック３１０Ａからアドレスイベント検出回路４００を省略することが可能となるため、固体撮像装置２００をより小型化することが可能となる。
　２．第２の実施形態
　つぎに、第２の実施形態について、図面を参照して詳細に説明する。なお、本実施形態では、上述した実施形態と同様の構成及び動作については、それらを引用することで、重複する説明を省略する。
　上述した第１の実施形態では、各列に対して１つのＡＤ変換部２３０を設けた、所謂１カラム１ＡＤＣの構成を例示したが、このような構成に限定されず、例えば、２列以上で１つのＡＤ変換部２３０を共有するように構成することも可能である。そこで、第２の実施形態では、２列以上で１つのＡＤ変換部２３０を共有する場合について、例を挙げて説明する。
　本実施形態に係る撮像装置及び固体撮像装置の構成は、例えば、第１の実施形態において例示した撮像装置１００及び固体撮像装置２００と同様であってよい。ただし、本実施形態では、ＡＤ変換部２３０が後述するＡＤ変換部５３０に置き換えられる。
　２．１　ＡＤ変換部の構成例
　図２１は、第２の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。図２１に示すように、ＡＤ変換部５３０は、図１５に例示したＡＤ変換部２３０と同様の構成において、制御回路２４０が制御回路５４０に置き換えられるとともに、マルチプレクサ５３１が追加された構成を備える。なお、本説明において、ＡＤ変換部５３０に対応する２列を２ｍ－１（ｍは、１乃至Ｍの整数）列及び２ｍ列とする。
　マルチプレクサ５３１は、制御回路５４０からの制御信号に従って、２ｍ－１列の画素信号Ｖｓｉｇ２ｍ－１と、２ｍ列の画素信号Ｖｓｉｇ２ｍとの一方を選択して画素信号ＶｓｉｇＳＥＬとしてＡＤＣ２３２に出力する。マルチプレクサ５３１には、制御信号として、切替信号ＳＷ及びマルチプレクサイネーブル信号ＭｕｘＥＮが入力される。
　ＡＤＣ２３２は、図１５におけるＡＤＣ２３２と同様に、比較器２３３及びカウンタ２３４を備え、画素信号ＶｓｉｇＳＥＬをデジタルの画素信号Ｄｏｕｔに変換する。
　ただし、比較器２３３は、制御回路５４０からのコンパレータイネーブル信号ＣｏｍｐＥＮに従って、所定の参照信号ＲＭＰと、画素信号ＶｓｉｇＳＥＬとを比較する。
　制御回路５４０は、２ｍ－１列及び２ｍ列のそれぞれのカラムイネーブル信号ＣｏｌＥＮ２ｍ－１及びＣｏｌＥＮ２ｍに従ってマルチプレクサ５３１及びＡＤＣ２３２を制御する。制御内容の詳細については後述する。
　また、各列の検出信号ＤＥＴ＋及びＤＥＴ－は、ＡＤ変換部５３０を介して信号処理部２１２へ出力される。
　なお、比較器２３３及びカウンタ２３４からなるシングルスロープ型のＡＤＣをＡＤＣ２３２として用いているが、この構成に限定されない。例えば、デルタシグマ型のＡＤＣをＡＤＣ２３２として用いることもできる。
　２．２　制御回路の構成例
　図２２は、第２の実施形態係る制御回路５４０の概略構成例を示すブロック図である。図２２に示すように、制御回路５４０は、図１６に例示した制御回路２４０と同様の構成に加え、デマルチプレクサ５４４と切替制御部５４５とをさらに備える。
　デマルチプレクサ５４４は、ブロック制御信号Ｃｒｔｌ２に従って、レベルシフタ２４２の出力信号をマルチプレクサ５３１及び比較器２３３に分配する。ブロック制御信号Ｃｒｔｌ２は、アドレスイベントの有無に関わらず、マルチプレクサ５３１及び比較器２３３の少なくとも一方を無効にするための信号である。
　例えば、アドレスイベントの有無に関わらず、マルチプレクサ５３１のみを無効にする際には２進数で「１０」がブロック制御信号Ｃｒｔｌ２に設定される。この際にレベルシフタ２４２の出力信号は、コンパレータイネーブル信号ＣｏｍｐＥＮとして比較器２３３へ出力される。比較器２３３のみを無効にする際には２進数で「０１」がブロック制御信号Ｃｒｔｌ２に設定される。この際にレベルシフタ２４２の出力信号は、マルチプレクサイネーブル信号ＭｕｘＥＮとしてマルチプレクサ５３１へ出力される。また、マルチプレクサ５３１及び比較器２３３の両方を無効にする際には、「００」が設定され、それ以外の場合に「１１」が設定される。「１１」が設定された際にレベルシフタ２４２の出力信号はマルチプレクサ５３１及び比較器２３３の両方に出力される。
　切替制御部５４５は、カラムイネーブル信号ＣｏｌＥＮ２ｍ－１及びＣｏｌＥＮ２ｍに基づいてマルチプレクサ５３１が出力する画素信号を切り替える。例えば、一方のみにイネーブルが設定された場合、切替制御部５４５は、そのイネーブルの列の画素信号を切替信号ＳＷによりマルチプレクサ５３１に選択させる。また、２列の両方にイネーブルが設定された場合、切替制御部５４５は、一方の列の画素信号を切替信号ＳＷによりマルチプレクサ５３１に選択させ、次に他方の列の画素信号を選択させる。
　２．３　画素信号読出し時の切替制御例
　図２３は、第２の実施形態に係る画素信号読出し時の読出し制御の一例を説明するための図である。なお、本実施形態でも、第１の実施形態と同様に、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から画素信号が読み出されるため、図２３に示す制御は、２ｍ－１列及び２ｍ列の画素ブロック３１０が属する行に含まれる画素ブロック３１０のうち少なくとも１つの画素ブロック３１０でアドレスイベントの発火が検出された場合に実行される制御である。
　図２３に示すように、２ｍ－１列の画素ブロック３１０及び２ｍ列の画素ブロック３１０のうちの少なくとも一方でアドレスイベントの発火が検出された場合、制御回路５４０は、切替信号ＳＷにより、例えば、２ｍ－１列の画素ブロック３１０をマルチプレクサ５３１に先に選択させ、次に、２ｍ列の画素ブロック３１０をマルチプレクサ５３１に選択させる。その際、制御回路５４０は、２ｍ－１列及び２ｍ列のＡＤ変換期間に亘って、ＡＤＣ２３２をイネーブルに設定する。
　なお、２ｍ－１列及び２ｍ列の両方がディセーブルである場合に制御回路５４０は、ＡＤＣ２３２をディセーブルに設定する。
　２．４　作用・効果
　以上のように、２列以上で１つのＡＤ変換部２３０を共有する構成とすることで、ＡＤ変換部２３０の数を削減することが可能となるため、固体撮像装置２００のさらなる小型化が可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　３．第３の実施形態
　また、上述した実施形態では、１又は２以上の列に対して１つのＡＤＣ２３２を対応付けた場合を例示したが、このような構成に限定されず、例えば、１列に対して複数のＡＤＣ２３２を対応付けるなど、種々変形することが可能である。以下、変形例の幾つかを、具体例を挙げて説明する。
　３．１　第１例
　図２４は、第３の実施形態の第１例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。図２４に示すように、第１例に係る画素アレイ部３００では、１つの列に対して２つのＡＤＣ２３２が対応付けられている。
　行数を２Ｎ（Ｎは、整数）として２ｎ（ｎは、１乃至Ｎの整数）行の画素ブロック３１０は、信号線３０６～３０９を介して一方のＡＤ変換部２３０に接続され、２ｎ－１行の画素ブロック３１０は、異なる信号線３０６～３０９を介して他方のＡＤ変換部２３０に接続される。
　このような構成とすることで、複数行を読み出す際に、奇数行と偶数行と並行して読み出すことが可能となるため、アドレスイベントの発火検出から画素信号（階調）読出しまでの時間差をより低減することが可能となる。
　３．２　第２例
　図２５は、第３の実施形態の第２例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。図２５に示すように、第２例では、第１例と同様の構成において、２つのＡＤＣ２３２が画素アレイ部３００を挟んで配置されている。
　このように、カラムＡＤＣ２２０を２つに分割し、分割されたカラムＡＤＣ２２０を画素アレイ部３００を挟む位置に配置することで、カラムＡＤＣ２２０あたりの回路規模を削減することが可能となる。
　３．３　第３例
　図２６は、第３の実施形態の第３例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。図２６に示すように、第３例では、列数を４Ｍとして、４ｍ列および４ｍ－２列が、画素アレイ部３００に対して上側に配置されたカラムＡＤＣ２２０に接続され、４ｍ－１列および４ｍ－３列が、下側に配置されたカラムＡＤＣ２２０に接続される。
　下側のカラムＡＤＣ２２０には、接続された計２Ｍ列に対し、Ｋ列ごとにＡＤ変換部２３０が配置される。Ｋが「２」である場合、Ｍ個のＡＤ変換部５３０が配置される。なお、第３例に係る各ＡＤ変換部５３０の構成は、第２の実施形態に係るＡＤ変換部５３０と同様であってよい。
　また、上側のカラムＡＤＣ２２０内にも同様に、２列ごとにＡＤ変換部５３０が配置される。
　このように、第３例によれば、１つのＡＤ変換部５３０を複数列で共有し、さらに、カラムＡＤＣ２２０を２つに分割して画素アレイ部３００を挟む位置に配置した構成であるため、カラムＡＤＣ２２０全体の回路規模を縮小するとともに、カラムＡＤＣ２２０あたりの回路規模を削減することが可能となる。
　４．第４の実施形態
　次に、第４の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成及び動作については、それらを引用することで、重複する説明を省略する。
　本実施形態に係る撮像装置の構成は、例えば、第１の実施形態において例示した撮像装置１００と同様であってよい。ただし、本実施形態では、固体撮像装置２００が後述する固体撮像装置６００に置き換えられる。
　４．１　固体撮像装置の概略構成例
　図２７は、第４の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。図２７に示すように、固体撮像装置６００は、図３に例示した固体撮像装置２００と同様の構成において、駆動回路２１１が書略され、Ｙアービタ２１３がＹアービタ６０１に置き換えられた構成を備える。
　Ｙアービタ６０１は、第１の実施形態におけるＹアービタ２１３と同様の機能の他に、同じく第１の実施形態における駆動回路２１１の機能を備えている。したがって、Ｙアービタ６０１は、画素アレイ部３００における１つ以上の画素ブロック３１０でアドレスイベントの発火が検出されると、アドレスイベントの発火が検出された画素ブロック３１０それぞれが属する行に対する読出し順序を調停し、調停した読出し順序にしたがって各行を駆動する。これにより、アドレスイベントの発火が検出された画素ブロック３１０が属する各行からカラム並列に画素信号が読み出される。
　４．２　Ｙアービタの概略構成例
　図２８は、第４の実施形態に係るＹアービタの概略構成例を示すブロック図である。図２８に示すように、Ｙアービタ６０１は、イベント処理部６２０と、階調画素制御部６１０とを備える。
　イベント処理部６２０は、異なる行に属する複数の画素ブロック３１０からリクエストＲｅｑＹを入力すると、行に対する読出し順序を調停し、調停結果に応じた応答ＡｃｋＹを、その行に属する全ての画素ブロック３１０へ返す。これに対し、応答ＡｃｋＹを受け取った各画素ブロック３１０は、検出信号をカラムＡＤＣ２２０へ送信する。
　また、イベント処理部６２０は、調停した読出し順序を階調画素制御部６１０へ入力する。階調画素制御部６１０は、入力された読出し順序にしたがって行を駆動する。これにより、駆動された行に含まれる全ての画素ブロック３１０において、光電変換素子３２１への入射光量に応じた電圧値の画素信号が垂直信号線３０８へ出現する。
　カラムＡＤＣ２２０は、各垂直信号線３０８に出現した画素信号をカラム並列に読み出すことで、一行分の画素信号をまとめて読み出す。
　４．３　イベント処理部の概略構成例
　図２９は、第４の実施形態に係るイベント処理部の概略構成例を示すブロック図である。図２９に示すように、イベント処理部６２０は、アドレス特定部６２１と、ラッチ回路６２２と、ドライバ６２３とを備える。
　ラッチ回路６２２は、行ごとに設けられ、画素ブロック３１０から入力されたリクエストＲｅｑＹを一時保持する。そして、ラッチ回路６２２は、保持しているリクエストＲｅｑＹを、入力されたクロックＣＬＫに同期して、アドレス特定部６２１に入力する。
　アドレス特定部６２１は、入力されたリクエストＲｅｑＹに基づいて、当該リクエストＲｅｑＹの送信元である画素ブロック３１０が属する行のＹアドレスを特定し、特定したＹアドレスに対応するドライバ６２３に、応答ＡｃｋＹを出力する。
　応答ＡｃｋＹが入力されたドライバ６２３は、入力された応答ＡｃｋＹを、Ｙアドレスに対応する行に含まれる全ての画素ブロック３１０へ入力する。
　４．４　階調画素制御部の概略構成例
　図３０は、第４の実施形態に係る階調画素制御部の概略構成例を示すブロック図である。図３０に示すように、階調画素制御部６１０は、アドレス生成部６１１と、ドライバ６１２とを備える。
　アドレス生成部６１１は、検出信号の送信元である画素ブロック３１０のＹアドレスを特定し、特定したＹアドレスを、クロックＣＬＫに同期して、ドライバ６１２に入力する。
　ドライバ６１２は、アドレス生成部６１１から入力されたＹアドレスの行に含まれる全ての画素ブロック３１０に対して、リセット信号ＲＳＴ、転送信号ＴＲＧ及び選択信号ＳＥＬを適宜入力することで、当該行の画素ブロック３１０全てを駆動する。
　４．５　作用・効果
　以上のように、本実施形態によれば、駆動回路２１１を省略することが可能となるため、固体撮像装置６００の回路規模を縮小して小型化を係ることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．第５の実施形態
　上述した実施形態では、ある画素ブロック３１０でアドレスイベントの発火が検出された場合、当該画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０からカラム並列に画素信号が読み出される場合を例示した。これに対し、第５の実施形態では、アドレスイベントの発火とは無関係に、周期的に全て又は一部の画素ブロック３１０から画素信号を読み出し、読み出した画素信号よりなる画像データ（以下、階調画像データという）をイベント検出データで更新する場合について、例を挙げて説明する。
　本実施形態に係る撮像装置及び固体撮像装置の構成は、例えば、上述の実施形態において例示した撮像装置１００及び固体撮像装置２００、２００Ａ又は６００と同様であってよい。以下の説明では、第４の実施形態をベースとした場合を例示する。ただし、ベースとする実施形態は、第４の実施形態に限られず、他の実施形態とすることも可能である。
　５．１　固体撮像装置の動作例
　本実施形態では、固体撮像装置２００が、アドレスイベントの発火を非同期で検出するアドレスイベント検出動作と、画素ブロック３１０から周期的に階調画像データを取得する周期的読出し動作とが実行される。
　５．１．１　イベント検出動作例
　図３１は、第５の実施形態に係るイベント検出動作の一例を示すフローチャートである。この動作は、例えば、アドレスイベントの検出及び撮像を行うためのアプリケーションが実行されたときに開始される。
　図３１に示すように、固体撮像装置２００は、アドレスイベントの発火有無の検出を開始し（ステップＳ７０１）、アドレスイベントが発生したか否かを判断する（ステップＳ７０２）。アドレスイベントの発火検出には、イベント画素３３０が使用される。アドレスイベントの発火が検出されなかった場合（ステップＳ７０２のＮＯ）、本動作は、ステップＳ７０４へ進む。
　一方、アドレスイベントの発火が検出された場合（ステップＳ７０２のＹＥＳ）、イベントエンコーダ２５０が、アドレスイベントの発火が検出された画素ブロック３１０についてのイベント検出データを出力し（ステップＳ７０３）、その後、本動作がステップＳ７０４へ進む。なお、ステップＳ７０３で読み出されたイベント検出データは、記録部１２０に格納されるか、若しくは、外部Ｉ／Ｆ１４０を介してホスト１５０へ送信される。
　ステップＳ７０４では、固体撮像装置２００は、本動作を終了するか否かを判定し、終了する場合（ステップＳ７０４のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ７０４のＮＯ）、ステップＳ７０１へリターンし、以降の動作が実行される。
　５．１．２　周期的読出し動作例
　図３２は、第５の実施形態に係る周期的読出し動作の一例を示すフローチャートである。この動作は、イベント検出動作と同様に、例えば、アドレスイベントの検出及び撮像を行うためのアプリケーションが実行されたときに開始される。
　図３２に示すように、固体撮像装置２００は、経過時間の計測を開始し（ステップＳ７２１）、所定時間が経過するまで待機する（ステップＳ７２２のＮＯ）。その後、所定時間が経過すると（ステップＳ７２２のＹＥＳ）、固体撮像装置２００は、Ｙアービタ６０１の階調画素制御部６１０に全画素ブロック３１０からの画素信号の読出しを実行させ（ステップＳ７２３）、ステップＳ７２４へ進む。なお、ステップＳ７２３で読み出された画素信号は、階調画像データとして、記録部１２０に格納されるか、若しくは、外部Ｉ／Ｆ１４０を介してホスト１５０へ送信される。
　ステップＳ７２４では、固体撮像装置２００は、本動作を終了するか否かを判定し、終了する場合（ステップＳ７２４のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ７２４のＮＯ）、経過時間を計測しているカウンタ等をリセットし（ステップＳ７２５）、その後、ステップＳ７２２へリターンして、以降の動作を実行する。
　以上のように、周期的読出し動作で読み出された階調画像データは、イベント検出動作で出力されたイベント検出データを用いて逐次更新される（階調画像データ更新動作）。この階調画像データ更新動作は、固体撮像装置２００内における例えば信号処理部２１２で実行されてもよいし、外部の制御部１３０やホスト１５０等で実行されてもよい。
　５．２　階調画像データ更新動作例
　次に、第５の実施形態に係る階調画像データ更新動作について、図面を参照して詳細に説明する。
　５．２．１　フローチャート
　図３３は、第５の実施形態に係る階調画像データ更新動作の一例を示すフローチャートである。なお、本説明では、ホスト１５０が階調画像データ更新動作を実行する場合について例を挙げる。
　図３３に示すように、ホスト１５０は、固体撮像装置２００から階調画像データを入力すると（ステップＳ３０１）、入力した階調画像データを所定のメモリ内に格納する（ステップＳ３０２）。
　次に、ホスト１５０は、所定時間内に固体撮像装置２００からイベント検出データが入力されたか否かを判定し（ステップＳ３０３）、入力されていない場合（ステップＳ３０３のＮＯ）、ステップＳ３０８へ進む。
　一方、イベント検出データが入力された場合（ステップＳ３０３のＹＥＳ）、ホスト１５０は、入力したイベント検出データを所定のメモリに蓄積する（ステップＳ３０４）。
　つづいて、ホスト１５０は、入力したイベント検出データがオンイベントを示しているかオフイベントを示しているかを判定し（ステップＳ３０５）、オンイベントを示している場合（ステップＳ３０５のＹＥＳ）、イベント検出データに含まれるＸアドレス及びＹアドレスから特定される画素の階調値（画素値ともいう）に所定の値を加算することで、当該画素の階調値を増加させ（ステップＳ３０６）、ステップＳ３０８へ進む。
　また、入力したイベント検出データが示すアドレスイベントがオンイベントでない、すなわち、オフイベントである場合（ステップＳ３０５のＮＯ）、ホスト１５０は、イベント検出データに含まれるＸアドレス及びＹアドレスから特定される画素の階調値（画素値ともいう）から所定の値を減算することで、当該画素の階調値を減少させ（ステップＳ３０７）、ステップＳ３０８へ進む。
　ステップＳ３０８では、先の階調画像データの入力から所定時間が経過したか否かを判定し、所定時間が経過していない場合（ステップＳ３０８のＮＯ）、ホスト１５０は、ステップＳ３０３へリターンして、以降の動作を実行する。一方、所定時間が経過している場合（ステップＳ３０８のＹＥＳ）、ホスト１５０は、本動作を終了するか否かを判定し（ステップＳ３０９）、終了する場合（ステップＳ３０９のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ３０９のＮＯ）、ホスト１５０は、ステップＳ３０１へリターンし、次の階調画像データを入力して、以降の動作を実行する。なお、所定時間は、固体撮像装置２００における階調画像データの取得周期、すなわち、フレームレートであってもよい。
　５．２．２　タイミングチャート
　図３４は、第５の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。なお、図３４には、ある列における画素ブロック３１０の動作例が示されている。また、図３５は、図３４における２行目の画素ブロックに着目した階調値の更新を説明するためのタイミングチャートである。
　まず、図３４に示すように、本実施形態では、所定の周期Ｔ１で入力されるフレーム同期信号ＸＶＳに同期して、１行目の画素ブロック３１０から順に、階調画素３２０に対するリセット動作と画素信号読出し動作とが実行される。
　一方で、上記した階調画素３２０に対する周期的なリセット動作及び読出し動作とは別に、非同期で、イベント画素３３０を用いたアドレスイベントの発火の有無が検出されている。
　ここで、図３４における２行目の画素ブロック３１０に着目すると、図３５に示すように、例えば、タイミングｔ１で階調画素３２０から読み出された画素信号による階調値は、次のタイミングｔ２で階調画素３２０から画素信号が読み出されるまでの間、すなわち、タイミングｔ１～ｔ２までの期間中、イベント画素３３０でアドレスイベントが検出される度に、検出されたアドレスイベントがオンイベントであるかオフイベントであるかに応じて、所定の値で増減される。
　また、次のタイミングｔ２～ｔ３までの期間でも同様に、タイミングｔ２で階調画素３２０から読み出された画素信号による階調値は、タイミングｔ２～ｔ３までの期間中、イベント画素３３０でアドレスイベントが検出される度に、検出されたアドレスイベントがオンイベントであるかオフイベントであるかに応じて、所定の値で増減される。
　５．３　作用・効果
　一般的に、イベント検出に要する時間は、画素信号の読出し動作のような蓄積期間や転送期間が不要であるため、画素信号の読出しに要する時間と比較して、時間分解能が高い。そのため、本実施形態のように、画素信号読出し動作で取得した階調画像データにおける各画素の階調値を、イベント検出動作で検出したオンイベント及びオフイベントに基づいて増減することで、固体撮像装置２００から読み出される階調画像データの時間分解能を高めること、言い換えれば、フレームレートを高めることが可能となる。
　また、周期的に取得された階調画像データと、非同期に取得されたイベント検出データとを時系列に沿って蓄積しておくことで、事後的に、フレーム間の階調画像を生成することも可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　６．第６の実施形態
　上述した第５の実施形態では、アドレスイベントの発火とは無関係に、周期的に全て又は一部の画素ブロック３１０から画素信号を読み出し、これにより読み出された階調画像データをイベント検出データで更新する場合を例示した。ただし、ある期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０については、その階調画素３２０から読み出される画素信号による階調値に変化が発生していない可能性が高い。
　そこで、第６の実施形態では、画素ブロック３１０からの周期的な画素信号の読出しにおいて、直前の期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０については、階調画素３２０からの画素信号の読出しを行なわない場合について、例を挙げて説明する。
　本実施形態に係る撮像装置及び固体撮像装置の構成は、第５の実施形態と同様に、例えば、上述の実施形態において例示した撮像装置１００及び固体撮像装置２００、２００Ａ又は６００と同様であってよい。ただし、本実施形態では、図２９に例示したイベント処理部６２０が、後述するイベント処理部７２０に置き換えられる。なお、以下の説明では、第４の実施形態をベースとした場合を例示するが、ベースとする実施形態は、第４の実施形態に限られず、他の実施形態とすることも可能である。
　６．１　イベント処理部の概略構成例
　図３６は、第６の実施形態に係るイベント処理部の概略構成例を示すブロック図である。図３６に示すように、イベント処理部７２０は、図２９に例示したイベント処理部６２０と同様の構成に加え、アドレス記憶部７２１をさらに備える。
　本実施形態において、アドレス特定部６２１は、入力されたリクエストＲｅｑＹに基づいて、当該リクエストＲｅｑＹの送信元である画素ブロック３１０のＸアドレス及びＹアドレスを特定し、特定したＸアドレス及びＹアドレスに対応するドライバ６２３に、応答ＡｃｋＹを出力する。
　応答ＡｃｋＹが入力されたドライバ６２３は、入力された応答ＡｃｋＹを、Ｘアドレス及びＹアドレスで特定される画素ブロック３１０へ入力する。
　また、アドレス記憶部７２１は、アドレス特定部６２１で特定されたＸアドレス及びＹアドレス（アドレス情報）を一時保持する。その後、アドレス記憶部７２１は、フレーム同期信号ＸＶＳに同期して、保持しているＸアドレス及びＹアドレスを、階調画素制御部６１０のアドレス生成部６１１へ入力する。
　階調画素制御部６１０のアドレス生成部６１１は、アドレス記憶部７２１から入力されたＸアドレス及びＹアドレスを、クロックＣＬＳに同期して、ドライバ６１２に入力する。そして、ドライバ６１２は、アドレス生成部６１１から入力されたＸアドレス及びＹアドレスで特定される画素ブロック３１０に対して、リセット信号ＲＳＴ、転送信号ＴＲＧ及び選択信号ＳＥＬを適宜入力することで、当該画素ブロック３１０を駆動する。
　６．２　階調画像データ更新動作例
　図３７は、第６の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。なお、図３７には、図３４と同様に、ある列における画素ブロック３１０の動作例が示されている。
　図３７に示すように、本実施形態では、直前の周期Ｔ１の期間でアドレスイベントの発火が検出されなかった画素ブロック３１０については、次の周期Ｔ１の期間では、階調画素３２０のリセット動作と画素信号の読出し動作とが実行されない。
　これを、１行目の画素ブロック３１０と２行目の画素ブロック３１０とに着目して説明すると、タイミングｔ１０～ｔ１１の期間では、１行目の画素ブロック３１０のイベント画素３３０においてアドレスイベントの発火が検出されていない。この場合、アドレス記憶部７２１に１行目の画素ブロック３１０のＸアドレス及びＹアドレスが保持されていないため、次の周期（タイミングｔ１２～ｔ１３）では、１行目の画素ブロック３１０の階調画素３２０に対するリセット動作及び読出し動作が実行されていない。
　一方で、２行目の画素ブロック３１０については、タイミングｔ１０～ｔ１１の期間中に１回以上のアドレスイベントの発火が検出されているため、次の周期（タイミングｔ１２～ｔ１３）において、２行目の画素ブロック３１０の階調画素３２０に対するリセット動作及び読出し動作が実行されている。
　６．３　作用・効果
　以上のように、本実施形態によれば、直前の期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０については、その階調画素３２０からの画素信号の読出しが省略される。これにより、周期的な画素信号の読出し動作を簡略化することが可能となるため、固体撮像装置６００の動作速度の向上と消費電力の低減を図ることが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　７．第７の実施形態
　上述した実施形態では、フレーム間に検出されたアドレスイベントに基づいて、階調画像データにおける各画素の階調値を更新する場合を例示した。これに対し、第７の実施形態では、アドレスイベントの発火が検出された画素ブロック３１０の階調画素３２０から非同期で画素信号を読み出し、この読み出した画素値で、周期的に読み出された階調画像データを更新する場合について、例を挙げて説明する。
　本実施形態に係る撮像装置及び固体撮像装置の構成は、第５の実施形態と同様に、例えば、上述の実施形態において例示した撮像装置１００及び固体撮像装置２００、２００Ａ又は６００と同様であってよい。ただし、本実施形態では、図４に例示した画素ブロック３１０が、後述する画素ブロック８１０に置き換えられる。なお、以下の説明では、第４の実施形態をベースとした場合を例示するが、ベースとする実施形態は、第４の実施形態に限られず、他の実施形態とすることも可能である。
　７．１　画素ブロックの構成例
　図３８は、第７の実施形態に係る画素ブロックの概略構成例を示すブロック図である。図３８に示すように、画素ブロック８１０は、例えば、図４に例示した画素ブロック３１０と同様の構成において、階調画素３２０がメモリ８０１をさらに備えている。
　メモリ８０１は、光電変換素子３２１に発生した電荷を一時保持する電荷蓄積部であり、例えば、光電変換素子３２１と同一の半導体基板に形成された容量素子などを用いて構成され得る。
　入射光量に応じて光電変換素子３２１に発生した電荷は、一時、メモリ８０１へ転送されて保持される。その後、階調画素３２０に対する読出し動作により、メモリ８０１に保持されていた電荷が浮遊拡散層３２３へ転送され、その後、通常の読み出し動作と同様の動作が実行される。
　７．２　画素信号読出し動作例
　図３９は、第７の実施形態に係る画素信号読出し動作の一例を示すタイミングチャートである。なお、図３９には、ある列における画素ブロック８１０の動作例が示されている。
　図３９に示すように、本実施形態では、フレーム同期信号ＸＶＳに同期して、各画素ブロック８１０の階調画素３２０における光電変換素子３２１からメモリ８０１へ電荷が転送される。その後、例えば、１行目の画素ブロック８１０から最終行の画素ブロック８１０へかけて順番に、画素信号の読出し動作が実行される。
　なお、イベント検出動作は、上述した実施形態と同様であってよい。
　７．３　作用・効果
　以上のように、階調画素３２０の光電変換素子３２１で発生した電荷を一旦、メモリ８０１に保持する構成とすることで、全ての画素ブロック８１０のシャッタ動作（リセット動作に相当）を同時に実行する、いわゆるグローバルシャッタ動作を実現することが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　７．４　変形例
　なお、本実施形態に係るメモリ８０１を用いた画素信号の読出し動作に対し、第６の実施形態において例示した、ある期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０（８１０）についてはその階調画素３２０に対する画素信号の読出しを省略する構成を組み合わせることも可能である。
　その場合、図４０に例示するように、直前の周期Ｔ１の期間でアドレスイベントの発火が検出されなかった画素ブロック８１０については、次の周期Ｔ１の期間では、階調画素３２０のリセット動作と画素信号の読出し動作とが実行されない。それにより、周期的な画素信号の読出し動作を簡略化することが可能となるため、固体撮像装置６００の動作速度の向上と消費電力の低減を図ることが可能となる。
　８．第８の実施形態
　第８の実施形態においては、上述した実施形態に係る画素ブロックの変形例について、幾つか例を挙げて説明する。なお、以下の説明では、第１の実施形態において図４及び図５を用いて説明した画素ブロックをベースとするが、ベースとする画素ブロックはこれに限定されず、他の実施形態に係る画素ブロックであってもよい。
　近年のプロセス技術の進歩により、階調画素３２０の微細化が進んでいる。そのため、上述した実施形態のように、階調画素３２０とイベント画素３３０とを組み合わせる場合には、階調画素３２０と、イベント画素３３０からアドレスイベントの発火の有無を検出するためのアドレスイベント検出回路４００とのピッチ（サイズであってもよい）の差が大きくなる。
　ここで、上述した実施形態では、例えば、図５に例示した積層チップにおいて、１つのアドレスイベント検出回路４００の領域と同サイズの受光チップ２０１上の領域には、このアドレスイベント検出回路４００と同じ画素ブロック３１０に属する階調画素３２０とイベント画素３３０とが配置され得る。
　そこで、階調画素３２０とアドレスイベント検出回路４００とのサイズ差から生じる受光チップ２０１上の余剰領域に、階調画素３２０を追加することが考えられる。その場合、１つの画素ブロック３１０に複数の階調画素３２０が属することとなる。
　ただし、１つのイベント画素３３０に対して複数の階調画素３２０を対応させた場合、アドレスイベントの発火に対する感度が低下してしまう可能性がある。
　例えば、ストラクチャードライト（Structured　Light）を用いた測距方式（以下、ストラクチャードライト方式という）では、イベント画素３３０を微細にしてドットの重心を得るようにすることで、各ドットの位置精度を上げる必要がある。
　一方で、ストラクチャードライト方式では、照射するストラクチャードライトのドットに時間方向のオン／オフのコードを含める、すなわち、各ドットを異なるパターンで点滅させることで、イベント画素３３０におけるアドレスイベントの発生パターンからストラクチャードライトにおけるいずれのドットであるかを特定することが可能となり、測距における信号処理を大幅に簡略化することが可能となる。
　そこで本実施形態では、１つの画素ブロック内で、複数のイベント画素３３０を点在させて配置し、それらの電流和を１つのアドレスイベント検出回路４００で受けることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく取得することを可能にする画素ブロックの構成について、例を挙げて説明する。
　図４１は、第８の実施形態に係る画素ブロックの概略構成例を示す模式図である。なお、図４１において、受光チップ２０１における白抜きのマスは、階調画素３２０を示し、ハッチングされているマスはイベント画素３３０を示している。
　図４１に示すように、本実施形態に係る画素ブロック９１０は、１つのアドレスイベント検出回路４００と、４つのイベント画素３３０と、３２つの階調画素３２０とを含んで構成されている。
　イベント画素３３０と階調画素３２０との計３６つの画素は、６×６の行列状に配列されている。例えば、イベント画素３３０のサイズと階調画素３２０のサイズとを同じとし、そのサイズを一辺が１．５μｍ（マイクロメートル）の正方形であるとすると、６×６の行列状の画素配列９１１は、６μｍ四方の矩形の領域となる。その場合、検出チップ２０２におけるアドレスイベント検出回路４００のサイズを、６μｍ四方の矩形領域とするとよい。
　また、各画素ブロック９１０における画素配列９１１において、イベント画素３３０は、等間隔（例えば、縦方向及び横方向に２つ置き）に点在している。このように、イベント画素３３０を等間隔に点在させることで、ストラクチャードライトのドットの重心を精度良く求めることが可能となる。
　同じ画素ブロック９１０の４つのイベント画素３３０は、同じアドレスイベント検出回路４００に接続されている。このように、アドレスイベント検出回路４００が複数（本例では４つ）のイベント画素３３０からの電流和を受けることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく求めることが可能になる。
　以上のように、本実施形態によれば、１つの画素ブロック９１０内で、複数のイベント画素３３０を点在させて配置し、それらの電流和を１つのアドレスイベント検出回路４００で受けることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく取得することが可能になる。
　８．１　変形例
　なお、第８の実施形態では、１つの画素ブロック９１０に複数のイベント画素３３０を点在させることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく求める場合について例示したが、このような構成に限定されない。
　例えば、１つの画素ブロック１０１０に含めるイベント画素３３０の受光領域のサイズを大きくしてもよい。例えば、図４２に示す第８の実施形態の変形例のように、１つのイベント画素３３０の受光領域のサイズを、２×２個分の階調画素３２０の受光領域と同じサイズにしてもよい。その場合、イベント画素３３０は、６×６の画素配列１０１１における２×２の画素領域を利用して配置されることとなる。
　このような構成でも、イベント画素３３０の受光領域を拡大してアドレスイベントの発火に対する感度を向上させることが可能となるため、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく取得することが可能になる。
　また、図４１に示した画素配列９１１において、各イベント画素３３０の受光領域のサイズを、図４２に例示するように、大きくしてもよい。
　９．移動体への応用例
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced　Driver　Assistance　System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４４は、撮像部１２０３１の設置位置の例を示す図である。
　図４４では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１の消費電力を削減することができるため、車両制御システム全体の消費電力を低減することができる。
　なお、上述の実施形態は本技術を具現化するための一例を示したものであり、実施形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施形態に限定されるものではなく、その要旨を逸脱しない範囲において実施形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact　Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital　Versatile　Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　行列状に配列する複数の画素ブロックを備える画素アレイ部と、
　前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
　を備え、
　前記画素ブロックそれぞれは、
　　入射光量に応じた電荷を発生させる第１光電変換素子と、
　　前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
　　入射光量に応じた電荷を発生させる第２光電変換素子と、
　　前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
　を備える固体撮像装置。
（２）
　前記駆動回路は、前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックそれぞれに画素信号を生成させる前記（１）に記載の固体撮像装置。
（３）
　前記複数の第２画素ブロックそれぞれが生成した前記画素信号を並列に読み出す変換部をさらに備える前記（２）に記載の固体撮像装置。
（４）
　前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記行それぞれに対する読出し順序を決定する調停部をさらに備える前記（２）又は（３）に記載の固体撮像装置。
（５）
　前記調停部は、前記駆動回路を含む前記（４）に記載の固体撮像装置。
（６）
　前記第１画素ブロックは、当該第１画素ブロックが属する前記行に対する読出し順序の調停を依頼するリクエストを前記調停部へ出力し、
　前記調停部は、各行に対して一対一に設けられ、それぞれ対応する行から入力された前記リクエストを一時保持する複数のラッチ回路を含み、
　前記ラッチ回路それぞれは、外部から入力されたクロックに同期して、保持している前記リクエストを前記調停部に入力し、
　前記調停部は、前記ラッチ回路を介して入力された前記リクエストに基づいて前記読出し順序を決定する
　前記（４）又は（５）に記載の固体撮像装置。
（７）
　前記駆動回路は、前記複数の画素ブロックのうちの少なくとも１つの第３画素ブロックに所定の周期で前記画素信号を生成させる前記（１）～（６）の何れか１項に記載の固体撮像装置。
（８）
　前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
　前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
　前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックを前記第３画素ブロックとして、前記所定の周期で前記画素信号を生成させる
　前記（７）に記載の固体撮像装置。
（９）
　前記所定の周期で規定される期間内に前記第３画素ブロックで検出されたアドレスイベントの数に基づいて、当該第３画素ブロックから前記所定の周期で読み出された画素信号が示す階調値を増減する信号処理部をさらに備える前記（７）又は（８）に記載の固体撮像装置。
（１０）
　前記画素ブロックそれぞれは、前記第２光電変換素子に発生した電荷を一時保持するメモリをさらに備え、
　前記駆動回路は、前記第１画素ブロックが前記アドレスイベントの発火を検出した際、前記第１画素ブロックに対し、当該第１画素ブロックの前記メモリに保持されている前記電荷に基づいて画素信号を生成させる
　前記（１）に記載の固体撮像装置。
（１１）
　前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
　前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
　前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックに、所定の周期で画素信号を生成させる
　前記（１０）に記載の固体撮像装置。
（１２）
　前記画素ブロックそれぞれは、複数の前記第１光電変換素子を含み、
　前記複数の第１光電変換素子は、前記検出部に接続されている
　前記（１）～（１１）の何れか１項に記載の固体撮像装置。
（１３）
　前記画素ブロックそれぞれは、複数の前記第２光電変換素子をさらに含み、
　前記複数の第１光電変換素子と前記複数の第２光電変換素子とは、行列状の配列を成し、
　前記複数の第１光電変換素子は、前記行列状の配列において等間隔に点在している
　前記（１２）に記載の固体撮像装置。
（１４）
　前記第１光電変換素子の受光領域のサイズは、前記第２光電変換素子の受光領域のサイズよりも大きい前記（１）～（１３）の何れか１項に記載の固体撮像装置。
（１５）
　固体撮像装置と、
　入射光を前記固体撮像装置の受光面に結像する光学系と、
　前記固体撮像装置で取得された画像データを記憶する記録部と、
　を備え、
　前記固体撮像装置は、
　　行列状に配列する複数の画素ブロックを備える画素アレイ部と、
　　前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
　を備え、
　前記画素ブロックそれぞれは、
　　入射光量に応じた電荷を発生させる第１光電変換素子と、
　　前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
　　入射光量に応じた電荷を発生させる第２光電変換素子と、
　　前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
　を備える撮像装置。
　１００　撮像装置
　１１０　光学系
　１２０　記録部
　１３０　制御部
　１４０　外部Ｉ／Ｆ
　１５０　ホスト
　２００、２００Ａ、６００　固体撮像装置
　２０１　受光チップ
　２０２　検出チップ
　２１１　駆動回路
　２１２　信号処理部
　２１３、６０１　Ｙアービタ
　２２０　カラムＡＤＣ
　２３０、５３０　ＡＤ変換部
　２３３　比較器
　２３４　カウンタ
　２４０、５４０　制御回路
　２４１　ＯＲゲート
　２４２　レベルシフタ
　２４３　ＡＮＤゲート
　２５０　イベントエンコーダ
　３００　画素アレイ部
　３０６、３０７　検出信号線
　３０８　垂直信号線
　３０９　イネーブル信号線
　３１０、３１０Ａ、８１０、９１０、１０１０　画素ブロック
　３２０　階調画素
　３２１、３３１、３４１　光電変換素子
　３２２　転送トランジスタ
　３２３　浮遊拡散層
　３２４　リセットトランジスタ
　３２５　増幅トランジスタ
　３２６　選択トランジスタ
　３３０　イベント画素
　３３２　ＯＦＧトランジスタ
　４００　アドレスイベント検出回路
　４００Ａ　アドレスイベント検出部
　４１０、４１０Ａ　電流電圧変換部
　４１１、４１４　ＬＧトランジスタ
　４１２　負荷ＭＯＳトランジスタ
　４１３、４１５　増幅トランジスタ
　４２０　バッファ
　４３０　減算器
　４３１、４３３　コンデンサ
　４３２　インバータ
　４３４　スイッチ
　４４０　量子化器
　４４１、４４２　コンパレータ
　４５０　転送部
　４５１、４５３　ＡＮＤゲート
　４５２　ＯＲゲート
　４５４、４５５　フリップフロップ
　５３１　マルチプレクサ
　５４５　切替制御部
　５４４　デマルチプレクサ
　６１０　階調画素制御部
　６１１　アドレス生成部
　６１２　ドライバ
　６２０、７２０　イベント処理部
　６２１　アドレス特定部
　６２２　ラッチ回路
　６２３　ドライバ
　７２１　アドレス記憶部
　８０１　メモリ
　９１１、１０１１　画素配列

Claims (15)

  1. 　行列状に配列する複数の画素ブロックを備える画素アレイ部と、
    　前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
    　を備え、
    　前記画素ブロックそれぞれは、
    　　入射光量に応じた電荷を発生させる第１光電変換素子と、
    　　前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
    　　入射光量に応じた電荷を発生させる第２光電変換素子と、
    　　前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
    　を備える固体撮像装置。
  2. 　前記駆動回路は、前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックそれぞれに画素信号を生成させる請求項１に記載の固体撮像装置。
  3. 　前記複数の第２画素ブロックそれぞれが生成した前記画素信号を並列に読み出す変換部をさらに備える請求項２に記載の固体撮像装置。
  4. 　前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記行それぞれに対する読出し順序を決定する調停部をさらに備える請求項２に記載の固体撮像装置。
  5. 　前記調停部は、前記駆動回路を含む請求項４に記載の固体撮像装置。
  6. 　前記第１画素ブロックは、当該第１画素ブロックが属する前記行に対する読出し順序の調停を依頼するリクエストを前記調停部へ出力し、
    　前記調停部は、各行に対して一対一に設けられ、それぞれ対応する行から入力された前記リクエストを一時保持する複数のラッチ回路を含み、
    　前記ラッチ回路それぞれは、外部から入力されたクロックに同期して、保持している前記リクエストを前記調停部に入力し、
    　前記調停部は、前記ラッチ回路を介して入力された前記リクエストに基づいて前記読出し順序を決定する
    　請求項４に記載の固体撮像装置。
  7. 　前記駆動回路は、前記複数の画素ブロックのうちの少なくとも１つの第３画素ブロックに所定の周期で前記画素信号を生成させる請求項１に記載の固体撮像装置。
  8. 　前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
    　前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
    　前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックを前記第３画素ブロックとして、前記所定の周期で前記画素信号を生成させる
    　請求項７に記載の固体撮像装置。
  9. 　前記所定の周期で規定される期間内に前記第３画素ブロックで検出されたアドレスイベントの数に基づいて、当該第３画素ブロックから前記所定の周期で読み出された画素信号が示す階調値を増減する信号処理部をさらに備える請求項７に記載の固体撮像装置。
  10. 　前記画素ブロックそれぞれは、前記第２光電変換素子に発生した電荷を一時保持するメモリをさらに備え、
    　前記駆動回路は、前記第１画素ブロックが前記アドレスイベントの発火を検出した際、前記第１画素ブロックに対し、当該第１画素ブロックの前記メモリに保持されている前記電荷に基づいて画素信号を生成させる
    　請求項１に記載の固体撮像装置。
  11. 　前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
    　前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
    　前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックに、所定の周期で画素信号を生成させる
    　請求項１０に記載の固体撮像装置。
  12. 　前記画素ブロックそれぞれは、複数の前記第１光電変換素子を含み、
    　前記複数の第１光電変換素子は、前記検出部に接続されている
    　請求項１に記載の固体撮像装置。
  13. 　前記画素ブロックそれぞれは、複数の前記第２光電変換素子をさらに含み、
    　前記複数の第１光電変換素子と前記複数の第２光電変換素子とは、行列状の配列を成し、
    　前記複数の第１光電変換素子は、前記行列状の配列において等間隔に点在している
    　請求項１２に記載の固体撮像装置。
  14. 　前記第１光電変換素子の受光領域のサイズは、前記第２光電変換素子の受光領域のサイズよりも大きい請求項１に記載の固体撮像装置。
  15. 　固体撮像装置と、
    　入射光を前記固体撮像装置の受光面に結像する光学系と、
    　前記固体撮像装置で取得された画像データを記憶する記録部と、
    　を備え、
    　前記固体撮像装置は、
    　　行列状に配列する複数の画素ブロックを備える画素アレイ部と、
    　　前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
    　を備え、
    　前記画素ブロックそれぞれは、
    　　入射光量に応じた電荷を発生させる第１光電変換素子と、
    　　前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
    　　入射光量に応じた電荷を発生させる第２光電変換素子と、
    　　前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
    　を備える撮像装置。
PCT/JP2020/002412 2019-01-31 2020-01-23 固体撮像装置及び撮像装置 Ceased WO2020158583A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/424,684 US11558565B2 (en) 2019-01-31 2020-01-23 Solid-state imaging apparatus and imaging apparatus
EP20748100.3A EP3920211B1 (en) 2019-01-31 2020-01-23 Solid-state imaging device, and imaging device
US18/153,488 US11910108B2 (en) 2019-01-31 2023-01-12 Solid-state imaging apparatus and imaging apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-016465 2019-01-31
JP2019016465 2019-01-31
JP2019-086853 2019-04-26
JP2019086853A JP7398880B2 (ja) 2019-01-31 2019-04-26 固体撮像装置及び撮像装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/424,684 A-371-Of-International US11558565B2 (en) 2019-01-31 2020-01-23 Solid-state imaging apparatus and imaging apparatus
US18/153,488 Continuation US11910108B2 (en) 2019-01-31 2023-01-12 Solid-state imaging apparatus and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2020158583A1 true WO2020158583A1 (ja) 2020-08-06

Family

ID=71840959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002412 Ceased WO2020158583A1 (ja) 2019-01-31 2020-01-23 固体撮像装置及び撮像装置

Country Status (3)

Country Link
US (2) US11558565B2 (ja)
EP (1) EP3920211B1 (ja)
WO (1) WO2020158583A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034271A1 (ja) * 2022-08-08 2024-02-15 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器
WO2025063120A1 (ja) 2023-09-22 2025-03-27 ソニーセミコンダクタソリューションズ株式会社 撮像装置、データ処理方法、情報処理装置、情報処理方法、記録媒体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102747641B1 (ko) 2019-06-26 2024-12-27 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US11653109B2 (en) * 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
JP7352637B2 (ja) 2019-08-28 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、センサシステム、画像処理装置、画像処理方法およびプログラム
US11706542B2 (en) * 2020-09-01 2023-07-18 Pixart Imaging Inc. Pixel circuit outputting time difference data and image data, and operating method of pixel array
JP7686402B2 (ja) 2021-02-04 2025-06-02 キヤノン株式会社 光電変換装置、光電変換システム
CN118923124A (zh) * 2022-03-31 2024-11-08 索尼集团公司 传感器设备和用于操作传感器设备的方法
EP4387259B1 (en) * 2022-12-13 2025-09-03 Prophesee Row selection method for event-based image sensor readout
JP7771212B2 (ja) * 2023-03-22 2025-11-17 深▲セン▼鋭視智芯科技有限公司 画像センサ及びその画像出力方法、光電子デバイス
EP4462802A1 (en) * 2023-05-11 2024-11-13 Prophesee Monitoring an event queue in an event-based vision sensor to account for event bursts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017104438A1 (ja) * 2015-12-16 2017-06-22 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
JP2017535999A (ja) * 2014-09-30 2017-11-30 クアルコム，インコーポレイテッド フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017535999A (ja) * 2014-09-30 2017-11-30 クアルコム，インコーポレイテッド フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ
WO2017104438A1 (ja) * 2015-12-16 2017-06-22 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034271A1 (ja) * 2022-08-08 2024-02-15 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器
WO2025063120A1 (ja) 2023-09-22 2025-03-27 ソニーセミコンダクタソリューションズ株式会社 撮像装置、データ処理方法、情報処理装置、情報処理方法、記録媒体

Also Published As

Publication number Publication date
US11558565B2 (en) 2023-01-17
US20230141384A1 (en) 2023-05-11
EP3920211B1 (en) 2025-10-15
US20220109799A1 (en) 2022-04-07
US11910108B2 (en) 2024-02-20
EP3920211A1 (en) 2021-12-08
EP3920211A4 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
US11910108B2 (en) Solid-state imaging apparatus and imaging apparatus
JP7398880B2 (ja) 固体撮像装置及び撮像装置
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
JP7307725B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN112913224B (zh) 固态成像元件和成像装置
CN112585954B (zh) 固态成像元件与成像装置
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN116057956B (zh) 固态成像装置和成像装置
WO2020218236A1 (ja) イベント検出装置、イベント検出装置を備えるシステムおよびイベント検出方法
WO2020129657A1 (ja) センサ及び制御方法
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748100

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020748100

Country of ref document: EP

Effective date: 20210831

WWG Wipo information: grant in national office

Ref document number: 2020748100

Country of ref document: EP