WO2022219928A1 - 撮像装置、電子機器、および信号処理方法 - Google Patents

撮像装置、電子機器、および信号処理方法 Download PDF

Info

Publication number
WO2022219928A1
WO2022219928A1 PCT/JP2022/007073 JP2022007073W WO2022219928A1 WO 2022219928 A1 WO2022219928 A1 WO 2022219928A1 JP 2022007073 W JP2022007073 W JP 2022007073W WO 2022219928 A1 WO2022219928 A1 WO 2022219928A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light source
array section
substrate
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/007073
Other languages
English (en)
French (fr)
Inventor
大輔 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2023514367A priority Critical patent/JPWO2022219928A1/ja
Priority to US18/554,043 priority patent/US12542982B2/en
Priority to CN202280024962.3A priority patent/CN117178560A/zh
Priority to EP22787856.8A priority patent/EP4325839A4/en
Priority to KR1020237035037A priority patent/KR20230172478A/ko
Publication of WO2022219928A1 publication Critical patent/WO2022219928A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/7821—Tightly coupled to memory, e.g. computational memory, smart memory, processor in memory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H10F39/1825—Multicolour image sensors having stacked structure, e.g. NPN, NPNPN or multiple quantum well [MQW] structures
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10W—GENERIC PACKAGES, INTERCONNECTIONS, CONNECTORS OR OTHER CONSTRUCTIONAL DETAILS OF DEVICES COVERED BY CLASS H10
    • H10W90/00—Package configurations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present disclosure relates to imaging devices, electronic devices, and signal processing methods.
  • DNN deep neural networks
  • DSP Digital Signal Processor
  • the present disclosure provides an imaging device, an electronic device, and a signal processing method that are capable of realizing advanced computation with low power.
  • An imaging device includes a first substrate group on which a light source cell array unit that generates optical signals is arranged, and pixels that photoelectrically convert the optical signals and output pixel signals indicating the results of sum-of-products operations. and a second substrate group on which the array section is arranged.
  • the first substrate group and the second substrate group are stacked together such that at least part of the light source cell array section overlaps the pixel array section.
  • the light source cell array section has a plurality of light source cells arranged two-dimensionally,
  • the pixel array section has a plurality of pixels arranged two-dimensionally, In the plurality of light source cells and the plurality of pixels, one center pitch may be an integral multiple of the other center pitch.
  • the optical signal may be infrared or visible light.
  • the first substrate group is a light source substrate on which the light source cell array section is arranged; and a light source control substrate laminated under the light source substrate, on which a light source control circuit for controlling driving of the light source cell array section is arranged.
  • the second substrate group is a substrate on which the pixel array section is arranged;
  • a memory substrate stacked under the substrate may include a memory cell array unit arranged thereon for outputting a convolution signal indicating a result of sum-of-products operation of the input signal based on the pixel signal.
  • At least one of the pixel signal and the convolution signal may be an analog signal.
  • a CIM readout circuit for processing the convolution signal read out from the memory cell array section may be further provided.
  • a pixel signal processing circuit for processing the pixel signals read out from the pixel array section may be further provided.
  • the pixel signal processing circuit may be arranged on the same substrate as the pixel array section.
  • the pixel signal processing circuit may be arranged on a substrate different from that of the pixel array section.
  • the pixel array section has a photoelectric conversion section for photoelectrically converting the optical signal, and a pixel transistor section for performing a sum-of-products operation on the optical signal,
  • the photoelectric conversion section may be arranged on a substrate different from the pixel transistor section.
  • An optical modulation element arranged between the light source cell array section and the pixel array section may be further provided.
  • a shutter may be provided between the light source cell array section and the pixel array section.
  • a black mask may be provided on the edge of the first substrate group and the edge of the second substrate group.
  • the first substrate group and the second substrate group may be accommodated in a light-shielding package.
  • Each of the plurality of light source cells may include a light emitting element, an active element that independently controls the light emitting element, and a storage section provided between the light emitting element and the active element. good.
  • the storage unit may store data relating to the sum-of-products operation.
  • the pixel array section may receive reflected light reflected by a subject from a direction opposite to the optical signal.
  • An electronic device includes a first substrate group on which a light source cell array unit that generates an optical signal is arranged, and a pixel signal that photoelectrically converts the optical signal and outputs a pixel signal that indicates the result of a sum-of-products operation. and a second substrate group on which a pixel array section is arranged, wherein the first substrate group and the second substrate group are mutually arranged so that at least part of the light source cell array section overlaps the pixel array section.
  • a stacked imaging device is provided.
  • a signal processing method includes generating an optical signal in the light source cell array portion arranged on the first substrate group; A pixel array section that overlaps at least a part of the light source cell array section photoelectrically converts the optical signal and outputs a pixel signal indicating a result of sum-of-products operation.
  • FIG. 1 is a block diagram showing the configuration of an imaging device according to a first embodiment;
  • FIG. It is a figure showing an example of structure of an imaging device concerning a 1st embodiment. It is a figure showing an example of structure of an imaging device concerning a 1st embodiment. It is a figure showing an example of structure of an imaging device concerning a 1st embodiment. It is a figure showing an example of structure of an imaging device concerning a 1st embodiment. It is a figure showing an example of structure of an imaging device concerning a 1st embodiment. It is a figure showing an example of structure of an imaging device concerning a 1st embodiment.
  • FIG. 3B is a cross-sectional view schematically showing a bonding configuration between the light source substrate and the light source control substrate shown in FIG. 2B;
  • FIG. 3B is a cross-sectional view schematically showing a bonding configuration between the light source substrate and the light source control substrate shown in FIG. 2B;
  • FIG. 3B is a cross-sectional view schematically
  • FIG. 10 is a cross-sectional view schematically showing another joining form between the light source substrate and the light source control substrate; It is a figure which shows the schematic structure of a light source cell array part. It is a figure which shows an example of a light source cell.
  • FIG. 10 is a diagram showing another example of a light source cell;
  • FIG. 10 is a diagram showing still another example of a light source cell;
  • 3 is a diagram showing a schematic configuration of a pixel array section;
  • FIG. It is a figure which shows an example of the equivalent circuit diagram of a pixel. It is a figure which shows an example of the equivalent circuit diagram of a pixel. It is a figure which shows an example of the equivalent circuit diagram of a pixel. It is a figure which shows an example of the equivalent circuit diagram of a pixel.
  • FIG. 11 is a block diagram showing the configuration of an imaging device according to a second embodiment; FIG. It is a figure which shows an example of the structure of the imaging device which concerns on 2nd Embodiment. It is a figure which shows another example of the structure of the imaging device which concerns on 2nd Embodiment.
  • 3 is a diagram showing a schematic circuit configuration of a memory cell array section; FIG. It is a figure which shows the structure of the imaging device which concerns on 3rd Embodiment.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit
  • FIG. 1 is a block diagram showing the configuration of an imaging device according to the first embodiment.
  • a plurality of light source cells are arranged two-dimensionally in the light source cell array section 11 .
  • Each light source cell emits light based on the light source control signal S ⁇ b>11 from the light source control circuit 12 . This light emission generates an optical signal S12.
  • the generated optical signal S ⁇ b>12 is received by the pixel array section 21 .
  • a circuit configuration example of the light source cell array section 11 will be described later.
  • the light source control circuit 12 has, for example, a drive circuit for driving the light source cell array section 11 and a decoder for selecting a light source cell. to input the light source control signal S11. By this light source control signal S11, the light source control circuit 12 sequentially selects each light source cell of the light source cell array section 11 to emit light, and irradiates the pixel array section 21 with the light signal S12. Note that the light source control circuit 12 may collectively cause the light source cells to emit light.
  • the light source logic circuit 13 receives a clock signal input from the outside and data instructing an operation mode, etc., and controls the operation of the light source cell array section 11 as a whole.
  • the light source logic circuit 13 may be provided with a memory circuit that holds the coefficients (weights) of the sum-of-products operation.
  • a plurality of pixels are arranged two-dimensionally in the pixel array section 21 .
  • Each pixel photoelectrically converts the optical signal S12 based on a plurality of types of pixel control signals S21 from the pixel control circuit 22, and generates a pixel signal S22 indicating the result of the sum-of-products operation. Also, each pixel outputs a pixel signal S22 to the pixel signal processing circuit 23 in one direction.
  • a circuit configuration example of the pixel array section 21 will be described later.
  • the pixel control circuit 22 is composed of, for example, a shift register, and inputs a pixel control signal S21 to each pixel of the pixel array section 21 via pixel drive wiring (not shown in FIG. 1). By this pixel control signal S21, the pixel control circuit 22 sequentially selects and scans each pixel of the pixel array section 21, and outputs the pixel signal S22 to the pixel signal processing circuit . Note that the pixel control circuit 22 may scan each pixel at once.
  • the pixel signal processing circuit 23 performs CDS (Correlated Double Sampling) processing for removing pixel-specific fixed pattern noise, AD (Analog to Digital) conversion processing. As a result, the digital pixel signal S ⁇ b>23 is output from the pixel signal processing circuit 23 . Note that the pixel signal processing circuit 23 does not have to perform the CDS processing.
  • CDS Correlated Double Sampling
  • AD Analog to Digital
  • the horizontal driving circuit 24 is composed of, for example, a shift register, and sequentially outputs horizontal scanning pulses to the pixel signal processing circuit 23 .
  • the digital pixel signals S23 held in the pixel signal processing circuit 23 are sequentially output.
  • the pixel logic circuit 25 receives a clock signal input from the outside and data instructing an operation mode, etc., and controls the operation of the entire pixel array section 21 .
  • the pixel logic circuit 25 generates a vertical synchronizing signal, a horizontal synchronizing signal, etc., based on the input clock signal, and supplies them to the pixel control circuit 22 , the pixel signal processing circuit 23 , and the horizontal driving circuit 24 .
  • FIGS. 2A to 2E are diagrams showing an example of the structure of the imaging device 1.
  • the light source cell array section 11 , the light source control circuit 12 and the light source logic circuit 13 are arranged on the first substrate 101 .
  • the pixel array section 21 , the pixel control circuit 22 , the pixel signal processing circuit 23 and the pixel logic circuit 25 are arranged on the second substrate 201 .
  • the horizontal drive circuit 24 is omitted from the second substrate 201 in FIG. 2A for the sake of space.
  • FIGS. 2A to 2E two directions parallel to the substrate and perpendicular to each other are defined as the X direction and the Y direction, respectively.
  • a direction orthogonal to the X direction and the Y direction, in other words, the stacking direction of the substrates is defined as the Z direction.
  • the first substrate 101 and the second substrate 201 are, for example, silicon substrates.
  • the two substrates are bonded together, for example, with copper pads, bumps, or TSVs (Through Silicon Via).
  • the first substrate 101 and the second substrate 201 do not need to overlap entirely, and at least a portion of the light source cell array section 11 may overlap the pixel array section 21 . If the optical signal S12 of the light source cell array section 11 can be received by a desired pixel in the pixel array section 21, the distance between the first substrate 101 and the second substrate 201 may be several centimeters or they may be close to each other. good.
  • the first substrate 101 and the second substrate 201 may be joined by mounting such as solder, for example.
  • the distance between the pixel array section 21 and the pixel signal processing circuit 23 is short. Further, the optical center position between the pixel array section 21 and the light source cell array section 11 and the substrate center position between the first substrate 101 and the second substrate 201 may or may not match. .
  • the pixel array section 21 can be selected at an optimum position according to specifications.
  • the pixel control circuit 22 is arranged in a direction parallel to the output direction of the pixel signal S22, and the pixel signal processing circuit 23 is arranged in a direction perpendicular to the output direction of the pixel signal S22. be. That is, the pixel control circuit 22 and the pixel signal processing circuit 23 are arranged perpendicular to each other. Note that the position of the pixel logic circuit 25 is not limited to the position shown in FIG.
  • the plane area of the pixel array section 21 is a rectangle with the X direction as the short side direction and the Y direction as the long side direction, but it may be a square, which is determined according to the specifications of the sum-of-products operation. For example, when the number of convolutions (the number of additions) of the sum-of-products operation is large, a long read wiring is required. In this case, the rectangular pixel array section 21 shown in FIG. 2A is preferable.
  • the light source system has a two-layer structure in which the light source substrate 111 and the light source control substrate 121 are superimposed on each other.
  • the light source substrate 111 and the light source control substrate 121 are, for example, silicon substrates.
  • the light source substrate 111 is arranged in an intermediate layer between the light source control substrate 121 and the second substrate 201, and the light source control substrate 121 is arranged in the uppermost layer.
  • the light source cell array section 11 is arranged on the light source substrate 111 .
  • the light source control circuit 12 and the light source logic circuit 13 are arranged on the light source control board 121 .
  • the first substrate 101 shown in FIG. 2A or the light source substrate 111 and light source control substrate 121 shown in FIG. 2B each correspond to the first substrate group. That is, the first substrate group may be one substrate or multiple substrates.
  • the shutter 102 is provided between the light source cell array section 11 and the pixel array section 21.
  • the shutter 102 is opened when the light source cell array section 11 is in the ON state where the optical signal S12 is output, and is closed when the light source cell array section 11 is in the OFF state where no optical signal is output.
  • the shutter 102 may be composed of, for example, a mechanical shutter or a liquid crystal shutter.
  • the shutter 102 can realize a light blocking function of blocking unnecessary light to the pixel array section 21 when the light source cell array section 11 is turned off.
  • a black mask 103 is provided on the edge of the first substrate 101 and the edge of the second substrate 201 .
  • the black mask 103 is composed of a light absorber.
  • the black mask 103 can block external light entering through the gap between the first substrate 101 and the second substrate 201 .
  • the pixel array section 21 can receive only the optical signal S12, thereby improving the calculation accuracy.
  • the first substrate 101 and the second substrate 201 are housed in a light-shielding package 104.
  • the package 104 is also composed of a light absorber. Like the black mask 103 , the package 104 can block external light entering through the gap between the first substrate 101 and the second substrate 201 . As a result, the pixel array section 21 can receive only the optical signal S12, thereby improving the calculation accuracy.
  • FIG. 3A is a cross-sectional view schematically showing the joining form between the light source substrate 111 and the light source control substrate 121 shown in FIG. 2B.
  • a plurality of through electrodes 112 formed on the light source substrate 111 and a plurality of connection terminals 122 formed on the light source control substrate 121 are joined.
  • the through electrodes 112 and the connection terminals 122 can be made of metal such as copper.
  • a gap between the light source substrate 111 and the light source control substrate 121 is filled with an insulating film.
  • the through electrodes 112 pass through the light source substrate 111 and are electrically connected to the light source cell array section 11 via a wiring layer (not shown) including various wirings.
  • the connection terminals 122 are formed on the surface of the light source control board 121 (the joint surface with the light source board 111).
  • the connection terminals 122 are connected to the light source control circuit 12 and the light source logic circuit 13 arranged on the light source control board 121 via various wiring layers (not shown).
  • the light source control signal S11 of the light source control circuit 12 is transmitted from the connection terminal 122 to each light source of the light source cell array section 11 through the through electrodes 112 .
  • FIG. 3B is a cross-sectional view schematically showing another joining form between the light source substrate 111 and the light source control substrate 121.
  • the joining form shown in FIG. 3B is a so-called Cu--Cu joining in which a plurality of connection terminals 113 formed on the light source substrate 111 and a plurality of connection terminals 122 formed on the light source control substrate 121 are joined.
  • the connection terminals 113 can be made of a metal such as copper, like the connection terminals 122, and are electrically connected to the light source cell array section 11 via wiring (not shown). Note that, even in this bonding mode, the gap between the light source substrate 111 and the light source control substrate 121 is filled with an insulating film.
  • the light source control signal S11 of the light source control circuit 12 is transmitted from the connection terminal 122 to each light source of the light source cell array section 11 through the connection terminal 113 .
  • the light source cell array section 11 is formed above the through electrodes 112 or the connection terminals 113 . Also, the light source control circuit 12 and the light source logic circuit 13 are formed in a layer above the connection terminals 122 .
  • FIG. 4A is a diagram showing a schematic configuration of the light source cell array section 11.
  • FIG. 4A a plurality of light source cells 30 are arranged two-dimensionally in the light source cell array section 11 .
  • Each light source cell 30 is arranged near an intersection point between a light source driving wiring 31 and a light source driving wiring 32 orthogonal to the light source driving wiring 31 .
  • FIG. 4B is a diagram showing an example of the light source cell 30.
  • the light source cell 30 is composed of light emitting elements 300 .
  • the anode is connected to the light source driving wiring 31 and the cathode is connected to the light source driving wiring 32 .
  • an LED Light Emitting Diode
  • an SLED Super Light Emitting Diode
  • an OLED Organic Light Emitting Diode
  • a laser VCSEL
  • Each light emitting element 300 emits light in response to a light source control signal S11 input from the light source control circuit 12 through the light source drive wiring 31 to generate an optical signal S12.
  • the light source cell array section 11 shown in FIG. 4B is driven by a passive matrix system that controls each light emitting element 300 in a time division manner.
  • the light of each light emitting element 300 that is, the wavelength of the optical signal S12 may be different for each light source cell 30, or may be the same for all the light source cells 30.
  • the wavelength of the optical signal S12 may be within the range from infrared rays to visible light, but a long wavelength is preferable.
  • the wavelength of the optical signal S ⁇ b>12 may be selected according to the light receiving range of the pixel array section 21 .
  • FIG. 4C is a diagram showing another example of the light source cell 30.
  • FIG. This light source cell 30 is provided with an active element 310 in addition to the light emitting element 300 .
  • the active element 310 is composed of, for example, an N-channel MOS (Metal Oxide Semiconductor) transistor, as shown in FIG. 4C.
  • MOS Metal Oxide Semiconductor
  • the gate is connected to the light source driving wiring 31
  • the drain is connected to the light emitting element 300
  • the source is connected to the light source driving wiring 32 .
  • the light source cell array section 11 in FIG. 4C is driven by an active matrix system in which the active elements 310 control the light emitting elements 300 independently of other light emitting elements 300 .
  • the light of each light emitting element 300 that is, the wavelength of the optical signal S12 may be different for each light source cell 30, or may be the same for all the light source cells 30.
  • the wavelength of the optical signal S12 may be within the range from infrared rays to visible light, but a long wavelength is preferable.
  • the wavelength of the optical signal S ⁇ b>12 may be selected according to the light receiving range of the pixel array section 21 .
  • FIG. 4D is a diagram showing still another example of the light source cell 30.
  • FIG. A storage section 320 is provided between the light emitting element 300 and the active element 310 in the light source cell 30 .
  • SRAM Static Random Access Memory
  • a latch circuit a flip-flop, a non-volatile memory, and the like can be applied to the storage unit 320 .
  • each memory when a voltage is applied between the light source driving wiring 31 and the light source driving wiring 32, that is, when the light source control signal S11 is input to each light source cell 30 through the light source driving wiring 31, each memory The voltage applied to each light emitting element 300 is determined according to the state of the portion 320 .
  • This applied voltage corresponds to the coefficient of the sum-of-products operation of the pixel array section 21 . That is, the storage unit 320 stores data regarding the coefficients of the sum-of-products operation. This data may be stored in multiple bits. In addition, this data may contain other information besides the coefficients of the sum-of-products operation.
  • the configuration of the light source cell 30 is not limited to the configurations shown in FIGS. 4B, 4C, and 4D.
  • the light source cell 30 may have, for example, a transmissive or reflective liquid crystal module or electronic paper in addition to the light emitting element 300 .
  • FIG. 5A is a diagram showing a schematic configuration of the pixel array section 21.
  • FIG. 5A in the pixel array section 21, a plurality of pixels 50 are arranged between the pixel drive wiring 41 connected to the pixel control circuit 22 and the pixel readout wiring 42 connected to the pixel signal processing circuit 23. They are arranged two-dimensionally.
  • the center pitch P1 of the light source cells 30 shown in FIG. 4A is an integer multiple of the center pitch P2 of the pixels 50. There may be. That is, in the light source cells 30 and the pixels 50, the center pitch of one is an integral multiple of the center pitch of the other. In other words, in the light source cells 30 and the pixels 50, one number is an integral multiple of the other number.
  • Each pixel 50 generates a photoelectric conversion signal of the optical signal S12 according to the pixel control signal S21 input through the pixel drive wiring 41.
  • the signal value of the pixel control signal S21 is multiplied by the amount of light of the optical signal S12 and the exposure time, that is, the amount of charge received by the pixel 50 as a coefficient.
  • the pixel array unit 21 sequentially adds the multiplication results in units of rows or columns through the pixel readout wirings 42 .
  • an analog pixel signal S ⁇ b>22 indicating the sum-of-products operation result is read out to the pixel signal processing circuit 23 .
  • the sum-of-products operation is performed in an analog manner, digital processing is unnecessary. Therefore, the power consumed by the sum-of-products operation is reduced.
  • 5B to 5F are diagrams showing examples of equivalent circuit diagrams of the pixel 50.
  • FIG. The circuit configuration of the pixel shown in each drawing will be described below.
  • a pixel 50 a shown in FIG. 5B has a photodiode 51 , a transfer transistor 52 , a reset transistor 53 , an amplification transistor 54 and a selection transistor 55 .
  • the photodiode 51 generates and accumulates charges (signal charges) corresponding to the light intensity of the optical signal S12.
  • the photodiode 51 has an anode terminal grounded and a cathode terminal connected to the transfer transistor 52 .
  • the transfer transistor 52 When the transfer transistor 52 is turned on by a transfer signal from the pixel control circuit 22 , the charge is read from the photodiode 51 and transferred to the amplification transistor 54 .
  • the reset transistor 53 When the reset transistor 53 is turned on by a reset signal from the pixel control circuit 22 , the charge accumulated in the photodiode 51 is discharged to the power supply, thereby resetting the potential of the photodiode 51 .
  • the amplification transistor 54 outputs a pixel signal S22 corresponding to the amount of charge accumulated in the photodiode 51 to the selection transistor 55 .
  • the selection transistor 55 outputs the pixel signal S22 to the pixel readout line 42 when turned on by a selection signal that is one of the pixel control signals S21.
  • the pixel signal S22 is transmitted to the pixel signal processing circuit 23 via the pixel readout wiring 42 .
  • a pixel 50b shown in FIG. 5C has two photodiodes 51a and 51b. Charges generated by photoelectric conversion of photodiode 51a are temporarily held in memory transistor 57a and capacitor 58a. The held charges are transferred to the amplification transistor 54 by the transfer transistor 52a. On the other hand, charges generated by photoelectric conversion of the photodiode 51b are temporarily held in the memory transistor 57b and the capacitor 58b. The retained charges are transferred to the amplification transistor 54 by the transfer transistor 52b.
  • the amplification transistor 54 outputs to the selection transistor 55 a pixel signal S22 corresponding to the amount of charge transferred from the transfer transistor 52a or the transfer transistor 52b.
  • the selection transistor 55 outputs the pixel signal S22 to the pixel readout line 42 .
  • the pixel signal S22 is transmitted to the pixel signal processing circuit 23 via the pixel readout wiring 42 .
  • a reset transistor 53 resets the potential of each of the photodiodes 51a and 51b.
  • a pixel 50c shown in FIG. 5D is an example of a so-called PWM (Pulse Wide Modulation) pixel.
  • the slope signal S11a which is one of the pixel control signals S21, is input to the gate of the P-channel MOS transistor 59 in the pixel 50b.
  • the MOS transistor 59 is connected in series with the amplification transistor 54 .
  • the selection transistor 55 outputs a PWM pixel signal S22 indicating the comparison result between the output of the MOS transistor 59 and the output of the amplification transistor 54 to the pixel readout line 42 .
  • the pixel signal S22 is transmitted to the pixel signal processing circuit 23 via the pixel readout wiring 42 .
  • the photodiodes 51a to 51c each have a photoelectric conversion film 511, a transparent electrode 512, and a lower electrode 513.
  • the photoelectric conversion film 511 is an organic photoelectric conversion film or an inorganic photoelectric conversion film.
  • the transparent electrode 512 is arranged on the upper surface of the photoelectric conversion film 511 .
  • the lower electrode 513 is arranged on the upper surface of the photoelectric conversion film 511 . That is, the transparent electrode 512 is sandwiched between the transparent electrode 512 and the lower electrode 513 .
  • the photoelectric conversion film 511 controls the voltage of the transparent electrode 512 to realize a global shutter.
  • the charges photoelectrically converted by the photoelectric conversion films 511 of the photodiodes 51a to 51c are transferred to the amplification transistors 54 by the transfer transistors 52a to 52c, respectively.
  • the amplification transistor 54 outputs a pixel signal S22 corresponding to the charge amount accumulated in the photodiode 51 to the selection transistor 55 .
  • the selection transistor 55 outputs the pixel signal S22 to the pixel readout line 42 .
  • the pixel signal S22 is transmitted to the pixel signal processing circuit 23 via the pixel readout wiring 42 .
  • the potential of each photodiode is reset by a reset transistor 53 .
  • a pixel 50e shown in FIG. 5F is an example of a DVS (Dynamic Vision Sensor) pixel that outputs changes in brightness.
  • Pixel 50 e has logarithmic conversion circuitry 510 , buffer circuitry 520 , subtraction circuitry 530 and quantization circuitry 540 .
  • the logarithmic conversion circuit 510 has a photodiode 51 , an N-channel MOS transistor 514 , a P-channel MOS transistor 515 , and an N-channel MOS transistor 516 .
  • Photodiode 51 and MOS transistor 514 are connected in series.
  • MOS transistors 515 and 516 are also connected in series.
  • the gate of MOS transistor 514 is connected to the drain of MOS transistor 515 and the drain of MOS transistor 516 .
  • the logarithmic conversion circuit 510 converts the charge photoelectrically converted by the photodiode 51 into a logarithmic output voltage Vlog.
  • the buffer circuit 520 has a P-channel MOS transistor 521 and a P-channel MOS transistor 522 . MOS transistor 521 and MOS transistor 522 are connected in series. Buffer circuit 520 outputs a source follower voltage VSF obtained by performing impedance conversion on voltage Vlog input to the gate of MOS transistor 522 .
  • the subtraction circuit 530 has a P-channel MOS transistor 531 , a P-channel MOS transistor 532 , an N-channel MOS transistor 533 , a capacitor 534 and a capacitor 535 .
  • MOS transistor 532 and MOS transistor 533 are connected in series.
  • a capacitor 534 is connected to the gate of the MOS transistor 532 .
  • MOS transistor 531 and capacitor 535 are connected in parallel between the gate and drain of MOS transistor 532 .
  • Subtraction circuit 530 outputs a differential voltage Vdiff from the previous signal.
  • the quantization circuit 540 has a P-channel MOS transistor 541 , an N-channel MOS transistor 542 , a P-channel MOS transistor 543 , and an N-channel MOS transistor 544 .
  • MOS transistor 541 and MOS transistor 542 are connected in series.
  • MOS transistors 543 and 544 are also connected in series.
  • Quantization circuit 540 compares differential voltage Vdiff input to the gates of MOS transistors 541 and 543 with two threshold values. After that, the comparison result (VO(+), VO(-)) is transmitted to the pixel signal processing circuit 23 via the pixel readout wiring 42 as the pixel signal S22.
  • the pixel signal processing circuit 23 determines "+1", "0" and "-1" based on the pixel signal S22.
  • the pixels 50 arranged in the pixel array section 21 are not limited to the pixels 50a to 50e shown in FIGS. 5B to 5F.
  • so-called convolution pixels that add the pixel signals S22 of the pixels 50 may be arranged.
  • a polarization sensor or a multispectral sensor may be arranged in the pixel array section 21 .
  • the polarization sensor further has a diffraction element that polarizes the light incident on the photodiode 51 .
  • the multispectral sensor further has a color filter that color separates the light incident on the photodiode 51 .
  • FIG. 6 is a diagram showing an example of the circuit configuration of an ADC (Analog to Digital Converter) included in the pixel signal processing circuit 23.
  • ADC Analog to Digital Converter
  • FIG. 6 has multiple comparators 231 , multiple counters 232 , and multiple latch circuits 233 .
  • the non-inverting input terminal of the comparator 231 receives the pixel signal S22 of the pixel 50 corresponding to one of the pixels 50a to 50e described above.
  • a triangular wave ramp signal RAMP is input to the inverting input terminal.
  • Each comparator 231 outputs a comparison result between the pixel signal S22 and the ramp signal RAMP.
  • Each counter 232 is connected to the output terminal of the comparator 231 .
  • Each counter 232 counts the change time of the output level of the comparator 231 .
  • Each latch circuit 233 holds the count result of each counter 232 .
  • the ADC included in the pixel signal processing circuit 23 is not limited to the single slope ADC shown in FIG.
  • the pixel signal processing circuit 23 includes, for example, a pixel ADC that processes the pixel signal S22 for each pixel, a column ADC that counts comparison times of a plurality of comparators 231 with one counter 232, a double integration type ADC that has an integration circuit, a sequential A comparison type (SAR) ADC, a delta-sigma type ADC, or the like may be included.
  • the resolution of the ADC can be appropriately selected within the range of 1 bit to 12 bits, for example.
  • the imaging device 1 has a configuration in which the pixel array section 21 performs a sum-of-products operation on the optical signal S12 generated by the light source cell array section 11 .
  • the coefficient (weight) data necessary for the sum-of-products calculation is transferred to the plurality of pixels 50 arranged two-dimensionally, so the power required for data transfer is greatly reduced. .
  • the sum-of-products operation is performed.
  • coefficient data can be set freely. As a result, it is possible to expand the expression width of the sum-of-products operation.
  • the present embodiment described above it is possible to expand the expressive power of coefficients during calculations with low latency, so advanced calculations can be realized with low power. In particular, it can be expected to contribute to improving the efficiency of large-scale operations used in data centers and the like. Further, in this embodiment, the light source cell array section 11 is laminated on the pixel array section 21, so a small area layout can be realized. Furthermore, since the present disclosure can use a CMOS image sensor as a sum-of-products operator, it can also benefit from technological advances in CMOS image sensors.
  • FIG. 7 is a block diagram showing the configuration of an imaging device according to the second embodiment. Components similar to those of the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the imaging device 2 shown in FIG. 7 includes a memory cell array section 61, a CIM (Computing in memory) input control circuit 62, a CIM reading circuit 63, and a CIM logic circuit 64 in addition to the components of the imaging device 1 shown in FIG. Prepare more.
  • a CIM Computer in memory
  • a plurality of memory cells are arranged two-dimensionally in the memory cell array section 61 .
  • the memory cell array section 61 unidirectionally outputs a convolution signal S62 indicating the result of analog sum-of-products operation of the memory cell control signal S61 from the CIM input control circuit 62 to the CIM reading circuit 63 .
  • a circuit configuration example of the memory cell array section 61 will be described later.
  • the CIM input control circuit 62 is composed of, for example, a shift register, and outputs a memory cell control signal associated with the digital pixel signal S23 to each memory cell of the memory cell array section 61 via memory cell drive wiring (not shown in FIG. 7). Enter S61. In accordance with this memory cell control signal S61, the CIM input control circuit 62 selects and scans each memory cell of the memory cell array section 61 sequentially or collectively, and performs a sum-of-products operation using the memory value of each memory cell to generate a convolution signal S62. is output to the CIM reading circuit 63 .
  • the CIM reading circuit 63 performs AD conversion processing and the like on the convolution signal S62 read from the memory cell array section 61.
  • the CIM logic circuit 64 receives a clock signal input from the outside and data instructing the operation mode, etc., and controls the operation of the entire memory cell array section 61 .
  • the CIM logic circuit 64 generates a vertical synchronizing signal, a horizontal synchronizing signal, etc., based on the input clock signal, and supplies them to the CIM input control circuit 62 and the CIM reading circuit 63 .
  • FIG. 8A is a diagram showing an example of the structure of the imaging device 2.
  • the first substrate 101, the second substrate 201, and the memory substrate 202 are laminated in this order.
  • the first substrate 101 is arranged on the top layer
  • the memory substrate 202 is arranged on the bottom layer
  • the second substrate 201 is arranged on the intermediate layer between the first substrate 101 and the memory substrate 202 .
  • a light source cell array section 11, a light source control circuit 12, and a light source logic circuit 13 are arranged on the first substrate 101, as in FIG. 2A.
  • a pixel array section 21, a pixel control circuit 22, a pixel signal processing circuit 23, and a pixel logic circuit 25 are arranged on the second substrate 201, as in FIG. 2A.
  • a memory substrate 202 is stacked under the second substrate 201 .
  • the memory substrate 202 is, for example, a silicon substrate, and is bonded to the second substrate 201 by copper pads, bumps, TSVs, or the like.
  • the memory substrate 202 constitutes a second substrate group together with the second substrate 201 . In order to minimize the substrate area, the memory substrate 202 need not entirely overlap the second substrate 201, but only partially overlap each other.
  • a memory cell array section 61 , a CIM input control circuit 62 , a CIM read circuit 63 and a CIM logic circuit 64 are arranged on the memory substrate 202 .
  • CIM input control circuit 62 is arranged in a direction parallel to the output direction of convolved signal S62
  • CIM readout circuit 63 is arranged in a direction perpendicular to the output direction of convolved signal S62. That is, the CIM input control circuit 62 and the CIM readout circuit 63 are arranged perpendicular to each other.
  • the position of the CIM logic circuit 64 is not limited to the position shown in FIG.
  • the plane area of the memory cell array section 61 is a rectangle with the short side in the X direction and the long side in the Y direction. It is determined. For example, when the number of convolutions (the number of additions) of the sum-of-products operation is large, a long read wiring is required. In this case, the rectangular shape of the memory cell array section 61 shown in FIG. 8A is preferable.
  • FIG. 8B is a diagram showing another example of the structure of the imaging device 2.
  • the light source system similarly to FIG. 2B, the light source system has a two-layer structure in which the light source substrate 111 and the light source control substrate 121 are stacked one on top of the other.
  • the light source cell array section 11 is arranged on the light source control board 121 .
  • the light source control circuit 12 and the light source logic circuit 13 are arranged on the light source control board 121 .
  • the shutter 102 may also be provided between the light source cell array section 11 and the pixel array section 21 in the imaging device 2 according to the present embodiment, as in the first embodiment.
  • a black mask 103 may be provided on the edge of the first substrate 101 and the edge of the second substrate 201 .
  • the imaging device 2 may be housed in a light-shielding package 104 (see FIG. 2E).
  • FIG. 9 is a diagram showing a schematic circuit configuration of the memory cell array section 61.
  • a plurality of memory cells 71 are arranged two-dimensionally.
  • Each memory cell 71 is arranged near the intersection of the memory cell drive wiring 72 and the memory cell readout wiring 73 .
  • the memory cells 71 may be arranged three-dimensionally. In this case, multiple memory cells 71 are arranged in the X, Y, and Z directions.
  • the memory cell 71 includes, for example, a resistance change memory (ReRAM: Resistive Random Access Memory), a phase change memory (PCM: Phase Change Memory), a magnetoresistive memory (MRAM: Magneto resistive Random Memory), or a ferroelectric memory ( FeRAM: Ferroelectric Random Access Memory) can be applied. Also, the memory cell 71 may be an SRAM (Static Random Access Memory) or a non-volatile memory.
  • ReRAM Resistive Random Access Memory
  • PCM Phase Change Memory
  • MRAM Magnetoresistive memory
  • FeRAM Ferroelectric Random Access Memory
  • the memory cells 71 hold memory values (eg, +1, -1, 0.5).
  • the memory cell array section 61 multiplies the memory value of each memory cell 71 by the signal value of the memory cell control signal S61 input as an input signal from the CIM input control circuit 62 via the memory cell drive wiring 72 . Subsequently, the memory cell array section 61 sequentially adds the multiplication results in units of rows or columns through the memory cell readout wirings 73 . As a result, a digital convolution signal S62 indicating the sum-of-products operation result is read out to the CIM reading circuit 63. FIG. Note that the memory cell array unit 61 may collectively add the multiplication results.
  • the convolution signal S62 is of analog type, after the input signal through the memory cell drive wiring 72 and the memory value are multiplied, the charge is added on the memory cell readout wiring 73, and the convolution signal S62 is output to the CIM readout circuit. 63. At this time, the input signal can be input to all the memory cell drive wirings 72 at once, and when the CIM readout circuit 63 is a column ADC, the convolution signal S62 can be read out from all the memory cell readout wirings 73 at once. is also possible.
  • the imaging device 2 according to the present embodiment described above also has a configuration in which the pixel array section 21 performs a sum-of-products operation on the optical signal S12 generated by the light source cell array section 11, as in the first embodiment. Therefore, advanced computation can be realized with low power. Furthermore, the imaging device 2 according to the present embodiment also includes a memory cell array section 61 that performs a sum-of-products operation on the calculation result of the pixel array section 21 . Therefore, it is also possible to perform more advanced calculations.
  • FIGS. 10A to 10D are diagrams showing the structure of an imaging device according to the third embodiment. Components similar to those in the above-described embodiment are denoted by the same reference numerals, and detailed descriptions thereof are omitted.
  • the optical system has a single-layer structure in which all the circuit elements are arranged on the first substrate 101, whereas the pixel system has a pixel substrate 211 and a pixel control substrate 221 which overlap each other. It is a combined two-layer structure.
  • the pixel substrate 211 and pixel control substrate 221 are, for example, silicon substrates.
  • the pixel substrate 211 is arranged in an intermediate layer between the first substrate 101 and the pixel control substrate 221, and the pixel control substrate 221 is arranged in the bottom layer.
  • the pixel array section 21 is arranged on the pixel substrate 211 .
  • any of the pixels 50a (see FIG. 5B), the pixels 50b (see FIG. 5C), or the pixels 50d (see FIG. 5E) described in the first embodiment are arranged two-dimensionally. be.
  • the pixel control circuit 22, the pixel signal processing circuit 23, and the pixel logic circuit 25 are arranged on the pixel control board 221.
  • the second substrate 201 shown in FIG. 2A or the pixel substrate 211 and pixel control substrate 221 shown in FIG. 10B each correspond to the second substrate group. That is, the second substrate group may be one substrate or multiple substrates.
  • the pixel substrate 211 and the pixel control substrate 221 are joined via through electrodes or connection terminals, like the light source substrate 111 and the light source control substrate 121 .
  • the pixel control signal S21 and the pixel signal S22 are transmitted through through electrodes or connection terminals.
  • the pixel array section 21 is dispersedly arranged on the pixel substrate 211 and the pixel control substrate 221.
  • the pixel substrate 211 is provided with a photoelectric conversion unit 21a that photoelectrically converts the optical signal S12
  • the pixel control substrate 221 is provided with a pixel transistor unit 21b that performs a sum-of-products operation on the optical signal S12.
  • the pixels 50c see FIG. 5D
  • the pixels 50e see FIG. 5F
  • the photodiode 51 and the amplification transistor 54 are arranged on the pixel substrate 211 as the photoelectric conversion section 21a.
  • a reset transistor 53, a selection transistor 55, and a MOS transistor 59 are arranged on the pixel control substrate 221 as the pixel transistor section 21b.
  • the logarithmic conversion circuit 510 is arranged on the pixel substrate 211 as the photoelectric conversion section 21a.
  • a buffer circuit 520, a subtraction circuit 530, and a quantization circuit 540 are arranged on the pixel control board 221 as the pixel transistor section 21b.
  • both the optical system and the pixels have a two-layer structure.
  • the light source cell array section 11 is arranged on the light source substrate 111
  • the light source control circuit 12 and the light source logic circuit 13 are arranged on the light source control substrate 121 .
  • the pixel array section 21 is arranged on the pixel substrate 211
  • the pixel control circuit 22, the pixel signal processing circuit 23, and the pixel logic circuit 25 are arranged on the pixel control substrate 221, as in FIG. 10A. .
  • both the optical system and the pixels have a two-layer structure.
  • the photoelectric conversion portion 21a of the pixel array portion 21 is arranged on the pixel substrate 211, and the pixel transistor portion 21b is arranged on the pixel control substrate 221, as in FIG. 10B.
  • the imaging device 3 according to the present embodiment described above also has a configuration in which the pixel array section 21 performs a sum-of-products operation on the optical signal S12 generated by the light source cell array section 11, as in the first embodiment. Therefore, advanced computation can be realized with low power. Furthermore, in this embodiment, the pixel system has a two-layer structure. Therefore, the arrangement area of the pixel array section 21, that is, the sum-of-products operation area can be enlarged. This also makes it possible to perform more advanced calculations.
  • the imaging device 3 may also be provided with the shutter 102 (see FIG. 2C) and the black mask 103 (see FIG. 2D) as in the first embodiment. Further, the imaging device 3 may be housed in a light-shielding package 104 (see FIG. 2E).
  • FIGS. 11A to 11D are diagrams showing the structure of an imaging device according to the fourth embodiment. Components similar to those in the above-described embodiment are denoted by the same reference numerals, and detailed descriptions thereof are omitted.
  • the memory substrate 202 is arranged below the pixel control substrate 221 of the imaging device 3a (see FIG. 10A) according to the above-described third embodiment.
  • a memory cell array section 61, a CIM input control circuit 62, a CIM read circuit 63, and a CIM logic circuit 64 are arranged on the memory substrate 202, as in the second embodiment.
  • the memory substrate 202 is arranged below the pixel control substrate 221 of the imaging device 3b (see FIG. 10B) according to the above-described third embodiment.
  • a memory cell array section 61, a CIM input control circuit 62, a CIM read circuit 63, and a CIM logic circuit 64 are arranged on the memory substrate 202, as in the second embodiment.
  • the memory substrate 202 is arranged below the pixel control substrate 221 of the imaging device 3c (see FIG. 10C) according to the above-described third embodiment.
  • a memory cell array section 61, a CIM input control circuit 62, a CIM read circuit 63, and a CIM logic circuit 64 are arranged on the memory substrate 202, as in the second embodiment.
  • the memory substrate 202 is arranged below the pixel control substrate 221 of the imaging device 3d (see FIG. 10D) according to the above-described third embodiment.
  • a memory cell array section 61, a CIM input control circuit 62, a CIM read circuit 63, and a CIM logic circuit 64 are arranged on the memory substrate 202, as in the second embodiment.
  • the imaging device 4 according to the present embodiment described above also has a configuration in which the pixel array section 21 performs a sum-of-products operation on the optical signal S12 generated by the light source cell array section 11, as in the first embodiment. Therefore, advanced computation can be realized with low power. Furthermore, the imaging device 4 according to the present embodiment also includes a memory cell array section 61 that further performs a sum-of-products operation on the calculation result of the pixel array section 21, as in the second embodiment. Therefore, it is also possible to perform more advanced calculations.
  • FIG. 12 is a diagram showing the structure of an imaging device according to the fifth embodiment.
  • the same reference numerals are assigned to the same components as in the above-described embodiment, and detailed description thereof will be omitted.
  • the optical modulation element 401 is provided between the light source cell array section 11 and the pixel array section 21 .
  • a plurality of optical signals S12 incident from the light source cell array section 11 interfere with each other. Due to this interference, the sum-of-products operation is performed not only in the pixel array section 21 but also in the light area.
  • the optical modulation element 401 by arranging the optical modulation element 401 between the light source cell array section 11 and the pixel array section 21, it is possible to additionally perform the sum-of-products operation in the light region. Therefore, it is possible to perform a more advanced sum-of-products operation.
  • the optical modulation element 401 may be provided between the light source cell array section 11 and the pixel array section 21.
  • FIG. 13 is a diagram showing the structure of an imaging device according to the sixth embodiment.
  • the same reference numerals are assigned to the same components as in the above-described embodiment, and detailed description thereof will be omitted.
  • the reflected light S31 reflected by the subject is incident on the pixel array section 21 in addition to the optical signal S12.
  • the optical signal S12 is incident from the light source cell array section 11 arranged above the pixel array section 21 .
  • the reflected light S31 is incident from the opposite direction to the optical signal S12, that is, from below the pixel array section 21 .
  • the pixel array unit 21 When the pixel array unit 21 receives the optical signal S12, it performs a sum-of-products operation based on the optical signal S12, and outputs the pixel signal S22 to the pixel signal processing circuit . Further, when receiving the reflected light S31, the pixel array section 21 outputs to the pixel signal processing circuit 23 a pixel signal S32 obtained by photoelectrically converting the reflected light S31. In this case, the image signal of the object is generated in the pixel signal processing circuit 23 .
  • FIG. 14 is a diagram illustrating an example of the configuration of an electronic device according to the seventh embodiment.
  • the electronic device 200 according to this embodiment is a camera system, and as shown in FIG. .
  • the lens 220 forms an image of incident light (image light) on the imaging surface.
  • the drive circuit 230 has a timing generator (not shown) that generates various timing signals including start pulses and clock pulses for driving circuits in the imaging device 210, and drives the imaging device 210 with predetermined timing signals.
  • the signal processing circuit 240 performs predetermined signal processing on the output signal of the imaging device 210 .
  • the image signal processed by the signal processing circuit 240 is recorded in a recording medium such as a memory. Image information recorded on a recording medium is hard-copied by a printer or the like. Also, the image signal processed by the signal processing circuit 240 is displayed as a moving image on a monitor such as a liquid crystal display.
  • the imaging device according to each of the embodiments described above as the imaging device 210 in the electronic device 200 such as a digital still camera, a highly accurate imaging function can be realized.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010 , body system control unit 12020 , vehicle exterior information detection unit 12030 , vehicle interior information detection unit 12040 , and integrated control unit 12050 .
  • a microcomputer 12051 , an audio/image output unit 12052 , and an in-vehicle network I/F (Interface) 12053 are illustrated as the functional configuration of the integrated control unit 12050 .
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display section 12062 and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 16 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 16 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging range 1211212113 indicates the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates the imaging range of the rear bumper or
  • the imaging range of the imaging unit 12104 provided in the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied, for example, to the imaging unit 12031 among the configurations described above.
  • the imaging devices according to the first, third, and sixth embodiments can be applied to the imaging unit 12031 .
  • this technique can take the following structures. (1) a first substrate group on which a light source cell array section for generating optical signals is arranged; a second substrate group on which a pixel array unit for photoelectrically converting the optical signal and outputting a pixel signal indicating a result of sum-of-products operation is arranged; The imaging device, wherein the first substrate group and the second substrate group are stacked so that at least part of the light source cell array section overlaps the pixel array section.
  • the light source cell array section has a plurality of light source cells arranged two-dimensionally;
  • the pixel array section has a plurality of pixels arranged two-dimensionally,
  • the first substrate group is a light source substrate on which the light source cell array section is arranged;
  • the second substrate group is a substrate on which the pixel array section is arranged; (1) to (4), including a memory substrate stacked under the substrate and on which a memory cell array section for outputting a convolution signal indicating a result of sum-of-products operation of the input signal based on the pixel signal is arranged;
  • the imaging device according to any one of the above.
  • (6) The imaging device according to (5), wherein at least one of the pixel signal and the convolved signal is an analog signal.
  • the imaging device further comprising a pixel signal processing circuit that processes the pixel signals read from the pixel array section.
  • the pixel signal processing circuit is arranged on the same substrate as the pixel array section.
  • the pixel signal processing circuit is arranged on a substrate different from that of the pixel array section.
  • the pixel array section includes a photoelectric conversion section that photoelectrically converts the optical signal, and a pixel transistor section that performs a sum-of-products operation on the optical signal, The imaging device according to any one of (1) to (10), wherein the photoelectric conversion section is arranged on a substrate different from that of the pixel transistor section.
  • the imaging device according to any one of (1) to (11), further comprising an optical modulation element arranged between the light source cell array section and the pixel array section. (13) The imaging device according to any one of (1) to (11), further comprising a shutter arranged between the light source cell array section and the pixel array section. (14) The imaging device according to any one of (1) to (11), further comprising a black mask provided on the edge of the first substrate group and the edge of the second substrate group. (15) The imaging device according to any one of (1) to (11), wherein the first substrate group and the second substrate group are housed in a light-shielding package.
  • each of the plurality of light source cells includes a light emitting element, an active element that independently controls the light emitting element, and a storage section provided between the light emitting element and the active element; (2) The imaging device according to the above.
  • the storage unit stores data relating to the sum-of-products operation.
  • the pixel array unit receives reflected light reflected by a subject from a direction opposite to the optical signal.
  • Electronics. (20) generating an optical signal in the light source cell array portion arranged on the first substrate group; A pixel array section that overlaps at least a part of the light source cell array section photoelectrically converts the optical signal and outputs a pixel signal indicating a result of sum-of-products operation; Signal processing method.
  • Imaging Device 11 Light Source Cell Array Section 21: Pixel Array Section 21a: Photoelectric Conversion Section 21b: Pixel Transistor Section 23: Pixel Signal Processing Circuit 30: Light Source Cell 50: Pixel 63: CIM Readout Circuit 101: First Substrate 102 : shutter 103: black mask 104: package 111: light source substrate 121: light source control substrate 201: second substrate 202: memory substrate 300: light emitting element 310: active element 320: storage unit 401: optical modulation element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

［課題］高度な演算を低電力で実現することが可能な撮像装置を提供する。 ［解決手段］本開示の一実施形態に係る撮像装置は、光信号を生成する光源セルアレイ部が配置される第１基板群と、光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する画素アレイ部が配置される第２基板群と、備える。光源セルアレイ部の少なくとも一部が、画素アレイ部に重なり合うように、第１基板群と第２基板群とが互いに積層されている。

Description

撮像装置、電子機器、および信号処理方法
　本開示は、撮像装置、電子機器、および信号処理方法に関する。
　ディープニューラルネットワーク（ＤＮＮ）では、メモリアクセスが多いため、ノイマン型演算器(例えばＤＳＰ：Digital Signal Processor)では電力効率が悪化する。そこで、非ノイマン型演算器であるメモリアレイ上で演算を行うＣＩＭ（Computing in memory）が注目を集めいている。また、近年のデータ伝送量の増加とともに高度な演算が求められるため、演算処理に要する消費電力が増加する傾向にある。その結果、数年後にはクラウドの処理能力が追い付かなくなる、いわゆるクラウドの飽和が発生し得る。
特開２０２０－１１３８０９号公報
　従来の演算方式では、演算のエネルギー効率向上に限界がある。また、高度な演算を実現するために演算の表現方法を増やすと、レイテンシーの要求が高くなる。その結果、演算処理に要する消費電力がさらに増加する。
　本開示は、高度な演算を低電力で実現することが可能な撮像装置、電子機器、および信号処理方法を提供する。
　本開示の一実施形態に係る撮像装置は、光信号を生成する光源セルアレイ部が配置される第１基板群と、光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する画素アレイ部が配置される第２基板群と、を備える。光源セルアレイ部の少なくとも一部が、画素アレイ部に重なり合うように、第１基板群と第２基板群とが互いに積層されている。
　前記光源セルアレイ部が、２次元状に配列された複数の光源セルを有し、
　前記画素アレイ部が、２次元状に配列された複数の画素を有し、
　前記複数の光源セルおよび前記複数の画素において、一方の中心ピッチが他方の中心ピッチの整数倍であってもよい。
　前記光信号が、赤外線または可視光であってもよい。
　前記第１基板群は、
　前記光源セルアレイ部が配置される光源基板と、
　前記光源基板の下に積層され、前記光源セルアレイ部の駆動を制御する光源制御回路が配置される光源制御基板と、を含んでいてもよい。
　前記第２基板群は、
　前記画素アレイ部が配置される基板と、
　前記基板の下に積層され、前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を出力するメモリセルアレイ部が配置されるメモリ基板と、を含んでいてもよい。
　前記画素信号と前記畳み込み信号の少なくとも一方がアナログ信号であってもよい。
　前記メモリセルアレイ部から読み出した前記畳み込み信号を処理するＣＩＭ読み出し回路をさらに備えていてもよい。
　前記画素アレイ部から読み出した前記画素信号を処理する画素信号処理回路をさらに備えてもよい。
　前記画素信号処理回路が前記画素アレイ部と同じ基板に配置されてもよい。
　前記画素信号処理回路が前記画素アレイ部と異なる基板に配置されてもよい。
　前記画素アレイ部が、前記光信号を光電変換する光電変換部と、前記光信号を積和演算する画素トランジスタ部と、を有し、
　前記光電変換部が、前記画素トランジスタ部と異なる基板に配置されてもよい。
　前記光源セルアレイ部と前記画素アレイ部との間に配置された光学変調素子をさらに備えてもよい。
　前記光源セルアレイ部と前記画素アレイ部との間に配置されたシャッタをさらに備えてもよい。
　前記第１基板群の縁部と、前記第２基板群の縁部とに設けられたブラックマスクをさらに備えてもよい。
　前記第１基板群および前記第２基板群が、遮光性を有するパッケージに収容されていてもよい。
　前記複数の光源セルの各々が、発光素子と、前記発光素子を独立して制御するアクティブ素子と、前記発光素子と前記アクティブ素子との間に設けられた記憶部と、を有していてもよい。
　前記記憶部は、前記積和演算に関するデータを記憶してもよい。
　前記画素アレイ部は、被写体で反射した反射光を、前記光信号とは反対方向から受光してもよい。
　本開示の一実施形態に係る電子機器は、光信号を生成する光源セルアレイ部が配置される第１基板群と、前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する画素アレイ部が配置される第２基板群と、を有し、前記光源セルアレイ部の少なくとも一部が、前記画素アレイ部に重なり合うように、前記第１基板群と前記第２基板群とが互いに積層されている撮像装置を備える。
　本開示の一実施形態に係る信号処理方法は、
　第１基板群に配置される光源セルアレイ部で光信号を生成し、
　前記光源セルアレイ部の少なくとも一部に重なり合う画素アレイ部で、前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する。
第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態に係る撮像装置の構造の一例を示す図である。 第１実施形態に係る撮像装置の構造の一例を示す図である。 第１実施形態に係る撮像装置の構造の一例を示す図である。 第１実施形態に係る撮像装置の構造の一例を示す図である。 第１実施形態に係る撮像装置の構造の一例を示す図である。 図２Ｂに示す光源基板と光源制御基板との接合形態を概略的に示す断面図である。 光源基板と光源制御基板との別の接合形態を概略的に示す断面図である。 光源セルアレイ部の概略的な構成を示す図である。 光源セルの一例を示す図である。 光源セルの別の一例を示す図である。 光源セルのさらに別の一例を示す図である。 画素アレイ部の概略的な構成を示す図である。 画素の等価回路図の一例を示す図である。 画素の等価回路図の一例を示す図である。 画素の等価回路図の一例を示す図である。 画素の等価回路図の一例を示す図である。 画素の等価回路図の一例を示す図である。 画素信号処理回路に含まれるＡＤＣの回路構成の一例を示す図である。 第２実施形態に係る撮像装置の構成を示すブロック図である。 第２実施形態に係る撮像装置の構造の一例を示す図である。 第２実施形態に係る撮像装置の構造の別の一例を示す図である。 メモリセルアレイ部の概略的な回路構成を示す図である。 第３実施形態に係る撮像装置の構造を示す図である。 第３実施形態に係る撮像装置の構造を示す図である。 第３実施形態に係る撮像装置の構造を示す図である。 第３実施形態に係る撮像装置の構造を示す図である。 第４実施形態に係る撮像装置の構造を示す図である。 第４実施形態に係る撮像装置の構造を示す図である。 第４実施形態に係る撮像装置の構造を示す図である。 第４実施形態に係る撮像装置の構造を示す図である。 第５実施形態に係る撮像装置の構造を示す図である。 第６実施形態に係る撮像装置の構造を示す図である。 第７実施形態に係る電子機器の構成の一例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
　（第１実施形態）
　図１は、第１実施形態に係る撮像装置の構成を示すブロック図である。図１に示す撮像装置１は、光源セルアレイ部１１と、光源制御回路１２と、光源ロジック回路１３と、画素アレイ部２１と、画素制御回路２２と、画素信号処理回路２３と、水平駆動回路２４と、画素ロジック回路２５と、を備える。
　光源セルアレイ部１１には、複数の光源セルが２次元状に配列されている。各光源セルは、光源制御回路１２からの光源制御信号Ｓ１１に基づいて発光する。この発光によって、光信号Ｓ１２が生成される。生成された光信号Ｓ１２は、画素アレイ部２１に受光される。光源セルアレイ部１１の回路構成例については、後述する。
　光源制御回路１２は、例えば光源セルアレイ部１１を駆動する駆動回路や、光源セルを選択するデコーダなどを有し、光源駆動配線（図１では不図示）を介して光源セルアレイ部１１の各光源セルに光源制御信号Ｓ１１を入力する。この光源制御信号Ｓ１１によって、光源制御回路１２は、光源セルアレイ部１１の各光源セルを順次に選択して発光させて、光信号Ｓ１２を画素アレイ部２１に向けて照射させる。なお、光源制御回路１２は、各光源セルを一括に発光させてもよい。
　光源ロジック回路１３は、外部から入力されるクロック信号と、動作モードなどを指令するデータを受け取り、光源セルアレイ部１１全体の動作を制御する。光源ロジック回路１３には、積和演算の係数（荷重）を保持するメモリ回路が設けられていてもよい。
　画素アレイ部２１には、複数の画素が２次元状に配列されている。各画素は、画素制御回路２２からの複数種の画素制御信号Ｓ２１に基づいて、光信号Ｓ１２を光電変換して積和演算した結果を示す画素信号Ｓ２２を生成する。また、各画素は、画素信号Ｓ２２を画素信号処理回路２３へ一方向に出力する。画素アレイ部２１の回路構成例については、後述する。
　画素制御回路２２は、例えばシフトレジスタによって構成され、画素駆動配線（図１では不図示）を介して画素アレイ部２１の各画素に画素制御信号Ｓ２１を入力する。この画素制御信号Ｓ２１によって、画素制御回路２２は、画素アレイ部２１の各画素を順次に選択して走査し、画素信号Ｓ２２を画素信号処理回路２３へ出力させる。なお、画素制御回路２２は、各画素を一括に走査してもよい。
　画素信号処理回路２３は、画素アレイ部２１から読み出したアナログ方式の画素信号Ｓ２２に対して、画素固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling：相関２重サンプリング)処理や、ＡＤ（Analog to Digital）変換処理を行う。その結果、デジタル画素信号Ｓ２３が、画素信号処理回路２３から出力される。なお、画素信号処理回路２３は、ＣＤＳ処理を行わなくてもい。
　水平駆動回路２４は、例えばシフトレジスタによって構成され、水平走査パルスを画素信号処理回路２３に順次出力する。これにより、例えば、画素信号処理回路２３に保持されているデジタル画素信号Ｓ２３が、順次に出力される。
　画素ロジック回路２５は、外部から入力されるクロック信号と、動作モードなどを指令するデータを受け取り、画素アレイ部２１全体の動作を制御する。例えば、画素ロジック回路２５は、入力されたクロック信号に基づいて、垂直同期信号や水平同期信号などを生成し、画素制御回路２２、画素信号処理回路２３、および水平駆動回路２４に供給する。
　図２Ａ～図２Ｅは、撮像装置１の構造の一例を示す図である。本実施形態では、光源セルアレイ部１１、光源制御回路１２、および光源ロジック回路１３が第１基板１０１に配置される。また、画素アレイ部２１、画素制御回路２２、画素信号処理回路２３、および画素ロジック回路２５が第２基板２０１に配置される。なお、図２Ａでは、第２基板２０１には、スペースの都合上、水平駆動回路２４の記載を省略している。また、図２Ａ～図２Ｅでは、基板に平行であり、かつ互いに直交する２つの方向をＸ方向、およびＹ方向とそれぞれ規定する。また、Ｘ方向およびＹ方向に直交する方向、換言すると基板の積層方向をＺ方向と規定する。
　図２Ａにおいて、第１基板１０１および第２基板２０１は、例えばシリコン基板である。２つの基板は、例えば銅パッド、バンプ、またはＴＳＶ（Through Silicon Via）で互いに接合される。基板面積を最小化するために、第１基板１０１および第２基板２０１は、全体的に重なり合う必要はなく、光源セルアレイ部１１の少なくとも一部が画素アレイ部２１に重なり合っていればよい。光源セルアレイ部１１の光信号Ｓ１２が画素アレイ部２１内の所望の画素で受光できれば、第１基板１０１と第２基板２０１との距離は、数ｃｍ程度あってもよいし、近接していてもよい。第１基板１０１と第２基板２０１とは、例えば、はんだ等の実装により接合されていてもよい。
　また、第２基板２０１において、画素アレイ部２１と画素信号処理回路２３との距離は短いほうが好ましい。また、画素アレイ部２１と光源セルアレイ部１１との間における光学中心位置と第１基板１０１と第２基板２０１との間における基板中心位置とは、一致していても一致していなくてもよい。画素アレイ部２１は、仕様に合わせて最適な位置に選択することができる。
　また、第２基板２０１において、画素制御回路２２は、画素信号Ｓ２２の出力方向に平行な方向に配置され、かつ、画素信号処理回路２３は、画素信号Ｓ２２の出力方向に垂直な方向に配置される。すなわち、画素制御回路２２および画素信号処理回路２３は、互いに垂直な方向に配置される。なお、画素ロジック回路２５の位置は、図２Ａに位置に制限されず、第２基板２０１内のスペースに適宜配置すればよい。
　さらに、画素アレイ部２１の平面領域は、Ｘ方向を短辺方向、Ｙ方向を長辺方向とする矩形であるが、正方形であってもよく、積和演算の仕様に応じて決定される。例えば、積和演算の畳み込み数（加算数）が多い場合には、長い読み出し配線が必要になる。この場合、図２Ａに示す画素アレイ部２１の矩形が好ましい。
　図２Ｂでは、光源系が、光源基板１１１および光源制御基板１２１を互いに重なり合わせた２層構造である。光源基板１１１および光源制御基板１２１は、例えばシリコン基板である。光源基板１１１は、光源制御基板１２１と第２基板２０１との間の中間層に配置され、光源制御基板１２１は最上層に配置される。
　光源基板１１１には、光源セルアレイ部１１が配置されている。一方、光源制御基板１２１には、光源制御回路１２および光源ロジック回路１３が配置されている。図２Ａに示す第１基板１０１、または図２Ｂに示す光源基板１１１および光源制御基板１２１は、それぞれ第１基板群に相当する。すなわち、第１基板群は、１枚の基板であってもよいし、複数枚の基板であってもよい。
　図２Ｃでは、シャッタ１０２が、光源セルアレイ部１１と画素アレイ部２１との間に設けられている。シャッタ１０２は、光源セルアレイ部１１が、光信号Ｓ１２を出力するオン状態のときに開き、光信号を出力しないオフ状態のときに閉じる。シャッタ１０２は、例えばメカシャッタで構成されていてもよいし、液晶シャッタで構成されてもよい。シャッタ１０２によって、光源セルアレイ部１１がオフする際に画素アレイ部２１に不要な光を遮断する遮光機能を実現することができる。
　図２Ｄでは、ブラックマスク１０３が第１基板１０１の縁部と第２基板２０１の縁部とに設けられている。ブラックマスク１０３は、光吸収体で構成されている。ブラックマスク１０３によって、第１基板１０１と第２基板２０１との隙間から入射する外光を遮光することができる。これにより、画素アレイ部２１は、光信号Ｓ１２のみを受光できるので、演算精度が向上する。
　図２Ｅでは、第１基板１０１および第２基板２０１が、遮光性を有するパッケージ１０４内に収容されている。パッケージ１０４も光吸収体で構成される。パッケージ１０４によって、ブラックマスク１０３と同様に、第１基板１０１と第２基板２０１との隙間から入射する外光を遮光することができる。これにより、画素アレイ部２１は、光信号Ｓ１２のみを受光できるので、演算精度が向上する。
　図３Ａは、図２Ｂに示す光源基板１１１と光源制御基板１２１との接合形態を概略的に示す断面図である。図３Ａでは、光源基板１１１に形成された複数の貫通電極１１２と、光源制御基板１２１に形成された複数の接続端子１２２とが接合される。貫通電極１１２および接続端子１２２は、例えば銅等の金属で形成することができる。なお、光源基板１１１と光源制御基板１２１との隙間は、絶縁膜で埋められている。
　貫通電極１１２は、光源基板１１１を貫通し、種々の配線を含む配線層（不図示）を介して光源セルアレイ部１１に電気的に接続される。接続端子１２２は、光源制御基板１２１の表面（光源基板１１１との接合面）に形成される。接続端子１２２は、種々の配線層（不図示）を介して光源制御基板１２１に配置された光源制御回路１２および光源ロジック回路１３と接続される。
　図３Ａに示す接合形態では、光源制御回路１２の光源制御信号Ｓ１１は、接続端子１２２から貫通電極１１２を通じて光源セルアレイ部１１の各光源に伝送される。
　図３Ｂは、光源基板１１１と光源制御基板１２１との別の接合形態を概略的に示す断面図である。図３Ｂに示す接合形態は、光源基板１１１に形成された複数の接続端子１１３と、光源制御基板１２１に形成された複数の接続端子１２２とが接合される、いわゆるＣｕ－Ｃｕ接合である。接続端子１１３は、接続端子１２２と同様に銅等の金属で形成することができ、不図示の配線を介して光源セルアレイ部１１に電気的に接続される。なお、この接合形態でも、光源基板１１１と光源制御基板１２１との隙間は、絶縁膜で埋められている。
　図３Ｂに示す接合形態では、光源制御回路１２の光源制御信号Ｓ１１は、接続端子１２２から接続端子１１３を通じて光源セルアレイ部１１の各光源に伝送される。
　なお、図３Ａおよび図３Ｂでは省略されているが、光源セルアレイ部１１は、貫通電極１１２または接続端子１１３よりも上層に形成される。また、光源制御回路１２および光源ロジック回路１３は、接続端子１２２よりも上層に形成される。
　図４Ａは、光源セルアレイ部１１の概略的な構成を示す図である。図４Ａに示すように、光源セルアレイ部１１には、複数の光源セル３０が２次元状に配列されている。各光源セル３０は、光源駆動配線３１と、光源駆動配線３１に直交する光源駆動配線３２との交点近傍に配置される。
　図４Ｂは、光源セル３０の一例を示す図である。図４Ｂでは、光源セル３０は、発光素子３００で構成される。発光素子３００において、アノードは光源駆動配線３１に接続され、カソードは光源駆動配線３２に接続される。発光素子３００には、例えば、ＬＥＤ（Light Emitting Diode）、ＳＬＥＤ（Super Light Emitting Diode）、ＯＬＥＤ（Organic Light Emitting Diode）、およびレーザー（ＶＣＳＥＬ）などを適用できる。各発光素子３００は、光源制御回路１２から光源駆動配線３１を通じて入力された光源制御信号Ｓ１１に応じて発光して光信号Ｓ１２を生成する。
　図４Ｂに示す光源セルアレイ部１１は、時分割で各発光素子３００を制御するパッシブマトリックス方式で駆動する。この駆動方式では、各発光素子３００の光、すなわち光信号Ｓ１２の波長は、光源セル３０毎に異なっていてもよいし、全ての光源セル３０で同じであってもよい。また、光信号Ｓ１２の波長は、赤外線から可視光までの範囲内であればよいが、長波長であることが好ましい。光信号Ｓ１２の波長は、画素アレイ部２１の受光範囲に応じて選択してもよい。
　図４Ｃは、光源セル３０の別の一例を示す図である。この光源セル３０には、発光素子３００に加えてアクティブ素子３１０が設けられている。アクティブ素子３１０は、図４Ｃに示すように、例えばＮチャネル型のＭＯＳ（Metal Oxide Semiconductor）トランジスタで構成される。この場合、アクティブ素子３１０において、ゲートは光源駆動配線３１に接続され、ドレインは発光素子３００に接続され、ソースは光源駆動配線３２に接続される。
　図４Ｃの光源セルアレイ部１１は、アクティブ素子３１０で発光素子３００を他の発光素子３００から独立して制御するアクティブマトリックス方式で駆動する。この駆動方式でも、各発光素子３００の光、すなわち光信号Ｓ１２の波長は、光源セル３０毎に異なっていてもよいし、全ての光源セル３０で同じであってもよい。また、光信号Ｓ１２の波長は、赤外線から可視光までの範囲内であればよいが、長波長であることが好ましい。光信号Ｓ１２の波長は、画素アレイ部２１の受光範囲に応じて選択してもよい。
　図４Ｄは、光源セル３０のさらに別の一例を示す図である。この光源セル３０には、発光素子３００とアクティブ素子３１０との間に記憶部３２０が設けられている。記憶部３２０には、ＳＲＡＭ（Static Random Access Memory）、ラッチ回路、フリップフロップ、および不揮発性メモリなどを適用できる。この光源セル３０では、電圧が光源駆動配線３１と光源駆動配線３２との間に印加されると、すなわち、光源制御信号Ｓ１１が光源駆動配線３１を通じて各光源セル３０に入力されると、各記憶部３２０の状態に応じて、各発光素子３００の印加電圧が決まる。この印加電圧は、画素アレイ部２１の積和演算の係数に対応する。すなわち、記憶部３２０は、積和演算の係数に関するデータを記憶する。このデータは、多ビットで記憶されてもよい。また、このデータは、積和演算の係数だけでなく他の情報を含んでいてもよい。
　なお、光源セル３０の構成は、図４Ｂ、図４Ｃ、および図４Ｄに示す構成に限定されない。光源セル３０は、例えば、発光素子３００に加えて、透過型若しくは反射型の液晶モジュール、または電子ペーパーを有していてもよい。
　図５Ａは、画素アレイ部２１の概略的な構成を示す図である。図５Ａに示すように、画素アレイ部２１では、画素制御回路２２に接続された画素駆動配線４１と、画素信号処理回路２３に接続された画素読み出し配線４２との間に、複数の画素５０が２次元状に配列されている。本実施形態では、図４Ａに示す光源セル３０の中心ピッチＰ１は、画素５０の中心ピッチＰ２の整数倍であるが、画素５０の中心ピッチＰ２が、光源セル３０の中心ピッチＰ１の整数倍であってもよい。つまり、光源セル３０および画素５０において、一方の中心ピッチが、他方の中心ピッチの整数倍となっている。換言すると、光源セル３０および画素５０において、一方の数が、他方の数の整数倍となっている。
　各画素５０は、画素駆動配線４１を通じて入力される画素制御信号Ｓ２１に応じて光信号Ｓ１２の光電変換信号を生成する。この光電変換信号には、画素制御信号Ｓ２１の信号値に、光信号Ｓ１２の光量や露光時間、すなわち画素５０で受光された電荷量が係数となって乗算される。続いて、画素アレイ部２１は、乗算結果を、画素読み出し配線４２を通じて行単位または列単位で順次に加算する。これにより、積和演算結果を示すアナログ方式の画素信号Ｓ２２が画素信号処理回路２３に読み出される。本実施形態では、アナログ方式で積和演算しているため、デジタル処理が不要である。そのため、積和演算で消費する電力が軽減される。
　図５Ｂ～図５Ｆは、画素５０の等価回路図の一例を示す図である。以下、各図に記載の画素の回路構成を説明する。
　図５Ｂに示す画素５０ａは、フォトダイオード５１、転送トランジスタ５２、リセットトランジスタ５３、増幅トランジスタ５４、および選択トランジスタ５５を有する。
　フォトダイオード５１は、光信号Ｓ１２の光量に応じた電荷（信号電荷）を生成し、蓄積する。フォトダイオード５１のアノード端子が接地されているとともに、カソード端子が転送トランジスタ５２に接続されている。
　転送トランジスタ５２は、画素制御回路２２からの転送信号によりオンされたとき、フォトダイオード５１から電荷を読み出して増幅トランジスタ５４へ転送する。リセットトランジスタ５３は、画素制御回路２２からのリセット信号によりオンされたとき、フォトダイオード５１に蓄積されている電荷が電源に排出されることで、フォトダイオード５１の電位をリセットする。
　増幅トランジスタ５４は、フォトダイオード５１に蓄積された電荷量に応じた画素信号Ｓ２２を選択トランジスタ５５へ出力する。選択トランジスタ５５は、画素制御信号Ｓ２１の一つである選択信号によりオンされると、画素信号Ｓ２２を画素読み出し配線４２へ出力する。画素信号Ｓ２２は、画素読み出し配線４２を介して画素信号処理回路２３へ伝送される。
　図５Ｃに示す画素５０ｂは、２つのフォトダイオード５１ａ、５１ｂを有する。フォトダイオード５１ａの光電変換により生成された電荷は、メモリトランジスタ５７ａおよびキャパシタ５８ａに一時的に保持される。保持された電荷は、転送トランジスタ５２ａによって、増幅トランジスタ５４へ転送される。一方、フォトダイオード５１ｂの光電変換により生成された電荷は、メモリトランジスタ５７ｂおよびキャパシタ５８ｂに一時的に保持される。保持された電荷は、転送トランジスタ５２ｂによって、増幅トランジスタ５４へ転送される。
　増幅トランジスタ５４は、転送トランジスタ５２ａまたは転送トランジスタ５２ｂから転送された電荷量に応じた画素信号Ｓ２２を選択トランジスタ５５へ出力する。選択トランジスタ５５は、画素信号Ｓ２２を画素読み出し配線４２へ出力する。画素信号Ｓ２２は、画素読み出し配線４２を介して画素信号処理回路２３へ伝送される。フォトダイオード５１ａ、５１ｂの各々の電位は、リセットトランジスタ５３によって、リセットされる。
　図５Ｄに示す画素５０ｃは、いわゆるＰＷＭ（Pulse Wide Modulation）画素の一例である。画素５０ｂでは、画素制御信号Ｓ２１の一つであるスロープ信号Ｓ１１ａが、Ｐチャネル型のＭＯＳトランジスタ５９のゲートに入力される。ＭＯＳトランジスタ５９は、増幅トランジスタ５４と直列に接続されている。選択トランジスタ５５は、ＭＯＳトランジスタ５９の出力と、増幅トランジスタ５４の出力との比較結果を示すＰＷＭ方式の画素信号Ｓ２２を画素読み出し配線４２へ出力する。画素信号Ｓ２２は、画素読み出し配線４２を介して画素信号処理回路２３へ伝送される。
　図５Ｅに示す画素５０ｄでは、フォトダイオード５１ａ～フォトダイオード５１ｃが、光電変換膜５１１と、透明電極５１２と、下部電極５１３と、を有する。光電変換膜５１１は、有機光電変換膜または無機光電変換膜である。透明電極５１２は、光電変換膜５１１の上面に配置されている。下部電極５１３は、光電変換膜５１１の上面に配置されている。すなわち、透明電極５１２は、透明電極５１２と下部電極５１３との間に挟まれている。例えば、光電変換膜５１１が、透明電極５１２の電圧をコントロールすることで、グローバルシャッタが実現されている。
　フォトダイオード５１ａ～フォトダイオード５１ｃの光電変換膜５１１で光電変換された電荷は、転送トランジスタ５２ａ～転送トランジスタ５２ｃによって、それぞれ増幅トランジスタ５４へ転送される。増幅トランジスタ５４は、フォトダイオード５１に蓄積された電荷量に応じた画素信号Ｓ２２を選択トランジスタ５５へ出力する。選択トランジスタ５５は、画素信号Ｓ２２を画素読み出し配線４２へ出力する。画素信号Ｓ２２は、画素読み出し配線４２を介して画素信号処理回路２３へ伝送される。各フォトダイオードの電位は、リセットトランジスタ５３によって、リセットされる。
　図５Ｆに示す画素５０ｅは、明るさの変化を出力するＤＶＳ（Dynamic Vision Sensor）画素の一例である。画素５０ｅは、対数変換回路５１０、バッファ回路５２０、減算回路５３０、および量子化回路５４０を有する。
　対数変換回路５１０は、フォトダイオード５１と、Ｎチャネル型のＭＯＳトランジスタ５１４と、Ｐチャネル型のＭＯＳトランジスタ５１５と、Ｎチャネル型のＭＯＳトランジスタ５１６と、を有する。フォトダイオード５１およびＭＯＳトランジスタ５１４は、直列に接続されている。また、ＭＯＳトランジスタ５１５およびＭＯＳトランジスタ５１６も直列に接続されている。さらに、ＭＯＳトランジスタ５１４のゲートが、ＭＯＳトランジスタ５１５のドレインおよびＭＯＳトランジスタ５１６のドレインに接続されている。対数変換回路５１０では、フォトダイオード５１で光電変換された電荷を、対数出力の電圧Ｖｌｏｇに変換する。
　バッファ回路５２０は、Ｐチャネル型のＭＯＳトランジスタ５２１と、Ｐチャネル型のＭＯＳトランジスタ５２２と、を有する。ＭＯＳトランジスタ５２１およびＭＯＳトランジスタ５２２は、直列に接続されている。バッファ回路５２０は、ＭＯＳトランジスタ５２２のゲートに入力された電圧Ｖｌｏｇに対してインピーダンス変換を行ったソースフォロワ電圧ＶＳＦを出力する。
　減算回路５３０は、Ｐチャネル型のＭＯＳトランジスタ５３１と、Ｐチャネル型のＭＯＳトランジスタ５３２と、Ｎチャネル型のＭＯＳトランジスタ５３３と、キャパシタ５３４と、キャパシタ５３５と、を有する。ＭＯＳトランジスタ５３２およびＭＯＳトランジスタ５３３は直列に接続されている。ＭＯＳトランジスタ５３２のゲートには、キャパシタ５３４が接続されている。ＭＯＳトランジスタ５３２のゲートとドレインとの間には、ＭＯＳトランジスタ５３１よびキャパシタ５３５が並列に接続されている。減算回路５３０は、前の信号との差分電圧Ｖｄｉｆｆを出力する。
　量子化回路５４０は、Ｐチャネル型のＭＯＳトランジスタ５４１と、Ｎチャネル型のＭＯＳトランジスタ５４２と、Ｐチャネル型のＭＯＳトランジスタ５４３と、Ｎチャネル型のＭＯＳトランジスタ５４４と、を有する。ＭＯＳトランジスタ５４１およびＭＯＳトランジスタ５４２が直列に接続されている。また、ＭＯＳトランジスタ５４３およびＭＯＳトランジスタ５４４も直列に接続されている。量子化回路５４０では、ＭＯＳトランジスタ５４１およびＭＯＳトランジスタ５４３の各々のゲートに入力された差分電圧Ｖｄｉｆｆと２つのしきい値と比較される。その後、比較結果（ＶＯ（＋）、ＶＯ（－））が画素信号Ｓ２２として画素読み出し配線４２を介して画素信号処理回路２３に伝送される。画素信号処理回路２３は、画素信号Ｓ２２に基づいて、「＋１」、「０」、「－１」を判定する。
　画素アレイ部２１に配列される画素５０は、図５Ｂ～図５Ｆに示す画素５０ａ～画素５０ｅに限定されない。例えば、画素アレイ部２１には、各画素５０の画素信号Ｓ２２を加算する、いわゆる畳み込み画素が配列されていてもよい。また、画素アレイ部２１には、上述したＣＭＯＳイメージセンサやＤＶＳの他に、偏光センサまたはマルチスペクトルセンサが配列されていてもよい。
　偏光センサは、フォトダイオード５１に入射する光を偏光する回析素子をさらに有する。一方、マルチスペクトルセンサは、フォトダイオード５１に入射する光を色分解するカラーフィルタをさらに有する。
　図６は、画素信号処理回路２３に含まれるＡＤＣ（Analog to Digital Converter）の回路構成の一例を示す図である。図６に示すＡＤＣは、複数のコンパレータ２３１と、複数のカウンタ２３２と、複数のラッチ回路２３３と、を有する。
　コンパレータ２３１の非反転入力端子には、上述した画素５０ａ～５０ｅのいずれかに相当する画素５０の画素信号Ｓ２２が入力される。反転入力端子には、三角波のランプ信号ＲＡＭＰが入力される。各コンパレータ２３１は、画素信号Ｓ２２とランプ信号ＲＡＭＰとの比較結果を出力する。各カウンタ２３２は、コンパレータ２３１の出力端子に接続されている。各カウンタ２３２は、コンパレータ２３１の出力レベルの変化時間をカウントする。各ラッチ回路２３３は、各カウンタ２３２のカウント結果を保持する。
　なお、画素信号処理回路２３に含まれるＡＤＣは、図６に示すシングルスロープＡＤＣに限定されない。画素信号処理回路２３は、例えば、画素ごとに画素信号Ｓ２２を処理する画素ＡＤＣ、１つのカウンタ２３２で複数のコンパレータ２３１の比較時間をカウントするカラムＡＤＣ、積分回路を有する２重積分型ＡＤＣ、逐次比較型（ＳＡＲ）ＡＤＣ、またはΔΣ型ＡＤＣ等を含んでいてもよい。また、ＡＤＣの解像度も、例えば１ビット～１２ビットの範囲内で適宜選択することができる。
　上述したように、本実施形態に係る撮像装置１は、光源セルアレイ部１１で生成された光信号Ｓ１２を画素アレイ部２１で積和演算する構成を有する。光信号Ｓ１２を使うことによって、積和演算に必要な係数（荷重）データが、２次元に配列された複数の画素５０に一括に転送されるため、データ転送に要する電力が大幅に軽減される。
　また、光源セルアレイ部１１で光信号Ｓ１２の発光レベルを調整したり、画素アレイ部２１で光信号Ｓ１２の受光レベルを調整したり、光信号Ｓ１２の波長を多重化したりすることによって、積和演算の係数データを自由に設定することができる。これにより、積和演算の表現幅を拡大することができる。
　以上説明した本実施形態によれば、低レイテンシーで演算時の係数の表現力を広げることができるため、高度な演算を低電力で実現することができる。特に、データセンタ等に使われる大規模演算の高効率化に寄与することが期待できる。また、本実施形態では、光源セルアレイ部１１が、画素アレイ部２１に積層されるので、小面積レイアウトを実現することができる。さらに、本開示は、ＣＭＯＳイメージセンサを積和演算器として使うことができるため、ＣＭＯＳイメージセンサの技術進歩による恩恵を受けることもできる。
　（第２実施形態）
　図７は、第２実施形態に係る撮像装置の構成を示すブロック図である。第１実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図７に示す撮像装置２は、図１に示す撮像装置１の構成要素に加えて、メモリセルアレイ部６１、ＣＩＭ（Computing in memory）入力制御回路６２、ＣＩＭ読み出し回路６３、およびＣＩＭロジック回路６４をさらに備える。
　メモリセルアレイ部６１には、複数のメモリセルが２次元状に配列されている。メモリセルアレイ部６１は、ＣＩＭ入力制御回路６２からのメモリセル制御信号Ｓ６１をアナログ方式で積和演算した結果を示す畳み込み信号Ｓ６２をＣＩＭ読み出し回路６３に向けて一方向に出力する。メモリセルアレイ部６１の回路構成例については、後述する。
　ＣＩＭ入力制御回路６２は、例えばシフトレジスタによって構成され、メモリセル駆動配線（図７には不図示）を介してメモリセルアレイ部６１の各メモリセルにデジタル画素信号Ｓ２３に関連付けられたメモリセル制御信号Ｓ６１を入力する。このメモリセル制御信号Ｓ６１によって、ＣＩＭ入力制御回路６２は、メモリセルアレイ部６１の各メモリセルを順次または一括に選択して走査し、各メモリセルのメモリ値を用いて積和演算した畳み込み信号Ｓ６２をＣＩＭ読み出し回路６３へ出力させる。
　ＣＩＭ読み出し回路６３は、メモリセルアレイ部６１から読み出した畳み込み信号Ｓ６２に対して、ＡＤ変換処理等を行う。
　ＣＩＭロジック回路６４は、外部から入力されるクロック信号と、動作モードなどを指令するデータを受け取り、メモリセルアレイ部６１全体の動作を制御する。例えば、ＣＩＭロジック回路６４は、入力されたクロック信号に基づいて、垂直同期信号や水平同期信号などを生成し、ＣＩＭ入力制御回路６２およびＣＩＭ読み出し回路６３に供給する。
　図８Ａは、撮像装置２の構造の一例を示す図である。本実施形態では、第１基板１０１、第２基板２０１、およびメモリ基板２０２が、この順番で積層されている。第１基板１０１は、最上層に配置され、メモリ基板２０２が最下層に配置され、第２基板２０１が、第１基板１０１とメモリ基板２０２との間の中間層に配置されている。
　第１基板１０１には、図２Ａと同様に、光源セルアレイ部１１、光源制御回路１２、および光源ロジック回路１３が配置されている。第２基板２０１には、図２Ａと同様に、画素アレイ部２１、画素制御回路２２、画素信号処理回路２３、および画素ロジック回路２５が配置されている。メモリ基板２０２は、第２基板２０１の下に積層されている。
　メモリ基板２０２は、例えばシリコン基板であり、銅パッド、バンプ、またはＴＳＶ等によって、第２基板２０１に接合される。メモリ基板２０２は、第２基板２０１とともに第２基板群を構成する。基板面積を最小化するために、メモリ基板２０２は、第２基板２０１と全体的に重なり合う必要はなく、少なくとも一部同士が重なり合っていればよい。
　メモリ基板２０２には、メモリセルアレイ部６１、ＣＩＭ入力制御回路６２、ＣＩＭ読み出し回路６３、およびＣＩＭロジック回路６４が配置されている。図８Ａでは、ＣＩＭ入力制御回路６２は、畳み込み信号Ｓ６２の出力方向に平行な方向に配置され、かつ、ＣＩＭ読み出し回路６３は、畳み込み信号Ｓ６２の出力方向に垂直な方向に配置される。すなわち、ＣＩＭ入力制御回路６２およびＣＩＭ読み出し回路６３は、互いに垂直な方向に配置される。なお、ＣＩＭロジック回路６４の位置は、図８Ａに位置に制限されず、メモリ基板２０２内のスペースに適宜配置すればよい。
　また、図８Ａでは、メモリセルアレイ部６１の平面領域は、Ｘ方向を短辺方向、Ｙ方向を長辺方向とする矩形であるが、正方形であってもよく、積和演算の仕様に応じて決定される。例えば、積和演算の畳み込み数（加算数）が多い場合には、長い読み出し配線が必要になる。この場合、図８Ａに示すメモリセルアレイ部６１の矩形が好ましい。
　図８Ｂは、撮像装置２の構造の他の一例を示す図である。図８Ｂでは、図２Ｂと同様に、光源系が、光源基板１１１および光源制御基板１２１を互いに重なり合って積層した２層構造となっている。光源制御基板１２１には、光源セルアレイ部１１が配置されている。一方、光源制御基板１２１には、光源制御回路１２および光源ロジック回路１３が配置されている。
　なお、本実施形態に係る撮像装置２にも、第１実施形態と同様に、シャッタ１０２（図２Ｃ参照）が、光源セルアレイ部１１と画素アレイ部２１との間に設けられていてもよい。また、ブラックマスク１０３（図２Ｄ参照）が、第１基板１０１の縁部と第２基板２０１の縁部とに設けられていてもよい。さらに、撮像装置２が、遮光性を有するパッケージ１０４（図２Ｅ参照）に収容されていてもよい。
　図９は、メモリセルアレイ部６１の概略的な回路構成を示す図である。図９に示すように、メモリセルアレイ部６１には、複数のメモリセル７１が２次元状に配列されている。各メモリセル７１は、メモリセル駆動配線７２とメモリセル読み出し配線７３との交点近傍に配置される。なお、メモリセル７１は、３次元状に配置されていてもよい。この場合、複数のメモリセル７１が、Ｘ方向、Ｙ方向、およびＺ方向に配置される。
　メモリセル７１には、例えば、抵抗変化型メモリ（ＲｅＲＡＭ：Resistive Random Access Memory）、相変化メモリ（ＰＣＭ：Phase Change Memory）、磁気抵抗メモリ（ＭＲＡＭ：Magneto resistive Random Memory）、または強誘電体メモリ（ＦｅＲＡＭ：Ferroelectric Random Access Memory）などを適用することができる。また、メモリセル７１は、ＳＲＡＭ（Static Random Access Memory）や、不揮発性メモリであってもよい。
　メモリセル７１には、メモリ値（例えば、＋１、－１、０．５）が保持されている。メモリセルアレイ部６１は、各メモリセル７１のメモリ値と、ＣＩＭ入力制御回路６２からメモリセル駆動配線７２を介して入力信号として入力されるメモリセル制御信号Ｓ６１の信号値と、を乗算する。続いて、メモリセルアレイ部６１は、乗算結果を、メモリセル読み出し配線７３を通じて行単位または列単位で順次に加算する。これにより、積和演算結果を示すデジタル方式の畳み込み信号Ｓ６２が、ＣＩＭ読み出し回路６３に読み出される。なお、メモリセルアレイ部６１は、乗算結果を一括に加算してもよい。
　畳み込み信号Ｓ６２がアナログ方式の場合には、メモリセル駆動配線７２を介した入力信号とメモリ値が乗算された後、メモリセル読み出し配線７３上で、電荷が加算されて畳み込み信号Ｓ６２がＣＩＭ読み出し回路６３に読み出される。このとき、全てのメモリセル駆動配線７２に一括で入力信号を入力することができ、ＣＩＭ読み出し回路６３がカラムＡＤＣの場合には、全てのメモリセル読み出し配線７３から一括で畳み込み信号Ｓ６２を読み出すことも可能となる。
　上述した本実施形態に係る撮像装置２も、第１実施形態と同様に、光源セルアレイ部１１で生成された光信号Ｓ１２を画素アレイ部２１で積和演算する構成を有する。そのため、高度な演算を低電力で実現することができる。さらに、本実施形態に係る撮像装置２は、画素アレイ部２１の演算結果をさらに積和演算するメモリセルアレイ部６１も備える。そのため、より高度な演算を行うことも可能となる。
　（第３実施形態）
　図１０Ａ～図１０Ｄは、第３実施形態に係る撮像装置の構造を示す図である。上述した実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図１０Ａに示す撮像装置３ａでは、光学系が、全ての回路要素を第１基板１０１に配置した単層構造であるのに対して、画素系が、画素基板２１１および画素制御基板２２１を互いに重なり合わせた２層構造である。画素基板２１１および画素制御基板２２１は、例えばシリコン基板である。画素基板２１１は、第１基板１０１と画素制御基板２２１との間の中間層に配置され、画素制御基板２２１は、最下層に配置される。
　画素基板２１１には、画素アレイ部２１が配置されている。この画素アレイ部２１には、例えば第１実施形態で説明した画素５０ａ（図５Ｂ参照）、画素５０ｂ（図５Ｃ参照）、または画素５０ｄ（図５Ｅ参照）のいずれかが２次元状に配列される。
　一方、画素制御基板２２１には、画素制御回路２２、画素信号処理回路２３、および画素ロジック回路２５が配置されている。図２Ａに示す第２基板２０１、または図１０Ｂに示す画素基板２１１および画素制御基板２２１は、それぞれ第２基板群に相当する。すなわち、第２基板群は、１枚の基板であってもよいし、複数枚の基板であってもよい。
　なお、画素基板２１１および画素制御基板２２１は、光源基板１１１および光源制御基板１２１と同様に、貫通電極または接続端子を介して接合される。画素制御信号Ｓ２１および画素信号Ｓ２２は、貫通電極または接続端子を通じて伝送される。
　図１０Ｂに示す撮像装置３ｂでは、画素アレイ部２１が、画素基板２１１および画素制御基板２２１に分散して配置される。画素基板２１１には、光信号Ｓ１２を光電変換する光電変換部２１ａが配置され、画素制御基板２２１には、光信号Ｓ１２を積和演算する画素トランジスタ部２１ｂが配置される。この画素アレイ部２１には、例えば第１実施形態で説明した画素５０ｃ（図５Ｄ参照）または画素５０ｅ（図５Ｆ参照）が２次元状に配列される。
　画素５０ｃが配置される場合、フォトダイオード５１および増幅トランジスタ５４が、光電変換部２１ａとして画素基板２１１に配置される。また、リセットトランジスタ５３、選択トランジスタ５５、およびＭＯＳトランジスタ５９が、画素トランジスタ部２１ｂとして画素制御基板２２１に配置される。
　一方、画素５０ｅが配置される場合、対数変換回路５１０が、光電変換部２１ａとして画素基板２１１に配置される。また、バッファ回路５２０、減算回路５３０、および量子化回路５４０が、画素トランジスタ部２１ｂとして画素制御基板２２１に配置される。
　図１０Ｃに示す撮像装置３ｃでは、光学系および画素が、ともに２層構造である。すなわち、光学系では、光源セルアレイ部１１が、光源基板１１１に配置され、光源制御回路１２および光源ロジック回路１３が光源制御基板１２１に配置される。一方、画素系では、図１０Ａと同様に、画素アレイ部２１が画素基板２１１に配置され、画素制御回路２２、画素信号処理回路２３、および画素ロジック回路２５が画素制御基板２２１には配置される。
　図１０Ｄに示す撮像装置３ｄでも、光学系および画素が、ともに２層構造である。ただし、図１０Ｄの画素系では、図１０Ｂと同様に、画素アレイ部２１のうち、光電変換部２１ａが画素基板２１１に配置され、画素トランジスタ部２１ｂが画素制御基板２２１には配置される。
　上述した本実施形態に係る撮像装置３も、第１実施形態と同様に、光源セルアレイ部１１で生成された光信号Ｓ１２を画素アレイ部２１で積和演算する構成を有する。そのため、高度な演算を低電力で実現することができる。さらに、本実施形態では、画素系が、２層構造となっている。そのため、画素アレイ部２１の配置面積、すなわち積和演算領域を拡大することができる。これにより、より高度な演算を行うことも可能となる。
　なお、本実施形態に係る撮像装置３にも、第１実施形態と同様に、シャッタ１０２（図２Ｃ参照）、ブラックマスク１０３（図２Ｄ参照）がもうけられていてよい。また、撮像装置３が、遮光性を有するパッケージ１０４（図２Ｅ参照）に収容されていてもよい。
　（第４実施形態）
　図１１Ａ～図１１Ｄは、第４実施形態に係る撮像装置の構造を示す図である。上述した実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図１１Ａに示す撮像装置４ａには、メモリ基板２０２が、上述した第３実施形態に係る撮像装置３ａ（図１０Ａ参照）の画素制御基板２２１の下層に配置される。メモリ基板２０２には、第２実施形態と同様に、メモリセルアレイ部６１、ＣＩＭ入力制御回路６２、ＣＩＭ読み出し回路６３、およびＣＩＭロジック回路６４が配置される。
　図１１Ｂに示す撮像装置４ｂには、メモリ基板２０２が、上述した第３実施形態に係る撮像装置３ｂ（図１０Ｂ参照）の画素制御基板２２１の下層に配置される。メモリ基板２０２には、第２実施形態と同様に、メモリセルアレイ部６１、ＣＩＭ入力制御回路６２、ＣＩＭ読み出し回路６３、およびＣＩＭロジック回路６４が配置される。
　図１１Ｃに示す撮像装置４ｃには、メモリ基板２０２が、上述した第３実施形態に係る撮像装置３ｃ（図１０Ｃ参照）の画素制御基板２２１の下層に配置される。メモリ基板２０２には、第２実施形態と同様に、メモリセルアレイ部６１、ＣＩＭ入力制御回路６２、ＣＩＭ読み出し回路６３、およびＣＩＭロジック回路６４が配置される。
　図１１Ｄに示す撮像装置４ｄには、メモリ基板２０２が、上述した第３実施形態に係る撮像装置３ｄ（図１０Ｄ参照）の画素制御基板２２１の下層に配置される。メモリ基板２０２には、第２実施形態と同様に、メモリセルアレイ部６１、ＣＩＭ入力制御回路６２、ＣＩＭ読み出し回路６３、およびＣＩＭロジック回路６４が配置される。
　上述した本実施形態に係る撮像装置４も、第１実施形態と同様に、光源セルアレイ部１１で生成された光信号Ｓ１２を画素アレイ部２１で積和演算する構成を有する。そのため、高度な演算を低電力で実現することができる。さらに、本実施形態に係る撮像装置４は、第２実施形態と同様に、画素アレイ部２１の演算結果をさらに積和演算するメモリセルアレイ部６１も備える。そのため、より高度な演算を行うことも可能となる。
　（第５実施形態）
　図１２は、第５実施形態に係る撮像装置の構造を示す図である。上述した実施形態と同様の構成要素には同じ符号を付し、詳細な説明を省略する。
　図１２に示す撮像装置５では、光学変調素子４０１が、光源セルアレイ部１１と画素アレイ部２１との間に設けられている。光学変調素子４０１では、光源セルアレイ部１１から入射した複数の光信号Ｓ１２が干渉する。この干渉によって、画素アレイ部２１でだけでなく、光の領域でも積和演算が実施される。
　以上説明した本実施形態によれば、光源セルアレイ部１１と画素アレイ部２１との間に光学変調素子４０１を配置することによって、光の領域で追加的に積和演算を実施することができる。そのため、より高度な積和演算を実施することが可能となる。
　なお、本実施形態は、上述した他の実施形態にも適用することができる。すなわち、第１実施形態～第４実施形態に係る各撮像装置において、光学変調素子４０１が、光源セルアレイ部１１と画素アレイ部２１との間に設けられていてもよい。
　（第６実施形態）
　図１３は、第６実施形態に係る撮像装置の構造を示す図である。上述した実施形態と同様の構成要素には同じ符号を付し、詳細な説明を省略する。
　本実施形態に係る撮像装置６では、画素アレイ部２１には、光信号Ｓ１２に加えて、被写体で反射した反射光Ｓ３１も入射する。光信号Ｓ１２は、画素アレイ部２１の上方に配置された光源セルアレイ部１１から入射する。反射光Ｓ３１は、光信号Ｓ１２とは反対方向、すなわち画素アレイ部２１の下方から入射する。
　画素アレイ部２１は、光信号Ｓ１２を受光した場合、光信号Ｓ１２に基づく積和演算を実施し、画素信号Ｓ２２を画素信号処理回路２３へ出力する。また、画素アレイ部２１は、反射光Ｓ３１を受光した場合には、反射光Ｓ３１を光電変換した画素信号Ｓ３２を画素信号処理回路２３へ出力する。この場合、画素信号処理回路２３において、被写体の画像信号が生成される。
　以上説明した本実施形態によれば、積和演算機能だけでなく撮像機能も実現することができる。なお、本実施形態は、上述した第１実施形態および第３実施形態にも適用することができる。
　（第７実施形態）
　図１４は、第７実施形態に係る電子機器の構成の一例を示す図である。本実施形態に係る電子機器２００は、カメラシステムであり、図１４に示すように、撮像装置２１０と、レンズ２２０と、駆動回路(ＤＲＶ)２３０と、信号処理回路(ＰＲＣ)２４０と、を備える。
　撮像装置２１０には、上述した第１実施形態、第３実施形態、および第６実施形態に係る撮像装置のいずれかを適用することができる。レンズ２２０は、入射光（像光）を撮像面上に結像させる。
　駆動回路２３０は、撮像装置２１０内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(不図示)を有し、所定のタイミング信号で撮像装置２１０を駆動する。
　また、信号処理回路２４０は、撮像装置２１０の出力信号に対して所定の信号処理を施す。信号処理回路２４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路２４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
　上述した本実施形態によれば、デジタルスチルカメラ等の電子機器２００において、上述した各実施形態に係る撮像装置を撮像装置２１０として搭載することで、高精度な撮像機能を実現することができる。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１６は、撮像部１２０３１の設置位置の例を示す図である。
　図１６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば撮像部１２０３１に適用され得る。具体的には、第１、３、６実施形態に係る撮像装置は、撮像部１２０３１に適用することができる。本開示に係る技術を適用することにより、低ノイズの撮像性能を有する撮影画像を得ることができるため、画像品質を向上することが可能になる。
　なお、本技術は以下のような構成を取ることができる。
（１）　光信号を生成する光源セルアレイ部が配置される第１基板群と、
　前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する画素アレイ部が配置される第２基板群と、を備え、
　前記光源セルアレイ部の少なくとも一部が、前記画素アレイ部に重なり合うように、前記第１基板群と前記第２基板群とが互いに積層されている、撮像装置。
（２）　前記光源セルアレイ部が、２次元状に配列された複数の光源セルを有し、
　前記画素アレイ部が、２次元状に配列された複数の画素を有し、
　前記複数の光源セルおよび前記複数の画素において、一方の中心ピッチが他方の中心ピッチの整数倍である、（１）に記載の撮像装置。
（３）　前記光信号が、赤外線または可視光である、（１）または（２）に記載の撮像装置。
（４）　前記第１基板群は、
　前記光源セルアレイ部が配置される光源基板と、
　前記光源基板の下に積層され、前記光源セルアレイ部の駆動を制御する光源制御回路が配置される光源制御基板と、を含む、（１）から（３）のいずれかに記載の撮像装置。
（５）　前記第２基板群は、
　前記画素アレイ部が配置される基板と、
　前記基板の下に積層され、前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を出力するメモリセルアレイ部が配置されるメモリ基板と、を含む、（１）から（４）のいずれかに記載の撮像装置。
（６）　前記画素信号と前記畳み込み信号の少なくとも一方がアナログ信号である、（５）に記載の撮像装置。
（７）　前記メモリセルアレイ部から読み出した前記畳み込み信号を処理するＣＩＭ読み出し回路をさらに備える、（６）に記載の撮像装置。
（８）　前記画素アレイ部から読み出した前記画素信号を処理する画素信号処理回路をさらに備える、（６）または（７）に記載の撮像装置。
（９）　前記画素信号処理回路が前記画素アレイ部と同じ基板に配置される、（８）に記載の撮像装置。
（１０）　前記画素信号処理回路が前記画素アレイ部と異なる基板に配置される、（８）に記載の撮像装置。
（１１）　前記画素アレイ部が、前記光信号を光電変換する光電変換部と、前記光信号を積和演算する画素トランジスタ部と、を有し、
　前記光電変換部が、前記画素トランジスタ部と異なる基板に配置される、（１）から（１０）のいずれかに記載の撮像装置。
（１２）　前記光源セルアレイ部と前記画素アレイ部との間に配置された光学変調素子をさらに備える、（１）から（１１）のいずれかに記載の撮像装置。
（１３）　前記光源セルアレイ部と前記画素アレイ部との間に配置されたシャッタをさらに備える、（１）から（１１）のいずれかに記載の撮像装置。
（１４）　前記第１基板群の縁部と、前記第２基板群の縁部とに設けられたブラックマスクをさらに備える、（１）から（１１）のいずれかに記載の撮像装置。
（１５）　前記第１基板群および前記第２基板群が、遮光性を有するパッケージに収容されている、（１）から（１１）のいずれかに記載の撮像装置。
（１６）　前記複数の光源セルの各々が、発光素子と、前記発光素子を独立して制御するアクティブ素子と、前記発光素子と前記アクティブ素子との間に設けられた記憶部と、を有する、（２）に記載の撮像装置。
（１７）　前記記憶部は、前記積和演算に関するデータを記憶する、（１６）に記載の撮像装置。
（１８）　前記画素アレイ部は、被写体で反射した反射光を、前記光信号とは反対方向から受光する、（１）に記載の撮像装置。
（１９）　光信号を生成する光源セルアレイ部が配置される第１基板群と、前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する画素アレイ部が配置される第２基板群と、を有し、前記光源セルアレイ部の少なくとも一部が、前記画素アレイ部に重なり合うように、前記第１基板群と前記第２基板群とが互いに積層されている撮像装置を備える、電子機器。
（２０）　第１基板群に配置される光源セルアレイ部で光信号を生成し、
　前記光源セルアレイ部の少なくとも一部に重なり合う画素アレイ部で、前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する、
　信号処理方法。
　１～６：撮像装置
　１１：光源セルアレイ部
　２１：画素アレイ部
　２１ａ：光電変換部
　２１ｂ：画素トランジスタ部
　２３：画素信号処理回路
　３０：光源セル
　５０：画素
　６３：ＣＩＭ読み出し回路
　１０１：第１基板
　１０２：シャッタ
　１０３：ブラックマスク
　１０４：パッケージ
　１１１：光源基板
　１２１：光源制御基板
　２０１：第２基板
　２０２：メモリ基板
　３００：発光素子
　３１０：アクティブ素子
　３２０：記憶部
　４０１：光学変調素子

Claims (20)

  1. 　光信号を生成する光源セルアレイ部が配置される第１基板群と、
    　前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する画素アレイ部が配置される第２基板群と、を備え、
    　前記光源セルアレイ部の少なくとも一部が、前記画素アレイ部に重なり合うように、前記第１基板群と前記第２基板群とが互いに積層されている、撮像装置。
  2. 　前記光源セルアレイ部が、２次元状に配列された複数の光源セルを有し、
    　前記画素アレイ部が、２次元状に配列された複数の画素を有し、
    　前記複数の光源セルおよび前記複数の画素において、一方の中心ピッチが他方の中心ピッチの整数倍である、請求項１に記載の撮像装置。
  3. 　前記光信号が、赤外線または可視光である、請求項２に記載の撮像装置。
  4. 　前記第１基板群は、
    　前記光源セルアレイ部が配置される光源基板と、
    　前記光源基板の上に積層され、前記光源セルアレイ部の駆動を制御する光源制御回路が配置される光源制御基板と、を含む、請求項１に記載の撮像装置。
  5. 　前記第２基板群は、
    　前記画素アレイ部が配置される基板と、
    　前記基板の下に積層され、前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を出力するメモリセルアレイ部が配置されるメモリ基板と、を含む、請求項１に記載の撮像装置。
  6. 　前記画素信号と前記畳み込み信号の少なくとも一方がアナログ信号である、請求項５に記載の撮像装置。
  7. 　前記メモリセルアレイ部から読み出した前記畳み込み信号を処理するＣＩＭ読み出し回路をさらに備える、請求項６に記載の撮像装置。
  8. 　前記画素アレイ部から読み出した前記画素信号を処理する画素信号処理回路をさらに備える、請求項６に記載の撮像装置。
  9. 　前記画素信号処理回路が前記画素アレイ部と同じ基板に配置される、請求項８に記載の撮像装置。
  10. 　前記画素信号処理回路が前記画素アレイ部と異なる基板に配置される、請求項８に記載の撮像装置。
  11. 　前記画素アレイ部が、前記光信号を光電変換する光電変換部と、前記光信号を積和演算する画素トランジスタ部と、を有し、
    　前記光電変換部が、前記画素トランジスタ部と異なる基板に配置される、請求項１に記載の撮像装置。
  12. 　前記光源セルアレイ部と前記画素アレイ部との間に配置された光学変調素子をさらに備える、請求項１に記載の撮像装置。
  13. 　前記光源セルアレイ部と前記画素アレイ部との間に配置されたシャッタをさらに備える、請求項１に記載の撮像装置。
  14. 　前記第１基板群の縁部と、前記第２基板群の縁部とに設けられたブラックマスクをさらに備える、請求項１に記載の撮像装置。
  15. 　前記第１基板群および前記第２基板群が、遮光性を有するパッケージに収容されている、請求項１に記載の撮像装置。
  16. 　前記複数の光源セルの各々が、発光素子と、前記発光素子を独立して制御するアクティブ素子と、前記発光素子と前記アクティブ素子との間に設けられた記憶部と、を有する、請求項２に記載の撮像装置。
  17. 　前記記憶部は、前記積和演算に関するデータを記憶する、請求項１６に記載の撮像装置。
  18. 　前記画素アレイ部は、被写体で反射した反射光を、前記光信号とは反対方向から受光する、請求項１に記載の撮像装置。
  19. 　光信号を生成する光源セルアレイ部が配置される第１基板群と、前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する画素アレイ部が配置される第２基板群と、を有し、前記光源セルアレイ部の少なくとも一部が、前記画素アレイ部に重なり合うように、前記第１基板群と前記第２基板群とが互いに積層されている撮像装置を備える、電子機器。
  20. 　第１基板群に配置される光源セルアレイ部で光信号を生成し、
    　前記光源セルアレイ部の少なくとも一部に重なり合う画素アレイ部で、前記光信号を光電変換するとともに積和演算した結果を示す画素信号を出力する、
    　信号処理方法。
PCT/JP2022/007073 2021-04-16 2022-02-22 撮像装置、電子機器、および信号処理方法 Ceased WO2022219928A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023514367A JPWO2022219928A1 (ja) 2021-04-16 2022-02-22
US18/554,043 US12542982B2 (en) 2021-04-16 2022-02-22 Imaging apparatus, electronic device, and signal processing method
CN202280024962.3A CN117178560A (zh) 2021-04-16 2022-02-22 摄像装置、电子设备和信号处理方法
EP22787856.8A EP4325839A4 (en) 2021-04-16 2022-02-22 Imaging device, electronic apparatus, and signal processing method
KR1020237035037A KR20230172478A (ko) 2021-04-16 2022-02-22 촬상 장치, 전자 기기 및 신호 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-069851 2021-04-16
JP2021069851 2021-04-16

Publications (1)

Publication Number Publication Date
WO2022219928A1 true WO2022219928A1 (ja) 2022-10-20

Family

ID=83639569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007073 Ceased WO2022219928A1 (ja) 2021-04-16 2022-02-22 撮像装置、電子機器、および信号処理方法

Country Status (7)

Country Link
US (1) US12542982B2 (ja)
EP (1) EP4325839A4 (ja)
JP (1) JPWO2022219928A1 (ja)
KR (1) KR20230172478A (ja)
CN (1) CN117178560A (ja)
TW (1) TW202243465A (ja)
WO (1) WO2022219928A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024128022A1 (ja) * 2022-12-15 2024-06-20 パナソニックＩｐマネジメント株式会社 撮像装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12481867B2 (en) * 2021-04-28 2025-11-25 Arm Limited Memory for artificial neural network accelerator
CN118414839A (zh) * 2021-12-22 2024-07-30 索尼半导体解决方案公司 成像装置、电子设备以及信号处理方法
JP2023142256A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び半導体装置の製造方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037862A1 (ja) * 2016-08-23 2018-03-01 株式会社ニコン 撮像素子および撮像システム
JP2020113809A (ja) * 2019-01-08 2020-07-27 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03204624A (ja) 1990-01-08 1991-09-06 Sumitomo Cement Co Ltd 光ニューラル演算装置
JP4574118B2 (ja) * 2003-02-12 2010-11-04 株式会社半導体エネルギー研究所 半導体装置及びその作製方法
US8874831B2 (en) * 2007-06-01 2014-10-28 Netlist, Inc. Flash-DRAM hybrid memory module
CN113159305B (zh) * 2018-06-05 2024-11-19 光子智能私营科技有限公司 光电计算系统
US11347297B1 (en) * 2019-01-23 2022-05-31 Perceive Corporation Neural network inference circuit employing dynamic memory sleep
TWI786992B (zh) * 2021-12-14 2022-12-11 國立清華大學 整合卷積神經網路運算電路的影像感測器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037862A1 (ja) * 2016-08-23 2018-03-01 株式会社ニコン 撮像素子および撮像システム
JP2020113809A (ja) * 2019-01-08 2020-07-27 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4325839A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024128022A1 (ja) * 2022-12-15 2024-06-20 パナソニックＩｐマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
US12542982B2 (en) 2026-02-03
CN117178560A (zh) 2023-12-05
EP4325839A1 (en) 2024-02-21
KR20230172478A (ko) 2023-12-22
EP4325839A4 (en) 2024-09-25
JPWO2022219928A1 (ja) 2022-10-20
US20240121532A1 (en) 2024-04-11
TW202243465A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
EP4325839A1 (en) Imaging device, electronic apparatus, and signal processing method
US20230043681A1 (en) Solid-state imaging device
US12249611B2 (en) Imaging device, electronic device, and signal processing method with pixel array and memory array respectively on first and second substrates
TW202015395A (zh) 固態攝像裝置及其驅動方法以及電子機器
KR20190067179A (ko) 촬상 소자 및 전자기기
US12323722B2 (en) Imaging device and electronic apparatus
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
WO2020235363A1 (ja) 受光デバイス、固体撮像装置、電子機器及び情報処理システム
WO2020045142A1 (ja) 撮像装置および電子機器
CN118975268A (zh) 光检测装置、距离测量装置和电子设备
US20250048004A1 (en) Imaging device, electronic equipment, and signal processing method
JP2023059071A (ja) 光検出装置および測距装置
WO2023195235A1 (en) Photodetector and distance measurement apparatus
WO2023021780A1 (ja) 撮像装置、電子機器及び情報処理方法
WO2021261079A1 (ja) 光検出装置および測距システム
WO2024201616A1 (ja) 演算装置
JP2025135117A (ja) 光検出装置および電子機器
WO2026023238A1 (ja) カウンタ回路、ａｄ変換器および撮像装置
WO2019031089A1 (ja) 撮像装置
WO2025079417A1 (ja) 光検出装置及び光検出方法
WO2023100547A1 (ja) 撮像装置および電子機器
WO2025243663A1 (ja) 光検出装置および測距装置
WO2024042668A1 (ja) 光検出素子
WO2022163373A1 (ja) 光検出装置および測距装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787856

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023514367

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18554043

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022787856

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022787856

Country of ref document: EP

Effective date: 20231116

WWW Wipo information: withdrawn in national office

Ref document number: 1020237035037

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 18554043

Country of ref document: US