WO2020179928A1 - 受光装置 - Google Patents

受光装置 Download PDF

Info

Publication number
WO2020179928A1
WO2020179928A1 PCT/JP2020/009871 JP2020009871W WO2020179928A1 WO 2020179928 A1 WO2020179928 A1 WO 2020179928A1 JP 2020009871 W JP2020009871 W JP 2020009871W WO 2020179928 A1 WO2020179928 A1 WO 2020179928A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
light receiving
unit
exposure period
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/009871
Other languages
English (en)
French (fr)
Inventor
弘博 朱
和樹 比津
挙文 高塚
祐輔 大池
純 小木
睦聡 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US17/428,408 priority Critical patent/US11754442B2/en
Priority to EP20767256.9A priority patent/EP3936840A4/en
Priority to JP2021503676A priority patent/JP7374174B2/ja
Priority to CN202080013323.8A priority patent/CN113424027B/zh
Publication of WO2020179928A1 publication Critical patent/WO2020179928A1/ja
Anticipated expiration legal-status Critical
Priority to US18/332,215 priority patent/US12188816B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00—Measuring the characteristics of individual optical pulses or of optical pulse trains
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K23/00—Pulse counters comprising counting chains; Frequency dividers comprising counting chains
    • H03K23/58—Gating or clocking signals not applied to all stages, i.e. asynchronous counters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F30/00—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors
    • H10F30/20—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors
    • H10F30/21—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors the devices being sensitive to infrared, visible or ultraviolet radiation
    • H10F30/22—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors the devices being sensitive to infrared, visible or ultraviolet radiation the devices having only one potential barrier, e.g. photodiodes
    • H10F30/225—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors the devices being sensitive to infrared, visible or ultraviolet radiation the devices having only one potential barrier, e.g. photodiodes the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H10F39/8033—Photosensitive area
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/807—Pixel isolation structures
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F77/00—Constructional details of devices covered by this subclass
    • H10F77/10—Semiconductor bodies
    • H10F77/14—Shape of semiconductor bodies; Shapes, relative sizes or dispositions of semiconductor regions within semiconductor bodies
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F77/00—Constructional details of devices covered by this subclass
    • H10F77/30—Coatings
    • H10F77/306—Coatings for devices having potential barriers
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F77/00—Constructional details of devices covered by this subclass
    • H10F77/40—Optical elements or arrangements
    • H10F77/413—Optical elements or arrangements directly associated or integrated with the devices, e.g. back reflectors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F77/00—Constructional details of devices covered by this subclass
    • H10F77/95—Circuit arrangements
    • H10F77/953—Circuit arrangements for devices having potential barriers
    • H10F77/959—Circuit arrangements for devices having potential barriers for devices working in avalanche mode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/448—Array [CCD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/199—Back-illuminated image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses

Definitions

  • the present invention relates to a light receiving device.
  • Photon measurement sensors that count the number of photons that have entered the photoelectric conversion element are known. Further, in the photon measurement sensor, a configuration is known in which counting is performed for each incident photon. As a method for expanding the dynamic range of such a photon measurement sensor, a method of converting the brightness value using the time when the count number reaches the threshold value is effective, and a brightness value prediction using time information has been proposed. There is.
  • An object of the present disclosure is to provide a light receiving device capable of reducing the number of bits when performing photon measurement.
  • the light receiving device has a counting unit that counts the number of detections of photons incident on the light receiving element within the exposure period and outputs a counting value, and a cycle for updating time information in the exposure period. It includes a setting unit that is set according to the elapsed time, and an acquisition unit that acquires time information indicating the time when the count value reaches the threshold value before the exposure period elapses.
  • FIG. 1 It is a figure for demonstrating the 7th example of a structure of the synthetic
  • FIG. 27 is a diagram showing a usage example using the light-receiving device according to the first to fifth embodiments and each modification thereof according to the seventh embodiment. It is a block diagram which shows the schematic structure example of the vehicle control system which is an example of the mobile body control system to which the technique which concerns on this disclosure can be applied. It is a figure which shows the example of the installation position of the imaging unit.
  • First Embodiment 1-1 Outline of the first embodiment 1-2.
  • Configuration example of the counter applicable to the first embodiment 1-4-1 First example of a counter 1-4-2.
  • Ninth example of counter 1-4-10 Tenth example of counter 1-5.
  • Second Embodiment 2-1. Outline of configuration applicable to second embodiment 2-2.
  • a sixth arrangement example according to the second embodiment 2-4. First modification of the second embodiment 2-5.
  • Fourth Embodiment 4-1. First example according to fourth embodiment 4-2.
  • FIG. 1 is a diagram showing a schematic configuration example of a light receiving device according to the first embodiment.
  • the light receiving device 1a according to the first embodiment includes a pixel 10, a counting unit 11, a time code generation unit 12, and an acquisition unit 13.
  • the light receiving device 1a counts the number of photons (photons) incident on the pixel 10 within the specified exposure period Tsh (for example, the shutter period). Based on the counted number of photons, it is possible to determine the illuminance during the exposure period Tsh.
  • Pixel 10 converts the incident light into an electric signal by photoelectric conversion and outputs it. More specifically, the pixel 10 includes a photoelectric conversion element that converts light into an electric charge by photoelectric conversion, and a signal processing circuit that reads an electric charge from the photoelectric conversion element and outputs it as an electric signal. In the present disclosure, the pixel 10 converts photons (photons) incident on the photoelectric conversion element into an electric signal, and outputs pulses Vpls corresponding to the incident of the photons. In the present disclosure, a single photon avalanche diode is used as the photoelectric conversion element included in the pixel 10.
  • SPAD Single Photon Avalanche Diode
  • SPAD Single Photon Avalanche Diode
  • SPAD has a characteristic that when a large negative voltage that causes avalanche multiplication is applied to the cathode, the electrons generated in response to the incident of one photon cause avalanche multiplication and a large current flows.
  • the incident of one photon can be detected with high sensitivity.
  • photons are incident on the photoelectric conversion element included in the pixel 10 is described as “photons are incident on the pixel 10.”
  • the counting unit 11 counts the pulse Vpls output from the pixel 10 within the designated exposure period Tsh.
  • the counting unit 11 starts counting the pulses Vpls, for example, at the start of the exposure period Tsh.
  • the counting unit 11 outputs a write signal WRen instructing the writing of the number Nct of the measured pulse Vpls at a predetermined timing.
  • the counting unit 11 outputs a write signal WRen instructing writing when the number Nct exceeds the threshold value Nth before the end of the exposure period Tsh. Further, for example, when the number Ncnt does not exceed the threshold value Nth even when the exposure period Tsh ends, the counting unit 11 outputs the write signal WRen instructing writing at the end point of the exposure period Tsh.
  • the write signal WRen instructing writing will be described as the write signal WRen (W).
  • the write signal WRen is supplied to the acquisition unit 13.
  • the write signal WRen defaults to the low state, and by shifting from the low state to the high state, the acquisition unit 13 is instructed to write.
  • the time code generation unit 12 generates a time code Tc that is initialized at the start timing of the exposure period Tsh and whose value changes in the cycle of the designated sampling frequency. For example, the time code generation unit 12 generates a time code Tc in which the value "0" is set as an initial value and the value increases by 1 for each cycle. The time code Tc generated by the time code generation unit 12 is supplied to the acquisition unit 13.
  • the cycle of the designated sampling frequency at which the time code Tc is generated is, in other words, the cycle at which the time code Tc is updated.
  • this cycle will be referred to as an update cycle.
  • the acquisition unit 13 includes, for example, a memory, acquires the time code Tc supplied from the time code generation unit 12 at the timing when the write signal WRen shifts from the low state to the high state, and writes the acquired time code Tc to the memory. ..
  • FIG. 2A is a diagram showing an example of the relationship between the count value of the number of photons and time.
  • the count value changes in a linear function with respect to time.
  • Ct_m shows the time transition of the count value in the case of medium illuminance (medium illuminance).
  • the straight line Ct_h indicating the time transition of the count value when the illuminance is higher than the medium illuminance (high illuminance) has a slope larger than that of the straight line Ct_m.
  • the slope of the straight line Ct_l indicating the time transition of the count value when the illuminance is lower than the medium illuminance (low illuminance) is smaller than the straight line Ct_m.
  • FIG. 2B is a diagram showing an example in which the threshold value Nth is added to the above-described FIG. 2A.
  • the times when the count value reaches the threshold value Nth in high illuminance and medium illuminance are time Tth_h and time Tth_m, respectively. Since the count value has a linear function relationship with time, the count values of high illuminance and medium illuminance in the exposure period Tsh can be predicted based on the threshold value Nth and the time Tth_h and the time Tth_m. In the following, the predicted count values for high illuminance and medium illuminance will be referred to as predicted count values Npre_h and Npre_m, respectively.
  • Npre Nth ⁇ (Tsh / Tth).
  • Npre_h and Npre_m Nth ⁇ (Tsh / Tth_m)... (3)
  • the straight line Ct_l has not reached the threshold value Nth within the exposure period Tsh.
  • the count value at the end of the exposure period Tsh can be regarded as the predicted count value Npre_l based on the straight line Ct_l.
  • counting by the counting unit 11 can be stopped.
  • the counting by the counting unit 11 after the time when the count value reaches the threshold value Nth is stopped.
  • the illuminance in the region (including) is medium illuminance
  • the illuminance in the region between the straight line Ct_m and the X axis (time axis) is low illuminance.
  • the straight line Ct_h in FIG. 2A and the time Tth_h in FIG. 2B indicate the boundary between the high illuminance and the medium illuminance
  • the straight line Ct_m in FIG. 2A and the time Tth_m in FIG. Show boundaries.
  • high illuminance is represented by a straight line Ct_h or time Tth_h
  • medium illuminance is represented by a straight line Ct_m and time Tth_m.
  • the predicted count values Npre_h and Npre_m represent the predicted count values Npre in high illuminance and medium illuminance, respectively.
  • the acquisition unit 13 acquires the time Tth_h and the time Tth_m as the time code Tc from the time code generation unit 12 and writes them in the memory.
  • the threshold value Nth and the exposure period Tsh are, for example, designated values and are fixed values. Therefore, by reading out the time Tth_h and the time Tth_m from the memory and executing the calculation in accordance with the above equation (1), the predicted count value Npre_h and the predicted count value Npre_m can be calculated.
  • the time code generation unit 12 determines the update cycle according to the number of photons incident on the pixel 10 per unit time in the case of high illuminance. As a result, it is possible to count the number of photons in the case of high illuminance with high accuracy.
  • the time code generation unit 12 changes the update cycle for generating the time code Tc, and changes the update cycle according to the elapsed time in the exposure period Tsh. More specifically, the time code generation unit 12 sets the shortest update cycle at the start time of the exposure period Tsh, and sets the update cycle with the passage of time from the start time to the end time of the exposure period Tsh. Lengthen. Thereby, the time interval in which the time code Tc changes can be lengthened with the passage of time in the exposure period Tsh.
  • FIG. 3 is a diagram for schematically explaining the generation of the time code Tc by the time code generation unit 12 according to the first embodiment.
  • FIG. 3 from the top, the passage of time, an example of a count value in the case of low illuminance, an example of a count value in the case of high illuminance, an example of time code Tc in the case of equal intervals, and a time in the case of variable intervals.
  • An example of the code Tc is shown respectively.
  • the count value may not exceed the threshold value Nth within the exposure period Tsh.
  • the count value may not exceed the threshold value Nth within the exposure period Tsh.
  • the count value has not reached the threshold value Nth.
  • the time code generation unit 12 generates the time code Tc at equal intervals according to a constant update cycle.
  • the time code Tc is reset at the start of the exposure period Tsh, the time code Tc is generated at equal intervals as the exposure period Tsh elapses, and the time with the value "2047" at the end of the exposure period Tsh.
  • Code Tc has been generated. That is, the counting unit 11 has a counter capable of counting 11 bits.
  • the time code Tc corresponding to the time Tth is a value "11", and this value "11" is written to the memory by the acquisition unit 13.
  • the time code Tc value "2047" at the end of the exposure period Tsh is written to the memory by the acquisition unit 13. Therefore, in the example of FIG. 3, when the time code generation unit 12 generates the time code Tc at equal intervals, the acquisition unit 13 needs a memory having a bit width of 11 bits.
  • the time code generation unit 12 changes the update cycle as the exposure period Tsh elapses, and generates the time code Tc at variable intervals. At this time, the time code generation unit 12 generates the time code Tc by the shortest update cycle in the exposure period Tsh at the start of the exposure period Tsh. The update cycle is lengthened as the exposure period Tsh elapses, and at the end of the exposure period Tsh, the time code Tc is generated by the longest update cycle within the exposure period Tsh.
  • the time code generation unit 12 classifies the illuminance into three stages of, for example, high illuminance, medium illuminance, and low illuminance, and the time code Tc at intervals according to different update cycles. That is, assuming that the update periods corresponding to high illuminance, medium illuminance, and low illuminance are update periods f h , f m, and f l , respectively, the relationship between these update periods f h , f m, and f l is f h >f m > a f l.
  • the time code generation unit 12 generates a time code Tc at intervals according to the high illuminance update cycle f h from the start time of the exposure period Tsh to the first time point of the exposure period Tsh.
  • the time code generation unit 12 generates a time code Tc at intervals according to the update cycle f m of medium illuminance from the first time point to the second time point when a predetermined time has elapsed. Further, the time code generation unit 12 generates the time code Tc at intervals according to the low illuminance update period f l from the second time point to the end time point of the exposure period Tsh.
  • the time code generation unit 12 resets the time code Tc at the start of the exposure period Tsh, and sets the time code Tc values "1" to "8” to high illuminance. Values “9” to “16” are assigned to medium illuminance, and values "17" to “31” are assigned to low illuminance.
  • the memory of the acquisition unit 13 may have, for example, a bit width of 5 bits.
  • the time code Tc with respect to the time Tth is a value "8", and this value "8" is written to the memory by the acquisition unit 13.
  • counting is continued until the end of the exposure period Tsh, but since the interval of the time code Tc is longer than in the case of high illuminance, the time at the end of the exposure period Tsh.
  • the value "31" of the code Tc is written to the memory of the acquisition unit 13.
  • the predicted count value Npre rapidly increases as the time Tth, which is the elapsed time from the start time of the exposure period Tsh, approaches 0, and the time Tth is further 0. In some cases it becomes infinite. Therefore, in the period when the time Tth is extremely short, the predicted count value Npre becomes an extremely large value, and the predicted count value Npre within the period becomes a value that does not make sense in reality. This means that the time code Tc in the period is unnecessary. Therefore, the time code generation unit 12 sets the shortest update cycle when a predetermined time elapses from the start time of the exposure period Tsh, and updates with the passage of time from that time toward the end time of the exposure period Tsh. It is preferable to lengthen the cycle.
  • the predetermined time for setting the update cycle can be, for example, the time at which it is estimated that the predicted count value Npre corresponding to the predetermined illuminance (for example, the desired maximum illuminance) is obtained after the start of the exposure period Tsh. ..
  • the time code Tc acquired when the number of photons detected by the pixel 10 in the exposure period Tsh reaches the threshold value Nth is obtained after the exposure period Tsh. It is generated at intervals according to the update cycle that changes with. Therefore, the bit width of the memory for writing the time code Tc can be kept small. As a result, the circuit area can be reduced.
  • FIG. 4 is a block diagram schematically showing the configuration of an example of an electronic device to which the light receiving device 1a according to the first embodiment is applied.
  • the electronic device 1000 includes an optical system including a lens 1001, a light receiving device 1a, a storage unit 1002, and a control unit 1003.
  • the optical system guides the light incident on the lens 1001 to the light receiving surface of the pixel 10 in the light receiving device 1a.
  • the storage unit 1002 includes a storage medium that stores data, such as a memory, and a control unit that controls reading and writing with respect to the storage medium.
  • the storage unit 1002 stores the output data output from the light receiving device 1a.
  • the control unit 1003 controls the light receiving device 1a to execute the operation of causing the light receiving device 1a to output the above-mentioned output data. For example, the control unit 1003 can instruct the light receiving device 1a of the start time point and the end time point (the length of the exposure period Tsh) of the exposure period Tsh. Further, for example, the control unit 1003 can output a reference signal for the update cycle for generating the time code Tc to the light receiving device 1a. Further, for example, the control unit 1003 can instruct the light receiving device 1a of the timing for switching the interval of the time code Tc between high illuminance, medium illuminance, and low illuminance.
  • FIG. 5 is a schematic diagram showing an example of a device configuration applicable to the light receiving device 1a according to the first embodiment.
  • the light receiving device 1a is configured by stacking a light receiving chip 2000, which is a semiconductor chip, and a logic chip 2010, respectively. Note that in FIG. 5, the light receiving chip 2000 and the logic chip 2010 are shown in a separated state for the sake of explanation.
  • the light receiving chip 2000 includes a pixel array unit 2001 in which a plurality of photoelectric conversion elements 110 included in a plurality of pixels 10 on a one-to-one basis are arranged, for example, in a two-dimensional lattice pattern.
  • the logic chip 2010 is provided with a logic array unit 2011 including a signal processing unit that processes a signal acquired by the photoelectric conversion element 110.
  • Each circuit included in the light receiving chip 2000 and each circuit included in the logic chip 2010 are electrically connected by a CCC (Copper-Copper Connection) or the like.
  • a storage unit 2012 that stores a signal acquired by the photoelectric conversion element 110 in close proximity to the logic array unit 2011, and an element control unit 2013 that controls the operation as the light receiving device 1a. , Can be provided.
  • a part of the wiring included in the wiring layer of the light-receiving chip 2000 and a part of the wiring included in the wiring layer of the logic chip 2010 are directly bonded to each other, so that the light-receiving chip 2000 and the logic chip are connected.
  • the wiring in this case can be formed of a conductive material such as metal, using copper as an example.
  • connection form between the light receiving chip 2000 and the logic chip 2010 is not limited to CCC.
  • the light receiving chip 2000 and the logic chip 2010 can be connected by a bump connection, a through electrode, or the like.
  • the electrical connection between the light receiving chip 2000 and the logic chip 2010 is performed, for example, by transmitting a pixel signal generated by the light receiving chip 2000 to the logic chip 2010 or in the light receiving chip 2000 of a power source applied from the outside.
  • the purpose is to supply the logic chip 2010.
  • the power applied from the outside is supplied to the wiring layer of the light receiving chip 2000 via a bonding pad (leading electrode) provided outside the pixel array section 2001 in the light receiving chip 2000, for example.
  • the wiring layer of the light receiving chip 2000 and the wiring layer of the logic chip 2010 are directly connected by the connection portion such as the CCC described above, and power is supplied from the light receiving chip 2000 to the logic chip 2010.
  • connection portion for making an electrical connection between the light receiving chip 2000 and the logic chip 2010 is provided for each pixel 10, but this is an example of this example. Not limited. For example, a configuration in which one connection portion is provided for a plurality of pixels 10 or a configuration in which a plurality of connection portions are provided for one pixel 10 may be used.
  • the element control unit 2013 can be arranged for other driving or control purposes, for example, in the vicinity of the photoelectric conversion element 110, in addition to the control of the logic array unit 2011.
  • the element control unit 2013 can be provided in an arbitrary region of the light receiving chip 2000 and the logic chip 2010 so as to have an arbitrary function.
  • the photoelectric conversion element 110 among the elements included in the pixel 10 is arranged on the light receiving chip 2000, but this is not limited to this example. That is, a signal processing circuit that converts the electric charge read from the photoelectric conversion element 110 into an electric signal may be further arranged on the light receiving chip 2000. Furthermore, a circuit for performing other signal processing on the electric signal output from the signal processing circuit may be arranged for the light receiving chip 2000.
  • FIG. 6 is a plan view showing the configuration of an example of the light receiving chip 2000 applicable to the first embodiment.
  • the light receiving chip 2000 is provided with a pixel array unit 2001, and the pixel array unit 2001 is provided with a plurality of photoelectric conversion elements 110 in a two-dimensional lattice pattern. Details of the photoelectric conversion element 110 will be described later.
  • FIG. 7 is a block diagram showing a configuration of an example of logic chip 2010 applicable to the first embodiment.
  • a vertical control unit 2013a, a logic array unit 2011, a horizontal control unit 2013b, a signal processing unit 2013c, and a storage unit 2012 are arranged on the logic chip 2010.
  • the vertical control unit 2013a, the horizontal control unit 2013b, and the signal processing unit 2013c can be configured to be included in the element control unit 2013.
  • logic circuits 2014 are arranged for each photoelectric conversion element 110.
  • Each of these logic circuits 2014 is connected to the corresponding photoelectric conversion element 110 via a signal line.
  • the circuit including the photoelectric conversion element 110 and the logic circuit 2014 corresponding to the photoelectric conversion element 110 functions as a pixel circuit that generates a pixel signal by one pixel 10.
  • the vertical synchronization signal and the horizontal synchronization signal output from the control unit 1003 are supplied to the vertical control unit 2013a and the horizontal control unit 2013b, respectively. Further, the exposure control signal output from the control unit 1003 is supplied to the logic array unit 2011 and the signal processing unit 2013c, respectively.
  • the predetermined direction of the two-dimensional lattice (for example, the horizontal direction in FIGS. 6 and 7) is the row direction, and the direction perpendicular to the row is the column direction. That is, the pixel circuits (photoelectric conversion element 110 and logic circuit 2014) are arranged and arranged in the row direction and the column direction with respect to the pixel array unit 2001 and the logic array unit 2011, respectively.
  • a set of pixel circuits in the row direction is referred to as a “row”, and a set of pixel circuits in the column direction is referred to as a “column”.
  • the vertical control unit 2013a selects rows in order in synchronization with the vertical synchronization signal.
  • the logic circuit 2014 includes the counting unit 11 and the acquisition unit 13 described with reference to FIG. 1, and can output the time code Tc stored in the memory of the acquisition unit 13.
  • the time code Tc output from each logic circuit 2014 is supplied to the signal processing unit 2013c.
  • the horizontal control unit 2013b outputs a pixel signal by sequentially selecting columns in synchronization with the horizontal synchronization signal.
  • the signal processing unit 2013c further receives information (exposure start timing, exposure time, etc.) indicating the exposure period Tsh from the control unit 1003.
  • the signal processing unit 2013c calculates the predicted count value Npre based on each time code Tc supplied from each logic circuit 2014, for example, according to the above-mentioned equation (1).
  • the signal processing unit 2013c outputs each calculated predicted count value Npre.
  • Each predicted count value Npre output from the signal processing unit 2013c is supplied to and stored in the storage unit 2012.
  • FIG. 8 is a block diagram showing a configuration of an example of the pixel array unit 2001 and the vertical control unit 2013a according to the first embodiment. Further, in FIG. 8, a more specific configuration of the pixel circuit is shown with respect to the pixel array unit 2001.
  • the pixel array unit 2001 includes a plurality of pixel circuits 100a. Note that FIG. 8 shows an excerpt of each pixel circuit 100a included in one line among the pixel circuits 100a arranged in a two-dimensional grid pattern in the pixel array unit 2001.
  • the pixel circuit 100a includes a photoelectric conversion element 110, a signal processing unit 111a, a counter 112, a threshold value determination unit 113a, and a memory 114.
  • the photoelectric conversion element 110 outputs a signal Vph according to the incident of photons.
  • the signal Vph is transmitted from the light receiving chip 2000 to the logic chip 2010 via a coupling unit by CCC, for example, and is supplied to the signal processing unit 111a arranged in the logic chip 2010.
  • the signal processing unit 111a shapes the signal Vph output from the photoelectric conversion element 110 and outputs it as pulses Vpls according to the incident of photons.
  • the output timing of the pulse Vpls is controlled according to the signal SH_ON supplied from the TC generator 120 described later.
  • the counter 112 counts the number of pulses Vpls output from the signal processing unit 111a, and outputs the count result as photon information PhInfo.
  • the threshold value determination unit 113a makes a determination based on the threshold value Nth with respect to the photon information PhInfo output from the counter 112.
  • the threshold value determination unit 113a determines that the number of photons incident on the photoelectric conversion element 110 exceeds the threshold value Nth based on the photon information PhInfo
  • the threshold value determination unit 113a outputs a write signal WRen (W).
  • the counter 112 and the threshold value determination unit 113a constitute the counting unit 11 of FIG.
  • the memory 114 corresponds to the acquisition unit 13 in FIG. 1 and stores the time code Tc supplied from the TC generation unit 120, which will be described later, via the signal line 142 in accordance with the write signal WRen.
  • the memory 114 includes a memory control unit that controls writing data to the memory 114 itself and reading data from the memory 114.
  • the vertical control unit 2013a includes a TC (time code) generation unit 120 for each line.
  • the TC generation unit 120 corresponds to the time code generation unit 12 shown in FIG.
  • the TC generation unit 120 generates an update cycle that changes with the passage of the exposure period Tsh under the control of the control unit 1003, and generates a time code Tc based on this update cycle.
  • the control unit 1003 generates a reference timing signal and supplies it to the TC generation unit 120.
  • the TC generation unit 120 generates the time code Tc at a predetermined update cycle based on this reference timing signal.
  • the time code Tc generated by the TC generation unit 120 is input to the pixel circuits 100a, 100a, ... Via the signal line 142, and is input to the memory 114 of each pixel circuit 100a, 100a, ... Each is supplied and stored.
  • Each time code Tc stored in the memory 114 of each pixel circuit 100a, 100a, ... Is read from each memory 114 via the signal line 142.
  • control unit 1003 instructs, for example, the start timing of the exposure period Tsh to the TC generation unit 120 and supplies information indicating the length of the exposure period Tsh to the TC generation unit 120.
  • the TC generation unit 120 generates a signal SH_ON instructing the timing at which the signal processing unit 111a outputs the pulse Vpls.
  • the TC generation unit 120 generates the signal SH_ON based on, for example, a predetermined clock signal.
  • the signal SH_ON generated by the TC generation unit 120 is input to the pixel circuits 100a, 100a, ... Via the signal line 141, and is supplied to the signal processing unit 111a.
  • FIG. 9 is a diagram showing a configuration of an example of the signal processing unit 111a applicable to the first embodiment.
  • the signal processing unit 111a includes a resistor 1101, an inverter 1102, an amplifier 1103, and a switch 1104.
  • the cathode is connected to the terminal of the power supply potential VDD via the resistor 1101, and the anode is connected to the terminal of the potential GND (1) whose potential is lower than the power supply potential VDD.
  • the terminal of the potential GND(1) is, for example, a ground terminal.
  • the photoelectric conversion element 110 is not limited to SPAD. It is also possible to apply an avalanche photodiode (APD) or a normal photodiode as the photoelectric conversion element 110.
  • APD avalanche photodiode
  • APD normal photodiode
  • One end of the resistor 1101 is connected to the power potential VDD, and the other end is connected to the cathode of the photoelectric conversion element 110. Every time the incident of photons is detected in the photoelectric conversion element 110, a photocurrent flows through the resistor 1101, and the cathode potential of the photoelectric conversion element 110 drops to a value in the initial state lower than the power supply potential VDD (quenching operation).
  • a signal extracted from the connection point between the resistor 1101 and the cathode of the photoelectric conversion element 110 is input to the inverter 1102.
  • the inverter 1102 inverts the input signal of the cathode potential of the photoelectric conversion element 110, and supplies the inverted output signal Vsig to the amplifier 1103 via the switch 1104.
  • the amplifier 1103 shapes the inverted output signal Vsig and outputs it as pulses Vpls.
  • the ground-side potential GND (2) to which the inverter 1102 and the amplifier 1103 are connected is different from the ground-side potential GND (1) to which the anode of the photoelectric conversion element 110 is connected.
  • the photoelectric conversion element 110 is formed on the light receiving chip 2000.
  • the resistor 1101, the inverter 1102, the amplifier 1103, and the switch 1104 are formed on the logic chip 2010.
  • the cathode of the photoelectric conversion element 110 is connected to a connection point where the resistor 1101 and the input end of the inverter 1102 are connected via, for example, a coupling portion 1105a formed by CCC.
  • the anode of the photoelectric conversion element 110 is connected to a supply line that supplies the ground-side potential (1) arranged on the logic chip 2010 via, for example, a coupling portion 1105b by CCC.
  • FIG. 10A is a diagram showing an example of a configuration of a photoelectric conversion element 110 as a SPAD applicable to the first embodiment.
  • the photoelectric conversion element 110 includes a multiplication region as a SPAD pixel using SPAD and a photoelectric conversion unit (N ⁇ region) 840 that performs photoelectric conversion, and the outermost surface on the back surface side of the photoelectric conversion unit 840 is It is used as a light irradiation unit that is irradiated with light.
  • an anode electrode (not shown) is electrically connected to the P-type semiconductor region 760.
  • the P-type semiconductor region 760 is configured so that the lower layer has a lower impurity concentration.
  • the P-type semiconductor region 700 and the P ⁇ type semiconductor region 710 are formed from the P-type semiconductor region 760 along the pixel isolation portion 831 including the metal layer 830, and the P-type semiconductor region 760 to the avalanche portion 720 are electrically connected. It is connected to the.
  • the avalanche portion 720 is configured by joining a P+ type semiconductor region 730 and an N+ type semiconductor region 740.
  • the P-type semiconductor region 700 is configured by accumulating opposite charges (holes) so that the charges (electrons) to be read by the avalanche unit 720 pass through.
  • the P-type semiconductor region 710 is preferably a low-concentration region in order to raise the central potential so that the electric charge passes through the avalanche portion 720.
  • the N + type semiconductor region 740 is connected to the electrode 801 via the N + type semiconductor region 750. Further, an N ⁇ type semiconductor region 780 is formed on the side surfaces of the P + type semiconductor region 730 and the N + type semiconductor region 740. Further, a P + type semiconductor region 790 that is electrically connected to the N + type semiconductor region 740 and the N ⁇ type semiconductor region 780 is provided, and the P + type semiconductor region 790 is grounded (GND) via the electrode 800.
  • a fixed charge film 810 is provided on the side surface of the pixel separation portion 831 and the upper layer of the P-type semiconductor region 760.
  • a color filter 822 is provided on the fixed charge film 810 via an insulating film 821.
  • An on-chip lens 820 is provided above the color filter 822.
  • the color filter 822 is provided according to the application.
  • FIG. 10B is a diagram showing an example of the configuration of the light receiving unit 2010 including the photoelectric conversion element 110 as a photodiode, which can be applied to the first embodiment.
  • the photoelectric conversion element 110 which is a photodiode, receives incident light 20001 incident from the back surface (upper surface in FIG. 10B) side of the semiconductor substrate 20018.
  • a flattening film 2013, a color filter 2001, and a microlens 20011 are provided above the photoelectric conversion element 110, and incident light 20001 incident through each part is received by the light receiving surface 200017 to perform photoelectric conversion. Be seen.
  • the N-type semiconductor region 20020 is formed as a charge storage region for accumulating charges (electrons).
  • the N-type semiconductor region 20020 is provided inside the P-type semiconductor region 2016, 20041 of the semiconductor substrate 20018.
  • the front surface (lower surface) side of the semiconductor substrate 20018 of the N-type semiconductor region 20020 is provided with a P-type semiconductor region 20044 having a higher impurity concentration than the back surface (upper surface) side. That is, the photoelectric conversion element 110 has a HAD (Hole-Accumulation Diode) structure, so as to suppress the generation of dark current at each interface between the upper surface side and the lower surface side of the N-type semiconductor region 20020.
  • HAD Hole-Accumulation Diode
  • a pixel separation unit 20030 that electrically separates the plurality of light receiving units 20010 is provided inside the semiconductor substrate 20018, and the photoelectric conversion element 110 is provided in a region partitioned by the pixel separation unit 20030. ing.
  • the pixel separation unit 20030 is formed in a grid shape so as to be interposed between a plurality of light receiving units 2001, and the photoelectric conversion element 110 is It is formed in the region partitioned by the pixel separation unit 20030.
  • each photoelectric conversion element 110 the anode is grounded, and the signal charge (eg, electrons) accumulated in the photoelectric conversion element 110 in the light receiving unit 20010 is not shown by, for example, a MOSFET (Metal Oxide Semiconductor Field Effect Transistor). It is read out via a transfer transistor or the like and output as an electric signal to a VSL (vertical signal line) (not shown).
  • MOSFET Metal Oxide Semiconductor Field Effect Transistor
  • the wiring layer 20050 is provided on the front surface (lower surface) of the semiconductor substrate 20018, which is opposite to the back surface (upper surface) on which the light shielding film 20014, the color filter 20012, the microlens 20011, and the like are provided.
  • the wiring layer 20050 includes the wiring 20051 and the insulating layer 20052, and is formed so that the wiring 20051 is electrically connected to each element in the insulating layer 20052.
  • the wiring layer 20050 is a layer of so-called multi-layer wiring, and is formed by alternately laminating the interlayer insulating film constituting the insulating layer 20052 and the wiring 20051 a plurality of times.
  • wiring 20051 wiring to a transistor for reading charge from a photoelectric conversion element 110 such as a transfer Tr, and wiring such as VSL are laminated via an insulating layer 20052.
  • a support substrate 20061 is provided on the surface of the wiring layer 20050 opposite to the side on which the photoelectric conversion element 110 is provided.
  • a substrate made of a silicon semiconductor having a thickness of several hundred ⁇ m is provided as a support substrate 20061.
  • the light-shielding film 2014 is provided on the back surface side (upper surface in the figure) of the semiconductor substrate 20018.
  • the light-shielding film 2014 is configured to block a part of the incident light 20001 directed from above the semiconductor substrate 20018 toward the back surface of the semiconductor substrate 20018.
  • the light-shielding film 20014 is provided above the pixel separation unit 20030 provided inside the semiconductor substrate 20018.
  • the light-shielding film 2014 is provided on the back surface (upper surface) of the semiconductor substrate 20018 so as to project in a convex shape via an insulating film 2015 made of a silicon oxide film or the like.
  • the light shielding film 20014 is not provided and is opened so that the incident light 20001 enters the photoelectric conversion element 110. ing.
  • the planar shape of the light shielding film 2014 is a grid pattern that partitions the plurality of light receiving portions 20010, and the incident light 20001 passes through the light receiving surface 200017. An opening is formed.
  • the light-shielding film 2014 is formed of a light-shielding material that blocks light.
  • the light-shielding film 2014 is formed by sequentially laminating a titanium (Ti) film and a tungsten (W) film.
  • the light-shielding film 2014 can be formed, for example, by sequentially laminating a titanium nitride (TiN) film and a tungsten (W) film.
  • the light shielding film 20014 is covered with the planarization film 20013.
  • the flattening film 2013 is formed by using an insulating material that transmits light.
  • the pixel separation section 20030 has a groove section 20031, a fixed charge film 20032, and an insulating film 20033.
  • the fixed charge film 20032 is formed on the back surface (upper surface) side of the semiconductor substrate 20018 so as to cover the groove portion 20031 partitioning between the plurality of light receiving portions 20010. Specifically, the fixed charge film 20032 is provided so as to cover the inner surface of the groove portion 20033 formed on the back surface (upper surface) side of the semiconductor substrate 20018 with a constant thickness. An insulating film 20033 is provided (filled) so as to fill the inside of the groove 20031 covered with the fixed charge film 20032.
  • the fixed charge film 20032 is made of a high dielectric material having a negative fixed charge so that a positive charge (hole) accumulation region is formed at the interface with the semiconductor substrate 20018 and the generation of dark current is suppressed. Is formed. Since the fixed charge film 20032 is formed so as to have a negative fixed charge, an electric field is applied to the interface with the semiconductor substrate 20018 by the negative fixed charge, and a positive charge (hole) storage region is formed.
  • the fixed charge film 20032 can be formed of, for example, a hafnium oxide film (HfO 2 film).
  • the fixed charge film 20032 can be formed so as to contain at least one of other oxides such as hafnium, zirconium, aluminum, tantalum, titanium, magnesium, yttrium, and lanthanoid elements.
  • FIG. 11 is a block diagram showing a configuration of an example of the TC generation unit 120 according to the first embodiment.
  • FIG. 12 is an example timing chart for explaining the operation of the TC generation unit 120 according to the first embodiment.
  • the TC generation unit 120 includes a time counter 121, a frequency division set value storage unit 122, a frequency determination unit 123, and a code generation unit 124.
  • the time counter 121 is driven at a constant frequency and counts, for example, the reference clock signal supplied from the control unit 1003.
  • the time counter 121 counts the reference clock signal by, for example, initializing the count value to "0" at the start of the exposure period Tsh, increasing the count value by "1" at the rising or falling edge of the reference clock signal. ..
  • the exposure period Tsh has a length of 128 counts of the reference clock signal.
  • the count value of the time counter 121 is "0" at the start of the exposure period Tsh and "127" at the end.
  • the frequency division set value storage unit 122 stores a plurality of frequency division values in advance, and outputs the frequency division value required from the stored frequency division values in response to the request of the frequency determination unit 123. .. As an example, the frequency division set value storage unit 122 stores the values "31", "63", and "127" as the frequency frequency division value.
  • the frequency determination unit 123 inputs the count value of the time counter 121 and the frequency division value output from the frequency division set value storage unit 122.
  • the frequency determination unit 123 outputs frequency information based on the input count value and frequency frequency division value.
  • the initial value of the frequency information is “1”.
  • the frequency determination unit 123 determines whether or not the input count value and the frequency division value match. If it is determined that the count value and the frequency division value match and the currently input frequency division value is not the maximum value, the frequency determination unit 123 adds 1 to the frequency information. And output. At the same time, the frequency determination unit 123 requests the frequency division set value storage unit 122 for a frequency division value that is one larger than the currently input frequency division value.
  • the code generation unit 124 outputs the time code Tc based on the reference clock signal and the frequency information output from the frequency determination unit 123. At this time, the code generation unit 124 divides the reference clock signal by the number of times according to the frequency information to change the update cycle, and controls the time interval of the time code Tc. For example, the code generation unit 124 frequency-divides the reference clock signal once when the value of the frequency information is “1”, and generates the time code Tc according to the half of the update cycle of the reference clock signal. Further, for example, the code generation unit 124 divides the reference clock signal twice with the value of the frequency information being “2”, and generates the time code Tc in accordance with the 1/4 update cycle of the reference clock signal.
  • the clock shows a count value obtained by counting the reference clock signal by the time counter 121.
  • the clock value is set to "0" at the start of the exposure period Tsh and "127" at the end.
  • the frequency determination unit 123 acquires the value “31” which is the initial value of the frequency division value from the frequency division setting value storage unit 122, and the value “1” which is the initial value of the frequency information. Is output.
  • the code generation unit 124 divides the reference clock signal once based on the frequency information of the value "1", and sets a time code Tc whose value increases by 1 according to the frequency (update cycle) of 1/2 of the reference clock signal. Generate.
  • the frequency determination unit 123 determines that the clock value matches the frequency fractional value “31”
  • the frequency setting unit 122 stores a frequency that is one greater than the current frequency fractional value “31”. Request the frequency division value "63”.
  • the frequency determination unit 123 adds "1" to the value "1" of the frequency information to obtain the value "2".
  • the code generator 124 divides the reference clock signal twice according to the value “2” of the frequency information, and generates the time code Tc whose value increases by 1 according to the frequency of 1 ⁇ 4 of the reference clock signal.
  • the code generation unit 124 sets the value “0” according to the half frequency of the reference clock signal during the period when the frequency information has the value “1” (clock values “0” to “31”). To the value “15” are incremented by one, the time code Tc is sequentially generated. When the frequency information switches from the value “1” to the value “2”, the code generation unit 124 generates the time code Tc that increases by 1 from the next value “16” according to the frequency of 1 ⁇ 4 of the reference clock signal. ..
  • each time the clock value matches the frequency division value the division ratio for dividing the reference clock signal is increased and the frequency division is performed.
  • the peripheral price is being updated. Therefore, the update cycle is sequentially lengthened according to the passage of time in the exposure period Tsh, and the time interval of the time code Tc is sequentially lengthened.
  • the time code Tc'generated at a fixed time interval within the exposure period Tsh is used.
  • the time code Tc' is generated according to a frequency of 1/2 of the frequency of the reference clock signal.
  • the time code Tc'at the end of the exposure period Tsh has a value of "63", which is 6-bit data.
  • the time code Tc at the end of the exposure period Tsh becomes the value “31”, which is 5 bits. It becomes the data of.
  • the time interval of the time code Tc variable, the number of bits of the time code Tc can be reduced, and the size of the memory for storing the time Tth acquired by the time code Tc can be reduced.
  • the period in which the division ratio to the reference clock signal is the smallest (1/2) is the period in which the time code Tc is generated according to the shortest update period, and the time Tth when the number of incident photons reaches the threshold value Nth is calculated. , Can be obtained with the highest accuracy.
  • the division ratio becomes larger, the update cycle for generating the time code Tc becomes longer, and the acquisition accuracy of the time Tth becomes lower.
  • the time Tth can be efficiently obtained by making the time interval of the time code Tc the shortest at the start of the exposure period Tsh and gradually increasing the time interval of the time code Tc as the exposure period Tsh elapses. Become. Further, since it is possible to set an appropriate time interval of the time code Tc for high illuminance, medium illuminance, and low illuminance, it is possible to suppress quantization noise.
  • the time counter 121 is driven at a constant frequency to count the reference clock signal, but this is not limited to this example.
  • the frequency that drives the time counter 121 may be variable.
  • FIG. 13 is an example timing chart for explaining the operation of the TC generation unit 120 when the frequency for driving the time counter 121 is variable according to the first embodiment. Since the meaning of each part of the timing chart of FIG. 13 is the same as that of the timing chart of FIG. 12 described above, the description thereof will be omitted here.
  • the time counter 121 is driven with a clock value of "32" or later and a frequency halved before that.
  • the frequency frequency division values stored in the frequency division set value storage unit 122 are set to the values "31", "47", and "63".
  • the operations of the frequency determination unit 123 and the code generation unit 124 are the same as those in FIG. 12 described above. Even in this case, the time interval of the time code Tc can be made variable based on the frequency division value and the frequency information, and the number of bits of the time code Tc can be reduced.
  • a numerical value that increases by 1 is applied as the time code Tc, but this is not limited to this example. That is, the increment of the time code Tc is not limited to 1. Furthermore, if the values do not overlap, a value other than simple increase or simple decrease may be used for the time code Tc.
  • FIG. 14 is a timing chart showing an example in which the Gray code is applied to the time code Tc as an example of values other than simple increase or simple decrease, which can be applied to the first embodiment. Since the meaning of each part of the timing chart of FIG. 14 is the same as that of the timing chart of FIG. 12 described above, the description thereof will be omitted here. Further, FIG. 14 shows an excerpt of the period in which the frequency division value in FIG. 12 is the value “31”.
  • the Gray code is a code in which the Hamming distance between the adjacent codes is always 1, and has a characteristic that only 1 bit always changes when changing from a certain value to an adjacent value.
  • the Gray code is a code in which the Hamming distance between the adjacent codes is always 1, and has a characteristic that only 1 bit always changes when changing from a certain value to an adjacent value.
  • the frequency determination unit 123 generates frequency information for the code generation unit 124 to generate the time code Tc based on the frequency division value and the count value of the time counter 121.
  • the frequency information may be generated using a PLL (Phase Locked Loop).
  • FIG. 15 is a block diagram showing an example of a configuration for generating a time code Tc using a PLL, which is applicable to the first embodiment.
  • the TC generation unit 120 ′ includes a frequency division setting value storage unit 122, a clock generation unit 125, a PLL circuit 126, and a code generation unit 127. Similar to the TC generation unit 120 shown in FIG. 11, the frequency division set value storage unit 122 stores a plurality of frequency frequency division values (for example, the values “31”, “63” and “127”) in advance.
  • the clock generation unit 125 generates a clock signal having a stable frequency based on, for example, a reference clock signal supplied from the control unit 1003.
  • the clock signal generated by the clock generation unit 125 and the frequency division value output from the frequency division set value storage unit 122 in response to the request of the PLL circuit 126 are input.
  • the PLL circuit 126 generates a clock signal having a frequency corresponding to the frequency division value based on the input clock signal.
  • the clock signal generated by the PLL circuit 126 is supplied to the code generation unit 127.
  • the code generation unit 127 includes, for example, a counter and a comparison unit.
  • the counter counts the clock signal supplied from the PLL circuit 126.
  • the comparison unit compares the count value counted by the counter with the threshold value Nth. When the code generation unit 127 determines that the count value is equal to or higher than the threshold value Nth, the code generation unit 127 outputs the count value as a time code Tc.
  • the code generation unit 127 determines that the count value is equal to or higher than the threshold value Nth and the currently input frequency frequency division value is not the maximum value, the code generation unit 127 currently refers to the frequency division setting value storage unit 122. Request a frequency division value that is one higher than the input frequency division value. As a result, the frequency of the clock signal generated by the PLL circuit 126 can be lowered. At this time, by controlling the clock signal for generating the time code Tc by the PLL circuit 126, finer control of the time code Tc becomes possible.
  • 16A and 16B are block diagrams showing an example of the configuration of the counter 112a of the first example applicable to the first embodiment.
  • the threshold value Nth is set to the value "31" in decimal notation and the value "0b11111" in binary notation. In the binary notation, the leading character string “0b” indicates that the subsequent character string (“11111” in this example) is a value in binary notation.
  • the counter 112a includes a plurality of counters 1120, 1120, ..., Each of which counts 1 bit.
  • the counters 1120, 1120, ... Have a configuration in which T (toggle) flip-flops (hereinafter, abbreviated as T-FF) are connected in series.
  • the counter 112a in which each counter 1120 counts bits can be configured.
  • the counter 112a in the counter 112a, five counters 1120 are connected in series, so that the counter 112a has bits from "0" (Bit (0)) to "4" (Bit (4)). It operates as a 5-bit counter.
  • the threshold determination unit 113a (a) includes, for example, a 1-bit counter 1130, and when a value “1” is input from the counter 112a, 1 bit is output from the counter 1130 and the number of incident photons reaches the threshold Nth. Therefore, the write signal WRen(W) to the memory 114 is output.
  • FIG. 17 is a block diagram showing the configuration of an example of the counter 112b of the second example applicable to the first embodiment.
  • counters 112b are connected in series with counters 1120, 1120, ... By T-FF, respectively.
  • the counter 112b is output from the output terminals Q of the counters 1120, 1120, ..., And each of the extracted bits is output as a bit string.
  • the counter 112b since the counter 112b includes five counters 1120, it is output as a 5-bit bit string.
  • the bit string output from the counter 112b is supplied to the threshold value determination unit 113a (b) as photon information PhInfo.
  • the threshold value determination unit 113a (b) corresponds to the threshold value determination unit 113a in FIG. 8 and includes the comparison circuit 1131.
  • the photon information PhInfo supplied to the threshold value determination unit 113a(b) is input to the comparison circuit 1131.
  • the comparison circuit 1131 compares the input photon information PhInfo with the threshold value Nth, and outputs a write signal WRen(W) to the memory 114 when the value indicated by the photon information PhInfo and the threshold value Nth match. To do.
  • the counter 112b and the threshold value determination unit 113a (b) of this second example it is possible to set an arbitrary value within the range of the number of bits corresponding to the number of counters 1120 as the threshold value Nth.
  • FIG. 18 is a block diagram showing an example of the configuration of the counter 112c of the third example applicable to the first embodiment.
  • the counter 112c according to the third example is connected in series with counters 1120, 1120, ... By T-FF, respectively.
  • the counter 112c outputs three signals, which are the input and output of the counter 1120 corresponding to the MSB and the pulse Vpls input to the counter 112c, as photon information PhInfo.
  • the photon information PhInfo output from the counter 112c is supplied to the threshold value determination unit 113a (c) corresponding to the threshold value determination unit 113a in FIG.
  • the threshold value determination unit 113a (c) includes a 3-input AND circuit 1132.
  • the three signals included in the photon information PhInfo input to the threshold value determination unit 113a (c) are input to the three input terminals of the AND circuit 1132.
  • the threshold value determination unit 113a(c) outputs the write signal WRen(W) to the memory 114 when the three values included in the photon information PhInfo become “1”. Since the pulse Vpls input to the counter 112c is used as the determination condition based on the logical product, the write signal WRen can be output in synchronization with the input of the pulse Vpls.
  • FIGS. 19A and 19B are block diagrams showing an example of the configuration of the counter 112d of the fourth example applicable to the first embodiment.
  • the counters 112d are connected in series with counters 1120', 1120', ..., which are asynchronous T-FFs (hereinafter, SRT-FFs), respectively.
  • SRT-FF makes it possible to determine the initial state by a control signal from the outside.
  • Each counter 1120' which is an SRT-FF, has a terminal S and a terminal R in addition to the input terminal T, as shown in FIG. 19B.
  • the signal SET is input to the terminal R and is inverted and input to the terminal S.
  • the signal RST_CNT is input as the above-mentioned signal SET to the three counters 1120'(Bit (0), Bit (1) and Bit (2)) on the LSB (Least Significant Bit) side. .. Further, the signal SET_CNT is input as the above-mentioned signal SET to the two counters 1120'(Bit (3) and Bit (4)) on the MSB side. For example, when resetting the counters 1120', 1120', ..., Which are included in the counter 112d, the signal RST_CNT is set to the value "0" and the signal SET_CNT is set to the value "1" as the initialization process.
  • the threshold value Nth can be controlled by initializing the counters 1120', 1120',... In this way.
  • the counter 112d is input by inputting eight pulses Vpls. Overflows and the photon information PhInfo having the value “1” is output. That is, in this case, the threshold value Nth is controlled to the value “8”.
  • FIG. 20 is a block diagram showing an example of the configuration of the counter 112e of the fifth example applicable to the first embodiment.
  • the counters 112e are connected in series with counters 1120', 1120', ..., Which are asynchronous T-FFs (hereinafter, SRT-FFs), respectively.
  • SRT-FFs asynchronous T-FFs
  • Each bit of the 5-bit signal INIT_CNT_DATA is input via switches 1121, 1121, ... As the signal SET described with reference to FIG. 19B, respectively.
  • Each switch 1121 is simultaneously controlled on (closed) and off (open) by a 1-bit signal INIT_CNT.
  • each bit of the signal INIT_CNT_DATA By setting each bit of the signal INIT_CNT_DATA to, for example, a value “0” and turning on each switch 1121 at a predetermined timing by the signal INIT_CNT, the value “0” is written to each counter 1120′, 1120′,... 1120′, 1120′,... Can be reset.
  • FIG. 21 is a diagram showing a configuration of an example of counters 112f 1 , 112f 2 and 112f 3 of a sixth example applicable to the first embodiment. Any of the counters 112a to 112e described above may be applied to these counters 112f 1 , 112f 2 and 112f 3 .
  • FIG. 21 In the example of FIG. 21, three photoelectric conversion elements 110 1 , 110 2 and 110 3 are shown.
  • the pixel separation unit 831 and the photoelectric conversion unit 840 are excerpted from the configuration shown in FIG.
  • these photoelectric conversion elements 110 1 , 110 2 and 110 3 are arranged on light receiving chip 2000.
  • the counters 112f 1 , 112f 2 and 112f 3 are arranged on the logic chip 2010.
  • the photoelectric conversion elements 110 1 , 110 2 and 110 3 on the light receiving chip 2000 are connected to the connection portion 850a of the light receiving chip 2000 via the electrode 801'.
  • the connection portion 850a is connected to the connection portion 850b in the logic chip 2010 by, for example, CCC.
  • the counters 112f 1 , 112f 2 and 112f 3 are connected to the connecting portions 850b via the corresponding electrodes 851.
  • each signal Vph output by the photoelectric conversion elements 110 1 , 110 2 and 110 3 in response to the incident of photons is sent to each counter 112f via the electrodes 801', the connecting portions 850a and 850b, and the electrodes 851. 1 , 112f 2 and 112f 3 .
  • the counter 112a shown in FIG. 16A is applied as each of the counters 112f 1 , 112f 2, and 112f 3 . Further, it is assumed that the counters 112f 1 , 112f 2 and 112f 3 are 6-bit counters including 6 counters 1120 (Bit (0)) to 1120 (Bit (5)), respectively.
  • Counters 1120 (Bit (0)), 1120 (Bit (1)), 1120 (Bit (2)) and 1120 (Bit (3)) are collectively referred to as counters 1120a 1 , 1120a 2 and 1120a 3 .
  • 1120 (Bit(5)) are collectively described as counters 1120b 1 , 1120b 2 and 1120b 3 .
  • each counter 1120a 1 on the LSB side included in the counter 112f 1 is counted at a higher speed than each counter 1120b 1 on the MSB side. Therefore, each counter 1120a 1 on the LSB side included in the counter 112f 1 is arranged at a position on the logic chip 2010 immediately below the corresponding photoelectric conversion element 110 1 .
  • the MSB-side counters 1120b 1 , 1120b 2 and 1120b 3 included in the counters 112f 1 , 112f 2 and 112f 3 are collectively arranged on the logic chip 2010.
  • the counters 1120b 1 , 1120b 2 and 1120b 3 do not have to be in close proximity to the corresponding counters 1120a 1 , 1120a 2 and 1120a 3 on the LSB side.
  • the counters 1120b 1 to 1120b 3 on the MSB side are summarized for the three photoelectric conversion elements 110 1 to 110 3 , but this is not limited to this example, and the two photoelectric conversion elements 110 and Counters 1120 on the MSB side may be arranged together for four or more photoelectric conversion elements 110.
  • FIG. 22 is a diagram showing the configuration of an example of the counters 112g 1 , 112g 2 and 112g 3 of the seventh example applicable to the first embodiment. Any of the counters 112a to 112e described above may be applied to these counters 112g 1 , 112g 2 and 112g 3 .
  • each of the counters 1120a 1 to 1120a 3 on the LSB side has the corresponding photoelectric conversion on the logic chip 2010, as in the sixth example described above. It is arranged at a position corresponding directly under the elements 110 1 to 110 3 .
  • the counter 1120 of MSB side contained in the counters 112g 1 ⁇ 112g 3 (Bit ( 4)) and 1120 (Bit (5)) is gathered by each of the counters 112 g 1 ⁇ 112 g 3, logic as a counter 1120c It is placed on the chip 2010.
  • FIG. 23 is a block diagram showing a configuration of an example of the counter 1120c applicable to the first embodiment.
  • the counter 1120c includes a memory 1122 1, 1122 2 and 1122 3, an adder 1123, a result memory 1124, the.
  • the memory 1122 1 is supplied with the output of the LSB side counter 1120 a 1 corresponding to the photoelectric conversion element 110 1 .
  • the memory 1122 1 stores the output values supplied from the counters 1120a 1 . That is, the memory 1122 1 stores the overflow value in the counter 1120a 1 .
  • the memory 1122 1 functions as a counter for counting the bits on the MSB side.
  • the memories 1122 2 and 1122 3 also store the overflow values in the LSB side counters 1120a 2 and 1120a 3 corresponding to the photoelectric conversion elements 110 2 and 110 3 , respectively.
  • the values stored in the memories 1122 1 , 1122 2 and 1122 3 are added by the adder circuit 1123 and stored in the result memory 1124.
  • the value read from the result memory 1124 is output as photon information PhInfo and is supplied to, for example, the threshold value determination unit 113a.
  • FIG. 24 is a block diagram showing a configuration of an example of the counter 112h of the eighth example applicable to the first embodiment.
  • the counter 112h includes an analog counter 1125a.
  • the voltage extracted by the analog counter 1125a is supplied as photon information PhInfo to the threshold value determination unit 113a(d) corresponding to the threshold value determination unit 113a in FIG.
  • the threshold value determining unit 113a(d) includes a comparator 1133, and the comparator 1133 compares the photon information PhInfo supplied from the counter 112h with the threshold value Nth supplied as a voltage value.
  • the comparator 1133 outputs the write signal WRen(W) when the voltage value of the photon information PhInfo is higher than the voltage value of the threshold value Nth, for example.
  • the ninth example is an example in which the pulse Vpls is counted using an analog counter and a digital counter that counts with two values of “0” and “1”.
  • FIG. 25 is a block diagram showing a configuration of an example of the counter 112i of the ninth example applicable to the first embodiment.
  • the counter 112i includes an analog counter 1125b and a digital counter 112j serially connected to the analog counter 1125b.
  • the digital counter 112j any of the counters 112a to 112e described above may be applied.
  • the analog counter 1125b applied to the ninth example has a capacitor like the analog counter 1125a described above, and stores an electric charge corresponding to the voltage of the input pulse Vpls in the capacitor.
  • the analog counter 1125b according to the ninth example is further configured to monitor the amount of charge accumulated in the capacitor and output a pulse when a predetermined amount or more of charge is accumulated in the capacitor.
  • the analog counter 1125b detects the amount of charge stored in the capacitor in predetermined gradations (for example, 16 gradations) and outputs a pulse for each gradation.
  • the analog counter 1125b detects one gradation in response to the input of one pulse Vpls.
  • the analog counter 1125b resets the counter when the amount of charge accumulated in the capacitor reaches a predetermined gradation.
  • the digital counter 112j counts the pulses output from the analog counter 1125b, and outputs the count value as photon information PhInfo.
  • the photon information PhInfo is supplied to the threshold value determination unit 113a, for example, when the digital counter 112j corresponds to the counter 112a described above.
  • the pulse Vpls are counted by using a digital counter, an analog counter, and a counter composed of a memory and an adder.
  • FIG. 26 is a block diagram showing a configuration of an example of the counter 112k of the tenth example applicable to the first embodiment.
  • the counter 112k includes a digital counter 1126, an analog counter 1125c serially connected to the digital counter 1126, a memory 1127, and an adder 1128.
  • the digital counter 1126 is, for example, a 1-bit counter and can be configured by using one T-FF. Further, it is assumed that the analog counter 1125b described above is applied to the analog counter 1125c.
  • the digital counter 1126 outputs a voltage indicating a value "1" in response to the input of the pulse Vpls. This voltage is supplied to the analog counter 1125c and stored in the capacitor.
  • the analog counter 1125c detects the amount of charge stored in the capacitor in predetermined gradations (for example, 16 gradations) and outputs a pulse for each gradation.
  • the adder 1128 has first and second input terminals, and adds and outputs a signal input to the first input terminal and a signal input to the second input terminal.
  • the output of the adder 1128 is input to and stored in the memory 1127.
  • the signal read from the memory 1127 is output as photon information PhInfo and is supplied to the second input terminal of the adder 1128.
  • the counter can be configured by the adder 1128 and the memory 1127.
  • the memory 1127 can be configured by using a capacitor.
  • the photon information PhInfo output from the memory 1127 is supplied to the threshold value determination unit 113a (d) corresponding to the threshold value determination unit 113a in FIG.
  • the threshold value determination unit 113a (d) for example, the same configuration as the threshold value determination unit 113a (d) described with reference to FIG. 24 can be applied. That is, the threshold value determination unit 113a (d) compares the photon information PhInfo supplied from the counter 112k with the threshold value Nth supplied as a voltage value by the comparator 1133, and writes the write signal WRen (W) according to the comparison result. ) Is output.
  • FIG. 27 is a diagram illustrating an arrangement example of the TC generation unit 120 and the pixel circuit 100 according to the first arrangement example according to the first embodiment.
  • a TC generation unit 120 is provided for each pixel circuit 100. That is, the vertical control unit 2013a includes a number of TC generation units 120 corresponding to the number of pixel circuits 100 included in the pixel array unit 2001. Each TC generation unit 120 supplies the signal SH_ON and the time code Tc to the corresponding pixel circuit 100, respectively.
  • the issuance speed (time interval) of the time code Tc can be controlled for each pixel circuit 100. Therefore, it is possible to suppress variations in each pixel circuit 100.
  • FIG. 28 is a diagram showing an arrangement example of the TC generation unit 120 and the pixel circuit 100 according to the second arrangement example according to the first embodiment.
  • a TC generation unit 120 is provided for each row of each pixel circuit 100 arranged in a two-dimensional grid pattern in the pixel array unit 2001. .. That is, the second arrangement example according to the first embodiment has a configuration corresponding to FIG. 8 described above.
  • the TC generator 120 commonly supplies the time code Tc and the signal SH_ON to each pixel circuit 100 arranged in the corresponding row of the two-dimensional lattice.
  • the configuration according to the second arrangement example according to the first embodiment is compatible with the existing sensor. In addition, it is possible to reduce wiring as compared with the configuration according to the first arrangement example according to the first embodiment described above.
  • FIG. 29 is a diagram illustrating an arrangement example of the TC generation unit 120 and the pixel circuit 100 according to the third arrangement example according to the first embodiment.
  • a TC generation unit 120 is provided in every two rows of each pixel circuit 100 arranged in a two-dimensional grid pattern in the pixel array unit 2001. There is.
  • the TC generation unit 120 commonly supplies the time code Tc and the signal SH_ON to each pixel circuit 100 arranged in the corresponding two rows of the two-dimensional lattice.
  • FIG. 30 is a diagram showing a third arrangement example according to the first embodiment, paying attention to the pixel array unit 2001.
  • each pixel circuit 100 arranged in a two-dimensional lattice in the pixel array section 2001 can handle a group 150 of two rows of a two-dimensional lattice as a unit. That is, the TC generation unit 120 is provided for each group 150, and the time code Tc and the signal SH_ON from the corresponding TC generation unit 120 are supplied to each pixel circuit 100 included in the group 150.
  • the configuration according to the third arrangement example according to the first embodiment can reduce the wiring as compared with the configuration according to the second arrangement example according to the first embodiment described above.
  • FIG. 31 is a diagram showing an arrangement example of the TC generation unit 120 and the pixel circuit 100 according to the fourth arrangement example according to the first embodiment.
  • the TC generation unit 120 is provided for each region in the pixel array unit 2001.
  • the time code Tc and the signal SH_ON are commonly supplied from the TC generation unit 120 corresponding to the region to each pixel circuit 100 included in each region.
  • one TC generation unit 120 to the time code Tc for the group 150 by each pixel circuit 100 included in the region provided in the pixel array unit 2001.
  • the signal SH_ON is also supplied.
  • the bias condition of each pixel circuit 100 can be controlled for each region.
  • the bias condition of each pixel circuit 100 can be controlled for each region.
  • the fifth arrangement example according to the first embodiment is an example in which a color filter is provided in the photoelectric conversion element 110 included in each pixel circuit 100.
  • the pixel circuits 100 including the photoelectric conversion elements 110 provided with the color filters of the same color are grouped together, and TC generation is performed for each group.
  • a unit 120 is provided.
  • FIG. 32 is a diagram showing an arrangement example of the TC generation unit 120 and the pixel circuits 100R, 100G and 100B according to the fifth arrangement example according to the first embodiment.
  • the pixel circuits 100R, 100G, and 100B each include a photoelectric conversion element 110 provided with R (red), G (green), and B (blue) color filters.
  • the pixel circuits 100R, 100G, and 100B are arranged according to the Bayer array. That is, in each pixel circuit 100R, 100G and 100B, one pixel circuit 100R and 100B and two pixel circuits 100G are arranged in a 2 ⁇ 2 array so that pixel circuits of the same color are not adjacent to each other. Will be done.
  • the pixel circuits 100R and 100G are alternately arranged in the first row from the top.
  • the time code Tc R1 and the signal SH_ON R1 (not shown) are supplied from the TC generator 120R 1 to the group 150R 1 including each pixel circuit 100R arranged in the first row.
  • the time code Tc G11 and the signal SH_ON G11 (not shown) are supplied from the TC generation unit 120G 11 to the group 150G 11 including each pixel circuit 100G arranged in the first line.
  • the time code Tc G12 and the signal SH_ON G12 are supplied from the TC generator 120G 12 to the group 150G 12 including each pixel circuit 100G arranged in the second line. Further, the time code Tc B1 and the signal SH_ON B1 (not shown) are supplied from the TC generation unit 120B 1 to the group 150B 1 including each pixel circuit 100B arranged in the second row.
  • the TC generator 120R 2 outputs the time code Tc R2. And the signal SH_ON R2 (not shown) is supplied. Further, the time code Tc G21 and the signal SH_ON G21 (not shown) are supplied from the TC generator 120G 21 to the group 150G 21 including each pixel circuit 100G arranged in the third row.
  • the time code Tc G22 and the signal SH_ON G22 are supplied from the TC generator 120G 22 to the group 150G 22 including each pixel circuit 100G arranged on the fourth line. Further, the time code Tc B2 and the signal SH_ON B2 (not shown) are supplied from the TC generation unit 120B 2 to the group 150B 2 including each pixel circuit 100B arranged in the fourth line.
  • pixel circuits provided with color filters of the same color are grouped into the same group for each of the 5th and 6th rows, the 7th row and the 8th row,...
  • the time code Tc and the signal SH_ON are supplied from the common TC generator.
  • Each photoelectric conversion element 110 provided with R color, G color and B color color filters has different sensitivity to incident photons.
  • the TC generation unit 120 is provided for each of the pixel circuits 100R, 100G, and 100B for each color of the color filter. Therefore, it is possible to correct the different sensitivity of the photoelectric conversion element 110 depending on the color of the color filter by controlling the number of photons prediction based on the predicted count value Npre.
  • FIG. 33 is a diagram showing an arrangement example of the TC generation unit 120 and the pixel circuits 100R, 100G 1 , 100G 2 and 100B according to the sixth arrangement example according to the first embodiment.
  • the pixel circuits 100G 1 and 100G 2 respectively correspond to the two G pixels included in the Bayer array.
  • all the pixel circuits 100R, 100G 1 , 100G 2 and 100B included in the pixel array unit 2001 are included in one group 150RGB.
  • a time code Tc RGB and a signal SH_ON RGB (not shown) are commonly supplied by one TC generator 120 RGB to all the pixel circuits 100R, 100G 1 , 100G 2 and 100B included in the group 150 RGB .
  • the arrangement of the pixel circuits 100R, 100G and 100B, and the arrangement of the pixel circuits 100R, 100G 1 , 100G 2 and 100B is not limited to the Bayer type. ..
  • the color filter provided in the pixel circuit 100 is not limited to the primary color filters of three colors of R, G, and B, and for example, the complementary colors of four colors of C (cyan), M (magenta), Y (yellow), and G. It may be a system filter.
  • each pixel circuit 100 may be provided with another type of optical filter.
  • an IR filter may be provided for each pixel circuit 100 in order to selectively transmit light in the infrared region.
  • each pixel circuit 100 may be provided with a transparent filter that transmits light in a wide wavelength band including the R, G, and B wavelength bands, for example. Also in this case, it is conceivable to provide a transparent filter for one pixel circuit 100 of the pixel circuits 100 provided with the G color filter in the Bayer array, similarly to the above-described IR filter.
  • a color filter array different from the Bayer type array there is a 4-split Bayer type RGB array.
  • the four-division Bayer RGB array four R color filters, G color filters, and B color filters each having 2 ⁇ 2 photoelectric conversion elements 110 arranged in a one-to-one correspondence are provided in the 2 ⁇ 2 matrix. It is arranged according to the Bayer array in the unit of.
  • the array of each pixel circuit 100 provided with the R, G, and B color filters may be used as the 4-split Bayer type RGB array.
  • FIG. 34 is a block diagram showing a configuration of an example of the pixel array unit 2001 and the vertical control unit 2013a according to the first modification of the first embodiment.
  • the vertical control unit 2013a has the same configuration as the vertical control unit 2013a in FIG. 8 described above, and thus the description thereof will be omitted here.
  • the pixel circuit 100b includes a photoelectric conversion element 110, a signal processing unit 111b, a counter 112, a threshold value determination unit 113a-1, and a memory 114, similarly to the pixel circuit 100a shown in FIG. ,including.
  • the write signal WRen output from the threshold determination unit 113 is supplied to the memory 114 and the signal processing unit 111b.
  • the signal processing unit 111b limits the operation of the photoelectric conversion element 110 when the counted number of photons exceeds the threshold value Nth within the exposure period Tsh and the write signal WRen is in a state of instructing the writing of the time code Tc. ..
  • the signal processing unit 111b disconnects the connection to the power potential VDD to the photoelectric conversion element 110 in response to the write signal WRen (W), and at the start of the exposure period Tsh, the power potential VDD to the photoelectric conversion element 110 is reached. It is possible to restore the connection of the.
  • the power consumption in the pixel circuit 100b can be reduced.
  • FIG. 35 is a block diagram showing a configuration of an example of the pixel array unit 2001 and the vertical control unit 2013a according to the second modification of the first embodiment.
  • the vertical control unit 2013a has the same configuration as the vertical control unit 2013a in FIG. 8 described above, and thus the description thereof will be omitted here. Further, in the pixel array section 2001, the functions of the signal processing section 111b' and the threshold value determining section 113a-2 of the pixel circuit 100c are changed as compared with the pixel circuit 100b of FIG.
  • the threshold value determination unit 113a-2 in response to the detection of the threshold value Nth by the threshold value determination unit 113a-2, the photoelectric conversion element 110 Limit operation.
  • the threshold value determination unit 113a-2 in response to the detection of the threshold value Nth by the threshold value determination unit 113a-2, the photoelectric conversion element 110 Limit operation.
  • the threshold value determination unit 113a-2 according to the second modification of the first embodiment generates and generates a signal PhGating for limiting the operation of the photoelectric conversion element 110, separately from the write signal WRen.
  • the signal PhGating is supplied to the signal processing unit 111b′.
  • the signal processing unit 111b' limits the operation of the photoelectric conversion element 110 according to the signal PhGating. For example, the signal processing unit 111b′ disconnects the connection to the power supply potential VDD with respect to the photoelectric conversion element 110 according to the signal PhGating, and connects the connection to the power supply potential VDD with respect to the photoelectric conversion element 110 at the start of the exposure period Tsh. It is possible to recover.
  • the power consumption in the pixel circuit 100c can be reduced.
  • a dual mode counter capable of switching between a count operation and a storage operation is used as a counter for counting the pulses Vpls corresponding to the incidence of photons on the photoelectric conversion element 110.
  • the dual mode counter for example, the memory 114 in the pixel circuit 100a shown in FIG. 8 can be omitted, and the circuit area can be reduced.
  • FIG. 36 is a block diagram showing the configuration of an example of a pixel array unit 2001 and a vertical control unit 2013a according to a third modification of the first embodiment.
  • the vertical control unit 2013a has the same configuration as the vertical control unit 2013a in FIG. 8 described above, and a description thereof will be omitted here.
  • the pixel circuit 100d has a different function of the threshold value determination unit 113a-3 as compared with the pixel circuit 100a of FIG. 8, the memory 114 is omitted, and the dual circuit 100d is replaced with the counter 112.
  • a mode counter 115 is provided.
  • pulses Vpls corresponding to the incident of photons on the photoelectric conversion element 110 are input to the dual mode counter 115. Further, the time code Tc output from the TC generator 120 is input to the dual mode counter 115.
  • the dual mode counter 115 has a count operation mode and a storage operation mode as operation modes. Further, the storage operation mode includes a writing operation mode and a holding operation mode. The dual mode counter 115 switches these operation modes according to the signal WRen_CNT supplied from the threshold value determination unit 113 ”. The dual mode counter 115 counts the operation mode when the signal WRen_CNT indicates a count operation. The operation mode is switched, the pulse Vpls supplied from the signal processing unit 111a is counted, and the photon information PhInfo indicating the count result is output. Further, the dual mode counter 115 indicates that the signal WRen_CNT indicates a storage operation. The operation mode is switched to the storage operation mode and the input time code Tc is stored.
  • the threshold value determination unit 113a-3 outputs a signal WRen_CNT indicating a counting operation at the start of the exposure period Tsh.
  • the operation mode of the dual mode counter 115 is switched to the count operation mode.
  • the dual mode counter 115 counts the pulse Vpls supplied from the signal processing unit 111a and outputs the count result as photon information PhInfo.
  • the threshold value determination unit 113a-3 stores, for example, when it is determined that the number of photons incident on the photoelectric conversion element 110 within the exposure period Tsh has reached the threshold value Nth.
  • a signal WRen_CNT indicating the operation is output.
  • the dual mode counter 115 switches the operation mode to the storage operation mode according to this signal WRen_CNT, stops counting the pulse Vpls, and stores the time code Tc.
  • FIG. 37A to 37C are diagrams for explaining the operation of the dual mode counter 115 applicable to the third modification of the first embodiment.
  • FIG. 37A is a diagram showing a state of the dual mode counter 115 in the count operation mode.
  • FIG. 37B is a diagram showing a state of the dual mode counter 115 in the write operation mode in the storage operation mode.
  • FIG. 37C is a diagram showing a state of the dual mode counter 115 in the holding operation mode in the storage operation mode.
  • the dual mode counter 115 is a 5-bit counter.
  • the dual mode counter 115 applicable to the third modification of the first embodiment has five D-FFs (D flip-flops) 1140 0 , 1140 1 , 1140 2 , 1140 3 corresponding to the number of bits to be counted. And 1140 4 .
  • D-FFs D flip-flops
  • D-FF1140 0 is, terminal D and terminal QB, is connected via a switch 1142 0 controlled in accordance with signals WRen_CNT.
  • the terminal QB indicates a terminal with an overline on "Q" in the figure.
  • the terminal D and the terminal QB pass through the switches 1142 1 , 1142 2 , 1142 3 and 1142 4 respectively controlled according to the signal WRen_CNT. Is connected.
  • the common selection end of the switch 1143 0 controlled according to the signal WRen_CNT is connected to the terminal CK of the D-FF 1140 0 .
  • the pulse Vpls is input to the first selection end of the switch 1143 0 , and the low-level potential and the high-level potential are connected to the second and third selection ends, respectively.
  • the terminals QB of the preceding stage are connected to the first selection terminals of the respective terminals CK, and the second and third selection terminals of the low level respectively.
  • the common selective ends of switches 1143 1 , 1143 2 , 1143 3 and 1143 4 controlled according to the signal WRen_CNT, to which the potential and the high level potential are connected, are connected.
  • each of the D-FFs 1140 0 , 1140 1 , 1140 2 , 1140 3 and 1140 4 outputs the respective bits (Bit(0), Bit(1), Bit(2), Bit(3) and Bit(3)) from the output terminal Q. (4)) is output.
  • the photon information PhInfo is output from the output terminal QB of the D-FF 1140 4 in the final stage.
  • Each D-FF1140 0 ⁇ 1140 4, the switches 1141 0-1141 4, the switches 1142 0-1142 4, and, the switches 1143 0-1143 4 is controlled in the same state, respectively, in each of the operation modes .. Therefore, in the following, unless otherwise stated, we perform a D-FF1140 0, the description of the D-FF1140 0 switch 1141 connected to the 0, 1142 0 and 1143 0 as an example.
  • switch 1141 0 off (open) state
  • the switch 1142 0 is controlled to be turned on (closed) state
  • the switch 1143 0 common It is controlled to connect the selection end to the first selection end.
  • D-FF1140 0 together with output and terminal QB and the terminal D are connected, a pulse Vpls the terminal CK is input from the output terminal Q and QB, inverted every falling edge of the input pulse Vpls The output is retrieved.
  • Output terminal QB of the D-FF1140 0 is input to the next-stage D-FF1140 1 terminal CK.
  • the D-FF 1140 1 takes out from the output terminals Q and QB an output that is inverted every time the output of the terminal QB of the D-FF 1140 0 falls.
  • the dual mode counter 115 operates as a counter that counts the pulse Vpls in the count operation mode.
  • the switch 1141 0 is controlled to be in the on state and the switch 1142 0 is controlled to be in the off state, and the switch 1143 0 is set as the common selection end to the third selection end. Controlled to connect to.
  • a predetermined bit of the time code Tc is input to the terminal D of the D-FF 1140 0 via the switch 11410, the terminal CK is set to the high state, and the terminal D of the D-FF 1140 0 is supplied with the time code Tc. The value of a predetermined bit is written.
  • the operation of the dual mode counter 115 is shifted to the holding operation mode, as shown in FIG. 37C, the switches 1141 0 and 1142 0 are controlled to the off state, and the switch 1143 0 causes the common selection end to become the second selection end. Controlled to connect to.
  • the terminal CK is set to the low state, and the value written in the terminal D is held in the D-FF 1140 0 .
  • the retention mode it is possible from the output terminal Q each of D-FF1140 0 ⁇ 1140 4, taking out the D-FF1140 0 ⁇ written in 1140 fourth terminal D held value.
  • the predicted count value Npre predicted based on the time Tth at which the count value reaches the threshold value Nth is a 15-bit value and the threshold value Nth is a 9-bit value.
  • the significant figure of the predicted count value Npre is a 9-bit value. That is, of the 15 bits of the predicted count value Npre, 6 bits are invalid numbers. Further, in this case, the bit on the LSB side of the predicted count value Npre is considered to have low importance. Therefore, the number of bits of the predictive count value Npre can be reduced by ignoring the 15-bit value of the predictive count value Npre by ignoring the predetermined bits on the LSB side.
  • the 15-bit predicted count value Npre is represented by an 8-bit significant figure and a 3-bit shift amount.
  • the value "20480” in decimal notation is the 15-bit value "0b101000000000000000” in binary notation.
  • the 3-bit shift amount “0b111” is applied to this 15-bit value, the following expression (5) is obtained.
  • 0b101000000000000 0b101000000 ⁇ 2 ⁇ (0b111)... (5)
  • the 15-bit predicted count value Npre can be expressed as, for example, an 11-bit value "0b111100000” by using an 8-bit value "0b1010000” and a 3-bit shift amount "0b111".
  • the first 3 bits indicate the shift amount. In this way, the number of bits of the predicted count value Npre can be reduced from 15 bits to 11 bits.
  • the signal processing unit 2013c applies the above equation (5) when, for example, calculating the predicted count value Npre based on the time code Tc read from the memory 114 of each pixel circuit 100a. Then, the number of bits of the calculated predicted count value Npre is reduced. As a result, for example, it is possible to reduce the processing and memory capacity in the signal processing unit 2013c and the traffic when outputting the calculated predicted count value Npre to the outside.
  • the correlation prediction count value Npre_related can also be calculated based on the prediction count value Npre_reduce with a reduced number of bits described using the equations (4) and (5).
  • Npre_related Npre_reduce + Noffset ... (7)
  • the signal processing unit 2013c is calculated by applying the above equation (6) when calculating the predicted count value Npre based on, for example, the time code Tc read from the memory 114 of each pixel circuit 100a.
  • the correlation predicted count value Npre_related corresponding to the predicted count value Npre is calculated. Thereby, for example, it is possible to reduce the load of the processing in the signal processing unit 2013c and the processing for the predicted count value Npre outside.
  • the conversion process for the predicted count value Npre is described as a process of adding an offset value, but this is not limited to this example. That is, for example, in the signal processing unit 2013c, it is possible to perform various conversion processes on the predicted count value Npre depending on its use and the like.
  • This conversion processing can also include processing for converting the data format, such as Gray code.
  • FIG. 38 is a diagram showing a schematic configuration example of the light receiving device according to the second embodiment.
  • the light receiving device 1b according to the second embodiment includes a pixel 10, a counting unit 11, a luminance value code generation unit 20, and an acquisition unit 13.
  • the pixel 10 includes a photoelectric conversion element that converts light into an electric charge by photoelectric conversion, and a signal processing circuit that reads an electric charge from the photoelectric conversion element and outputs it as an electric signal.
  • the SPAD can be applied as in the first embodiment described above.
  • the light receiving device 1b predicts the brightness value according to the number of photons incident on the pixel 10 within the designated exposure period Tsh, and the brightness generated by the brightness value code generation unit 20 corresponding to the predicted brightness value.
  • the value code Lc is acquired by the acquisition unit 13.
  • the counting unit 11 counts the pulse Vpls output from the pixel 10 within the specified exposure period Tsh, and when the number Ncnt of the counted pulse Vpls exceeds the threshold value Nth before the end of the exposure period Tsh. ,
  • the write signal WRen (W) is output.
  • the write signal WRen is supplied to the acquisition unit 13.
  • the brightness value code generation unit 20 predicts the brightness value at the end time of the exposure period Tsh according to the elapsed time from the start time of the exposure period Tsh to the time when writing is instructed by the write signal WRen(W). Then, a luminance value code Lc indicating the predicted luminance value is generated. The luminance value code Lc generated by the luminance value code generation unit 20 is supplied to the acquisition unit 13.
  • the acquisition unit 13 includes a memory, for example, and is supplied from the brightness value code generation unit 20 at the timing when writing is instructed by the write signal WRen(W), that is, at the timing when the write signal WRen changes from the low state to the high state.
  • the obtained luminance value code Lc is acquired, and the acquired luminance value code Lc is written to the memory.
  • the light receiving device 1b according to the second embodiment is the light receiving chip 2000 made of a semiconductor chip and the logic chip 2010, which are described with reference to FIG. 5, in the same manner as the light receiving device 1a according to the first embodiment described above. A structure in which and is laminated can be applied.
  • the brightness (luminance value) for a certain pixel (photoelectric conversion element 110) and the average photon arrival interval Ta, which is the average incident interval of photons incident on the pixel, are in an inversely proportional relationship.
  • Lx (T ⁇ k) / Ta... (8)
  • Tth ev Nth ⁇ Ta (9)
  • the luminance value Lx in the equation (10) is a value expected when the number of photons Pn incident on the photoelectric conversion element 110 reaches the threshold value Nth, and is a prediction predicted at the threshold value Nth.
  • the brightness value is Lpre.
  • FIG. 39 is a diagram showing an example relationship between the time Tth at which the number of photons Pn reaches the threshold value Nth and the predicted luminance value Lpre according to the second embodiment.
  • the luminance value Lx in the above equation (10) is shown as the predicted luminance value Lpre.
  • the expected time Tth ev the time Tth when the number Pn of photons incident on the photoelectric conversion element 110 reaches the threshold value Nth can be used.
  • the predicted brightness value Lpre in the exposure period Tsh can be obtained by referring to the curve LT according to Expression (10) based on the time Tth 0 .
  • the threshold value Nth, the time T (exposure period Tsh), and the coefficient k are constants given in advance.
  • the luminance value code generation unit 20 can store the curve LT in advance as a table in which the predicted luminance value Lpre and the time Tth are associated with each other.
  • the table stores the predicted luminance value Lpre as a discrete value, the luminance value code Lc, in association with the corresponding time Tth.
  • the brightness value code generation unit 20 may calculate the predicted brightness value Lpre using the threshold value Nth, the time T (exposure period Tsh) and the coefficient k based on the measured time Tth. Also in this case, the calculated predicted luminance value Lpre is processed into discrete values and used as the luminance value code Lc.
  • FIG. 40 is a diagram for schematically explaining the generation of the predicted luminance value Lpre by the luminance value code generation unit 20 according to the second embodiment.
  • FIG. 40 from the top, the passage of time, an example of the count value in the case of low illuminance, an example of the count value in the case of high illuminance, an example of evenly spaced time codes Tc, and an example of the predicted brightness value Lpre are shown. Each is shown.
  • the passage of time an example of the count value in the case of low illuminance, an example of the count value in the case of high illuminance, and an example of the time code Tc at equal intervals are the same as the corresponding parts in FIG. 3 described above. Therefore, the description here will be omitted.
  • the time scale is longer than that in FIG.
  • the predicted luminance value Lpre is shown with the passage of time. It schematically shows how it decreases in inverse proportion to the time Tth. More specifically, in the example of FIG. 40, the predicted luminance value Lpre has values of "22", “17”, “14”, ... At short intervals on the side close to the start time t 0 of the exposure period Tsh. , The value decreases rapidly. On the other hand, near the end of the exposure period Tsh, the change in the predicted luminance value Lpre with time becomes small, and the change interval also becomes long.
  • the timing at which the eighth photon Ph (28) is detected is the time Tth when the count value exceeds the threshold value Nth.
  • the value “11” of the time code Tc corresponding to this time Tth is set.
  • the predicted brightness value Lpre has a value of "10".
  • the predicted luminance value Lpre increases rapidly as the time Tth approaches 0, and becomes infinite when the time Tth is 0. Therefore, in the period when the time Tth is extremely short, the predicted luminance value Lpre becomes an extremely large value, and the predicted luminance value Lpre within the period becomes a value that does not make sense in reality. This means that the predicted luminance value Lpre in the period is unnecessary. Therefore, for example, in the table in which the predicted luminance value Lpre and the time Tth are associated with each other, the time Tth is targeted only for the time after the predetermined time has elapsed from the start time of the exposure period Tsh, and the predicted brightness before that time The value Lpre can not be defined in the table.
  • the predicted brightness value Lpre predicted in the exposure period Tsh is directly obtained based on the time Tth when the number Pn of photons incident on the photoelectric conversion element 110 reaches the threshold Nth. Can be done.
  • the light receiving device 1b according to the second embodiment can reduce the load of the process of converting the time code Tc into the luminance value as compared with the light receiving device 1a according to the first embodiment. ..
  • the signal processing unit 2013c reads each time code from each logic circuit 2014 included in the logic array unit 2011 (see FIG. 7). A process of converting each Tc into a brightness value is executed. That is, in the light receiving device 1a according to the first embodiment, the signal processing unit 2013c converts, for example, at least each time code Tc read from the logic circuit 2014 for one row included in the logic array unit 2011 into a brightness value. It is necessary to end the processing to be performed within one horizontal synchronization period.
  • each of the logic circuits 2014 included in the logic array unit 2011, a process of converting the time Tth when the number of incident photons reaches the threshold Nth into a brightness value is performed. Running. Since the conversion process of the time information into the luminance value is distributed and executed in each logic circuit 2014, each conversion process can be small and the processing in the signal processing unit 2013c can be reduced.
  • FIG. 41 is a block diagram showing an example configuration of the pixel array unit 2001 and the vertical control unit 2013a according to the second embodiment. Further, in FIG. 41, a more specific configuration of the pixel circuit is shown with respect to the pixel array unit 2001. In FIG. 41, the same reference numerals are given to the parts common to those in FIG. 8 described above, and detailed description thereof will be omitted.
  • the pixel array unit 2001 has a configuration corresponding to the pixel array unit 2001 described with reference to FIG. 8, and a plurality of pixel circuits 100a'corresponding to the pixel circuit 100a of FIG. 8 respectively. including. Note that, in FIG. 41, among the pixel circuits 100 a ′ arranged in a two-dimensional lattice pattern in the pixel array section 2001, the pixel circuits 100 a ′ included in one row are extracted and shown.
  • the pixel circuit 100a' includes a photoelectric conversion element 110, a signal processing unit 111a, a counter 112, a threshold value determination unit 113b, and a memory 114.
  • the photoelectric conversion element 110, the signal processing unit 111a, the counter 112, and the threshold value determination unit 113b have the same functions as the photoelectric conversion element 110, the signal processing unit 111a, the counter 112, and the threshold value determination unit 113a in FIG. , The description here is omitted.
  • SPAD can be applied in the same manner as in the first embodiment described above.
  • the memory 114 stores the luminance value code Lc as the predicted luminance value Lpre supplied from the LC generation unit 200, which will be described later, in response to the write signal WRen (W) supplied from the threshold value determination unit 113b.
  • the vertical control unit 2013a' corresponds to the vertical control unit 2013a in FIG. 8 and includes an LC (luminance value code) generation unit 200 for each row.
  • a timer 210 is included in common to each line.
  • the LC generation unit 200 corresponds to the above-mentioned luminance value code generation unit 20.
  • the LC generation unit 200 has a luminance value that changes in inverse proportion to the elapsed time from the start time of the exposure period Tsh, which has been described with reference to FIGS. 39 and 40, based on, for example, the time information supplied from the timer 210. Generate code Lc.
  • the timer 210 generates, for example, based on a clock signal, for each change in the predicted luminance value Lpre described with reference to FIG. 40, time information indicating the timing of the change.
  • FIG. 42 is a block diagram showing a configuration of an example of the LC generation unit 200 applicable to the second embodiment.
  • the luminance value code Lc is stored as a table associated with the time Tth.
  • the LC generation unit 200 includes a ROM (Read Only Memory) 201 and a code generation control unit 202.
  • the ROM 201 stores in advance a table in which the luminance value code Lc and the time Tth are associated with each other.
  • the code generation control unit 202 reads the luminance value code Lc corresponding to the time information supplied from the outside, for example, the timer 210, from the ROM 201.
  • the luminance value code Lc read from the ROM 201 by the code generation control unit 202 is input to each pixel circuit 100a′, 100a′,... Included in the pixel array unit 2001 and supplied to each memory 114. Will be done.
  • control unit 1003 instructs the LC generation unit 200 to start the exposure period Tsh, and supplies information indicating the length of the exposure period Tsh to the LC generation unit 200.
  • the LC generation unit 200 generates a signal SH_ON instructing the timing at which the signal processing unit 111a outputs the pulse Vpls.
  • the LC generation unit 200 generates the signal SH_ON based on, for example, a predetermined clock signal.
  • the signal SH_ON generated by the LC generation unit 200 is input to the pixel circuits 100a', 100a', ..., And is supplied to the signal processing unit 111a.
  • the counters 112a to 112i and the digital counters 112j described with reference to FIGS. 16A and 16B, FIGS. 17, 18, 19A and 19B, and FIGS. 20 to 26 are similar to the pixel circuit 100a described above. It is also applicable to the pixel circuit 100a'according to the second embodiment.
  • FIG. 43 is a diagram showing an arrangement example of the LC generation unit 200 and the pixel circuit 100 ′ according to the first arrangement example according to the second embodiment.
  • the first arrangement example according to the second embodiment corresponds to the first arrangement example according to the first embodiment described with reference to FIG. 27, and as shown in FIG. 43, the LC generation unit 200 Is provided for each pixel circuit 100'. That is, the vertical control unit 2013a'includes a number of LC generation units 200 corresponding to the number of pixel circuits 100' included in the pixel array unit 2001. Each LC generation unit 200 supplies the signal SH_ON and the luminance value code Lc to the corresponding pixel circuit 100', respectively.
  • the issuing speed (time interval) of the luminance value code Lc can be controlled for each pixel circuit 100'. Therefore, it is possible to suppress the variation between the pixel circuits 100'.
  • FIG. 44 is a diagram showing an arrangement example of the LC generation unit 200 and the pixel circuit 100 ′ according to the second arrangement example according to the second embodiment.
  • the second arrangement example according to the second embodiment corresponds to the second arrangement example according to the first embodiment described with reference to FIG. 28, and as shown in FIG. 44, the vertical control unit 2013a
  • the pixel array unit 2001 is provided with an LC generation unit 200 for each row of each pixel circuit 100'arranged in a two-dimensional grid. That is, the second arrangement example according to the second embodiment is The LC generation unit 200 supplies the brightness value code Lc and the signal SH_ON in common to each pixel circuit 100'arranged in the corresponding rows of the two-dimensional lattice. ..
  • the configuration according to the second arrangement example according to the second embodiment is compatible with the existing sensor. In addition, it is possible to reduce the wiring as compared with the configuration according to the first arrangement example according to the second embodiment described above.
  • FIG. 45 is a diagram showing an arrangement example of the LC generation unit 200 and the pixel circuit 100 ′ according to the third arrangement example according to the second embodiment.
  • the third arrangement example according to the second embodiment corresponds to the third arrangement example according to the first embodiment described with reference to FIG. 29, and as shown in FIG. 45, the pixel array unit 2001
  • An LC generation unit 200 is provided for every two rows of each pixel circuit 100'arranged in a two-dimensional lattice.
  • the LC generation unit 200 commonly supplies the luminance value code Lc and the signal SH_ON to each pixel circuit 100'arranged in the corresponding two rows of the two-dimensional lattice.
  • the configuration according to the third arrangement example according to the second embodiment can reduce the wiring as compared with the configuration according to the second arrangement example according to the second embodiment described above.
  • FIG. 46 is a diagram illustrating an arrangement example of the LC generation unit 200 and the pixel circuit 100′ according to the fourth arrangement example according to the second embodiment.
  • the fourth arrangement example according to the second embodiment corresponds to the fourth arrangement example according to the first embodiment described with reference to FIG. 31, and as shown in FIG. 46, the pixel array unit 2001
  • a luminance value code Lc and a signal SH_ON (not shown) are commonly supplied to each pixel circuit 100 ′ included in each area from the LC generation unit 200 corresponding to the area.
  • the brightness from one LC generation unit 200 is relative to the group 150'by each pixel circuit 100'included in the region provided in the pixel array unit 2001.
  • the value code Lc and the signal SH_ON are supplied.
  • the bias condition of each pixel circuit 100' can be controlled for each region.
  • the fifth arrangement example according to the second embodiment corresponds to the fifth arrangement example according to the first embodiment described with reference to FIG. 32, and is a photoelectric conversion included in each pixel circuit 100'. This is an example of the case where the element 110 is provided with a color filter.
  • the pixel circuit 100' including the photoelectric conversion element 110 provided with the color filter of the same color is collectively grouped, and each group is LC.
  • a generation unit 200 is provided.
  • FIG. 47 shows a photoelectric conversion provided with an LC generation unit 200 and R (red), G (green), and B (blue) color filters, respectively, according to a fifth arrangement example according to the second embodiment. It is a figure which shows the arrangement example of the pixel circuit 100R', 100G' and 100B' including the element 110.
  • a luminance value code Lc R1 and a signal SH_ON R1 are supplied from the LC generation unit 200R 1 to a group 150R 1 ′ including each pixel circuit 100R′ arranged in the first row from the top. Be supplied. Further, the luminance value code Lc G11 and the signal SH_ON G11 (not shown) are supplied from the LC generation unit 200G 11 to the group 150G 11 ′ including the pixel circuits 100G′ arranged in the first row.
  • the luminance value from the LC generator 200G 12 code Lc G12 and signal SH_ON G12 (not shown) is supplied. Further, the luminance value code Lc B1 and the signal SH_ON B1 (not shown) are supplied from the LC generation unit 200B 1 to the group 150B 1 ′ including the pixel circuits 100B′ arranged in the second row.
  • the luminance value from the LC generator 200R 2 Code Lc R2 and signal SH_ON R2 are supplied. Further, the luminance value code Lc G21 and the signal SH_ON G21 (not shown) are supplied from the LC generation unit 200G 21 to the group 150G 21 ′ including the pixel circuits 100G′ arranged in the third row.
  • the luminance from the LC generator 200G 22 value code Lc G22 and signal SH_ON G22 (not shown) is supplied. Further, the luminance value code Lc B2 and the signal SH_ON B2 (not shown) are supplied from the LC generation unit 200B 2 to the group 150B 2 ′ including the pixel circuits 100B′ arranged in the fourth row.
  • the pixel circuits provided with the same color filter for each of the 5th and 6th lines, the 7th line, the 8th line, and so on are grouped in the same group.
  • the luminance value code Lc and the signal SH_ON are supplied from the common TC generation unit.
  • Each photoelectric conversion element 110 provided with R color, G color and B color color filters has different sensitivity to incident photons.
  • the LC generation unit 200 is provided for each of the pixel circuits 100R', 100G', and 100B' collectively for each color of the color filter. Therefore, the sensitivity of the photoelectric conversion element 110, which differs depending on the color of the color filter, is corrected by controlling the predicted luminance value Lpre based on the time Tth for achieving the threshold value Nth (for example, adjusting the table value stored in the ROM 201). Is possible.
  • each of the pixel circuits 100R', 100G' and 100B respectively like the 6th and 7th arrangement examples of the 1st Embodiment described above.
  • each of the pixel circuits 100R', the arrangement of 100G 1 ', 100G 2' and 100B ' is not limited to Bayer.
  • the color filter provided in the pixel circuit 100' is not limited to the primary color filter using the three colors of R, G, and B, and is, for example, the four colors of C (cyan), M (magenta), Y (yellow), and G. It may be a complementary color filter.
  • each pixel circuit 100 may be provided with other types of optical filters such as IR filters and transparent filters.
  • other types of optical filters such as IR filters and transparent filters may be provided for each pixel circuit 100.
  • the array of each pixel circuit 100'provided with R, G, and B color filters may be the above-mentioned 4-split Bayer type RGB array.
  • the sixth arrangement example according to the second embodiment corresponds to the sixth arrangement example according to the first embodiment described with reference to FIG. 33, and is a photoelectric conversion included in each pixel circuit 100'.
  • FIG. 48 LC generator 200 according to the sixth arrangement example of according to the second embodiment, as well, the pixel circuits 100R ', 100G 1', is a diagram illustrating an arrangement example of 100G 2 'and 100B'.
  • all the pixel circuits 100R′, 100G 1 ′, 100G 2 ′ and 100B′ included in the pixel array unit 2001 are included in one group 150RGB′.
  • All the pixel circuits 100R in the group 150RGB respect ', 100G 1', 100G 2 ' and 100B', with one LC generator 200RGB, (not shown) luminance value code Lc RGB and signal SH_ON RGB is common Is supplied.
  • FIG. 49 is a block diagram showing a configuration of an example of the pixel array unit 2001 and the vertical control unit 2013a ′ according to the first modification of the second embodiment.
  • the vertical control unit 2013a' has the same configuration as the vertical control unit 2013a in FIG. 41 described above, and therefore the description thereof is omitted here.
  • the pixel circuit 100b′ corresponds to the pixel circuit 100b according to the first modification of the first embodiment described with reference to FIG. 34, and includes the photoelectric conversion element 110 and the signal processing unit. 111b, the counter 112, the threshold value determination part 113b-1, and the memory 114 are included.
  • the write signal WRen (W) output from the threshold value determination unit 113b-1 is supplied to the memory 114 and the signal processing unit 111b.
  • the signal processing unit 111b limits the operation of the photoelectric conversion element 110 when the counted number of photons exceeds the threshold value Nth within the exposure period Tsh and the write signal WRen is in a state of instructing the writing of the luminance value code Lc. To do. Since the same method as that of the first modification of the first embodiment described above can be applied to limit the operation of the photoelectric conversion element 110, description thereof will be omitted here.
  • FIG. 50 is a block diagram showing a configuration of an example of the pixel array unit 2001 and the vertical control unit 2013a ′ according to the second modification of the second embodiment.
  • the vertical control unit 2013a' has the same configuration as the vertical control unit 2013a' in FIG. 41 described above, and therefore the description thereof is omitted here. Further, in the pixel array section 2001, the functions of the signal processing section 111b' and the threshold value determining section 113b-2 of the pixel circuit 100c' are changed as compared with the pixel circuit 100b'' of FIG.
  • the second modification of the second embodiment corresponds to the pixel circuit 100c according to the second modification of the first embodiment described with reference to FIG. 35, and the threshold value by the threshold value determination unit 113b-2.
  • the operation of the photoelectric conversion element 110 is limited according to the detection of Nth.
  • the same method as that of the second modification of the first embodiment described above can be applied to limit the operation of the photoelectric conversion element 110, and thus the description thereof is omitted here.
  • the third modification of the second embodiment corresponds to the pixel circuit 100d according to the third modification of the first embodiment described with reference to FIG. 36, and the incident of photons on the photoelectric conversion element 110.
  • a dual mode counter as a counter for counting the pulses Vpls according to the above, for example, the memory 114 in the pixel circuit 100a shown in FIG. 41 can be omitted, and the circuit area can be reduced.
  • FIG. 51 is a block diagram showing the configuration of an example of a pixel array section 2001 and a vertical control section 2013a' according to a third modification of the second embodiment.
  • the vertical control unit 2013a' has the same configuration as the vertical control unit 2013a' in FIG. 41 described above, and therefore description thereof will be omitted here.
  • the pixel circuit 100d' has changed the function of the threshold value determination unit 113b-3 as compared with the pixel circuit 100a of FIG. 41, the memory 114 is omitted, and the counter 112 is replaced.
  • a dual mode counter 115 is provided.
  • pulses Vpls corresponding to the incident of photons on the photoelectric conversion element 110 are input to the dual mode counter 115. Further, the luminance value code Lc output from the TC generation unit 120 is input to the dual mode counter 115. Since the configuration and operation of the dual mode counter 115 are the same as the configuration and operation of the dual mode counter 115 described with reference to FIGS. 37A to 37C, the description thereof will be omitted here.
  • the dual mode counter 115 switches the operation mode between the count operation mode and the storage operation mode according to the signal WRen_CNT supplied from the threshold value determination unit 113b-3.
  • the storage operation mode includes a writing operation mode and a holding operation mode.
  • the dual mode counter 115 switches the operation mode to the count operation mode, counts the pulses Vpls supplied from the signal processing unit 111a', and displays the photon information PhInfo indicating the count result. Output.
  • the dual mode counter 115 switches the operation mode to the storage operation mode and stores the input luminance value code Lc.
  • the compression processing for the predicted count value Npre described using the equations (5) and (6) and the conversion processing for converting the predicted count value Npre into the correlation value described using the equation (7) It is also applicable to this second embodiment and each modification.
  • the predicted count value Npre in the equations (5), (6) and (7) is read as the predicted luminance value Lpre.
  • the update cycle of the predicted luminance value Lpre is variable. That is, in the example of FIG. 40, the update cycle is shortened on the side close to the start time t 0 of the exposure period Tsh, and the update cycle is lengthened as time elapses from the start time t 0 .
  • the update cycle of the predicted brightness value Lpre is fixed.
  • FIG. 52 is a diagram for schematically explaining the generation of the predicted luminance value Lpre by the luminance value code generation unit 20 according to the fourth modification of the second embodiment.
  • the passage of time an example of the count value in the case of low illuminance, an example of the count value in the case of high illuminance, an example of evenly-spaced time codes Tc, and an example of the predicted luminance value Lpre are shown from the top in FIG. Each is shown.
  • the passage of time an example of the count value in the case of low illuminance, an example of the count value in the case of high illuminance, and an example of the time code Tc at equal intervals are the same as the corresponding parts in FIG. 40 described above. Therefore, the description here will be omitted.
  • the predicted luminance value Lpre is obtained based on the number of photons incident on the photoelectric conversion element 110, and the update cycle for acquiring the predicted luminance value Lpre is variable. Further, the change of the luminance value code Lc indicating the acquired predicted luminance value Lpre is also variable.
  • FIG. 53 is a diagram showing a schematic configuration example of the light receiving device according to the third embodiment.
  • the light receiving device 1c according to the third embodiment includes a pixel 10, a counting unit 11, a brightness value code generating unit 20', and an acquiring unit 13.
  • the pixel 10 includes a photoelectric conversion element that converts light into an electric charge by photoelectric conversion, and a signal processing circuit that reads the electric charge from the photoelectric conversion element and outputs the electric signal.
  • the light receiving device 1c predicts a brightness value according to the number of photons incident on the pixel 10 within the specified exposure period Tsh, and is generated by the brightness value code generation unit 20′ corresponding to the predicted brightness value.
  • the brightness value code Lc is acquired by the acquisition unit 13.
  • the predicted brightness value Lpre changes in inverse proportion to the time Tth at which the number Pn of photons reaches the threshold value Nth (see FIG. 39).
  • the amount of change in the predicted luminance value Lpre per unit time becomes smaller as the time elapses from the start time of the exposure period Tsh.
  • the unit time indicates the resolution with respect to time
  • the amount of change in the predicted luminance value Lpre per unit time indicates the resolution of the predicted luminance value Lpre.
  • FIG. 54 is a diagram showing an example relationship between the resolution of the predicted luminance value Lpre (luminance value resolution) and the time resolution (time resolution) applicable to the third embodiment. From FIG. 54, it can be seen that when the time resolution is constant, the luminance value resolution decreases with the passage of time from the start time of the exposure period Tsh. In other words, when the luminance value resolution is constant, the time resolution becomes lower as time elapses from the start time of the exposure period Tsh. For example, the time resolution may be lower than the time resolution near the start time of the exposure period Tsh as the time elapses from the start time.
  • the time interval at which the brightness value code generation unit 20' generates the brightness value code Lc is changed according to the passage of time from the start time of the exposure period Tsh.
  • the light receiving device 1c controls the change of the luminance value code Lc generated by the luminance value code generation unit 20'according to the passage of time from the start time of the exposure period Tsh.
  • FIG. 55 is a diagram for explaining the generation of the luminance value code Lc in the case of high illuminance and medium illuminance according to the third embodiment.
  • the elapsed time, an example of the count value in the case of medium illuminance, an example of the count value in the case of high illuminance, a time value, and an example of the brightness value code Lc are shown from the top.
  • the time value is a value that is incremented at predetermined time intervals, and is supplied from, for example, a timer.
  • the luminance value code Lc is generated by the luminance code generation unit 20'at intervals according to different update cycles by classifying the illuminance into three stages of, for example, high illuminance, medium illuminance and low illuminance.
  • a high illuminance period, a medium illuminance period, and a low illuminance period are assigned to the exposure period Tsh.
  • the period of high illuminance is from the start time of the exposure period Tsh to a predetermined time
  • the period from the predetermined time to another predetermined time is the period of medium illuminance.
  • the period from the other predetermined period to the end of the exposure period Tsh is defined as the low illuminance period.
  • the luminance value code generation unit 20 ′ generates the luminance value code Lc at intervals according to the highest update cycle for the period of high illuminance among the periods of high illuminance, medium illuminance, and low illuminance. Further, the luminance value code generation unit 20'generates the luminance value code Lc with discontinuous values during the period of high illuminance. For example, the luminance value code generation unit 20'generates the luminance code Lc whose value is gradually reduced from the position closest to the start time of the exposure period Tsh to the position farthest from the start point of the exposure period Tsh in the high illuminance period (FIG. In the example of 55, the values are "28", "22", "17", "13").
  • the predicted luminance value Lpre becomes an extremely large value in a period in which the time Tth is extremely short, and the predicted luminance value Lpre in the period is realistic. Is a value that does not make sense. This means that the luminance value code Lc in the period is unnecessary. Therefore, for example, the brightness value code generation unit 20′ sets the brightness value code Lc having the largest value at the time when a predetermined time has elapsed from the start time of the period in the period of high illuminance, and the period before the time is set. In, the luminance value code Lc may not be set. In the example of FIG.
  • the value code Lc is not set.
  • the brightness value code generation unit 20 generates the brightness value code Lc with continuous values during the period of medium illuminance and low illuminance. For example, the luminance value code generation unit 20′ generates the luminance value code Lc with the value reduced by “1” toward the position farthest from the position closest to the start point of the exposure period Tsh in the period of medium illuminance ( In the example of FIG. 55, the values "11", “10", “9”). A specific example will be described later, but the luminance value code Lc is generated with continuous values even in the low illuminance period as in the medium illuminance period.
  • the period corresponding to each luminance value code Lc is the expected time Tth ev and the luminance value Lx, which are described using the equation (6) and the like in the above second embodiment.
  • the exposure period Tsh is set so that it becomes longer as it goes away from the start point. This can be similarly applied to the periods of high illuminance and low illuminance.
  • the value of each luminance value code Lc is changed stepwise, so that the period corresponding to each luminance value code Lc can have the same length.
  • the counting unit 11 instructs the acquisition unit 13 to write the brightness value code Lc generated by the brightness value code generation unit 20'by the write signal WRen.
  • the value “9” of the brightness value code Lc corresponding to the time Tth_m is acquired by the acquisition unit 13 according to the write signal WRen and written in the memory.
  • the counting unit 11 instructs the acquisition unit 13 to write the brightness value code Lc generated by the brightness value code generation unit 20 ′ by the write signal WRen.
  • the value “13” of the brightness value code Lc corresponding to the time Tth_h is acquired by the acquisition unit 13 according to the write signal WRen and written in the memory.
  • time values corresponding to the time Tth_h for high illuminance and the time Tth_m for medium illuminance are the values “11” and “127”, respectively.
  • FIG. 56 is a diagram for explaining the generation of the luminance value code Lc in the case of low illuminance according to the third embodiment.
  • the passage of time an example of a count value in the case of low illuminance, an example of a time value, and an example of a luminance value code Lc are shown from the upper row.
  • the timing at which the eighth photon Ph (58) is detected is the time Tth_l when the count value exceeds the threshold value Nth.
  • the counting unit 11 instructs the acquisition unit 13 to write the brightness value code Lc generated by the brightness value code generation unit 20'by the write signal WRen.
  • the value “7” of the brightness value code Lc corresponding to the time Tth_l is acquired by the acquisition unit 13 according to the write signal WRen and is written in the memory.
  • the average photon arrival interval Ta is much longer than in the case of high illuminance or medium illuminance described above, and the time at the time when the eighth photon Ph (38) is detected and the counter overflows.
  • the value will be very large.
  • the time value is the value “1234” that requires 11 bits.
  • the number of photons may not reach the threshold value Nth until the end of the exposure period Tsh, and in this case, the time value becomes a larger value counted up to the end of the exposure period Tsh. That is, when the acquisition unit 13 counts time at a constant frequency and the count value is acquired by the acquisition unit 13, the acquisition unit 13 needs to have a memory with a very large bit width in order to handle low illuminance. A large area is required for the memory circuit.
  • the brightness value code Lc based on the predicted brightness value Lpre becomes smaller as the time elapses from the start of the exposure period Tsh. Therefore, even when the brightness value code Lc is acquired at the end of the exposure period Tsh, the acquired brightness value code Lc does not have a large value, and the bit width of the memory can be suppressed. Area can be reduced.
  • the predicted brightness value Lpre predicted during the exposure period Tsh is the time at which the number Pn of photons incident on the photoelectric conversion element 110 reaches the threshold Nth. It can be obtained directly based on Tth.
  • the light receiving device 1c according to the third embodiment can reduce the load of the process of converting the time code Tc into the luminance value as compared with the light receiving device 1a according to the first embodiment. ..
  • the fourth embodiment is applicable to any of the first to third embodiments described above.
  • the fourth embodiment is applied to the light receiving device 1a according to the first embodiment.
  • the light receiving device 1a includes the pixel circuit 100a shown in FIG.
  • the high-light part reaches the threshold value Nth in a short time (time Tth_h), while the low-light part is low-light.
  • time Tth_h a short time
  • the number of photons is counted until the end of the exposure period Tsh. Therefore, if the object largely moves from the time Tth_h when the count value reaches the threshold value Nth in the high illuminance portion to the end point of the exposure period Tsh, a large difference occurs in the measurement result in each part in the object. .. This means that an appropriate measurement result may not be obtained for the object.
  • the counting of the number of photons is executed in a period different from that of the first to third embodiments described above. More specifically, in the first to third embodiments described above, the number of photons was counted based on one exposure period Tsh. On the other hand, in the fourth embodiment, the number of photons is counted based on the divided exposure period Tsh_div in which the exposure period Tsh is divided.
  • Processing such as division of the exposure period Tsh can be executed, for example, according to the control of the vertical control unit 2013a in response to the instruction of the control unit 1003.
  • FIG. 57 is a diagram for explaining the divided exposure of the first example according to the fourth embodiment.
  • the exposure period Tsh is defined as one frame (Flame)
  • the exposure period Tsh is divided into five equal parts
  • each of the divided parts is defined as the divided exposure period Tsh_div.
  • the threshold value determination unit 113a determines the photon information PhInfo based on the threshold value Nth_div which is 1/5 of the threshold value Nth with respect to the exposure period Tsh.
  • the time for the number of incident photons to reach the threshold value Nth_div in the case of medium illuminance is 1/5 of the time Tth_m in the exposure period Tsh, which is the time Tth_m / 5.
  • the time for the number of incident photons to reach the threshold value Nth_div in the case of high illuminance is 1/5 of the time Tth_h in the exposure period Tsh, which is the time Tth_h / 5.
  • the threshold determination unit 113a outputs the write signal WRen(W) at the times Tth_m/5 and Tth_h/5 in each divided exposure period Tsh_div, and writes the time code Tc in the memory 114.
  • the threshold value determination unit 113 a outputs the write signal WRen(W) at the end points Tread 1 , Tread 2 , Tread 3 , Tread 4 and Tread 5 of each divided exposure period Tsh_div and outputs the write signal WRen(W) to the memory 114. Write the time code Tc.
  • the pixel circuit 100a performs exposure five times in the exposure period Tsh with a divided exposure period Tsh_div which is 1/5 of the exposure period Tsh.
  • the time code Tc read from the pixel circuit 100a via the signal line 142 is supplied to the signal processing unit 2013c.
  • the signal processing unit 2013c calculates the predicted count value Npre based on the time code Tc supplied from the pixel circuit 100a.
  • the signal processing unit 2013c, for each divided exposure period time code are read out in Tsh_div Tc 1, Tc 2, Tc 3, Tc 4 and Tc 5, for example, based on the equation (1), the prediction respectively Count values Npre 1 , Npre 2 , Npre 3 , Npre 4 and Npre 5 are calculated.
  • the second example according to the fourth embodiment is an example of determining whether or not to perform the divided exposure according to the illuminance according to the number of photons incident on the photoelectric conversion element 110.
  • FIG. 58 is a diagram for explaining the divided exposure of the second example according to the fourth embodiment.
  • the exposure period Tsh is divided into five equal parts in the same manner as in the first example described with reference to FIG. 57.
  • the pixel circuit 100a acquires the time code Tc according to the number of photons incident in the exposure period Tsh without dividing the exposure period Tsh.
  • the exposure period Tsh when the illuminance is low illuminance, the exposure period Tsh is not divided, and when the illuminance is medium illuminance and high illuminance, the exposure period Tsh is divided into five divided exposure periods Tsh_div.
  • the pixel circuit 100a has a plurality of exposure periods Tsh when the average time interval Ta of the photons incident on the photoelectric conversion element 110 is less than or equal to a predetermined value. It can be said that the time code Tc is acquired for each divided exposure period Tsh_div.
  • FIG. 59 is a block diagram showing a configuration of an example of a pixel circuit applicable to the second example of the fourth embodiment.
  • the write signal WRen output from the threshold value determination unit 113a (c) is supplied to the memory 114 and is input to one input end of the AND circuit 117.
  • the signal READOUT_en is supplied to the other input terminal of the AND circuit 117.
  • the signal line 142 through which the time code Tc is transmitted is connected to the memory 114 via the switch 116.
  • the switch 116 is controlled in the on (closed) and on (open) states according to the output of the AND circuit 117.
  • the write signal WRen indicates a write instruction in the high state. Further, it is assumed that the output from the AND circuit 117 of the switch 116 is controlled to be turned on by "1" (high) and turned off by "0" (low).
  • the signal READOUT_en is supplied from the vertical control unit 2013a, for example, according to an instruction from the control unit 1003 based on the predicted count value Npre by the signal processing unit 2013c (see FIG. 7).
  • control unit 1003 instructs the vertical control unit 2013a to set the signal READOUT_en to the high state by default.
  • the write signal WRen (W) is output from the threshold value determination unit 113a, so that the switch 116 is turned on and the time code Tc supplied from the signal line 142 is written to the memory 114.
  • the control unit 1003 determines that the illuminance is low. Instruct the vertical control unit 2013a to shift READOUT_en to the low state. Then, the control unit 1003 instructs the vertical control unit 2013a to shift the signal READOUT_en from the low state to the high state at the ending point Tread 4 of the divided exposure period Tsh_div 4 , which is the last division point of the exposure period Tsh, for example. Instruct. This makes it possible to write the time code Tc in the case of low illuminance to the memory 114.
  • a third example according to the fourth embodiment is an example in which when the exposure period Tsh is divided into a plurality of divided exposure periods Tsh_div, different lengths of the divided exposure period Tsh_div are included.
  • FIG. 60 is a diagram for explaining the divided exposure of the third example according to the fourth embodiment.
  • FIG At 60 example the exposure period Tsh, the two divided exposure periods Tsh_div300 1 and 300 2 having a T 1 first time, one divided with short second time T 2 than the first time T 1
  • the exposure period is divided into Tsh_div301.
  • each divided exposure period Tsh_div 300 1 , 300 2 and 301 is not particularly limited, but for example, it is considered that the length of each divided exposure period Tsh_div 300 1 and 300 2 is set to be twice the length of divided exposure period Tsh_div 301. ..
  • the number of times the predicted count value Npre for predicting the number of photons is calculated and the number of times the time code Tc is read out from the memory 114 are each three, and for example, each of the times is five times as described above.
  • the number of times of each processing can be reduced with respect to the first example of the form. In this way, when the exposure period Tsh is divided into a plurality of divided exposure periods Tsh_div, by including the divided exposure periods Tsh_div of different lengths, the predicted count value Npre can be calculated and read from the memory 114. It is possible to reduce the power consumption.
  • the fourth example according to the fourth embodiment is an example in which the exposure period Tsh is divided into a plurality of divided exposure periods Tsh_div having the same length, and the value of the threshold Nth in each divided exposure period Tsh_div is made different.
  • FIG. 61 is a diagram for explaining divisional exposure of the fourth example according to the fourth embodiment.
  • the exposure period Tsh are each divided into five division exposure period equal length Tsh_div302 1, 302 2, 302 3 , 302 4 and 302 5. Then, set the threshold value Nth 1 on the divided exposure period Tsh_div302 1, 302 3 and 302 5, the divided exposure period Tsh_div302 2 and 302 4, sets the threshold value Nth 2 threshold Nth 1 smaller value.
  • the time code Tc read from the pixel circuit 100a via the signal line 142 is supplied to the signal processing unit 2013c.
  • the signal processing unit 2013c calculates the predicted count value Npre based on the time code Tc supplied from the pixel circuit 100a.
  • the signal processing unit 2013c uses, for example, the formula (1) for the time codes Tc 11 , Tc 12 , Tc 13 , Tc 14, and Tc 15 read in the divided exposure periods Tsh_div 302 1 to 302 5 , respectively. Based on this, the predicted count values Npre 11 , Npre 12 , Npre 13 , Npre 14 and Npre 15 are calculated, respectively.
  • the predicted count values Npre 11 , Npre 13 and Npre 15 are values calculated based on the determination result by the threshold value Nth 1 .
  • the predicted count values Npre 12 and Npre 14 are values calculated based on the determination result by the threshold value Nth 2 having a value different from the threshold value Nth 1 .
  • a fifth example according to the fourth embodiment is an example in which when the exposure period Tsh is divided into a plurality of divided exposure periods Tsh_div, different lengths of the divided exposure period Tsh_div are included. At this time, in the fifth example according to the fourth embodiment, the length of each divided exposure period Tsh_div is sequentially increased by a predetermined multiple (for example, double) from the start time to the end time of the exposure period Tsh. The exposure period Tsh is divided.
  • FIG. 62 is a diagram for explaining the divided exposure of the fifth example according to the fourth embodiment.
  • the exposure period Tsh is divided into three divided exposure periods Tsh_div303 1 , 303 2 and 303 3 in order from the start time of the exposure period Tsh.
  • the length of the first divided exposure period Tsh_div303 1 is set to time T s
  • the length of the next divided exposure period Tsh_div303 2 is set to time T s ⁇ 2.
  • the method of dividing the exposure period Tsh according to the fifth example according to the fourth embodiment is a method of realizing a high dynamic range (HDR) function that enables a clear image to be obtained in an environment with a large illuminance difference. It can be applied to one, digital overlap.
  • the digital overlap is a technique for expanding a dynamic range by using information of a plurality of frames having different charge accumulation times (exposure times) in the case of imaging.
  • the exposure is performed based on the time code Tc read from the plurality of pixel circuits 100a arranged in a two-dimensional lattice pattern in the pixel array unit 2001 (and the logic array unit 2011).
  • the predicted count value Npre Ts based on the time Ts is calculated.
  • the predicted count value Npre Ts2 based on the exposure time T s ⁇ 2 and the predicted count value Npre Ts4 based on the exposure time T s ⁇ 4 are calculated based on the time code Tc read from the plurality of pixel circuits 100a. To do.
  • By applying the processing by the digital overlap technique to these predicted count values Npre Ts , Npre Ts2 and Npre Ts4 it is possible to expand the dynamic range related to the detection of incident photons.
  • the sixth example according to the fourth embodiment is an example in which the order of the divided exposure periods Tsh_div 303 1 , 303 2, and 303 3 in the fifth example according to the above-described fourth embodiment is changed.
  • FIG. 63 is a diagram for explaining the divided exposure of the sixth example according to the fourth embodiment.
  • each divided exposure period Tsh_div303 1 to 303 3 is arranged in the order of monotonically increasing length from the start time of the exposure period Tsh.
  • the divided exposure periods Tsh_div303 1 to 303 3 are arranged in an order different from the order of monotonically increasing or monotonically decreasing the length. ing. That is, in the example of FIG. 63, three divided exposure periods Tsh_div303 1 to 303 3 having lengths of time T s , time T s ⁇ 2, and time T s ⁇ 4 are divided exposures from the start of the exposure period Tsh, respectively.
  • the period Tsh_div303 2 , the divided exposure period Tsh_div303 1 , and the divided exposure period Tsh_div303 3 are arranged in this order.
  • the lengths are three divided exposure periods Tsh_div303 1 to 303 3 having the lengths of time T s , time T s ⁇ 2, and time T s ⁇ 4, respectively. They are arranged in a different order than the order of monotonous increase or monotonous decrease. Even in this case, the processing by the digital overlap technique can be applied to the predicted count values Npre Ts , Npre Ts2 and Npre Ts4 calculated in the divided exposure periods Tsh_div303 1 to 303 3 . It is possible to expand the dynamic range related to the detection of incident photons.
  • FIG. 64 is a diagram showing a schematic configuration example of the light receiving device according to the fifth embodiment.
  • the light receiving device 1d includes a pixel 10, a counting unit 11, and a time code generating unit 12.
  • the counting unit 11 counts the pulse Vpls output from the pixel 10 when the exposure period Tsh is started.
  • the counting unit 11 switches the target of the coefficient from the pulse Vpls to the time code Tc when the number of counted pulses Vpls reaches the threshold value Nth at time t x, for example.
  • the counting unit 11 outputs the time code number Cnt_Tc(t x ) which is the number of time codes counted from the time t x .
  • the time t x can be obtained from the number of time codes Cnt_Tc (t x ), and the exposure period Tsh is based on the obtained time t x. It is possible to predict the number of photons that will be incident inside.
  • the time code Tc does not have to include a value that changes with time series, and for example, a pulse for each update cycle can be used as the time code Tc.
  • the time code number Cnt_Tc(t x ) is a count value obtained by counting the pulse number.
  • time code Tc will be described as a pulse for each update cycle.
  • the prediction of the number of photons based on the time code number Cnt_Tc(t x ) is performed by a circuit in the subsequent stage, for example, the signal processing unit 2013c (see FIG. 7). Not limited to this, the prediction of the number of photons may be performed inside the light receiving device 1d or outside the light receiving device 1d.
  • FIG. 65 is a block diagram schematically showing an example of the configuration of the counting unit 11 according to the fifth embodiment.
  • the counting unit 11 includes a counter 112, a threshold value determination unit 113c, and a selector 400.
  • the pulse Vpls output from the pixel 10 is input to one input end, and the time code Tc generated by the time code generation unit 12 is simply input to the other input.
  • the selector 400 selects and outputs one of the input pulse Vpls and the time code Tc according to the selection signal SEL output from the threshold value determination unit 113c.
  • the output of the selector 400 is input to the counter 112.
  • the counter 112 counts the number of pulses Vpls or time code Tc input from the selector 400, and outputs the count result as photon information PhInfo.
  • the threshold value determination unit 113c makes a determination based on the threshold value Nth with respect to the photon information PhInfo output from the counter 112. More specifically, the threshold value determination unit 113c determines whether or not the count result included in the photon information PhInfo, that is, the number of pulses Vpls or the time code Tc has reached the threshold value Nth.
  • the values of the threshold value Nth and the time code Tc are set such that the number of counted time codes Tc is less than the threshold value Nth even when the time code Tc is counted from the start to the end of the exposure period Tsh. Is set to. Therefore, the threshold value determination unit 113c determines the threshold value Nth with respect to the number of pulse Vpls in the pulse Vpls or the time code Tc.
  • the threshold judgment unit 113c outputs the selector selection signal SEL and the enable signal EN.
  • the threshold value determination unit 113c determines that the count number has reached the threshold value Nth, the threshold value determination unit 113c shifts the selection signal SEL and the enable signal EN to predetermined states, respectively.
  • the selection signal SEL and the enable signal EN when the count number reaches the threshold value Nth are referred to as the selection signal SEL (Nth) and the enable signal EN (Nth), respectively, and the selection signal SEL and the enable signal EN are designated as the selection signal SEL ( The transition to Nth) and the enable signal EN(Nth) is described as outputting the selection signal SEL(Nth) and the enable signal EN(Nth).
  • the selector 400 selects the time code Tc from the input pulse Vpls and the time code Tc according to the selection signal SEL(Nth). That is, when the count number of the pulse Vpls reaches the threshold value Nth by the threshold value determination unit 113c, the information input from the selector 400 to the counter 112 is switched from the pulse Vpls to the time code Tc.
  • the counter 112 counts the number of input time codes Tc.
  • the pixel 10 stops the operation of the photoelectric conversion element 110 in response to the enable signal EN (Nth).
  • EN the enable signal EN
  • a switch whose opening / closing is controlled by the enable signal EN is inserted on the side of at least one end of the resistor 1101. More specifically, the switch is inserted between the resistor 1101 and the power supply potential VDD, and between the resistor 1101 and the connection point to which the photoelectric conversion element 110 and the inverter 1102 are connected. To do. Not limited to this, the switch may be inserted on the side of at least one end of the photoelectric conversion element 110.
  • the pixel 10 opens this switch according to the enable signal EN(Nth) to stop the application of the voltage of the power supply potential VDD to the photoelectric conversion element 110.
  • the pixel 10 outputs the enable signal EN at the start of the next exposure period Tsh, closes this switch, and starts applying the power supply potential VDD to the photoelectric conversion element 110. This makes it possible to reduce the power consumption of the photoelectric conversion element 110.
  • FIG. 66 is a diagram for explaining the prediction of the number of photons applicable to the fifth embodiment.
  • the horizontal axis indicates the passage of time from the start of the exposure period Tsh.
  • the vertical axis shows the number of photons, that is, the number of pulses Vpls, for the straight lines Ct 1 to Ct 3 , and the change in the time code Tc for the polygonal line Tc.
  • the time code generation unit 120 updates the time code Tc at the update cycle shown in FIG. That is, the exposure period Tsh is set to a length of 128 clocks (0 clock to 127 clocks), and the time code Tc is set with 2 clocks as the update cycle for the period of 32 clocks (0 clock to 31 clocks) from the start of the exposure period Tsh. Update.
  • the time code Tc is used for the next 32 clocks (32 to 63 clocks) with 4 clocks as the update cycle, and for the next 64 clocks (64 to 127 clocks) with 8 clocks as the update cycle. To update.
  • the update cycle is 2 clocks from the start of the exposure period Tsh to time t 10, 4 clocks from time t 10 to t 11 and 8 clocks from time t 11 to the end of exposure period Tsh.
  • the update cycles are 2 clocks from the start of the exposure period Tsh to time t 10, 4 clocks from time t 10 to t 11 and 8 clocks from time t 11 to the end of exposure period Tsh.
  • a straight line Ct 1 indicates that the number of counted photons reaches the threshold value Nth at the time t 1 .
  • the straight line Ct 2 indicates that the number of counted photons reaches the threshold value Nth at the time t 2 after the time t 1 .
  • the number of updates of the time code Tc from the beginning of the exposure period Tsh is known, for update cycle at each time point of the time code Tc is also known, the time t 1 and based from t 2 to the count time code number Cnt_Tc respectively (t 1) and Cnt_Tc (t 2), the inverse operation, it is possible to determine the respective times t 1 and t 2.
  • time t x Tsh- ⁇ Tc_sh (t x )... (13)
  • the time ⁇ Tc_sh(t x ) is calculated based on the number of time codes Cnt_Tc(t x ) counted from the time t x . That is, when the update cycle of the time code Tc is as shown in FIG. 12, the time ⁇ Tc_sh (t x ) is based on the value of the time code number Cnt_Tc (t x ), and the following equations (14) to (16) are used. Is required at. In each equation, ": (colon)" indicates that the description before it is a condition for the number of time codes Cnt_Tc (t x ). Further, [Ck] indicates that the immediately preceding numerical value is the number of clocks.
  • the signal processing unit 2013c performs calculations of the above-mentioned formula based on the number of time code output from the counter 112 Cnt_Tc (t x) (13 ) ⁇ (16), the time t x the number of photons reaches the threshold value Nth Ask for. Then, according to the above equation (1), the predicted count value Npre is obtained by using the time t x as the time Tth of the equation (1).
  • the selection signal SEL(Nth) is not output and the selector 400 is selected.
  • FIG. 67 is a block diagram showing a configuration of an example of a pixel circuit according to a fifth embodiment.
  • the vertical control unit 2013a can apply the same configuration as the vertical control unit 2013a described with reference to FIG. 8, so description thereof will be omitted here.
  • the pixel array unit 2001 includes a plurality of pixel circuits 100e. Note that, in FIG. 67, as in the example of FIG. 8, each pixel circuit 100e included in one line is excerpted from each pixel circuit 100e arranged in a two-dimensional grid pattern in the pixel array unit 2001. ..
  • the pixel circuit 100e includes a photoelectric conversion element 110, a signal processing unit 111a, a selector 400, a counter 112, and a threshold value determination unit 113c.
  • a photoelectric conversion element 110 includes a photoelectric conversion element 110, a signal processing unit 111a, a selector 400, a counter 112, and a threshold value determination unit 113c.
  • the operation of the photoelectric conversion element 110 is controlled according to the enable signal EN output from the threshold value determination unit 113c.
  • the photoelectric conversion element 110 outputs a signal Vph according to the incident of photons, and the signal processing unit 111a shapes the signal Vph output from the photoelectric conversion element 110 and outputs it as pulses Vpls.
  • the pulses Vpls are input to one input end of the selector 400.
  • the time code Tc generated by the time code generation unit 120 is input to the other input end of the selector 400.
  • the selector 400 outputs one of the pulse Vpls input to one input end and the time code Tc input to the other input end according to the selection signal SEL output from the threshold value determination unit 113c.
  • the output of the selector 400 is input to the counter 112.
  • the counter 112 is input with a signal indicating the exposure period Tsh, for example, a signal that is in the high state during the exposure period Tsh and is in the low state during the other period.
  • the counter 112 counts the pulse Vpls or the time code Tc output from the selector 400 during the exposure period Tsh, and outputs the count value (the number of photons or the time code number Cnt_Tc(t x )) as photon information PhInfo.
  • the threshold value determination unit 113c determines the threshold value based on the photon information PhInfo output from the counter 112. Further, the threshold value determination unit 113c outputs the selection signal SEL and the enable signal EN. When the threshold value determination unit 13c determines that the number of photons has reached the threshold value Nth based on the photon information PhInfo, the threshold value determination unit 13c shifts the selection signal SEL to the selection signal SEL (Nth) and changes the enable signal EN to the enable signal EN (Nth). Make a transition.
  • the threshold value determination unit 113c outputs a count value (for example, the number of time codes Cnt_Tc (t x )) supplied from the counter 112 at the end of the exposure period Tsh, and supplies the count value to, for example, the signal processing unit 2013c.
  • a count value for example, the number of time codes Cnt_Tc (t x )
  • FIG. 68 is a block diagram showing a configuration of an example of the counter 112 and the threshold value determination unit 113c applicable to the fifth embodiment.
  • the counter 112 the counter 112b capable of outputting a bit string, which has been described with reference to FIG. 17, is applied. Since the basic counting operation of the counter 112b is the same as that of the counter 112b described with reference to FIG. 17, the description thereof will be omitted here.
  • the photon information PhInfo output from the counter 112 is input to the threshold value determination unit 113c.
  • the threshold value determination unit 113c includes the comparison circuit 1131'and outputs the selection signal SEL and the enable signal EN.
  • the comparison circuit 1131′ compares the photon information PhInfo with the threshold value Nth, and when the value indicated by the photon information PhInfo and the threshold value Nth match, the selection signal SEL and the enable signal EN are respectively selected signal SEL(Nth). And transition to the state of the enable signal EN (Nth).
  • the switch 401 included in the threshold determination unit 113c has one end connected to an input path through which the bit string is input from the counter 112, and the other end connected to the outside (for example, a vertical signal line).
  • the vertical signal line is a signal line connected to each pixel circuit 100e arranged in the column direction among the pixel circuits 100e arranged in a two-dimensional grid in the pixel array unit 2001, and is, for example, horizontal. It is connected to the signal processing unit 2013c via the control unit 2013b.
  • the opening and closing of the switch 401 is controlled by a signal indicating the exposure period Tsh.
  • the switch 401 is controlled to the open state within the exposure period Tsh by the signal, and is controlled from the open state to the closed state at the timing when the exposure period Tsh ends.
  • the count value for example, the number of time codes Cnt_Tc (t x )
  • the threshold value determination unit 113c is output from the threshold value determination unit 113c to the outside.
  • the light receiving device 1d switches the counting target from the number of photons to the time code Tc when the number of counted photons reaches the threshold value Nth. Then, the predicted count value Npre is obtained based on the number of time codes Cnt_Tc (t x ) at the end of the exposure period Tsh. Therefore, the memory for storing the time code Tc can be omitted.
  • the light receiving device 1d obtains the time t x when the number of photons reaches the threshold value Nth based on the time code number Cnt_Tc (t x ) output from the threshold value determination unit 113c. Therefore, the time code number Cnt_Tc (t x ) is time information indicating the time when the number of photons reaches the threshold value Nth and reaches the time t x , and the threshold value determination unit 113c functions as an acquisition unit for acquiring the time information. To do.
  • the first modification of the fifth embodiment is an example in which the selector 400 of the fifth embodiment is provided with a 1-bit counter at one input end to which the pulse Vpls are input.
  • the counting unit 11 according to the first modification of the fifth embodiment will be described with reference to FIGS. 69A and 69B.
  • FIG. 69A is a block diagram schematically showing an example of the configuration of the counting unit 11 according to the first modified example of the fifth embodiment.
  • a 1-bit counter 402 (denoted as 1b counter 402 in the drawing) is inserted between the pixel 10 and one input end of the selector 400 in the configuration of FIG.
  • the pulse Vpls output from the pixel 10 is input to the 1-bit counter 402, and the output of the 1-bit counter 402 is input to one input end of the selector 400.
  • the time code Tc is input to the other input end of the selector 400.
  • FIG. 69B is a sequence diagram showing an operation example of the 1-bit counter applicable to the first modification of the fifth embodiment.
  • the output of the 1-bit counter 402 (denoted as 1b counter output in the figure) transitions between the high state and the low state at each rising edge of the pulse Vpls. That is, the 1-bit counter 402 counts 1 every 2 pulses of the pulse Vpls.
  • the output of the 1-bit counter 402 shows an even count value in the same state as the initial state and an odd count value in the state inverted with respect to the initial state. Therefore, the resolution of the count value of the pulse Vpls is the same as that in the case where the 1-bit counter 402 is not used.
  • Such a 1-bit counter 402 can be configured using, for example, a flip-flop circuit.
  • the counting operation of the pulse Vpls by the counter 112 is halved as compared with the case where the 1-bit counter 402 is not used. It is possible to reduce the power consumption of the counter 112. Further, the use of the 1-bit counter 402 does not reduce the resolution.
  • the prediction method according to the fifth embodiment described with reference to FIG. 66 can be applied to the prediction of the number of photons in the first modified example of the fifth embodiment, and thus the description thereof is omitted here. ..
  • the counter 112 counts the combined pulse SynPls, which is a combination of the pulse Vpls output from the pixel 10 and the time code Tc supplied from the time code generation unit 120.
  • the time code Tc will be described as being a pulse for each update cycle. Since the number of time code Tc and the update cycle in the exposure period Tsh are known, the count period is obtained by subtracting the number of time code Tc included in the count period from the count value obtained by the counter 112 counting the synthetic pulse SynPls. It is possible to obtain the number of pulses Vpls within.
  • FIG. 70 is a block diagram schematically showing an example of the configuration of the counting unit 11 according to the second modification of the fifth embodiment.
  • the counting unit 11 includes a synthesis unit 410, a counter 112, and a threshold value determination unit 113d.
  • the counting unit 11 according to the second modification of the fifth embodiment does not include the selector 400, unlike the first modification of the fifth embodiment and the fifth embodiment described above.
  • the threshold value determination unit 113d is supplied with a clock Ck based on the reference clock, and when the count value counted by the counter 112 reaches the threshold value Nth.
  • the enable signal EN(Nth) is output.
  • the threshold value determination unit 113d outputs information indicating the time t x when the count value reaches the threshold value Nth.
  • the information indicating the time t x can be expressed in units of, for example, a clock Ck based on the reference clock.
  • the pulse Vpls output from the pixel 10 and the time code Tc generated by the time code generation unit 120 are input to the synthesis unit 410.
  • the synthesis unit 410 synthesizes these pulse Vpls and the time code Tc, and outputs the synthesis pulse SynPls.
  • the counter 112 counts this composite pulse SynPls and outputs the counted composite pulse number CntSp as photon information PhInfo.
  • the threshold determination unit 113d determines whether the photon information PhInfo, that is, the combined pulse number CntSp has reached the threshold Nth. When the threshold value determination unit 113d determines that the combined pulse number CntSp has reached the threshold value Nth, the threshold value determination unit 113d outputs an enable signal EN (Nth) to stop the operation of the photoelectric conversion element 110. Further, the threshold value determination unit 113d outputs information indicating the time t x when the combined pulse number CntSp reaches the threshold value Nth. The information indicating the time t x is supplied from the threshold value determination unit 113d to, for example, the signal processing unit 2013c.
  • the pulse Vpls are input to the synthesis unit 410 via the 1-bit counter 402 described in the first modification of the fifth embodiment. It may be configured as follows.
  • FIG. 71 is a diagram for explaining the prediction of the number of photons applicable to the second modification of the fifth embodiment. Since the meaning of each part in FIG. 71 is the same as that in FIG. 66 described above, the description thereof will be omitted here.
  • the straight line Ct 4 indicates the combined pulse number CntSp(t 4 ) that achieved the threshold value Nth at the time t 4 .
  • the combined pulse number CntSp (t 4 ) includes the time code number CntTc (t 4 ) up to the time t 4 in addition to the pulse number CntVpls (t x ) which is the number of pulse Vpls. Therefore, in order to correctly predict the number of photons, as shown by an arrow in FIG. 71, the number of combined pulses CntSp (t 4 ), that is, the number of time codes CntTc (t 4 ) is subtracted from the threshold value Nth. It is necessary to obtain the number of pulses CntVpls (t x ).
  • the value Nth' which is obtained by subtracting the time code number CntTc (t x ) from the combined pulse number CntSp (t x ) that achieved this threshold value Nth, is obtained according to the following equation (17). It is used as the threshold Nth in Expression (1). Further, the time t x is used as the time Tth in the equation (1). Thereby, the predicted count value Npre is obtained.
  • the number of time codes CntTc(t x ) at time t x can be calculated by the following equations (18) to (20).
  • the update cycle of the time code Tc is shown in FIG. 12, and the time t x is the clock (Ck) from the start of the exposure period Tsh. ) Units shall be measured.
  • Cnt (t x) is information indicating the time t x, the count number of the clock Ck at time t x.
  • the decimal point is truncated.
  • the signal processing unit 2013c calculates the time code number CntTc (t x ) by the above equations (18) to (20) based on the time t x supplied from the threshold value determination unit 113d.
  • the signal processing unit 2013c further subtracts the time code number CntTc (t x ) calculated in this way from the threshold value Nth as shown in the following equation (21) to obtain the value Nth'.
  • Nth' Nth-CntTc (t x )... (21)
  • the signal processing unit 2013c applies the value Nth′ obtained by the equation (21) to the above equation (17) to obtain the predicted count value.
  • the synthesis unit 410 according to the second modification of the fifth embodiment can be configured by using a logic circuit.
  • the pixel 10 outputs pulses Vpls by either a positive pulse or a negative pulse depending on the connection method of the photoelectric conversion element 110 included in the pixel 10.
  • 72A and 72B are diagrams for explaining a connection method of the photoelectric conversion element 110 that outputs pulses Vpls as negative pulses and positive pulses.
  • FIGS. 72A and 72B attention is paid to the connection between the photoelectric conversion element 110 and the resistor 1101 for the quenching operation, and the description of the signal processing unit 111a is omitted.
  • FIG. 72A is a diagram corresponding to FIG. 9 described above, and shows an example of a connection method of the photoelectric conversion element 110 that outputs pulses Vpls as negative pulses.
  • the cathode of the photoelectric conversion element 110 is connected to the power supply potential VDD via the resistor 1101, and the anode is connected to the potential GND (1) which is, for example, the ground potential.
  • the pulse Vpls as a negative pulse in which the pulse portion is in the low state and the non-pulse portion is in the high state is output.
  • FIG. 72B shows an example of the connection method of the photoelectric conversion element 110 that outputs the pulse Vpls as a positive pulse.
  • the photoelectric conversion element 110 has a cathode connected to the power supply potential VDD and an anode connected to the potential GND(1) that is, for example, the ground potential via the resistor 1101.
  • the pulse Vpls as a positive pulse whose pulse portion is in the high state and whose non-pulse portion is in the low state is output.
  • the time code Tc is generated by the time code generation unit 120 outside the pixel 10. Therefore, it is possible to select whether to generate the time code Tc by a positive pulse or a negative pulse by designing the time code generation unit 120.
  • 73A and 73B are diagrams for explaining a first example of the configuration of the synthesis unit 410 applicable to the second modification of the fifth embodiment.
  • the symbol (+) given to each signal indicates that the signal is a signal by a positive pulse
  • the symbol (-) indicates the signal. Indicates that the signal is due to a negative pulse.
  • the combining unit 410a is configured by using an AND circuit 4100.
  • the time code Tc( ⁇ ) based on the negative pulse is input to one input terminal of the AND circuit 4100, and the pulse Vpls( ⁇ ) based on the negative pulse is input to the other input terminal.
  • the AND circuit 4100 outputs a synthetic pulse SynPls ( ⁇ ) in which the period in which the non-pulse portion coincides with the time code Tc ( ⁇ ) and the pulse Vpls ( ⁇ ) is a negative pulse.
  • the counter 112 counts this negative pulse.
  • FIG. 74A and 74B are diagrams for explaining a second example of the configuration of the synthesis unit 410 applicable to the second modification of the fifth embodiment.
  • the combining unit 410b according to the second example is configured using an XNOR (eXclusive NOR) circuit 4101.
  • FIG. 74B shows a truth table of the XNOR circuit 4101.
  • the XNOR circuit 4101 sets the output Output to “1” when the input values of the two inputs Input A and Input B match, and when the input values of Input A and Input B do not match. , Output Output becomes “0”.
  • the time code Tc ( ⁇ ) is input to one of the inputs Input A and Input B of the XNOR circuit 4101, and the pulse Vpls ( ⁇ ) is input to the other.
  • the synthesis unit 410b obtains a synthesis pulse SynPls ( ⁇ ) due to a negative pulse, which is substantially the same as the synthesis unit 410a using the AND circuit 4100 according to the first example described with reference to FIGS. 73A and 73B. Can be done.
  • composition of combining section 75A and 75B are diagrams for explaining a third example of the configuration of the synthesis unit 410 applicable to the second modification of the fifth embodiment.
  • the synthesizer 410c according to the third example is configured using the NAND circuit 4102.
  • a time code Tc ( ⁇ ) due to a negative pulse is input to one input end of the NAND circuit 4102, and a pulse Vpls ( ⁇ ) due to a negative pulse is input to the other input end.
  • Tc ( ⁇ ) due to a negative pulse is input to one input end of the NAND circuit 4102
  • Vpls ( ⁇ ) due to a negative pulse
  • the NAND circuit 4102 outputs a combined pulse SynPls (+) in which the period in which the non-pulse portion and the pulse portion overlap with the time code Tc (-) and the pulse Vpls (-) is a positive pulse. To do. The counter 112 counts this positive pulse.
  • FIG. 76A and 76B are diagrams for explaining a fourth example of the configuration of the synthesis unit 410 applicable to the second modification of the fifth embodiment.
  • the combining unit 410d according to the fourth example is configured using an XOR (eXclusive OR) circuit 4103.
  • FIG. 76B shows a truth table of the XOR circuit 4103.
  • the XOR circuit 4103 sets the output Output to “0” when the input values of the two inputs Input A and Input B match, and when the input values of Input A and Input B do not match. , Output becomes “1”.
  • the time code Tc ( ⁇ ) is input to one of the inputs Input A and Input B of the XOR circuit 4103, and the pulse Vpls ( ⁇ ) is input to the other.
  • the synthesis unit 410d obtains a synthesis pulse SynPls (+) by a positive pulse, which is substantially the same as the synthesis unit 410c using the NAND circuit 4102 according to the third example described with reference to FIGS. 75A and 75B. Can be done.
  • 77A and 77B are diagrams for explaining a fifth example of the configuration of the synthesis unit 410 applicable to the second modification of the fifth embodiment.
  • the synthesizer 410e according to the fifth example is configured using the OR circuit 4104.
  • a positive pulse time code Tc (+) is input to one input end of the OR circuit 4104, and a positive pulse pulse Vpls (+) is input to the other input end.
  • the OR circuit 4104 outputs a combined pulse SynPls (+) in which at least one of the time code Tc (+) and the pulse Vpls (+) is a positive pulse for a period of being a positive pulse.
  • the counter 112 counts this positive pulse.
  • FIG. 78 is a diagram for explaining the sixth example of the configuration of the combining unit 410 applicable to the second modification example of the fifth embodiment.
  • the synthesis unit 410f according to the sixth example is configured by using the XOR circuit 4103.
  • the time code Tc (+) is input to one of the inputs Input A and Input B of the XOR circuit 4103, and the pulse Vpls (+) is input to the other.
  • the synthesis unit 410f obtains a synthesis pulse SynPls (+) by a positive pulse, which is substantially the same as the synthesis unit 410e using the OR circuit 4104 according to the fifth example described with reference to FIGS. 77A and 77B. Can be done.
  • FIGS. 79A and 79B are diagrams for explaining a seventh example of the configuration of the synthesis unit 410 applicable to the second modification of the fifth embodiment.
  • the synthesis unit 410g according to the seventh example is configured by using the NOR circuit 4105.
  • the time code Tc (+) by the positive pulse is input to one input end of the NOR circuit 4105, and the pulse Vpls (+) by the positive pulse is input to the other input end.
  • the NOR circuit 4105 outputs a combined pulse SynPls ( ⁇ ) in which at least one of the time code Tc (+) and the pulse Vpls (+) is a positive pulse and is a negative pulse.
  • the counter 112 counts this negative pulse.
  • FIG. 80 is a diagram for explaining the eighth example of the configuration of the combining unit 410 applicable to the second modification example of the fifth embodiment.
  • the synthesis unit 410h according to the eighth example is configured by using the XNOR circuit 4101.
  • the time code Tc (+) is input to one of the inputs Input A and Input B of the XNOR circuit 4101, and the pulse Vpls (+) is input to the other.
  • the synthesis unit 410h obtains a synthesis pulse SynPls (-) by a negative pulse, which is substantially the same as the synthesis unit 410g according to the seventh example using the NOR circuit 4105 described with reference to FIGS. 79A and 79B. Can be done.
  • the predicted count value is obtained based on the synthetic pulse SynPls in which the time code Tc and the pulse Vpls are combined by the synthesis unit 410 composed of the logic circuit. Therefore, the counting unit 11 according to the second modification of the fifth embodiment omits the selector 400 included in the counting unit 11 in the above-described fifth embodiment and the first modification of the fifth embodiment. It is possible to reduce the circuit area.
  • the sixth embodiment is an example in which the light receiving devices 1a to 1d according to the first to fourth embodiments described above are applied to a device (distance measuring device) for measuring a distance.
  • FIG. 81 is a block diagram showing the configuration of an example of the distance measuring device according to the sixth embodiment.
  • distance measuring apparatus 3000 includes an optical pulse transmitter 3010, an optical pulse receiver 3011, and an RS flip-flop 3012.
  • the ToF type sensor measures the time required for the object 3020 to be irradiated with light emitted from a position close to the ToF type sensor and to be reflected by the object 3020 and returned to the object. Measure the distance to 3020.
  • FIG. 82 is a timing chart showing the operation timing of an example of the ToF type sensor applicable to the sixth embodiment. The operation of the ranging device 3000 will be described with reference to FIG. 82.
  • the optical pulse transmitter 3010 emits light based on the supplied trigger pulse (optical transmission pulse).
  • the optical pulse receiver 3011 receives the reflected light that is emitted from the object 3020 and is reflected by the object 3020.
  • Any of the above-described light receiving devices 1a, 1b, and 1c can be applied as the optical pulse receiver 3011.
  • the description will be made assuming that the light receiving device 1a is applied as the optical pulse receiver 3011.
  • the difference between the time when the transmitted light pulse is emitted and the time when the received light pulse is received corresponds to the time corresponding to the distance to the object, that is, the light flight time ToF.
  • the trigger pulse is supplied to the optical pulse transmitter 3010 and the RS flip-flop 3012.
  • the optical pulse is transmitted for a short time. Further, the RS flip-flop 3012 is reset by the trigger pulse.
  • the RS flip-flop 3012 is reset by, for example, pulses Vpls based on the generated photons.
  • the RS flip-flop 3012 can generate a gate signal having a pulse width corresponding to the optical flight time ToF.
  • the optical flight time ToF can be calculated by counting the generated gate signal using a clock signal or the like.
  • the calculated optical flight time ToF is output from the distance measuring device 300 as a digital signal of distance information indicating the distance.
  • FIG. 83 is a diagram showing a usage example in which the light receiving devices 1a, 1b, and 1c according to the above-mentioned first to fourth embodiments and their respective modifications according to the seventh embodiment are used.
  • the light receiving devices 1a, 1b, and 1c described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as described below.
  • -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
  • ⁇ In-vehicle sensors that take images of the front, rear, surroundings, and inside of the vehicle, such as automatic driving, safety driving, and recognition of the driver's condition; surveillance cameras that monitor traveling vehicles and roads; A device used for traffic, such as a distance measurement sensor for distance measurement.
  • a device used for home appliances such as TVs, refrigerators, and air conditioners in order to photograph a user's gesture and operate the device according to the gesture.
  • -A device used for medical care or healthcare such as an endoscope or a device for taking an angiogram by receiving infrared light.
  • -Devices used for security such as surveillance cameras for crime prevention and cameras for person authentication.
  • -A device used for beauty such as a skin measuring device that photographs the skin and a microscope that photographs the scalp.
  • -Devices used for sports such as action cameras and wearable cameras for sports applications.
  • -A device used for agriculture such as a camera for monitoring the condition of fields and crops.
  • FIG. 84 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010, body system control unit 12020, vehicle exterior information detection unit 12030, vehicle interior information detection unit 12040, and integrated control unit 12050.
  • integrated control unit 12050 As the functional configuration of the integrated control unit 12050, a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are shown.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the vehicle exterior information detection unit 12030 for example, performs image processing on the received image, and performs object detection processing and distance detection processing based on the result of the image processing.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including avoidance or impact mitigation of vehicle, follow-up traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passengers of the vehicle or outside the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 85 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, and 12105 as the image pickup unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image capturing units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the front images acquired by the image capturing units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 85 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown.
  • a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). It is possible to extract the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in a substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), as a preceding vehicle. it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 identifies an obstacle around the vehicle 12100 into an obstacle visible to the driver of the vehicle 12100 and an obstacle difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured images of the imaging units 12101 to 12104. To recognize such a pedestrian, for example, a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as infrared cameras, and a pattern matching process on a series of feature points indicating the contour of an object are performed to determine whether the pedestrian is a pedestrian. Is performed by the procedure for determining.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the light receiving devices 1a to 1c according to the above-described first to fourth embodiments of the present disclosure and each modification can be applied to the imaging unit 12031.
  • a counting unit that counts the number of detections, which is the number of times a photon is detected on the light receiving element within the exposure period, and outputs a counting value.
  • a setting unit for setting a cycle for updating time information according to the elapsed time in the exposure period An acquisition unit that acquires the time information indicating the time when the count value reaches the threshold value before the exposure period elapses.
  • a light receiving device including.
  • the setting unit The light receiving device according to (1) or (2) above, which outputs a code that changes according to the cycle as the time information.
  • the acquisition unit is When the count value reaches the threshold value, the time information is acquired, The light receiving device according to any one of (1) to (3).
  • the acquisition unit is Based on the time from the time when the count value reaches the threshold value to the time when the exposure period ends, the time information indicating the time when the count value reaches the threshold value is acquired.
  • the light receiving device according to any one of (1) to (3) above.
  • the counting unit From the time when the count value reaches the threshold value to the time when the exposure time ends, the number of updates, which is the number of times the time information is updated, is counted.
  • the acquisition unit is Based on the number of updates, the time information indicating the time when the count value reaches the threshold value is acquired.
  • the light receiving device according to (5) above.
  • the counting unit The number of updates, which is the number of times the time information is updated, and the number of detections, and outputs a combined count value obtained by counting the number of times the combining unit combines the values.
  • the acquisition unit is Based on the time when the synthetic count value reaches the threshold value, the number of updates is subtracted from the synthetic count value to obtain the number of detections in the time.
  • the light receiving device according to (5) above.
  • the counting unit The count value is output based on the value counted by the counter that counts each of a plurality of pulse inputs input to one input end.
  • the light receiving device according to any one of (5) to (7) above.
  • the synthesis part The number of updates and the number of detections are combined using a logic circuit.
  • the light receiving device according to (7) above.
  • the counting unit The count is performed for each divided exposure period in which the exposure period is divided.
  • the acquisition unit is Any of (1) to (9) above, wherein when the count value reaches the threshold value in each of the divided exposure periods, each time when the count value reaches the threshold value is acquired as the time information for each divided exposure period
  • the light receiving device as described in 1.
  • the counting unit The light receiving device according to (10) or (11), wherein the counting is performed for each divided exposure period when the average time interval at which the photons are incident on the light receiving element is not more than a predetermined time.
  • the acquisition unit is The light receiving device according to any one of (10) to (12), wherein the time information is acquired using the threshold values that are different in at least two of the divided exposure periods.
  • the acquisition unit is The light receiving device according to any one of (1) to (13), wherein when the count value reaches the threshold value before the exposure period elapses, the detection operation by the light receiving element is stopped.
  • the counting unit The light receiving device according to any one of (1) to (4), which includes a function of acquiring the time information by the acquisition unit, and switches and executes the counting function and the acquisition function.
  • the light receiving elements are arranged in a two-dimensional grid pattern.
  • the setting unit The light receiving device according to any one of (1) to (15), which is provided for each of the light receiving elements arranged in the two-dimensional lattice.
  • the light receiving elements are arranged in a two-dimensional grid pattern.
  • the setting unit The light receiving device according to any one of (1) to (15), which is provided for each group including a plurality of the light receiving elements in the two-dimensional lattice-shaped arrangement.
  • the setting unit The light-receiving device according to (17), which is provided for each of the groups in row units of the array.
  • the setting unit The light receiving device according to (17), which is provided for each group including a plurality of rows of the array.
  • the setting unit The light-receiving device according to (17), wherein the light-receiving device is provided for each of the groups according to a region divided into a plurality of lines in the row direction of the array.
  • the light receiving element is provided with a color filter.
  • the setting unit The light-receiving device according to (17), which is provided for each group including the light-receiving element provided with the color filter of the same color.
  • the setting unit The light-receiving device according to (17), which is provided for the group including all the light-receiving elements arranged in the two-dimensional lattice.
  • the light receiving device according to any one of (1) to (21), wherein the light receiving element is a single photon avalanche diode.
  • the counting unit Each has multiple counters that count each bit A light receiving device according to any one of (1) to (22), wherein each counter that counts each bit of a predetermined bit or more among the plurality of counters is shared by the plurality of light receiving elements.
  • At least the counting unit is arranged on the second substrate.
  • the counting unit The light receiving device according to (23), wherein each counter that counts each bit less than a predetermined bit among the plurality of counters is arranged at a position corresponding to the light receiving element on the second substrate.
  • the setting unit The light receiving device according to any one of (1) to (4) above, wherein the time information is expressed by using a Gray code.
  • a counting unit that counts the number of times a photon is detected on a light receiving element within the exposure period and outputs a counting value.
  • the brightness value update unit that updates the brightness value and When the count value reaches the threshold value before the exposure period elapses, the acquisition unit that acquires the brightness value corresponding to the arrival time at which the threshold value is reached, and the acquisition unit.
  • the brightness value updating unit The brightness value is updated every cycle, and the brightness value is updated at the shortest cycle within the exposure period at that time, starting when a predetermined time has elapsed from the start of the exposure period.
  • the light receiving device according to. (30) The counting unit, The count is performed for each divided exposure period obtained by dividing the exposure period, The acquisition unit is When the count value reaches the threshold value in each of the divided exposure periods, each of the brightness values corresponding to the arrival time in each of the divided exposure periods is acquired as the time information for each of the divided exposure periods.
  • the light receiving device according to any one of (26) to (29).
  • the counting unit The light receiving device according to (30), wherein the counting is performed for each of the divided exposure periods in which the exposure period is divided into periods having different lengths.
  • the counting unit The light receiving device according to (30), wherein the counting is performed for each divided exposure period when the average time interval at which the photons are incident on the light receiving element is not more than a predetermined time.
  • the acquisition unit is The light receiving device according to any one of (30) to (32), wherein the time information is acquired using the threshold values that are different in at least two of the divided exposure periods.
  • the acquisition unit is The light receiving device according to any one of (26) to (33), wherein when the count value reaches the threshold value before the exposure period elapses, the detection operation by the light receiving element is stopped.
  • the counting unit The light receiving device according to any one of (26) to (34), which includes a function of acquiring the luminance value by the acquisition unit, and switches between the counting function and the acquiring function.
  • the light receiving elements are arranged in a two-dimensional grid pattern.
  • the brightness value updating unit The light receiving device according to any one of (26) to (35), which is provided for each of the light receiving elements arranged in the two-dimensional lattice.
  • the light receiving elements are arranged in a two-dimensional grid pattern.
  • the brightness value updating unit The light receiving device according to any one of (26) to (35), which is provided for each group including a plurality of the light receiving elements in the two-dimensional lattice-shaped arrangement.
  • the brightness value updating unit The light-receiving device according to (37), which is provided for each of the groups in row units of the array.
  • the brightness value updating unit The light receiving device according to (37), which is provided for each group including a plurality of rows of the array.
  • the brightness value update unit The light-receiving device according to (37), wherein the light-receiving device is provided for each of the groups by a plurality of regions divided in the row direction of the array.
  • the light receiving element is provided with a color filter.
  • the brightness value update unit The light-receiving device according to (37), which is provided for each group including the light-receiving element provided with the color filter of the same color.
  • the brightness value update unit The light-receiving device according to (37), which is provided for the group including all the light-receiving elements arranged in the two-dimensional lattice. (43) The light-receiving device according to any one of (26) to (42), wherein the light-receiving element is a single-photon avalanche diode. (44) The counting unit Each has multiple counters that count each bit A light receiving device according to any one of (26) to (43), wherein each counter that counts each bit of a predetermined bit or more among the plurality of counters is shared by the plurality of light receiving elements.
  • the counting unit The light receiving device according to (44), wherein each counter that counts each bit less than a predetermined bit among the plurality of counters is arranged at a position corresponding to the light receiving element on the second substrate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Light Receiving Elements (AREA)

Abstract

受光装置（１ａ）は、計数部（１１）と、設定部（１２）と、取得部（１３）と、を備える。計数部は、露光期間内で受光素子への光子の入射を検知した回数である検知回数を計数して計数値を出力する。設定部は、時間情報を更新する周期を露光期間における経過時間に応じて設定する。取得部は、露光期間が経過する前に計数値が閾値に到達した時間を示す時間情報を取得する。

Description

受光装置
　本発明は、受光装置に関する。
　光電変換素子に入射したフォトンのカウントを行うフォトン計測センサが知られている。また、フォトン計測センサにおいて、入射したフォトン毎にカウントを行う構成が知られている。このようなフォトン計測センサのダイナミックレンジを拡大する手法として、カウント数が閾値に達した時間を用いて輝度値を換算する手法が効果的であり、時間情報を利用した輝度値予測が提案されている。
米国特許出願公開第２０１２／００５７０５９号明細書 米国特許出願公開第２０１５／０１６３４２９号明細書
　しかしながら、フォトンのカウント数が閾値に達した時間に基づき予測を行う方法では、暗時における計測を可能とするためにシャッタ時間を長く取る必要がある。そのため、時間情報を保存するためのメモリのビット数が増加し、それに伴い回路面積が増大してしまう。
　本開示は、フォトン計測を行う際のビット数の削減が可能な受光装置を提供することを目的とする。
　本開示に係る受光装置は、露光期間内で受光素子への光子の入射を検知した回数である検知回数を計数して計数値を出力する計数部と、時間情報を更新する周期を露光期間における経過時間に応じて設定する設定部と、露光期間が経過する前に計数値が閾値に到達した時間を示す時間情報を取得する取得部と、を備える。
第１の実施形態に係る受光装置の概略的な構成例を示す図である。 第１の実施形態に適用可能な、フォトン数の予測について説明するための図である。 第１の実施形態に適用可能な、フォトン数の予測について説明するための図である。 第１の実施形態に係るタイムコード生成部によるタイムコードＴｃの生成を概略的に説明するための図である。 第１の実施形態に係る受光装置が適用された電子機器の一例の構成を概略的に示すブロック図である。 第１の実施形態に係る受光装置に適用可能なデバイスの構成の例を示す模式図である。 第１の実施形態に適用可能な受光チップの一例の構成を示す平面図である。 第１の実施形態に適用可能なロジックチップの一例の構成を示すブロック図である。 第１の実施形態に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態に適用可能な信号処理部の一例の構成を示す図である。 第１の実施形態に適用可能な、ＳＰＡＤとしての光電変換素子の構成の例を示す図である。 第１の実施形態に適用可能な、フォトダイオードとしての光電変換素子の構成の例を示す図である。 第１の実施形態に係るＴＣ生成部の一例の構成を示すブロック図である。 第１の実施形態に係るＴＣ生成部の動作を説明するための一例のタイミングチャートである。 第１の実施形態に係る、時間カウンタを駆動する周波数を可変とした場合のＴＣ生成部の動作を説明するための一例のタイミングチャートである。 第１の実施形態に適用可能な、単純増加あるいは単純減少以外の値の例としてグレイコードをタイムコードＴｃに適用した例を示すタイミングチャートである。 第１の実施形態に適用可能な、ＰＬＬを用いてタイムコードＴｃを生成する構成の例を示すブロック図である。 第１の実施形態に適用可能な第１の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第１の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第２の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第３の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第４の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第４の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第５の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第６の例のカウンタの一例の構成を示す図である。 第１の実施形態に適用可能な第７の例のカウンタの一例の構成を示す図である。 第１の実施形態に適用可能なカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第８の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第９の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第１０の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に係る第１の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第２の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第３の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第３の配置例を画素アレイ部に注目して示す図である。 第１の実施形態に係る第４の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第５の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第６の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態の第１の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態の第２の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態の第３の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタの動作を説明するための図である。 第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタの動作を説明するための図である。 第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタの動作を説明するための図である。 第２の実施形態に係る受光装置の概略的な構成例を示す図である。 第２の実施形態に係る、フォトン数Ｐｎが閾値Ｎｔｈを達成する時間Ｔｔｈと、予測輝度値Ｌｐｒｅとの一例の関係を示す図である。 第２の実施形態に係る輝度値コード生成部による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。 第２の実施形態に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態に適用可能なＬＣ生成部の一例の構成を示すブロック図である。 第２の実施形態に係る第１の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第２の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第３の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第４の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第５の配置例に係る、ＬＣ生成部と、それぞれＲ、ＧおよびＢのカラーフィルタが設けられた光電変換素子を含む画素回路と、の配置例を示す図である。 第２の実施形態に係る第６の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態の第１の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態の第２の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態の第３の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態の第４の変形例に係る輝度値コード生成部による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。 第３の実施形態に係る受光装置の概略的な構成例を示す図である。 第３の実施形態に適用可能な輝度値分解能と時間分解能との一例の関係を示す図である。 第３の実施形態に係る、高照度および中照度の場合の輝度値コードＬｃ生成について説明するための図である。 第３の実施形態に係る、低照度の場合の輝度値コードＬｃ生成について説明するための図である。 第４の実施形態に係る第１の例の分割露光を説明するための図である。 第４の実施形態に係る第２の例の分割露光を説明するための図である。 第４の実施形態の第２の例に適用可能な画素回路の一例の構成を示すブロック図である。 第４の実施形態に係る第３の例の分割露光を説明するための図である。 第４の実施形態に係る第４の例の分割露光を説明するための図である。 第４の実施形態に係る第５の例の分割露光を説明するための図である。 第４の実施形態に係る第６の例の分割露光を説明するための図である。 第５の実施形態に係る受光装置の概略的な構成例を示す図である。 第５の実施形態に係る計数部の構成の例を概略的に示すブロック図である。 第５の実施形態に適用可能な、フォトン数の予測について説明するための図である。 第５の実施形態に係る画素回路の一例の構成を示すブロック図である。 第５の実施形態に適用可能なカウンタの一例の構成を示すブロック図である。 第５の実施形態の第１の変形例に係る計数部の構成の例を概略的に示すブロック図である。 第５の実施形態の第１の変形例に適用可能な１ビットカウンタの動作例を示すシーケンス図である。 第５の実施形態の第２の変形例に係る計数部の構成の例を概略的に示すブロック図である。 第５の実施形態の第２の変形例に適用可能な、フォトン数の予測について説明するための図である。 負パルスを出力する光電変換素子の接続方法を説明するための図である。 正パルスを出力する光電変換素子の接続方法を説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第１の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第１の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第２の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第２の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第３の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第３の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第４の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第４の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第５の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第５の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第６の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第７の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第７の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第８の例について説明するための図である。 第６の実施形態に係る測距装置の一例の構成を示すブロック図である。 第６の実施形態に適用可能なＴｏＦ型センサの一例の動作タイミングを示すタイミングチャートである。 第７の実施形態による、第１～第５の実施形態およびその各変形例に係る受光装置を使用する使用例を示す図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図である。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．第１の実施形態
　１－１．第１の実施形態の概略
　１－２．第１の実施形態に適用可能な構成
　１－３．第１の実施形態に係るタイムコードＴｃ生成処理
　１－４．第１の実施形態に適用可能なカウンタの構成例
　　１－４－１．カウンタの第１の例
　　１－４－２．カウンタの第２の例
　　１－４－３．カウンタの第３の例
　　１－４－４．カウンタの第４の例
　　１－４－５．カウンタの第５の例
　　１－４－６．カウンタの第６の例
　　１－４－７．カウンタの第７の例
　　１－４－８．カウンタの第８の例
　　１－４－９．カウンタの第９の例
　　１－４－１０．カウンタの第１０の例
　１－５．第１の実施形態に適用可能なＴＣ生成部および画素回路の配置
　　１－５－１．第１の実施形態に係る第１の配置例
　　１－５－２．第１の実施形態に係る第２の配置例
　　１－５－３．第１の実施形態に係る第３の配置例
　　１－５－４．第１の実施形態に係る第４の配置例
　　１－５－５．第１の実施形態に係る第５の配置例
　　１－５－６．第１の実施形態に係る第６の配置例
　１－６．第１の実施形態の第１の変形例
　１－７．第１の実施形態の第２の変形例
　１－８．第１の実施形態の第３の変形例
　１－９．第１の実施形態および各変形例に適用可能なデータ処理
２．第２の実施形態
　２－１．第２の実施形態に適用可能な構成の概略
　２－２．第２の実施形態の原理的な説明
　２－３．第２の実施形態に適用可能なＬＣ生成部および画素回路の配置
　　２－３－１．第２の実施形態に係る第１の配置例
　　２－３－２．第２の実施形態に係る第２の配置例
　　２－３－３．第２の実施形態に係る第３の配置例
　　２－３－４．第２の実施形態に係る第４の配置例
　　２－３－５．第２の実施形態に係る第５の配置例
　　２－３－６．第２の実施形態に係る第６の配置例
　２－４．第２の実施形態の第１の変形例
　２－５．第２の実施形態の第２の変形例
　２－６．第２の実施形態の第３の変形例
　２－７．第２の実施形態の第４の変形例
３．第３の実施形態
４．第４の実施形態
　４－１．第４の実施形態に係る第１の例
　４－２．第４の実施形態に係る第２の例
　４－３．第４の実施形態に係る第３の例
　４－４．第４の実施形態に係る第４の例
　４－５．第４の実施形態に係る第５の例
　４－６．第４の実施形態に係る第６の例
５．第５の実施形態
　５－１．第５の実施形態の第１の変形例
　５－２．第５の実施形態の第２の変形例
　　５－２－１．光電変換素子の出力について
　　５－２－２．合成部の構成の第１の例
　　５－２－３．合成部の構成の第２の例
　　５－２－４．合成部の構成の第３の例
　　５－２－５．合成部の構成の第４の例
　　５－２－６．合成部の構成の第５の例
　　５－２－７．合成部の構成の第６の例
　　５－２－８．合成部の構成の第７の例
　　５－２－９．合成部の構成の第８の例
６．第６の実施形態
７．第７の実施形態
［１．第１の実施形態］
（１－１．第１の実施形態の概略）
　本開示の第１の実施形態について説明する。図１は、第１の実施形態に係る受光装置の概略的な構成例を示す図である。図１において、第１の実施形態に係る受光装置１ａは、画素１０と、計数部１１と、タイムコード生成部１２と、取得部１３と、を含む。受光装置１ａは、指定された露光期間Ｔｓｈ（例えばシャッタ期間）内に画素１０に入射されたフォトン（光子）の数を計数する。計数されたフォトン数に基づき、露光期間Ｔｓｈにおける照度を求めることが可能である。
　画素１０は、入射された光を光電変換により電気信号に変換して出力する。より具体的には、画素１０は、光電変換により光を電荷に変換する光電変換素子と、光電変換素子から電荷を読み出して電気信号として出力する信号処理回路と、を含む。本開示においては、画素１０は、光電変換素子に入射されたフォトン（光子）を電気信号に変換し、フォトンの入射に応じたパルスＶｐｌｓを出力する。本開示では、画素１０が含む光電変換素子として、単一光子アバランシェダイオードを用いる。以下、単一光子アバランシェダイオードを、ＳＰＡＤ(Single　Photon　Avalanche　Diode)と呼ぶ。ＳＰＡＤは、カソードにアバランシ増倍が発生する大きな負電圧を加えておくと、１フォトンの入射に応じて発生した電子がアバランシ増倍を生じ、大電流が流れる特性を有する。ＳＰＡＤのこの特性を利用することで、１フォトンの入射を高感度で検知することができる。
　なお、以下では、特に記載の無い限り、「画素１０が含む光電変換素子にフォトンが入射する」ことを、「画素１０にフォトンが入射する」のように記述する。
　計数部１１は、画素１０から出力されたパルスＶｐｌｓを、指定された露光期間Ｔｓｈ内において計数する。計数部１１は、例えば露光期間Ｔｓｈの開始時点でパルスＶｐｌｓの計数を開始する。計数部１１は、計測されたパルスＶｐｌｓの数Ｎｃｎｔの書き込みを指示する書き込み信号ＷＲｅｎを、所定のタイミングで出力する。例えば、計数部１１は、当該数Ｎｃｎｔが露光期間Ｔｓｈの終了する前に閾値Ｎｔｈを超えた場合に、書き込みを指示する書き込み信号ＷＲｅｎを出力する。また例えば、計数部１１は、当該数Ｎｃｎｔが露光期間Ｔｓｈを終了しても閾値Ｎｔｈを超えない場合に、当該露光期間Ｔｓｈの終了時点において、書き込みを指示する書き込み信号ＷＲｅｎを出力する。
　以下では、書き込みを指示する書き込み信号ＷＲｅｎを、書き込み信号ＷＲｅｎ（Ｗ）として説明を行う。
　書き込み信号ＷＲｅｎは、取得部１３に供給される。例えば、書き込み信号ＷＲｅｎは、デフォルトがロー（Ｌｏｗ）状態であり、ロー状態からハイ（Ｈｉｇｈ）状態に移行することで、取得部１３に対して書き込みを指示する。
　一方、タイムコード生成部１２は、露光期間Ｔｓｈの開始タイミングで初期化され、指定されるサンプリング周波数の周期で値が変化するタイムコードＴｃを生成する。例えば、タイムコード生成部１２は、値「０」を初期値として、当該周期毎に１ずつ値が増加するタイムコードＴｃを生成する。タイムコード生成部１２で生成されたタイムコードＴｃは、取得部１３に供給される。
　タイムコードＴｃが生成される、指定されるサンプリング周波数の周期は、換言すれば、タイムコードＴｃが更新される周期である。以下では、この周期を、更新周期と呼ぶ。
　取得部１３は、例えばメモリを含み、書き込み信号ＷＲｅｎがロー状態からハイ状態に移行したタイミングで、タイムコード生成部１２から供給されたタイムコードＴｃを取得し、取得したタイムコードＴｃをメモリに書き込む。
　このタイムコードＴｃと、閾値Ｎｔｈとに基づき、画素１０に対して露光期間Ｔｓｈに入射されるフォトンの数を予測できる。図２Ａおよび図２Ｂは、第１の実施形態に適用可能な、フォトン数の予測について説明するための図である。図２Ａは、フォトン数のカウント値と時間との関係の例を示す図である。露光期間Ｔｓｈ内での照度が一定の場合、カウント値は、時間に対して一次関数の関係で変化する。図２Ａにおいて、中程度の照度（中照度）の場合のカウント値の時間推移を示す直線Ｃｔ＿ｍを考える。照度が中照度よりも高い場合（高照度）のカウント値の時間推移を示す直線Ｃｔ＿ｈは、傾きが直線Ｃｔ＿ｍより大きくなる。一方、照度が中照度よりも低い場合（低照度）のカウント値の時間推移を示す直線Ｃｔ＿ｌは、傾きが直線Ｃｔ＿ｍより小さくなる。
　図２Ｂは、上述した図２Ａに対して閾値Ｎｔｈを追加した場合の例を示す図である。図２Ｂにおいて、高照度および中照度において、カウント値が閾値Ｎｔｈに達した時間が、それぞれ時間Ｔｔｈ＿ｈおよび時間Ｔｔｈ＿ｍとなる。カウント値は、時間に対して一次関数の関係にあるので、閾値Ｎｔｈと、時間Ｔｔｈ＿ｈおよび時間Ｔｔｈ＿ｍと、に基づき、露光期間Ｔｓｈにおける高照度および中照度のカウント値を予測することができる。以下では、高照度および中照度に対して予測されたカウント値を、それぞれ予測カウント値Ｎｐｒｅ＿ｈおよびＮｐｒｅ＿ｍとする。
　原理として、カウント値が、露光期間Ｔｓｈの開始時点から時間Ｔｔｈ後に閾値Ｎｔｈに達した場合の予測カウント値Ｎｐｒｅは、下記の式（１）にて算出できる。
Ｎｐｒｅ＝Ｎｔｈ×（Ｔｓｈ／Ｔｔｈ）　　…（１）
　したがって、上述した高照度および中照度の場合の予測カウント値Ｎｐｒｅ＿ｈおよびＮｐｒｅ＿ｍは、下記の式（２）および（３）にて算出できる。
Ｎｐｒｅ＿ｈ＝Ｎｔｈ×（Ｔｓｈ／Ｔｔｈ＿ｈ）　　…（２）
Ｎｐｒｅ＿ｍ＝Ｎｔｈ×（Ｔｓｈ／Ｔｔｈ＿ｍ）　　…（３）
　一方、図２Ｂの例では、直線Ｃｔ＿ｌは、露光期間Ｔｓｈ内において閾値Ｎｔｈに到達していない。この場合、露光期間Ｔｓｈの終了時点におけるカウント値を、直線Ｃｔ＿ｌに基づく予測カウント値Ｎｐｒｅ＿ｌと見做すことができる。
　また、図２Ｂの状態において、カウント値が閾値Ｎｔｈに到達した時点で、計数部１１によるカウントを中止することができる。図２Ｂの例では、直線Ｃｔ＿ｈ’およびＣｔ＿ｍ’において点線で示されるように、それぞれカウント値が閾値Ｎｔｈに達した時間以降の計数部１１によるカウントを中止する。
　なお、図２Ａおよび図２Ｂにおいて、Ｙ軸（カウント値の軸）と直線Ｃｔ＿ｈとの間の領域（直線Ｃｔ＿ｈを含む）の照度を高照度、直線Ｃｔ＿ｈと直線Ｃｔ＿ｍとの間の領域（直線Ｃｔ＿ｍを含む）の照度を中照度、直線Ｃｔ＿ｍとＸ軸（時間の軸）との間の領域の照度を低照度とする。
　この場合、図２Ａにおける直線Ｃｔ＿ｈ、および、図２Ｂにおける時間Ｔｔｈ＿ｈは、高照度と中照度の境界を示し、図２Ａにおける直線Ｃｔ＿ｍ、および、図２Ｂにおける時間Ｔｔｈ＿ｍは、中照度と低照度との境界を示す。上述および以下では、高照度を直線Ｃｔ＿ｈまたは時間Ｔｔｈ＿ｈにより代表して示し、中照度を直線Ｃｔ＿ｍおよび時間Ｔｔｈ＿ｍにより代表して示すものとする。また同様に、予測カウント値Ｎｐｒｅ＿ｈおよびＮｐｒｅ＿ｍは、それぞれ高照度および中照度における予測カウント値Ｎｐｒｅを代表して示している。
　すなわち、図２Ｂにおいて、露光期間Ｔｓｈの開始時点から時間Ｔｔｈ＿ｈ以内にカウント値が閾値Ｎｔｈに達した場合、高照度であるとする。露光期間Ｔｓｈの開始時点から時間Ｔｔｈ＿ｈが経過した後、時間Ｔｔｈ＿ｈを超え時間Ｔｔｈ＿ｍ以内にカウント値が閾値Ｎｔｈに達した場合、中照度であるとする。また、露光期間Ｔｓｈの開始時点から時間Ｔｔｈ＿ｍが経過した後、時間Ｔｔｈ＿ｍを超え露光期間Ｔｓｈの終了時点までにカウント値が閾値Ｎｔｈに達したか、または、露光期間Ｔｓｈの終了時点になってもカウント値が閾値Ｎｔｈに達しない場合、低照度であるとする。
　取得部１３は、タイムコード生成部１２から、時間Ｔｔｈ＿ｈや時間Ｔｔｈ＿ｍをタイムコードＴｃとして取得しメモリに書き込んでおく。閾値Ｎｔｈおよび露光期間Ｔｓｈは、例えば指定された値であり、固定値であるので、メモリから時間Ｔｔｈ＿ｈや時間Ｔｔｈ＿ｍを読み出して、上述の式（１）に従い計算を実行することで、予測カウント値Ｎｐｒｅ＿ｈや予測カウント値Ｎｐｒｅ＿ｍを算出することができる。
　ここで、高照度では、画素１０に入射するフォトンの単位時間当たりの数が、低照度の場合に比べて多い。したがって、タイムコード生成部１２において、高照度の場合に画素１０に入射するフォトンの単位時間当たりの数に応じて更新周期を決めることが考えられる。これにより、高照度の場合のフォトン数の計数を高精度に実行することができる。
　ところで、図２Ｂに示されるように、低照度の場合は露光期間Ｔｓｈが終了するまでフォトン数の計数を行う必要がある。一方、高照度の場合は、露光期間Ｔｓｈが終了する前の時間Ｔｔｈ＿ｈで、計数されたフォトン数が閾値Ｎｔｈに達するため、時間Ｔｔｈ＿ｈ以降の計数を中止させることができる。したがって、露光期間Ｔｓｈを通して低照度と高照度とで同一の更新周期に従いフォトン数の計数を行うと、特に低照度の場合に無駄な計数を行うことになる。例えば取得部１３が有する、タイムコードＴｃを書き込むためのメモリのビット数が大きくなってしまう。
　そこで、第１の実施形態では、タイムコード生成部１２がタイムコードＴｃを生成するための更新周期を可変とし、露光期間Ｔｓｈにおける経過時間に応じて更新周期を変化させる。より具体的には、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点において最も短い更新周期を設定し、当該開始時点から露光期間Ｔｓｈの終了時点に向けて、時間の経過に伴い更新周期を長くする。これにより、タイムコードＴｃが変化する時間間隔を、露光期間Ｔｓｈにおける時間の経過に連れて長くすることができる。
　図３は、第１の実施形態に係るタイムコード生成部１２によるタイムコードＴｃの生成を概略的に説明するための図である。図３において、上段から、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔の場合のタイムコードＴｃの例、および、可変間隔の場合のタイムコードＴｃの例、をそれぞれ示している。なお、ここでは、説明のため、計数部１１が有するカウンタが３ビットカウンタであって、閾値Ｎｔｈ＝８であるものとする。すなわち、画素１０に検知されるフォトン数が８個に達すると、計数部１１のカウンタがオーバーフローする。
　低照度の場合、カウント値は、露光期間Ｔｓｈ内に閾値Ｎｔｈを超えない可能性がある。図３の例では、低照度において、露光期間Ｔｓｈ内に４個のフォトンＰｈ（１）～Ｐｈ（４）、がカウントされ、カウント値が閾値Ｎｔｈに達していない。
　一方、図３において、高照度の場合、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（１１）、Ｐｈ（１２）、…、Ｐｈ（１７）がカウントされ、次に８個目のフォトンＰｈ（１８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（１８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対してタイムコード生成部１２で生成されたタイムコードＴｃの書き込みを指示する。
　ここで、タイムコード生成部１２が一定の更新周期に従い等間隔でタイムコードＴｃを生成する場合について考える。図３の例では、露光期間Ｔｓｈの開始時点でタイムコードＴｃがリセットされ、露光期間Ｔｓｈの経過に伴い等間隔でタイムコードＴｃが生成され、露光期間Ｔｓｈの終了時点で値「２０４７」のタイムコードＴｃが生成されている。すなわち、計数部１１は、１１ビットを計数可能なカウンタを有する。
　この場合において、高照度の場合、時間Ｔｔｈに対応するタイムコードＴｃが値「１１」となっており、この値「１１」が取得部１３によりメモリに書き込まれる。一方、露光期間Ｔｓｈ内にカウント値が閾値Ｎｔｈに達しない低照度の場合には、露光期間Ｔｓｈの終了時点までカウントを継続する必要がある。この場合、露光期間Ｔｓｈの終了時点のタイムコードＴｃの値「２０４７」が取得部１３によりメモリに書き込まれることになる。したがって、図３の例においてタイムコード生成部１２が等間隔でタイムコードＴｃを生成する場合、取得部１３は、１１ビットのビット幅を持つメモリが必要となる。
　これに対して、第１の実施形態では、タイムコード生成部１２は、露光期間Ｔｓｈの経過に伴い更新周期を変化させて、可変間隔でタイムコードＴｃを生成する。このとき、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点において、露光期間Ｔｓｈ内で最も短い更新周期によりタイムコードＴｃを生成する。露光期間Ｔｓｈの経過に伴い更新周期を長くし、露光期間Ｔｓｈの終了時点で、露光期間Ｔｓｈ内で最も長い更新周期によりタイムコードＴｃを生成する。
　より具体的には、第１の実施形態に係るタイムコード生成部１２は、照度を例えば高照度、中照度および低照度の３段階に分類し、それぞれ異なる更新周期に従った間隔でタイムコードＴｃを生成する。すなわち、高照度、中照度および低照度に対応する更新周期をそれぞれ更新周期ｆh、ｆmおよびｆlとすると、これら更新周期ｆh、ｆmおよびｆlの関係は、ｆh＞ｆm＞ｆlとなる。
　タイムコード生成部１２は、高照度の更新周期ｆhに従った間隔のタイムコードＴｃを、露光期間Ｔｓｈの開始時点から、露光期間Ｔｓｈの第１の時点まで生成する。タイムコード生成部１２は、中照度の更新周期ｆmに従った間隔のタイムコードＴｃを、当該第１の時点から所定時間が経過した第２の時点まで生成する。さらに、タイムコード生成部１２は、低照度の更新周期ｆlに従った間隔のタイムコードＴｃを、当該第２の時点から露光期間Ｔｓｈの終了時点まで生成する。
　図３の例では、第１の実施形態に係るタイムコード生成部１２は、露光期間Ｔｓｈの開始時点でタイムコードＴｃをリセットし、タイムコードＴｃの値「１」～「８」を高照度、値「９」～「１６」を中照度、値「１７」～「３１」を低照度に割り当てている。このように、タイムコードＴｃを生成するための更新周期ｆを可変とすることで、取得部１３が有するメモリは、例えば５ビットのビット幅を持っていればよい。
　すなわち、図３の例では、高照度の場合、時間Ｔｔｈに対するタイムコードＴｃが値「８」となっており、この値「８」が取得部１３によりメモリに書き込まれる。一方、低照度の場合には、露光期間Ｔｓｈの終了時点までカウントが継続されるが、タイムコードＴｃの間隔が高照度の場合に比べて長くなっているため、露光期間Ｔｓｈの終了時点のタイムコードＴｃの値「３１」が取得部１３のメモリに書き込まれる。
　ここで、上述の式（１）によれば、予測カウント値Ｎｐｒｅは、露光期間Ｔｓｈの開始時点からの経過時間である時間Ｔｔｈが０に近付くに連れ急激に増大し、さらに時間Ｔｔｈが０の場合には無限大となる。したがって、時間Ｔｔｈが極めて短い期間では、予測カウント値Ｎｐｒｅが極めて大きな値となり、当該期間内の予測カウント値Ｎｐｒｅは、現実的に意味をなさない値となる。これは、当該期間におけるタイムコードＴｃが不要であることを意味している。そのため、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点から所定時間が経過した時点において最も短い更新周期を設定し、当該時点から露光期間Ｔｓｈの終了時点に向けて、時間の経過に伴い更新周期を長くすると、好ましい。更新周期を設定するための所定時間は、例えば、露光期間Ｔｓｈの開始後、所定の照度（例えば所望する最大照度）に対応する予測カウント値Ｎｐｒｅが得られると推測される時間とすることができる。
　図３の例では、例えばタイムコード生成部１２は、最下段に示される可変間隔のタイムコードＴｃにおいて、タイムコードＴｃ＝「５」より小さい値のタイムコードＴｃを無視している。これに限らず、タイムコード生成部１２は、このタイムコードＴｃ＝「５」の位置からタイムコードＴｃの生成を開始してもよい。例えば、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点から上述した所定時間が経過した時点において最も短い更新周期を設定し、当該時点から露光期間Ｔｓｈの終了時点に向けて、時間の経過に伴い更新周期を長くする。
　このように、第１の実施形態に係る受光装置１ａでは、露光期間Ｔｓｈ内において画素１０にて検知されたフォトン数が閾値Ｎｔｈに達した場合に取得するタイムコードＴｃを、露光期間Ｔｓｈの経過に伴い変化する更新周期に従った間隔で生成する。そのため、タイムコードＴｃを書き込むメモリのビット幅を小さく抑えることができる。これにより、回路面積を削減することが可能である。
（１－２．第１の実施形態に適用可能な構成）
　次に、第１の実施形態に係る受光装置１ａに適用可能な構成の例について説明する。図４は、第１の実施形態に係る受光装置１ａが適用された電子機器の一例の構成を概略的に示すブロック図である。図４において、電子機器１０００は、レンズ１００１を含む光学系と、受光装置１ａと、記憶部１００２と、制御部１００３と、を含む。光学系は、レンズ１００１に入射した光を受光装置１ａにおける画素１０の受光面に導く。
　記憶部１００２は、メモリなどデータを記憶する記憶媒体と、記憶媒体に対する読み書きを制御する制御部とを含む。記憶部１００２は、受光装置１ａから出力される出力データを記憶する。
　制御部１００３は、受光装置１ａを制御して、受光装置１ａに対して上述の出力データを出力させる動作を実行させる。例えば、制御部１００３は、露光期間Ｔｓｈの開始時点と終了時点（露光期間Ｔｓｈの長さ）とを、受光装置１ａに指示することができる。また例えば、制御部１００３は、受光装置１ａに対して、タイムコードＴｃを生成するための更新周期に対する基準信号を出力することができる。さらに例えば、制御部１００３は、タイムコードＴｃの間隔を高照度、中照度および低照度で切り替えるためのタイミングを、受光装置１ａに対して指示することができる。
　図５は、第１の実施形態に係る受光装置１ａに適用可能なデバイスの構成の例を示す模式図である。図５において、受光装置１ａは、それぞれ半導体チップからなる受光チップ２０００と、ロジックチップ２０１０とが積層されて構成される。なお、図５では、説明のため、受光チップ２０００とロジックチップ２０１０とを分離した状態で示している。
　受光チップ２０００は、複数の画素１０に１対１に含まれる複数の光電変換素子１１０が例えば２次元格子状に配置されてなる画素アレイ部２００１を含む。ロジックチップ２０１０は、光電変換素子１１０によって取得された信号を処理する信号処理部を含むロジックアレイ部２０１１が設けられる。受光チップ２０００に含まれる各回路と、ロジックチップ２０１０に含まれる各回路と、は、ＣＣＣ(Copper-Copper　Connection)などにより電気的に接続される。ロジックチップ２０１０に対して、さらに、当該ロジックアレイ部２０１１と近接して、光電変換素子１１０によって取得された信号を記憶する記憶部２０１２と、受光装置１ａとしての動作を制御する素子制御部２０１３と、を設けることができる。
　ここで、ＣＣＣは、受光チップ２０００の配線層に含まれる一部の配線と、ロジックチップ２０１０の配線層に含まれる一部の配線と、が直接接合されることにより、受光チップ２０００とロジックチップ２０１０とが電気的に接続される接続形態である。この場合の配線は、銅を一例として、金属などの導電材料で形成することができる。
　受光チップ２０００とロジックチップ２０１０との接続形態は、ＣＣＣに限定されない。例えば、受光チップ２０００とロジックチップ２０１０とを、バンプ接続や貫通電極などにより接続することも可能である。
　この受光チップ２０００とロジックチップ２０１０との間の電気的な接続は、例えば、受光チップ２０００で生成された画素信号のロジックチップ２０１０への伝送や、外部から印加された電源の受光チップ２０００内、ロジックチップ２０１０内への供給などを目的とする。
　一例として、外部から印加された電源は、例えば受光チップ２０００において画素アレイ部２００１の外部に設けられるボンディングパッド（引き出し電極）を介して受光チップ２０００の配線層に供給される。受光チップ２０００の配線層と、ロジックチップ２０１０の配線層とを、上述したＣＣＣなどの接続部により直接接続し、電源を受光チップ２０００からロジックチップ２０１０に供給する。
　また、上述では、この受光チップ２０００とロジックチップ２０１０との間で電気的な接続を行う接続部が、１つの画素１０に対して１つ、設けられるように説明したが、これはこの例に限定されない。例えば、複数の画素１０に対して１つの接続部が設けられる構成や、１つの画素１０に対して複数の接続部が設けられる構成であってもよい。
　なお、素子制御部２０１３は、ロジックアレイ部２０１１の制御以外にも、例えば光電変換素子１１０の近傍に、他の駆動や制御の目的で配置することができる。素子制御部２０１３は、図５に示した配置以外にも、受光チップ２０００およびロジックチップ２０１０の任意の領域に、任意の機能を有するように設けることができる。
　なお、上述では、画素１０に含まれる各要素のうち光電変換素子１１０のみが受光チップ２０００に配置されるように説明したが、これはこの例に限定されない。すなわち、受光チップ２０００に対して、光電変換素子１１０から読み出した電荷を電気信号に変換する信号処理回路をさらに配置してもよい。さらにまた、受光チップ２０００に対して、当該信号処理回路から出力された電気信号に対して他の信号処理を施す回路を配置してもよい。
　次に、図６および図７を用いて、受光チップ２０００およびロジックチップ２０１０のより具体的な構成例について説明する。図６は、第１の実施形態に適用可能な受光チップ２０００の一例の構成を示す平面図である。この受光チップ２０００には、画素アレイ部２００１が設けられ、画素アレイ部２００１には、２次元格子状に複数の光電変換素子１１０が設けられる。光電変換素子１１０の詳細については後述する。
　図７は、第１の実施形態に適用可能なロジックチップ２０１０の一例の構成を示すブロック図である。図７の例では、ロジックチップ２０１０には、垂直制御部２０１３ａ、ロジックアレイ部２０１１、水平制御部２０１３ｂ、信号処理部２０１３ｃおよび記憶部２０１２が配置される。これらのうち、垂直制御部２０１３ａ、水平制御部２０１３ｂおよび信号処理部２０１３ｃは、素子制御部２０１３に含まれる構成とすることができる。また、ロジックアレイ部２０１１には、光電変換素子１１０毎に、論理回路２０１４が配列される。これらの論理回路２０１４のそれぞれは、対応する光電変換素子１１０と信号線を介して接続されている。光電変換素子１１０と、当該光電変換素子１１０に対応する論理回路２０１４とからなる回路は、１つの画素１０による画素信号を生成する画素回路として機能する。
　例えば制御部１００３から出力された垂直同期信号および水平同期信号が、垂直制御部２０１３ａおよび水平制御部２０１３ｂにそれぞれ供給される。また、制御部１００３から出力された露光制御信号が、ロジックアレイ部２０１１および信号処理部２０１３ｃにそれぞれ供給される。
　ここで、２次元格子の所定方向（例えば図６および図７における横方向）を行方向とし、行に垂直の方向を列方向とする。すなわち、画素回路（光電変換素子１１０および論理回路２０１４）は、画素アレイ部２００１およびロジックアレイ部２０１１に対して、行方向および列方向それぞれに整列されて配置される。以下では、特に記載の無い限り、画素回路の行方向の集合を「行」と呼び、画素回路の列方向の集合を「列」と呼ぶ。
　垂直制御部２０１３ａは、垂直同期信号に同期して行を順に選択する。論理回路２０１４は、図１を用いて説明した計数部１１および取得部１３を含み、取得部１３のメモリに記憶されたタイムコードＴｃを出力することができる。各論理回路２０１４から出力されたタイムコードＴｃは、信号処理部２０１３ｃに供給される。水平制御部２０１３ｂは、水平同期信号に同期して列を順に選択して画素信号を出力させる。
　信号処理部２０１３ｃは、さらに、制御部１００３から、露光期間Ｔｓｈを示す情報（露光開始タイミング、露光時間など）が入力される。信号処理部２０１３ｃは、各論理回路２０１４から供給された各タイムコードＴｃに基づき、例えば上述した式（１）に従い予測カウント値Ｎｐｒｅを算出する。信号処理部２０１３ｃは、算出した各予測カウント値Ｎｐｒｅを出力する。信号処理部２０１３ｃから出力された各予測カウント値Ｎｐｒｅは、記憶部２０１２に供給され、記憶される。
　図８は、第１の実施形態に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。また、図８において、画素アレイ部２００１に対して、画素回路のより具体的な構成が示されている。
　図８に例示されるように、画素アレイ部２００１は、複数の画素回路１００ａを含む。なお、図８では、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ａのうち、１行に含まれる各画素回路１００ａを抜粋して示している。
　図８において、画素回路１００ａは、光電変換素子１１０と、信号処理部１１１ａと、カウンタ１１２と、閾値判定部１１３ａと、メモリ１１４と、を含む。
　光電変換素子１１０は、フォトンの入射に応じて信号Ｖｐｈを出力する。上述した図５の構成の場合、信号Ｖｐｈは、例えばＣＣＣによる結合部を介して受光チップ２０００からロジックチップ２０１０に伝送され、ロジックチップ２０１０に配される信号処理部１１１ａに供給される。信号処理部１１１ａは、光電変換素子１１０から出力された信号Ｖｐｈを整形し、フォトンの入射に応じたパルスＶｐｌｓとして出力する。パルスＶｐｌｓの出力タイミングは、後述するＴＣ生成部１２０から供給される信号ＳＨ＿ＯＮに従い制御される。カウンタ１１２は、信号処理部１１１ａから出力されたパルスＶｐｌｓの数をカウントし、カウント結果をフォトン情報ＰｈＩｎｆｏとして出力する。
　閾値判定部１１３ａは、カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏに対して、閾値Ｎｔｈに基づく判定を行う。閾値判定部１１３ａは、フォトン情報ＰｈＩｎｆｏに基づき、光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈを超えたと判定した場合、書き込み信号ＷＲｅｎ（Ｗ）を出力する。カウンタ１１２および閾値判定部１１３ａにより、図１の計数部１１が構成される。
　メモリ１１４は、図１の取得部１３に対応するもので、書き込み信号ＷＲｅｎに応じて、後述するＴＣ生成部１２０から信号線１４２を介して供給されるタイムコードＴｃを記憶する。なお、メモリ１１４は、メモリ１１４自身へのデータの書き込みと、メモリ１１４からのデータの読み出しを制御するメモリ制御部を含む。
　一方、図８において、垂直制御部２０１３ａは、行毎に、ＴＣ（タイムコード）生成部１２０を含む。ＴＣ生成部１２０は、図１に示したタイムコード生成部１２と対応するものである。ＴＣ生成部１２０は、制御部１００３の制御に従い、露光期間Ｔｓｈの経過に伴い変化する更新周期を生成し、この更新周期に基づきタイムコードＴｃを生成する。例えば、制御部１００３は、基準のタイミング信号を生成してＴＣ生成部１２０に供給する。ＴＣ生成部１２０は、この基準タイミング信号に基づき、所定の更新周期でタイムコードＴｃを生成する。図８の例では、ＴＣ生成部１２０で生成されたタイムコードＴｃは、信号線１４２を介して各画素回路１００ａ、１００ａ、…に入力され、各画素回路１００ａ、１００ａ、…が有するメモリ１１４にそれぞれ供給され記憶される。
　各画素回路１００ａ、１００ａ、…がそれぞれ有するメモリ１１４に記憶された各タイムコードＴｃは、信号線１４２を介して、各メモリ１１４から読み出される。
　なお、制御部１００３は、例えば、露光期間Ｔｓｈの開始タイミングをＴＣ生成部１２０に指示すると共に、露光期間Ｔｓｈの長さを示す情報をＴＣ生成部１２０に供給する。
　また、ＴＣ生成部１２０は、信号処理部１１１ａがパルスＶｐｌｓを出力するタイミングを指示する信号ＳＨ＿ＯＮを生成する。ＴＣ生成部１２０は、例えば、所定のクロック信号に基づき信号ＳＨ＿ＯＮを生成する。図８の例では、ＴＣ生成部１２０で生成された信号ＳＨ＿ＯＮは、信号線１４１を介して各画素回路１００ａ、１００ａ、…に入力され、信号処理部１１１ａに供給される。
　図９は、第１の実施形態に適用可能な信号処理部１１１ａの一例の構成を示す図である。図９において、信号処理部１１１ａは、抵抗１１０１と、インバータ１１０２と、アンプ１１０３と、スイッチ１１０４と、を含む。
　図９において、例えばＳＰＡＤである光電変換素子１１０は、カソードが抵抗１１０１を介して電源電位ＶＤＤの端子に接続され、アノードが電源電位ＶＤＤよりも電位が低い電位ＧＮＤ（１）の端子に接続される。電位ＧＮＤ（１）の端子は、例えば接地端子である。これにより、光電変換素子１１０には、逆バイアスが印加される。また、光電流は、光電変換素子１１０のカソードからアノードに向けた方向に流れる。
　なお、光電変換素子１１０は、ＳＰＡＤに限定されない。光電変換素子１１０としてアバランシェフォトダイオード（ＡＰＤ）や、通常のフォトダイオードを適用することも可能である。
　抵抗１１０１の一端が電源電位ＶＤＤに接続され、他端が光電変換素子１１０のカソードに接続される。光電変換素子１１０においてフォトンの入射が検出される毎に抵抗１１０１に光電流が流れ、光電変換素子１１０のカソード電位が、電源電位ＶＤＤより低い初期状態の値に降下する（クエンチング動作）。
　抵抗１１０１と光電変換素子１１０のカソードとの接続点から取り出された信号が、インバータ１１０２に入力される。インバータ１１０２は、入力された、光電変換素子１１０のカソード電位の信号を反転し、反転出力信号Ｖｓｉｇをスイッチ１１０４を介してアンプ１１０３に供給する。アンプ１１０３は、反転出力信号Ｖｓｉｇを整形して、パルスＶｐｌｓとして出力する。また、インバータ１１０２およびアンプ１１０３が接続される接地側の電位ＧＮＤ（２）は、光電変換素子１１０のアノードが接続される接地側の電位ＧＮＤ（１）と異なる。
　なお、図９において、光電変換素子１１０は、受光チップ２０００上に形成される。また、抵抗１１０１、インバータ１１０２、アンプ１１０３およびスイッチ１１０４は、ロジックチップ２０１０上に形成される。光電変換素子１１０のカソードが、例えばＣＣＣによる結合部１１０５ａを介して、抵抗１１０１とインバータ１１０２の入力端とが接続される接続点に接続される。また、光電変換素子１１０のアノードが、例えばＣＣＣによる結合部１１０５ｂを介して、ロジックチップ２０１０上に配される接地側の電位（１）を供給する供給線に接続される。
　図１０Ａおよび図１０Ｂを用いて、第１の実施形態に適用可能な光電変換素子１１０の構成の例について説明する。図１０Ａは、第１の実施形態に適用可能な、ＳＰＡＤとしての光電変換素子１１０の構成の例を示す図である。図１０において、光電変換素子１１０は、ＳＰＡＤを用いたＳＰＡＤ画素としての増倍領域と光電変換を行う光電変換部（Ｎ－領域）８４０を備え、光電変換部８４０の裏面側の最表面は、光が照射される光照射部とされている。
　図１０Ａにおいて、図示されないアノード電極がＰ型半導体領域７６０と電気的に接続されている。Ｐ型半導体領域７６０は、下層ほど不純物濃度が低くなるように構成されている。また、Ｐ型半導体領域７６０から、金属層８３０を含む画素分離部８３１に沿ってＰ型半導体領域７００、Ｐ－型半導体領域７１０が形成され、Ｐ型半導体領域７６０からアバランシュ部７２０までが電気的に接続されている。アバランシュ部７２０はＰ＋型半導体領域７３０とＮ＋型半導体領域７４０が接合されて構成されている。Ｐ型半導体領域７００は、アバランシュ部７２０で読み出したい電荷（電子）が通過するように、逆の電荷（ホール）を蓄積させることで構成されている。Ｐ－型半導体領域７１０は、アバランシュ部７２０に電荷が通過するよう、中央の電位を高くするため、低濃度の領域とすることが望ましい。
　Ｎ＋型半導体領域７４０は、Ｎ＋型半導体領域７５０を介して電極８０１と接続されている。また、Ｐ＋型半導体領域７３０とＮ＋型半導体領域７４０の側面には、Ｎ－型半導体領域７８０が形成されている。また、Ｎ＋型半導体領域７４０およびＮ－型半導体領域７８０と電気的に接続されるＰ＋型半導体領域７９０が設けられ、Ｐ＋型半導体領域７９０は電極８００を介して接地（ＧＮＤ）されている。
　画素分離部８３１の側面とＰ型半導体領域７６０の上層には、固定電荷膜８１０が設けられている。Ｐ型半導体領域７６０の上層において、固定電荷膜８１０上に、絶縁膜８２１を介してカラーフィルタ８２２が設けられる。カラーフィルタ８２２のさらに上に、オンチップレンズ８２０が設けられる。なお、カラーフィルタ８２２は、用途に応じて設けられる。
　図１０Ｂは、第１の実施形態に適用可能な、フォトダイオードとしての光電変換素子１１０を含む受光部２００１０の構成の例を示す図である。図１０Ｂにおいて、フォトダイオードである光電変換素子１１０が、半導体基板２００１８の裏面（図１０Ｂでは上面）側から入射する入射光２０００１を受光する。光電変換素子１１０の上方には、平坦化膜２００１３、カラーフィルタ２００１２、マイクロレンズ２００１１が設けられており、各部を順次介して入射した入射光２０００１を、受光面２００１７で受光して光電変換が行われる。
　例えば、光電変換素子１１０は、Ｎ型半導体領域２００２０が、電荷（電子）を蓄積する電荷蓄積領域として形成されている。光電変換素子１１０においては、Ｎ型半導体領域２００２０は、半導体基板２００１８のＰ型半導体領域２００１６、２００４１の内部に設けられている。Ｎ型半導体領域２００２０の、半導体基板２００１８の表面（下面）側には、裏面（上面）側よりも不純物濃度が高いＰ型半導体領域２００４１が設けられている。つまり、光電変換素子１１０は、ＨＡＤ(Hole-Accumulation　Diode)構造になっており、Ｎ型半導体領域２００２０の上面側と下面側との各界面において、暗電流が発生することを抑制するように、Ｐ型半導体領域２００１６、２００４１が形成されている。
　半導体基板２００１８の内部には、複数の受光部２００１０の間を電気的に分離する画素分離部２００３０が設けられており、この画素分離部２００３０で区画された領域に、光電変換素子１１０が設けられている。図中、上面側から、固体撮像装置を見た場合、画素分離部２００３０は、例えば、複数の受光部２００１０の間に介在するように格子状に形成されており、光電変換素子１１０は、この画素分離部２００３０で区画された領域内に形成されている。
　各光電変換素子１１０では、アノードが接地されており、受光部２００１０において、光電変換素子１１０が蓄積した信号電荷（例えば、電子）は、例えば、ＭＯＳＦＥＴ(Metal　Oxide　Semiconductor　Field　Effect　Transistor)による図示せぬ転送トランジスタなどを介して読み出され、電気信号として、図示せぬＶＳＬ（垂直信号線）へ出力される。
　配線層２００５０は、半導体基板２００１８のうち、遮光膜２００１４、カラーフィルタ２００１２、マイクロレンズ２００１１等の各部が設けられた裏面（上面）とは反対側の表面（下面）に設けられている。
　配線層２００５０は、配線２００５１と絶縁層２００５２とを含み、絶縁層２００５２内において、配線２００５１が各素子に電気的に接続するように形成されている。配線層２００５０は、いわゆる多層配線の層になっており、絶縁層２００５２を構成する層間絶縁膜と配線２００５１とが交互に複数回積層されて形成されている。ここでは、配線２００５１としては、転送Ｔｒ等の光電変換素子１１０から電荷を読み出すためのトランジスタへの配線や、ＶＳＬなどの各配線が、絶縁層２００５２を介して積層されている。
　配線層２００５０の、光電変換素子１１０が設けられている側に対して反対側の面には、支持基板２００６１が設けられている。例えば、厚みが数百μｍのシリコン半導体からなる基板が、支持基板２００６１として設けられている。
　遮光膜２００１４は、半導体基板２００１８の裏面（図では上面）の側に設けられている。遮光膜２００１４は、半導体基板２００１８の上方から半導体基板２００１８の裏面へ向かう入射光２０００１の一部を、遮光するように構成されている。
　遮光膜２００１４は、半導体基板２００１８の内部に設けられた画素分離部２００３０の上方に設けられている。ここでは、遮光膜２００１４は、半導体基板２００１８の裏面（上面）上において、シリコン酸化膜などによる絶縁膜２００１５を介して、凸形状に突き出るように設けられている。これに対して、半導体基板２００１８の内部に設けられた光電変換素子１１０の上方においては、光電変換素子１１０に入射光２０００１が入射するように、遮光膜２００１４は、設けられておらず、開口している。
　つまり、図１０Ｂ中、上面側から受光部２００１０を見た場合、遮光膜２００１４の平面形状は、複数の受光部２００１０を区画する格子状になっており、入射光２０００１が受光面２００１７へ通過する開口が形成されている。
　遮光膜２００１４は、光を遮光する遮光材料で形成されている。例えば、チタン（Ｔｉ）膜とタングステン（Ｗ）膜とを、順次、積層することで、遮光膜２００１４が形成されている。この他に、遮光膜２００１４は、例えば、窒化チタン（ＴｉＮ）膜とタングステン（Ｗ）膜とを、順次、積層することで形成することができる。遮光膜２００１４は、平坦化膜２００１３によって被覆されている。平坦化膜２００１３は、光を透過する絶縁材料を用いて形成されている。
　画素分離部２００３０は、溝部２００３１、固定電荷膜２００３２および絶縁膜２００３３を有する。
　固定電荷膜２００３２は、半導体基板２００１８の裏面（上面）の側において、複数の受光部２００１０の間を区画している溝部２００３１を覆うように形成されている。具体的には、固定電荷膜２００３２は、半導体基板２００１８において裏面（上面）側に形成された溝部２００３１の内側の面を一定の厚みで被覆するように設けられている。そして、その固定電荷膜２００３２で被覆された溝部２００３１の内部を埋め込むように、絶縁膜２００３３が設けられている（充填されている）。
　ここでは、固定電荷膜２００３２は、半導体基板２００１８との界面部分において正電荷（ホール）蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜２００３２が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板２００１８との界面に電界が加わり、正電荷（ホール）蓄積領域が形成される。
　固定電荷膜２００３２は、例えば、ハフニウム酸化膜（ＨｆＯ2膜）で形成することができる。また、固定電荷膜２００３２は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも１つを含むように形成することができる。
（１－３．第１の実施形態に係るタイムコードＴｃ生成処理）
　図１１および図１２を用いて、第１の実施形態に係るＴＣ生成部１２０の動作について説明する。図１１は、第１の実施形態に係るＴＣ生成部１２０の一例の構成を示すブロック図である。また、図１２は、第１の実施形態に係るＴＣ生成部１２０の動作を説明するための一例のタイミングチャートである。
　図１１において、第１の実施形態に係るＴＣ生成部１２０は、時間カウンタ１２１と、分周設定値記憶部１２２と、周波数判定部１２３と、コード生成部１２４と、を含む。
　時間カウンタ１２１は、一定周波数で駆動され、例えば制御部１００３から供給される基準クロック信号のカウントを行う。時間カウンタ１２１は、例えば露光期間Ｔｓｈの開始時点でカウント値が「０」に初期化され、基準クロック信号の立ち上がりまたは立ち下がりでカウント値を「１」ずつ増加させ、基準クロック信号のカウントを行う。ここでは、説明のため、露光期間Ｔｓｈは、基準クロック信号の１２８カウント分の長さを有するものとする。この場合、時間カウンタ１２１のカウント値は、露光期間Ｔｓｈの開始時点で「０」、終了時点で「１２７」となる。
　分周設定値記憶部１２２は、複数の周波数分周値が予め記憶され、周波数判定部１２３の要求に応じて、記憶される複数の周波数分周値から要求される周波数分周値を出力する。一例として、分周設定値記憶部１２２は、周波数分周値として値「３１」、「６３」および「１２７」を記憶する。
　周波数判定部１２３は、時間カウンタ１２１のカウント値と、分周設定値記憶部１２２から出力された周波数分周値とが入力される。周波数判定部１２３は、入力されたカウント値および周波数分周値に基づき、周波数情報を出力する。ここでは、周波数情報の初期値を「１」とする。
　より具体的には、周波数判定部１２３は、入力されたカウント値と周波数分周値とが一致するか否かを判定する。若し、カウント値と周波数分周値とが一致し、且つ、現在入力されている周波数分周値が最大値ではないと判定された場合、周波数判定部１２３は、周波数情報に１を加算して出力する。それと共に、周波数判定部１２３は、分周設定値記憶部１２２に対して、現在入力されている周波数分周値より１つ大きい値の周波数分周値を要求する。
　コード生成部１２４は、基準クロック信号と、周波数判定部１２３から出力された周波数情報とに基づき、タイムコードＴｃを出力する。このとき、コード生成部１２４は、周波数情報に応じた回数で基準クロック信号を分周して更新周期を変更し、タイムコードＴｃの時間間隔を制御する。例えば、コード生成部１２４は、周波数情報の値が「１」で基準クロック信号を１回分周し、基準クロック信号の１／２の更新周期に応じてタイムコードＴｃを生成する。また例えば、コード生成部１２４は、周波数情報の値が「２」で基準クロック信号を２回分周し、基準クロック信号の１／４の更新周期に応じてタイムコードＴｃを生成する。
　図１２のタイミングチャートを用いて、ＴＣ生成部１２０の動作について、より具体的に説明する。図１２において、クロックは、時間カウンタ１２１により基準クロック信号をカウントしたカウント値を示す。図１２の例では、クロックの値は、露光期間Ｔｓｈの開始時点で「０」、終了時点で「１２７」とされている。露光期間Ｔｓｈの開始時点において、周波数判定部１２３は、分周設定値記憶部１２２から周波数分周値の初期値である値「３１」を取得すると共に、周波数情報の初期値である値「１」を出力する。
　コード生成部１２４は、値「１」の周波数情報に基づき基準クロック信号を１回分周し、基準クロック信号の１／２の周波数（更新周期）に応じて１ずつ値が増加するタイムコードＴｃを生成する。
　周波数判定部１２３は、クロックの値が周波数分数値「３１」と一致したと判定した場合、分周設定値記憶部１２２に対して、現在の周波数分数値「３１」より１つ大きい値の周波数分周値「６３」を要求する。それと共に、周波数判定部１２３は、周波数情報の値「１」に「１」を加算して値「２」とする。コード生成部１２４は、周波数情報の値「２」に応じて基準クロック信号を２回分周し、基準クロック信号の１／４の周波数に応じて１ずつ値が増加するタイムコードＴｃを生成する。
　図１２の例では、コード生成部１２４は、周波数情報が値「１」の期間（クロックの値「０」～「３１」）に、基準クロック信号の１／２の周波数に従い、値「０」から値「１５」まで１ずつ増加するタイムコードＴｃを順次に生成する。コード生成部１２４は、周波数情報が値「１」から値「２」に切り替わると、基準クロック信号の１／４の周波数に従い、次の値「１６」から１ずつ増加するタイムコードＴｃを生成する。
　このように、第１の実施形態に係るＴＣ生成部１２０によれば、クロックの値が周波数分周値と一致する毎に、基準クロック信号を分周する分周比を大きくすると共に、周波数分周値を更新している。そのため、露光期間Ｔｓｈにおける時間の経過に応じて更新周期が順次に長くなり、タイムコードＴｃの時間間隔が順次に長くなる。
　ここで、露光期間Ｔｓｈ内において時間間隔が固定の時間間隔で生成されたタイムコードＴｃ’を用いた場合について考える。ここでは、タイムコードＴｃ’は、基準クロック信号の周波数の１／２の周波数に従い生成されるものとする。この場合、露光期間Ｔｓｈの終了時点でのタイムコードＴｃ’は、値「６３」となり、６ビットのデータとなる。これに対して、第１の実施形態では、タイムコードＴｃの時間間隔を時間の経過に伴い長くすることで、露光期間Ｔｓｈの終了時点でのタイムコードＴｃは、値「３１」となり、５ビットのデータとなる。
　このように、タイムコードＴｃの時間間隔を可変とすることで、タイムコードＴｃのビット数を少なくすることができ、タイムコードＴｃにより取得される時間Ｔｔｈを格納するメモリのサイズの削減が可能となる。
　基準クロック信号に対する分周比が最も小さい（１／２）期間は、タイムコードＴｃが最も短い更新周期に応じて生成される期間であり、入射されたフォトン数が閾値Ｎｔｈに達した時間Ｔｔｈを、最も高い精度で取得できる。一方、当該分周比が大きくなるに連れ、タイムコードＴｃを生成するための更新周期が長くなり、時間Ｔｔｈの取得精度が低くなる。
　高照度の場合は、露光期間Ｔｓｈの開始時点から短時間に多数のフォトンが入射されると考えられる。この場合、フォトン入射の平均時間間隔Ｔａが短くなるため、時間Ｔｔｈの取得に高い精度が要求される。一方、低照度の場合は、露光期間Ｔｓｈの開始時点から長時間にわたり少数のフォトンが入射されと考えられる。この場合、フォトン入射の平均時間間隔Ｔａが長くなる。そのため、時間Ｔｔｈの取得に高い精度は要求されないと考えられる。
　したがって、露光期間Ｔｓｈの開始時点においてタイムコードＴｃの時間間隔を最も短くし、露光期間Ｔｓｈの経過に伴いタイムコードＴｃの時間間隔を順次長くしていくことで、時間Ｔｔｈを効率良く取得可能となる。また、高照度、中照度および低照度において、それぞれ適切なタイムコードＴｃの時間間隔を設定できるため、量子化ノイズを抑制することも可能である。
　図１２の例では、時間カウンタ１２１が一定周波数で駆動されて基準クロック信号をカウントしているが、これはこの例に限定されない。例えば、時間カウンタ１２１を駆動する周波数を可変としてもよい。図１３は、第１の実施形態に係る、時間カウンタ１２１を駆動する周波数を可変とした場合のＴＣ生成部１２０の動作を説明するための一例のタイミングチャートである。なお、図１３のタイミングチャートの各部の意味は、上述した図１２のタイミングチャートと同様であるので、ここでの説明を省略する。
　図１３の例では、時間カウンタ１２１を、クロックの値が「３２」以降で、それ以前の１／２の周波数で駆動している。これに伴い、分周設定値記憶部１２２に記憶される周波数分周値を、値「３１」、「４７」および「６３」としている。周波数判定部１２３およびコード生成部１２４の動作は、上述した図１２の例と同様である。この場合であっても、タイムコードＴｃの時間間隔を周波数分周値および周波数情報に基づき可変にでき、タイムコードＴｃのビット数を少なくすることが可能となる。
　また、上述では、タイムコードＴｃとして１ずつ増加する数値を適用しているが、これはこの例に限定されない。すなわち、タイムコードＴｃの増加幅は１に限定されない。さらには、値が重複しなければ、単純増加あるいは単純減少以外の値をタイムコードＴｃに用いてもよい。
　図１４は、第１の実施形態に適用可能な、単純増加あるいは単純減少以外の値の例としてグレイコードをタイムコードＴｃに適用した例を示すタイミングチャートである。なお、図１４のタイミングチャートの各部の意味は、上述した図１２のタイミングチャートと同様であるので、ここでの説明を省略する。また、図１４では、図１２における周波数分周値が値「３１」の期間を抜粋して示している。
　グレイコードは、前後に隣接する符号間のハミング距離が必ず１であるコードであって、ある値から隣接する値に変化する際に、常に１ビットしか変化しない特性を持つ。このように、タイムコードＴｃにグレイコードを適用することで、ＴＣ生成部１２０におけるタイムコードＴｃの発行に要する電力を、例えば一般的なバイナリを用いた場合に比べて削減することが可能である。また、グレイコードは、値が隣接する値に変化する際のビットの変化が一般的なバイナリを用いた場合に比べて小さいので、フォトン数の予測に係る不安定要素を抑制することも可能である。例えば、タイムコードＴｃとしてグレイコードを用いることで、ＴＣ生成部１２０における周波数設計を緩和できる効果も有する。
　図１１に示したＴＣ生成部１２０は、周波数判定部１２３が周波数分周値と時間カウンタ１２１のカウント値とに基づき、コード生成部１２４がタイムコードＴｃを生成するための周波数情報を生成しているが、これはこの例に限定されない。例えば、ＰＬＬ(Phase　Locked　Loop)を用いて周波数情報を生成してもよい。
　図１５は、第１の実施形態に適用可能な、ＰＬＬを用いてタイムコードＴｃを生成する構成の例を示すブロック図である。図１５において、ＴＣ生成部１２０’は、分周設定値記憶部１２２と、クロック生成部１２５と、ＰＬＬ回路１２６と、コード生成部１２７と、を含む。分周設定値記憶部１２２は、図１１に示したＴＣ生成部１２０と同様に、複数の周波数分周値（例えば値「３１」、「６３」および「１２７」）が予め記憶される。
　クロック生成部１２５は、例えば制御部１００３から供給される基準クロック信号に基づき、周波数が安定的とされたクロック信号を生成する。ＰＬＬ回路１２６は、クロック生成部１２５で生成されたクロック信号と、ＰＬＬ回路１２６の要求に応じて分周設定値記憶部１２２から出力された周波数分周値とが入力される。ＰＬＬ回路１２６は、入力されたクロック信号に基づき周波数分周値に応じた周波数のクロック信号を生成する。ＰＬＬ回路１２６で生成されたクロック信号は、コード生成部１２７に供給される。
　コード生成部１２７は、例えばカウンタと比較部とを含む。カウンタは、ＰＬＬ回路１２６から供給されたクロック信号をカウントする。比較部は、カウンタによりカウントされたカウント値と閾値Ｎｔｈとを比較する。コード生成部１２７は、カウント値が閾値Ｎｔｈ以上になったと判定した場合、当該カウント値をタイムコードＴｃとして出力する。
　また、コード生成部１２７は、カウント値が閾値Ｎｔｈ以上になり、且つ、現在入力されている周波数分周値が最大値ではないと判定した場合、分周設定値記憶部１２２に対して、現在入力されている周波数分周値より１つ大きい周波数分周値を要求する。これにより、ＰＬＬ回路１２６が生成するクロック信号の周波数を下げることができる。このとき、タイムコードＴｃを生成するためのクロック信号をＰＬＬ回路１２６により制御することで、タイムコードＴｃのより細かな制御が可能となる。
（１－４．第１の実施形態に適用可能なカウンタの構成例）
　次に、第１の実施形態に適用可能なカウンタ１１２（図８参照）の構成例について説明する。
（１－４－１．カウンタの第１の例）
　まず、第１の実施形態に適用可能なカウンタ１１２の第１の例について説明する。図１６Ａおよび図１６Ｂは、第１の実施形態に適用可能な第１の例のカウンタ１１２ａの一例の構成を示すブロック図である。なお、以下では、特に記載の無い限り、閾値Ｎｔｈを１０進数表記で値「３１」、２進数表記で値「０ｂ１１１１１」とする。なお、２進数表記において、先頭の文字列「０ｂ」は、後続する文字列（この例では「１１１１１」）が２進数表記による値であることを示している。
　図１６Ａにおいて、第１の例に係るカウンタ１１２ａは、それぞれ１ビットのカウントを行う複数のカウンタ１１２０、１１２０、…を含む。カウンタ１１２０、１１２０、…は、図１６Ｂに例示されるように、Ｔ（トグル）フリップフロップ（以下、Ｔ－ＦＦと略称する）が直列接続された構成となっている。
　Ｔ－ＦＦは、入力端子Ｔに立ち下がりエッジが入力される毎に、出力端子Ｑの値が反転する。したがって、各カウンタ１１２０を、カウンタ１１２０の出力端子Ｑと次段のカウンタ１１２０の入力端子Ｔとを接続した直列接続とすることで、各カウンタ１１２０がビットをカウントするカウンタ１１２ａを構成できる。図１６Ａの例では、カウンタ１１２ａにおいて、５個のカウンタ１１２０が直列接続されているので、カウンタ１１２ａは、ビット「０」（Bit(0)）～ビット「４」（Bit(4)）までの５ビットのカウンタとして動作する。
　各カウンタ１１２０が値「１」の状態でパルスＶｐｌｓの立ち下がりエッジが入力されると、カウンタ１１２ａがオーバーフローして、ＭＳＢ(Most　Significant　Bit)のカウンタ１１２０から値「１」が出力される。この値「１」は、フォトン情報ＰｈＩｎｆｏとして、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ａ）に入力される。閾値判定部１１３ａ（ａ）は、例えば１ビットのカウンタ１１３０を含み、カウンタ１１２ａから値「１」が入力されると、カウンタ１１３０において１ビットが出力され、入射されたフォトン数が閾値Ｎｔｈに達したとして、メモリ１１４への書き込み信号ＷＲｅｎ（Ｗ）を出力する。
（１－４－２．カウンタの第２の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第２の例について説明する。図１７は、第１の実施形態に適用可能な第２の例のカウンタ１１２ｂの一例の構成を示すブロック図である。
　図１７において、第２の例に係るカウンタ１１２ｂは、それぞれＴ－ＦＦによるカウンタ１１２０、１１２０、…が直列に接続される。カウンタ１１２ｂは、各カウンタ１１２０、１１２０、…の出力端子Ｑから出力が取り出され、取り出された各ビットがビット列として出力される。図１７の例では、カウンタ１１２ｂが５個のカウンタ１１２０を含むため、５ビットのビット列として出力される。カウンタ１１２ｂ出力されたビット列は、フォトン情報ＰｈＩｎｆｏとして閾値判定部１１３ａ（ｂ）に供給される。
　閾値判定部１１３ａ（ｂ）は、図８の閾値判定部１１３ａに対応するもので、比較回路１１３１を含む。閾値判定部１１３ａ（ｂ）に供給されたフォトン情報ＰｈＩｎｆｏは、比較回路１１３１に入力される。比較回路１１３１は、入力されたフォトン情報ＰｈＩｎｆｏと、閾値Ｎｔｈとを比較して、フォトン情報ＰｈＩｎｆｏが示す値と、閾値Ｎｔｈとが一致した場合に、メモリ１１４への書き込み信号ＷＲｅｎ（Ｗ）を出力する。
　この第２の例のカウンタ１１２ｂおよび閾値判定部１１３ａ（ｂ）によれば、閾値Ｎｔｈとして、カウンタ１１２０の数に対応するビット数の範囲内の任意の値を設定することが可能である。
（１－４－３．カウンタの第３の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第３の例について説明する。図１８は、第１の実施形態に適用可能な第３の例のカウンタ１１２ｃの一例の構成を示すブロック図である。
　図１８において、第３の例に係るカウンタ１１２ｃは、それぞれＴ－ＦＦによるカウンタ１１２０、１１２０、…が直列に接続される。カウンタ１１２ｃは、ＭＳＢに対応するカウンタ１１２０の入力および出力と、カウンタ１１２ｃに入力されるパルスＶｐｌｓとの、３つの信号がフォトン情報ＰｈＩｎｆｏとして出力される。カウンタ１１２ｃから出力されたフォトン情報ＰｈＩｎｆｏは、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ｃ）に供給される。
　閾値判定部１１３ａ（ｃ）は、３入力のＡＮＤ回路１１３２を含む。閾値判定部１１３ａ（ｃ）に入力されたフォトン情報ＰｈＩｎｆｏに含まれる３つの信号は、それぞれＡＮＤ回路１１３２の３つの入力端に入力される。閾値判定部１１３ａ（ｃ）は、フォトン情報ＰｈＩｎｆｏに含まれる３つの値が「１」になった場合に、メモリ１１４への書き込み信号ＷＲｅｎ（Ｗ）を出力する。カウンタ１１２ｃに入力されるパルスＶｐｌｓを論理積による判定条件に用いているため、パルスＶｐｌｓの入力に同期して、書き込み信号ＷＲｅｎを出力できる。
（１－４－４．カウンタの第４の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第４の例について説明する。図１９Ａおよび図１９Ｂは、第１の実施形態に適用可能な第４の例のカウンタ１１２ｄの一例の構成を示すブロック図である。
　図１９Ａにおいて、カウンタ１１２ｄは、それぞれ非同期型Ｔ－ＦＦ（以下、ＳＲＴ－ＦＦ）であるカウンタ１１２０’、１１２０’、…が直列に接続される。ＳＲＴ－ＦＦは、外部からの制御信号で初期状態を決定できるようにしたものである。それぞれＳＲＴ－ＦＦである各カウンタ１１２０’は、図１９Ｂに示されるように、入力端子Ｔに加え、端子Ｓおよび端子Ｒを有する。図１９Ｂの例では、例えば信号ＳＥＴが端子Ｒに入力されると共に、反転されて端子Ｓに入力される。この接続の場合、信号ＳＥＴ＝０で値「１」が書き込まれ（Ｑ＝１）、信号ＳＥＴ＝１で値「０」が書き込まれる（Ｑ＝０）。
　図１９Ａの例では、ＬＳＢ(Least　Significant　Bit)側の３つのカウンタ１１２０’（Bit(0)、Bit(1)およびBit(2)）に対して、信号ＲＳＴ＿ＣＮＴが上述の信号ＳＥＴとして入力される。また、ＭＳＢ側の２つのカウンタ１１２０’（Bit(3)およびBit(4)）に対して、信号ＳＥＴ＿ＣＮＴが上述の信号ＳＥＴとして入力される。例えば、カウンタ１１２ｄに含まれる各カウンタ１１２０’、１１２０’、…をリセットする際に、初期化処理として、信号ＲＳＴ＿ＣＮＴを値「０」とし、信号ＳＥＴ＿ＣＮＴを値「１」とする。これにより、ＬＳＢ側の３つのカウンタ１１２０’（Bit(0)、Bit(1)およびBit(2)）にそれぞれ「０」が書き込まれ、ＭＳＢ側の２つのカウンタ１１２０’（Bit(3)およびBit(4)）に値「１」が書き込まれる。
　このように各カウンタ１１２０’、１１２０’、…を初期化することで、閾値Ｎｔｈを制御することができる。上述の例では、ＭＳＢ側の２つのカウンタ１１２０’（Bit(3)およびBit(4)）の値が既に「１」とされているので、パルスＶｐｌｓが８個入力されることで、カウンタ１１２ｄがオーバーフローして、値「１」のフォトン情報ＰｈＩｎｆｏが出力される。すなわち、この場合、閾値Ｎｔｈが値「８」に制御される。
（１－４－５．カウンタの第５の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第５の例について説明する。図２０は、第１の実施形態に適用可能な第５の例のカウンタ１１２ｅの一例の構成を示すブロック図である。
　図２０において、カウンタ１１２ｅは、それぞれ非同期型Ｔ－ＦＦ（以下、ＳＲＴ－ＦＦ）であるカウンタ１１２０’、１１２０’、…が直列に接続される。各カウンタ１１２０’、１１２０’、…に対して、５ビットの信号ＩＮＩＴ＿ＣＮＴ＿ＤＡＴＡの各ビットが、それぞれ図１９Ｂを用いて説明した信号ＳＥＴとして、それぞれスイッチ１１２１、１１２１、…を介して入力される。各スイッチ１１２１は、１ビットの信号ＩＮＩＴ＿ＣＮＴによりオン（閉）およびオフ（開）を同時に制御される。
　信号ＩＮＩＴ＿ＣＮＴ＿ＤＡＴＡの各ビットを例えば値「０」とし、信号ＩＮＩＴ＿ＣＮＴにより所定のタイミングで各スイッチ１１２１をオンとすることで、各カウンタ１１２０’、１１２０’、…に値「０」が書き込まれ、各カウンタ１１２０’、１１２０’、…をリセットすることができる。
（１－４－６．カウンタの第６の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第６の例について説明する。カウンタ１１２の第６の例は、カウンタ１１２を構成する各カウンタ１１２０、１１２０、…（または１１２０’、１１２０’、…）の配置を工夫した例である。図２１は、第１の実施形態に適用可能な第６の例のカウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3の一例の構成を示す図である。なお、これらカウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、上述したカウンタ１１２ａ～１１２ｅの何れを適用してもよい。
　図２１の例では、３つの光電変換素子１１０1、１１０2および１１０3が示されている。なお、図２１では、煩雑さを避けるため、図１０に示した構成のうち、画素分離部８３１および光電変換部８４０を抜粋して示している。
　図５を参照し、これら光電変換素子１１０1、１１０2および１１０3は、受光チップ２０００上に配置される。一方、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、ロジックチップ２０１０上に配置される。受光チップ２０００上の光電変換素子１１０1、１１０2および１１０3は、電極８０１’を介して受光チップ２０００における接続部８５０ａに接続される。接続部８５０ａは、例えばＣＣＣによりロジックチップ２０１０における接続部８５０ｂと接続される。一方、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、それぞれ対応する電極８５１を介して各接続部８５０ｂに接続される。すなわち、光電変換素子１１０1、１１０2および１１０3がフォトンの入射に応じて出力した各信号Ｖｐｈは、電極８０１’と、接続部８５０ａおよび８５０ｂと、電極８５１と、を介して、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3に供給される。
　ここで、説明のため、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3として図１６Ａに示したカウンタ１１２ａが適用されるものとする。また、カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、それぞれ６個のカウンタ１１２０（Bit(0)）～１１２０（Bit(5)）を含む６ビットカウンタであるものとする。
　また、以下では、特に記載の無い限り、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3に含まれる６個のカウンタ１１２０（Bit(0)）～１１２０（Bit(5)）のうち、ＬＳＢ側の各カウンタ１１２０（Bit(0)）、１１２０（Bit(1)）、１１２０（Bit(2)）および１１２０（Bit(3)）をそれぞれ纏めてカウンタ１１２０ａ1、１１２０ａ2および１１２０ａ3と記述する。同様に、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3に含まれる６個のカウンタ１１２０（Bit(0)）～１１２０（Bit(5)）のうち、ＭＳＢ側の各カウンタ１１２０（Bit(4)）および１１２０（Bit(5)）をそれぞれ纏めてカウンタ１１２０ｂ1、１１２０ｂ2および１１２０ｂ3と記述する。
　例えばカウンタ１１２ｆ1が含むＬＳＢ側の各カウンタ１１２０ａ1は、ＭＳＢ側の各カウンタ１１２０ｂ1と比較して、高速にカウントが行われる。そこで、カウンタ１１２ｆ1に含まれるＬＳＢ側の各カウンタ１１２０ａ1を、ロジックチップ２０１０上の、対応する光電変換素子１１０1の直下に対応する位置に配置する。カウンタ１１２ｆ2および１１２ｆ3についても同様に、各カウンタ１１２ｆ2および１１２ｆ3に含まれるＬＳＢ側のカウンタ１１２０ａ2および１１２０ａ3を、ロジックチップ２０１０上の、それぞれ対応する光電変換素子１１０2および１１０3の直下に対応する位置に配置する。
　一方、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3が含むＭＳＢ側の各カウンタ１１２０ｂ1、１１２０ｂ2および１１２０ｂ3は、ロジックチップ２０１０上に位置を纏めて配置する。このとき、図２１に示されるように、各カウンタ１１２０ｂ1、１１２０ｂ2および１１２０ｂ3は、対応するＬＳＢ側の各カウンタ１１２０ａ1、１１２０ａ2および１１２０ａ3と近接していなくても構わない。
　このように、入射フォトン数の平均時間間隔Ｔａが長く、カウントの速度が遅い各カウンタ１１２０ｂ1～１１２０ｂ3を纏めて配置すると、カウント速度と回路面積とのトレードオフができる。これにより、カウンタ１１２ｆ1～１１２ｆ3の性能を維持しつつ、回路面積を削減することが可能となる。
　なお、図２１では、３つの光電変換素子１１０1～１１０3について、ＭＳＢ側のカウンタ１１２０ｂ1～１１２０ｂ3を纏めているが、これはこの例に限定されず、２つの光電変換素子１１０や、４以上の光電変換素子１１０について、ＭＳＢ側のカウンタ１１２０を纏めて配置してもよい。
（１－４－７．カウンタの第７の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第７の例について説明する。カウンタ１１２の第７の例は、上述した第６の例において、ＭＳＢ側の各カウンタ１１２０ｂ1～１１２０ｂ3を共有化した例である。図２２は、第１の実施形態に適用可能な第７の例のカウンタ１１２ｇ1、１１２ｇ2および１１２ｇ3の一例の構成を示す図である。なお、これらカウンタ１１２ｇ1、１１２ｇ2および１１２ｇ3は、上述したカウンタ１１２ａ～１１２ｅの何れを適用してもよい。
　図２２に示されるように、各カウンタ１１２ｇ1～１１２ｇ3において、ＬＳＢ側の各カウンタ１１２０ａ1～１１２０ａ3は、上述した第６の例と同様に、ロジックチップ２０１０上の、それぞれ対応する光電変換素子１１０1～１１０3の直下に対応する位置に配置される。一方、各カウンタ１１２ｇ1～１１２ｇ3に含まれるＭＳＢ側の各カウンタ１１２０（Bit(4)）および１１２０（Bit(5)）は、各カウンタ１１２ｇ1～１１２ｇ3で纏められて、カウンタ１１２０ｃとしてロジックチップ２０１０上に配置される。
　図２３は、第１の実施形態に適用可能なカウンタ１１２０ｃの一例の構成を示すブロック図である。図２３において、カウンタ１１２０ｃは、メモリ１１２２1、１１２２2および１１２２3と、加算回路１１２３と、結果メモリ１１２４と、を含む。
　例えばメモリ１１２２1は、光電変換素子１１０1に対応するＬＳＢ側のカウンタ１１２０ａ1の出力が供給される。メモリ１１２２1は、カウンタ１１２０ａ1から供給された出力値をそれぞれ記憶する。すなわち、メモリ１１２２1は、カウンタ１１２０ａ1においてオーバーフローした値をそれぞれ記憶する。これにより、メモリ１１２２1は、ＭＳＢ側のビットをカウントするカウンタとして機能する。
　メモリ１１２２2および１１２２3も同様に、それぞれ光電変換素子１１０2および１１０3に対応するＬＳＢ側のカウンタ１１２０ａ2および１１２０ａ3においてオーバーフローした値をそれぞれ記憶する。
　メモリ１１２２1、１１２２2および１１２２3に記憶された値は、加算回路１１２３により加算され、結果メモリ１１２４に記憶される。結果メモリ１１２４から読み出された値は、フォトン情報ＰｈＩｎｆｏとして出力され、例えば閾値判定部１１３ａに供給される。
（１－４－８．カウンタの第８の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第８の例について説明する。上述したカウンタ１１２の第１～第７の例では、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓを、値「０」および「１」の２値でカウントするデジタルカウンタを用いてカウントしていた。この第８の例では、アナログカウンタを用いてパルスＶｐｌｓをカウントする。
　図２４は、第１の実施形態に適用可能な第８の例のカウンタ１１２ｈの一例の構成を示すブロック図である。図２４において、カウンタ１１２ｈは、アナログカウンタ１１２５ａを含む。アナログカウンタ１１２５ａは、例えばキャパシタを有し、入力されたパルスＶｐｌｓの電圧に応じた電荷をキャパシタに蓄積する。キャパシタの容量Ｃと、蓄積される電荷Ｑと、キャパシタから取り出される電圧Ｖとの間には、Ｖ＝Ｑ／Ｃの関係があるので、アナログカウンタ１１２５ａは、入力されたパルスＶｐｌｓの数に応じた電圧を取り出すことができる。アナログカウンタ１１２５ａにおいて取り出された電圧は、フォトン情報ＰｈＩｎｆｏとして、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ｄ）に供給される。
　閾値判定部１１３ａ（ｄ）は、比較器１１３３を含み、比較器１１３３により、カウンタ１１２ｈから供給されたフォトン情報ＰｈＩｎｆｏと、電圧値として供給される閾値Ｎｔｈとを比較する。比較器１１３３は、例えば、フォトン情報ＰｈＩｎｆｏの電圧値が閾値Ｎｔｈの電圧値よりも高い場合に、書き込み信号ＷＲｅｎ（Ｗ）を出力する。
（１－４－９．カウンタの第９の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第９の例について説明する。この第９の例では、アナログカウンタと、値「０」および「１」の２値でカウントするデジタルカウンタと、を用いてパルスＶｐｌｓをカウントする例である。
　図２５は、第１の実施形態に適用可能な第９の例のカウンタ１１２ｉの一例の構成を示すブロック図である。図２５において、カウンタ１１２ｉは、アナログカウンタ１１２５ｂと、当該アナログカウンタ１１２５ｂに直列に接続されるデジタルカウンタ１１２ｊと、を含む。デジタルカウンタ１１２ｊは、上述したカウンタ１１２ａ～１１２ｅの何れを適用してもよい。
　第９の例に適用されるアナログカウンタ１１２５ｂは、例えば、上述したアナログカウンタ１１２５ａと同様にキャパシタを有し、入力されたパルスＶｐｌｓの電圧に応じた電荷をキャパシタに蓄積する。第９の例に係るアナログカウンタ１１２５ｂは、さらに、キャパシタに蓄積される電荷量を監視し、キャパシタに所定量以上の電荷が蓄積された場合にパルスを出力するように構成されている。例えば、アナログカウンタ１１２５ｂは、キャパシタに蓄積される電荷量を所定階調（例えば１６階調）で検出し、階調毎にパルスを出力する。例えば、アナログカウンタ１１２５ｂにおいて、１つのパルスＶｐｌｓの入力に応じて１階調が検出される。アナログカウンタ１１２５ｂは、キャパシタに蓄積された電荷量が所定階調に達すると、カウンタをリセットする。
　デジタルカウンタ１１２ｊは、アナログカウンタ１１２５ｂから出力されるパルスをカウントし、カウント値をフォトン情報ＰｈＩｎｆｏとして出力する。フォトン情報ＰｈＩｎｆｏは、例えばデジタルカウンタ１１２ｊが上述したカウンタ１１２ａに対応する場合、閾値判定部１１３ａに供給される。
（１－４－１０．カウンタの第１０の例）
　次に、第１の実施形態に適用可能なカウンタ１１２の第１０の例について説明する。この第９の例では、デジタルカウンタと、アナログカウンタと、メモリと加算器とで構成されるカウンタと、を用いてパルスＶｐｌｓをカウントする例である。
　図２６は、第１の実施形態に適用可能な第１０の例のカウンタ１１２ｋの一例の構成を示すブロック図である。図２６において、カウンタ１１２ｋは、デジタルカウンタ１１２６と、当該デジタルカウンタ１１２６に直列に接続されるアナログカウンタ１１２５ｃと、メモリ１１２７と、加算器１１２８と、を含む。デジタルカウンタ１１２６は、例えば１ビットカウンタであって、１個のＴ－ＦＦを用いて構成できる。また、アナログカウンタ１１２５ｃは、上述したアナログカウンタ１１２５ｂを適用するものとする。
　デジタルカウンタ１１２６は、パルスＶｐｌｓの入力に応じて値「１」を示す電圧を出力する。この電圧は、アナログカウンタ１１２５ｃに供給され、キャパシタに蓄積される。アナログカウンタ１１２５ｃは、キャパシタに蓄積される電荷量を所定階調（例えば１６階調）で検出し、階調毎にパルスを出力する。
　加算器１１２８は、第１および第２の入力端を有し、第１の入力端に入力された信号と第２の入力端に入力された信号とを加算して出力する。加算器１１２８の出力は、メモリ１１２７に入力され、記憶される。メモリ１１２７から読み出された信号は、フォトン情報ＰｈＩｎｆｏとして出力されると共に、加算器１１２８の第２の入力端に供給される。このように、加算器１１２８およびメモリ１１２７により、カウンタを構成することができる。なお、この第１０の例の場合、メモリ１１２７はキャパシタを用いて構成することが可能である。
　メモリ１１２７から出力されたフォトン情報ＰｈＩｎｆｏは、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ｄ）に供給される。閾値判定部１１３ａ（ｄ）は、例えば図２４を用いて説明した閾値判定部１１３ａ（ｄ）と同様の構成を適用できる。すなわち、閾値判定部１１３ａ（ｄ）は、比較器１１３３により、カウンタ１１２ｋから供給されたフォトン情報ＰｈＩｎｆｏと、電圧値として供給される閾値Ｎｔｈとを比較し、比較結果に応じて書き込み信号ＷＲｅｎ（Ｗ）を出力する。
（１－５．第１の実施形態に適用可能なＴＣ生成部および画素回路の配置）
　次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００ａの配置の例について説明する。なお、以下では、便宜上、画素回路１００ａを画素回路１００として説明を行う。また、以下の図２７～図３３において、ＴＣ生成部１２０から出力される信号ＳＨ＿ＯＮの記載を省略している。
（１－５－１．第１の実施形態に係る第１の配置例）
　まず、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第１の配置例について説明する。図２７は、第１の実施形態に係る第１の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。
　第１の実施形態に係る第１の配置例では、図２７に示すように、ＴＣ生成部１２０が画素回路１００毎に設けられている。すなわち、垂直制御部２０１３ａは、画素アレイ部２００１に含まれる画素回路１００の数に対応する数のＴＣ生成部１２０を含む。各ＴＣ生成部１２０は、対応する画素回路１００に対してそれぞれ信号ＳＨ＿ＯＮおよびタイムコードＴｃを供給する。
　この第１の実施形態に係る第１の配置例によれば、タイムコードＴｃの発行速度（時間間隔）を画素回路１００毎に制御できる。そのため、画素回路１００毎のバラツキを抑制可能である。例えば、各画素回路１００がライン上に配置されるラインセンサにこの第１の実施形態に係る第１の配置例による配置を適用し、各画素回路１００の特性を均一化することが考えられる。
（１－５－２．第１の実施形態に係る第２の配置例）
　次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第２の配置例について説明する。図２８は、第１の実施形態に係る第２の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。第１の実施形態に係る第２の配置例では、図２８に示すように、画素アレイ部２００１に２次元格子状に配列される各画素回路１００の行毎にＴＣ生成部１２０を設けている。すなわち、第１の実施形態に係る第２の配置例は、上述した図８に対応する構成を有する。ＴＣ生成部１２０は、２次元格子の対応する行に配置される各画素回路１００に対して共通してタイムコードＴｃおよび信号ＳＨ＿ＯＮを供給する。
　この第１の実施形態に係る第２の配置例による構成は、既存のセンサとの相性が良い。また、上述した第１の実施形態に係る第１の配置例による構成と比較して配線を削減することが可能である。
（１－５－３．第１の実施形態に係る第３の配置例）
　次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第３の配置例について説明する。図２９は、第１の実施形態に係る第３の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。第１の実施形態に係る第３の配置例では、図２９に示すように、画素アレイ部２００１に２次元格子状に配列される各画素回路１００の２行毎にＴＣ生成部１２０を設けている。ＴＣ生成部１２０は、２次元格子の対応する２行に配置される各画素回路１００に対して共通してタイムコードＴｃおよび信号ＳＨ＿ＯＮを供給する。
　図３０は、第１の実施形態に係る第３の配置例を画素アレイ部２００１に注目して示す図である。図３０に示されるように、画素アレイ部２００１において２次元格子状に配列される各画素回路１００は、２次元格子の２行毎に纏められたグループ１５０を単位に扱うことができる。すなわち、ＴＣ生成部１２０がグループ１５０毎に設けられ、グループ１５０に含まれる各画素回路１００に対して、対応するＴＣ生成部１２０からのタイムコードＴｃおよび信号ＳＨ＿ＯＮが供給される。
　この第１の実施形態に係る第３の配置例による構成は、上述した第１の実施形態に係る第２の配置例による構成と比較して配線を削減することが可能である。
（１－５－４．第１の実施形態に係る第４の配置例）
　次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第４の配置例について説明する。図３１は、第１の実施形態に係る第４の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。
　第１の実施形態に係る第４の配置例では、図３１に示すように、画素アレイ部２００１内の領域毎にＴＣ生成部１２０が設けられる例である。各領域に含まれる各画素回路１００に対して、当該領域に対応するＴＣ生成部１２０から共通してタイムコードＴｃおよび信号ＳＨ＿ＯＮが供給される。換言すれば、第１の実施形態に係る第４の配置例では、画素アレイ部２００１に設けた領域に含まれる各画素回路１００によるグループ１５０に対して、１つのＴＣ生成部１２０からタイムコードＴｃおよび信号ＳＨ＿ＯＮが供給される。
　この第１の実施形態に係る第４の配置例によれば、例えば各画素回路１００のバイアス条件などを領域毎に制御することができる。一例として、光電変換素子１１０に入射されるフォトン数が閾値Ｎｔｈに達した時間Ｔｔｈに基づき予測カウント値Ｎｐｒｅを求める際のバイアス条件を、画素アレイ部２００１の領域毎に補正したい場合がある。この場合において、第１の実施形態に係る第４の配置例を適用することで、当該バイアス条件を補正する機能を、各ＴＣ生成部１２０に持たせることが可能である。
（１－５－５．第１の実施形態に係る第５の配置例）
　次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第５の配置例について説明する。この第１の実施形態に係る第５の配置例は、各画素回路１００に含まれる光電変換素子１１０にカラーフィルタが設けられる場合の例である。第１の実施形態に係る第５の配置例では、画素アレイ部２００１の各行において、同色のカラーフィルタが設けられる光電変換素子１１０を含む画素回路１００を纏めてグループとし、このグループ毎にＴＣ生成部１２０を設ける。
　図３２は、第１の実施形態に係る第５の配置例に係るＴＣ生成部１２０および画素回路１００Ｒ、１００Ｇおよび１００Ｂの配置例を示す図である。なお、画素回路１００Ｒ、１００Ｇおよび１００Ｂは、それぞれ、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）のカラーフィルタが設けられた光電変換素子１１０を含んでいる。ここでは、各画素回路１００Ｒ、１００Ｇおよび１００Ｂは、ベイヤ配列に従い配置される。すなわち、各画素回路１００Ｒ、１００Ｇおよび１００Ｂは、２×２の配列に、それぞれ１個の画素回路１００Ｒおよび１００Ｂと、２個の画素回路１００Ｇとが、同色の画素回路が互いに隣接しないように配置される。
　図３２において、例えば上から第１行目に、画素回路１００Ｒおよび１００Ｇが交互に配置される。この第１行目に配置される各画素回路１００Ｒを含むグループ１５０Ｒ1に対して、ＴＣ生成部１２０Ｒ1からタイムコードＴｃR1および信号ＳＨ＿ＯＮR1（図示しない）が供給される。また、当該第１行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ11に対して、ＴＣ生成部１２０Ｇ11からタイムコードＴｃG11および信号ＳＨ＿ＯＮG11（図示しない）が供給される。
　第２行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ12に対して、ＴＣ生成部１２０Ｇ12からタイムコードＴｃG12および信号ＳＨ＿ＯＮG12（図示しない）が供給される。また、当該第２行目に配置される各画素回路１００Ｂを含むグループ１５０Ｂ1に対して、ＴＣ生成部１２０Ｂ1からタイムコードＴｃB1および信号ＳＨ＿ＯＮB1（図示しない）が供給される。
　同様に、ベイヤ配列に従い、例えば第３行目および第４行目において、第３行目に配置される各画素回路１００Ｒを含むグループ１５０Ｒ2に対して、ＴＣ生成部１２０Ｒ2からタイムコードＴｃR2および信号ＳＨ＿ＯＮR2（図示しない）が供給される。また、当該第３行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ21に対して、ＴＣ生成部１２０Ｇ21からタイムコードＴｃG21および信号ＳＨ＿ＯＮG21（図示しない）が供給される。
　第４行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ22に対して、ＴＣ生成部１２０Ｇ22からタイムコードＴｃG22および信号ＳＨ＿ＯＮG22（図示しない）が供給される。また、当該第４行目に配置される各画素回路１００Ｂを含むグループ１５０Ｂ2に対して、ＴＣ生成部１２０Ｂ2からタイムコードＴｃB2および信号ＳＨ＿ＯＮB2（図示しない）が供給される。
　以下同様に、それぞれベイヤ配列に従い、第５行目および第６行目、第７行目および第８行目、…について、各行毎に、同色のカラーフィルタが設けられる画素回路が同一のグループに纏められて、共通のＴＣ生成部からタイムコードＴｃおよび信号ＳＨ＿ＯＮを供給される。
　Ｒ色、Ｇ色およびＢ色のカラーフィルタが設けられた各光電変換素子１１０は、入射されるフォトンに対する感度が異なる。この第５の配置によれば、各画素回路１００Ｒ、１００Ｇおよび１００Ｂに対して、カラーフィルタの色毎に纏めてＴＣ生成部１２０を設けている。そのため、光電変換素子１１０の、カラーフィルタの色に応じて異なる感度を、予測カウント値Ｎｐｒｅに基づくフォトン数予測の制御により補正することが可能である。
（１－５－６．第１の実施形態に係る第６の配置例）
　次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第６の配置例について説明する。この第１の実施形態に係る第６の配置例は、各画素回路１００に含まれる光電変換素子１１０にカラーフィルタが設けられ、且つ、１つのＴＣ生成部１２０を、画素アレイ部２００１に含まれる全ての画素回路１００に共通して設ける例である。
　図３３は、第１の実施形態に係る第６の配置例に係るＴＣ生成部１２０、ならびに、画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂの配置例を示す図である。なお、画素回路１００Ｇ1および１００Ｇ2は、ベイヤ配列に含まれる２つのＧ画素にそれぞれ対応する。図３３において、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂが１つのグループ１５０ＲＧＢに含まれる。グループ１５０ＲＧＢに含まれる全ての画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂに対して、１つのＴＣ生成部１２０ＲＧＢにより、タイムコードＴｃRGBおよび信号ＳＨ＿ＯＮRGB（図示しない）が共通して供給される。
　このように、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂに対して共通のＴＣ生成部１２０ＲＧＢを設けることで、グローバルシャッタに対応することが容易となる。
　なお、第１の実施形態の第６および第７の配置例において、各画素回路１００Ｒ、１００Ｇおよび１００Ｂ、ならびに、各画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂの配置は、ベイヤ型に限定されない。また、画素回路１００に設けるカラーフィルタは、Ｒ、Ｇ、Ｂの３色による原色系フィルタに限らず、例えばＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）およびＧの４色による、補色系フィルタであってもよい。
　さらに、各画素回路１００に対して、Ｒ、Ｇおよび色、あるいは、Ｃ、Ｍ、ＹおよびＧの補色系フィルタに加え、さらに他の種類の光学フィルタを設けてもよい。
　例えば、各画素回路１００に対して、Ｒ、ＧおよびＢのカラーフィルタに加え、赤外領域の光を選択的に透過するためＩＲフィルタを設けてもよい。一例として、ベイヤ配列におけるＧのカラーフィルタが設けられた画素回路１００のうち一方の画素回路１００に対してＩＲフィルタを設けることが考えられる。
　また、各画素回路１００に対して、Ｒ、ＧおよびＢのカラーフィルタに加え、例えばＲ、ＧおよびＢそれぞれの波長帯域を含む広い波長帯域の光を透過させる透明フィルタを設けてもよい。この場合においても、上述のＩＲフィルタと同様に、ベイヤ配列におけるＧのカラーフィルタが設けられた画素回路１００のうち一方の画素回路１００に対して透明フィルタを設けることが考えられる。
　さらに、ベイヤ型配列と異なるカラーフィルタ配列の例として、４分割ベイヤ型ＲＧＢ配列がある。４分割ベイヤ型ＲＧＢ配列は、それぞれ２×２に配列され光電変換素子１１０が１対１に設けられる４つずつのＲのカラーフィルタ、Ｇのカラーフィルタ、Ｂのカラーフィルタを、当該２×２の単位でベイヤ配列に倣って配列したものである。Ｒ、ＧおよびＢのカラーフィルタがそれぞれ設けられた各画素回路１００の配列を、この４分割ベイヤ型ＲＧＢ配列としてもよい。
（１－６．第１の実施形態の第１の変形例）
　次に、第１の実施形態の第１の変形例について説明する。図３４は、第１の実施形態の第１の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。
　図３４において、垂直制御部２０１３ａは、上述した図８における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。
　画素アレイ部２００１において、画素回路１００ｂは、図８に示した画素回路１００ａと同様に、光電変換素子１１０と、信号処理部１１１ｂと、カウンタ１１２と、閾値判定部１１３ａ－１と、メモリ１１４と、を含む。画素回路１００ｂにおいて、閾値判定部１１３から出力される書き込み信号ＷＲｅｎは、メモリ１１４に供給されると共に、信号処理部１１１ｂに供給される。
　信号処理部１１１ｂは、カウントされたフォトン数が露光期間Ｔｓｈ内に閾値Ｎｔｈを超え、書き込み信号ＷＲｅｎがタイムコードＴｃの書き込みを指示する状態となった場合に、光電変換素子１１０の動作を制限する。例えば、信号処理部１１１ｂは、書き込み信号ＷＲｅｎ（Ｗ）に応じて、光電変換素子１１０に対する電源電位ＶＤＤへの接続を切断し、露光期間Ｔｓｈの開始時点で、光電変換素子１１０に対する電源電位ＶＤＤへの接続を回復させることが考えられる。
　書き込み信号ＷＲｅｎに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｂにおける消費電力を削減することができる。
（１－７．第１の実施形態の第２の変形例）
　次に、第１の実施形態の第２の変形例について説明する。図３５は、第１の実施形態の第２の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。
　図３５において、垂直制御部２０１３ａは、上述した図８における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｃは、図３４の画素回路１００ｂと比較して、信号処理部１１１ｂ’および閾値判定部１１３ａ－２の機能が変更されている。
　第１の実施形態の第２の変形例では、上述した第１の実施形態の第１の変形例と同様に、閾値判定部１１３ａ－２による閾値Ｎｔｈの検出に応じて、光電変換素子１１０の動作を制限する。このとき、第１の実施形態の第２の変形例に係る閾値判定部１１３ａ－２は、書き込み信号ＷＲｅｎとは別に、光電変換素子１１０の動作を制限するための信号ＰｈＧａｔｉｎｇを生成し、生成した信号ＰｈＧａｔｉｎｇを信号処理部１１１ｂ’に供給する。
　信号処理部１１１ｂ’は、信号ＰｈＧａｔｉｎｇに応じて光電変換素子１１０の動作を制限する。例えば、信号処理部１１１ｂ’は、信号ＰｈＧａｔｉｎｇに応じて、光電変換素子１１０に対する電源電位ＶＤＤへの接続を切断し、露光期間Ｔｓｈの開始時点で、光電変換素子１１０に対する電源電位ＶＤＤへの接続を回復させることが考えられる。
　信号ＰｈＧａｔｉｎｇに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｃにおける消費電力を削減することができる。
（１－８．第１の実施形態の第３の変形例）
　次に、第１の実施形態の第３の変形例について説明する。第１の実施形態の第３の変形例では、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓをカウントするカウンタとして、カウント動作と記憶動作とを切り替え可能とされたデュアルモードカウンタを用いる。デュアルモードカウンタを用いることで、例えば図８に示した画素回路１００ａにおけるメモリ１１４を省略することができ、回路面積を削減することが可能となる。
　図３６は、第１の実施形態の第３の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。
　図３６において、垂直制御部２０１３ａは、上述した図８における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｄは、図８の画素回路１００ａと比較して、閾値判定部１１３ａ－３の機能が変更されると共に、メモリ１１４が省略され、カウンタ１１２の代わりにデュアルモードカウンタ１１５が設けられている。
　図３６において、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓがデュアルモードカウンタ１１５に入力される。また、ＴＣ生成部１２０から出力されたタイムコードＴｃがデュアルモードカウンタ１１５に入力される。
　デュアルモードカウンタ１１５は、動作モードとしてカウント動作モードと、記憶動作モードとを有する。また、記憶動作モードは、書き込み動作モードと、保持動作モードとを含む。デュアルモードカウンタ１１５は、これらの動作モードが、閾値判定部１１３”から供給される信号ＷＲｅｎ＿ＣＮＴに応じて切り替えられる。デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴがカウント動作を示している場合、動作モードをカウント動作モードに切り替えて、信号処理部１１１ａから供給されるパルスＶｐｌｓをカウントし、カウント結果を示すフォトン情報ＰｈＩｎｆｏを出力する。また、デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴが記憶動作を示している場合、動作モードを記憶動作モードに切り替えて、入力されたタイムコードＴｃを記憶する。
　例えば、閾値判定部１１３ａ－３は、露光期間Ｔｓｈの開始時点で、カウント動作を示す信号ＷＲｅｎ＿ＣＮＴを出力する。この信号ＷＲｅｎ＿ＣＮＴに応じて、デュアルモードカウンタ１１５は、動作モードがカウント動作モードに切り替わる。デュアルモードカウンタ１１５は、カウント動作モードにおいて、信号処理部１１１ａから供給されるパルスＶｐｌｓをカウントし、カウント結果をフォトン情報ＰｈＩｎｆｏとして出力する。
　閾値判定部１１３ａ－３は、デュアルモードカウンタ１１５から出力されたフォトン情報ＰｈＩｎｆｏに基づき、例えば露光期間Ｔｓｈ内に光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈに達したと判定した場合、記憶動作を示す信号ＷＲｅｎ＿ＣＮＴを出力する。デュアルモードカウンタ１１５は、この信号ＷＲｅｎ＿ＣＮＴに従い動作モードを記憶動作モードに切り替えて、パルスＶｐｌｓのカウントを中止すると共に、タイムコードＴｃを記憶する。
　図３７Ａ～図３７Ｃは、第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタ１１５の動作を説明するための図である。図３７Ａは、カウント動作モード時のデュアルモードカウンタ１１５の状態を示す図である。図３７Ｂは、記憶動作モードにおける書き込み動作モード時の、デュアルモードカウンタ１１５の状態を示す図である。図３７Ｃは、記憶動作モードにおける保持動作モード時の、デュアルモードカウンタ１１５の状態を示す図である。
　以下では、デュアルモードカウンタ１１５は、５ビットのカウンタであるものとする。
　図３７Ａを用いて、デュアルモードカウンタ１１５の構成例について説明する。第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタ１１５は、カウントするビット数に対応する５個のＤ－ＦＦ（Ｄフリップフロップ）１１４０0、１１４０1、１１４０2、１１４０3および１１４０4を含む。各Ｄ－ＦＦ１１４０１１４０0、１１４０1、１１４０2、１１４０3および１１４０4は、タイムコードＴｃの各ビットが、それぞれ信号ＷＲｅｎ＿ＣＮＴに従い制御される各スイッチ１１４１0、１１４１1、１１４１2、１１４１3および１１４１4を介して、端子Ｄに入力される。
　また、例えばＤ－ＦＦ１１４０0は、端子Ｄと端子ＱＢとが、信号ＷＲｅｎ＿ＣＮＴに従い制御されるスイッチ１１４２0を介して接続される。なお、端子ＱＢは、図において「Ｑ」上にオーバーラインが付されている端子を示している。他のＤ－ＦＦ１１４０1、１１４０2、１１４０3および１１４０4においても同様に、端子Ｄと端子ＱＢとが、それぞれ信号ＷＲｅｎ＿ＣＮＴに従い制御される各スイッチ１１４２1、１１４２2、１１４２3および１１４２4を介して接続される。
　さらに、例えばＤ－ＦＦ１１４０0の端子ＣＫに対して、信号ＷＲｅｎ＿ＣＮＴに従い制御されるスイッチ１１４３0の共通選択端が接続される。スイッチ１１４３0の第１選択端にパルスＶｐｌｓが入力され、第２および第３選択端に、それぞれロー（Ｌｏｗ）レベルの電位と、ハイ（Ｈｉｇｈ）レベルの電位とが接続される。他のＤ－ＦＦ１１４０1、１１４０2、１１４０3および１１４０4は、各端子ＣＫに対し、それぞれ、第１選択端に前段の端子ＱＢが接続され、第２および第３選択端にそれぞれローレベルの電位とハイレベルの電位とが接続される、信号ＷＲｅｎ＿ＣＮＴに従い制御されるスイッチ１１４３1、１１４３2、１１４３3および１１４３4の共通選択端が接続される。
　また、各Ｄ－ＦＦ１１４０0、１１４０1、１１４０2、１１４０3および１１４０4は、それぞれ出力端子Ｑから各ビット（Bit(0)、Bit(1)、Bit(2)、Bit(3)およびBit(4)）が出力される。また、最終段のＤ－ＦＦ１１４０4の出力端子ＱＢから、フォトン情報ＰｈＩｎｆｏが出力される。
　デュアルモードカウンタ１１５の動作モードがカウント動作モード、書き込み動作モードおよび保持動作モードの場合の動作例について説明する。なお、各Ｄ－ＦＦ１１４０0～１１４０4、各スイッチ１１４１0～１１４１4、各スイッチ１１４２0～１１４２4、および、各スイッチ１１４３0～１１４３4は、各動作モードにおいてそれぞれ同一の状態に制御される。そのため、以下では、特に記載の無い限り、Ｄ－ＦＦ１１４０0と、当該Ｄ－ＦＦ１１４０0に接続されるスイッチ１１４１0、１１４２0および１１４３0を例にとって説明を行う。
　デュアルモードカウンタ１１５の動作モードがカウント動作モードの場合、図３７Ａに示されるように、スイッチ１１４１0がオフ（開）状態、スイッチ１１４２0がオン（閉）状態に制御され、スイッチ１１４３0が共通選択端を第１選択端に接続するように制御される。これにより、Ｄ－ＦＦ１１４０0は、出力端子ＱＢと端子Ｄとが接続されると共に、端子ＣＫにパルスＶｐｌｓが入力され、出力端子ＱおよびＱＢから、入力されたパルスＶｐｌｓの立ち下がり毎に反転する出力が取り出される。
　Ｄ－ＦＦ１１４０0の端子ＱＢの出力は、次段のＤ－ＦＦ１１４０1の端子ＣＫに入力される。Ｄ－ＦＦ１１４０1は、上述と同様にして、出力端子ＱおよびＱＢから、Ｄ－ＦＦ１１４０0の端子ＱＢの出力の立ち下がり毎に反転する出力が取り出される。次段のＤ－ＦＦ１１４０2以降も同様である。このような動作により、デュアルモードカウンタ１１５は、カウント動作モードにおいて、パルスＶｐｌｓをカウントするカウンタとして動作する。
　デュアルモードカウンタ１１５の動作が書き込み動作モードの場合、図３７Ｂに示されるように、スイッチ１１４１0がオン状態、スイッチ１１４２0がオフ状態に制御され、スイッチ１１４３0が共通選択端を第３選択端に接続するように制御される。これにより、タイムコードＴｃの所定のビットがスイッチ１１４１０を介してＤ－ＦＦ１１４０0の端子Ｄに入力されると共に、端子ＣＫがハイ状態とされ、Ｄ－ＦＦ１１４０0の端子Ｄに当該タイムコードＴｃの所定のビットの値が書き込まれる。
　その後、デュアルモードカウンタ１１５の動作が保持動作モードに移行され、図３７Ｃに示されるように、各スイッチ１１４１0および１１４２0がオフ状態に制御され、スイッチ１１４３0が共通選択端を第２選択端に接続するように制御される。これにより、端子ＣＫがロー状態とされ、Ｄ－ＦＦ１１４０0において、端子Ｄに書き込まれた値が保持される。また、この保持動作モードでは、各Ｄ－ＦＦ１１４０0～１１４０4の出力端子Ｑそれぞれから、各Ｄ－ＦＦ１１４０0～１１４０4の端子Ｄに書き込まれ保持された値を取り出すことができる。
（１－９．第１の実施形態および各変形例に適用可能なデータ処理）
　次に、第１の実施形態およびその各変形例に適用可能な、予測カウント値Ｎｐｒｅに対するデータ処理について説明する。先ず、予測カウント値Ｎｐｒｅに対するデータ処理の第１の例として、予測カウント値Ｎｐｒｅに対する圧縮処理について説明する。図２Ｂを用いて説明したように、第１の実施形態および各変形例では、フォトン数のカウント値が閾値Ｎｔｈに到達した時間Ｔｔｈに対応するタイムコードＴｃに基づき、予測カウント値Ｎｐｒｅを算出する。
　ここで、カウント値が閾値Ｎｔｈに達した時間Ｔｔｈに基づき予測された予測カウント値Ｎｐｒｅが１５ビットの値であり、閾値Ｎｔｈが９ビットの値であるものとする。この場合、予測カウント値Ｎｐｒｅの有効数字は、９ビットの値となる。すなわち、予測カウント値Ｎｐｒｅの１５ビットのうち、６ビット分は、無効数字となる。また、この場合、予測カウント値ＮｐｒｅのＬＳＢ側のビットは、重要度が低いと考えられる。そのため、予測カウント値Ｎｐｒｅの１５ビットの値を、ＬＳＢ側の所定ビットを無視することで、予測カウント値Ｎｐｒｅのビット数を削減することができる。
　一例として、１５ビットの予測カウント値Ｎｐｒｅを、８ビットの有効数字と３ビットのシフト量と、で表すことが考えられる。具体的な数値として、露光期間Ｔｓｈ＝１０００、カウント値が閾値Ｎｔｈを達成した時間Ｔｔｈ＝２５とした場合、予測カウント値Ｎｐｒｅは、上述した式（１）を参照し、次式（４）として求められる。
Ｎｐｒｅ＝Ｎｔｈ×(Ｔｓｈ／Ｔｔｈ)＝５１２×(１０００／２５)＝２０４８０　　…（４）
　１０進数表記の値「２０４８０」は、２進数表記では、１５ビットの値「０ｂ１０１００００００００００００」となる。この１５ビットの値に３ビットのシフト量「０ｂ１１１」を適用すると、次式（５）のようになる。
０ｂ１０１００００００００００００＝０ｂ１０１０００００×２＾(０ｂ１１１)　　…（５）
　したがって、１５ビットの予測カウント値Ｎｐｒｅを、８ビットの値「０ｂ１０１０００００」と、３ビットのシフト量「０ｂ１１１」とを用いて、例えば１１ビットの値「０ｂ１１１１０１０００００」のように表現できる。ここで、先頭の３ビットは、シフト量を示している。このように、予測カウント値Ｎｐｒｅのビット数を、１５ビットから１１ビットに削減可能である。
　受光装置１ａにおいて、信号処理部２０１３ｃ（図７参照）は、例えば各画素回路１００ａのメモリ１１４から読み出したタイムコードＴｃに基づき予測カウント値Ｎｐｒｅを算出する際に、上述の式（５）を適用し、算出される予測カウント値Ｎｐｒｅのビット数を削減する。これにより、例えば、信号処理部２０１３ｃ内での処理およびメモリ容量や、算出された予測カウント値Ｎｐｒｅを外部に出力する際のトラフィックの削減が可能となる。
　次に、予測カウント値Ｎｐｒｅに対するデータ処理の第２の例として、予測カウント値Ｎｐｒｅを、当該予測カウント値Ｎｐｒｅに相関する値（相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄと呼ぶ）に変換する処理について説明する。次式（６）は、予測カウント値Ｎｐｒｅにオフセット値Ｎｏｆｆｓｅｔを加算して相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄを算出する例である。
Ｎｐｒｅ＿ｒｅｌａｔｅｄ＝Ｎｐｒｅ＋Ｎｏｆｆｓｅｔ　　…（６）
　次式（７）に示すように、式（４）および（５）を用いて説明した、ビット数を削減された予測カウント値Ｎｐｒｅ＿ｒｅｄｕｃｅに基づき相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄを算出することもできる。
Ｎｐｒｅ＿ｒｅｌａｔｅｄ＝Ｎｐｒｅ＿ｒｅｄｕｃｅ＋Ｎｏｆｆｓｅｔ　　…（７）
　受光装置１ａにおいて、信号処理部２０１３ｃは、例えば各画素回路１００ａのメモリ１１４から読み出したタイムコードＴｃに基づき予測カウント値Ｎｐｒｅを算出する際に、上述の式（６）を適用し、算出される予測カウント値Ｎｐｒｅに対応する相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄを算出する。これにより、例えば、信号処理部２０１３ｃ内での処理や、外部における予測カウント値Ｎｐｒｅに対する処理の負荷を低減可能である。
　なお、ここでは、予測カウント値Ｎｐｒｅに対する変換処理を、オフセット値を加算する処理であるように説明したが、これはこの例に限定されない。すなわち、例えば信号処理部２０１３ｃにおいて、予測カウント値Ｎｐｒｅに対して、その用途などに応じて様々な変換処理を施すことが可能である。この変換処理には、例えばグレイコードのような、データの形式を変換する処理も含むことができる。
［２．第２の実施形態］
（２－１．第２の実施形態に適用可能な構成の概略）
　次に、本開示の第２の実施形態について説明する。第２の実施形態は、光電変換素子１１０に入射されたフォトン数を輝度値に変換するようにした例である。図３８は、第２の実施形態に係る受光装置の概略的な構成例を示す図である。図３８において、第２の実施形態に係る受光装置１ｂは、画素１０と、計数部１１と、輝度値コード生成部２０と、取得部１３と、を含む。画素１０は、図１の説明と同様に、光電変換により光を電荷に変換する光電変換素子と、光電変換素子から電荷を読み出して電気信号として出力する信号処理回路と、を含む。画素１０が含む光電変換素子としては、上述した第１の実施形態と同様に、ＳＰＡＤを適用できる。受光装置１ｂは、指定された露光期間Ｔｓｈ内に画素１０に入射されたフォトンの数に応じて輝度値を予測し、予測した輝度値に対応する、輝度値コード生成部２０により生成された輝度値コードＬｃを、取得部１３により取得する。
　計数部１１は、画素１０から出力されたパルスＶｐｌｓを、指定された露光期間Ｔｓｈ内において計数し、計数されたパルスＶｐｌｓの数Ｎｃｎｔが露光期間Ｔｓｈの終了する前に閾値Ｎｔｈを超えた場合に、書き込み信号ＷＲｅｎ（Ｗ）を出力する。書き込み信号ＷＲｅｎは、取得部１３に供給される。
　一方、輝度値コード生成部２０は、露光期間Ｔｓｈの開始時点から書き込み信号ＷＲｅｎ（Ｗ）により書き込みが指示された時点までの経過時間に応じて、露光期間Ｔｓｈの終了時点での輝度値を予測し、予測した輝度値を示す輝度値コードＬｃを生成する。輝度値コード生成部２０で生成された輝度値コードＬｃは、取得部１３に供給される。
　取得部１３は、例えばメモリを含み、書き込み信号ＷＲｅｎ（Ｗ）により書き込みが指示されたタイミング、すなわち、書き込み信号ＷＲｅｎがロー状態からハイ状態に移行したタイミングで、輝度値コード生成部２０から供給された輝度値コードＬｃを取得し、取得した輝度値コードＬｃをメモリに書き込む。
　この第２の実施形態に係る受光装置１ｂは、上述した第１の実施形態に係る受光装置１ａと同様に、図５を用いて説明した、それぞれ半導体チップからなる受光チップ２０００と、ロジックチップ２０１０とを積層した構成を適用することができる。
（２－２．第２の実施形態の原理的な説明）
　ここで、第２の実施形態に係るフォトン数の輝度値への変換について、原理的な説明を行う。ある画素（光電変換素子１１０）に対する輝度（輝度値）と、その画素に入射するフォトンの平均の入射間隔である平均フォトン到達間隔Ｔａと、は反比例の関係にある。
　例えば、光電変換素子１１０に入射されるフォトン数Ｐｎと輝度値Ｌｘとが、所定の係数ｋを用いて、Ｌｘ＝Ｐｎ×ｋの関係にあるものとする。また、ある時間Ｔ（例えば露光期間Ｔｓｈ）を考え、この時間Ｔ内に平均フォトン到達間隔Ｔａで入射されるフォトン数Ｐｎは、Ｐｎ＝Ｔ／Ｔａで表される。したがって、平均フォトン到達間隔Ｔａと輝度値Ｌｘとは、次式（８）に示されるように、反比例の関係を有する。
Ｌｘ＝(Ｔ×ｋ)／Ｔａ　　…（８）
　この平均フォトン到達間隔Ｔａを用いると、入射されるフォトン数Ｐｎが閾値Ｎｔｈ（図２Ｂ参照）を達成するために期待される期待時間Ｔｔｈevは、次式（９）で表される。
Ｔｔｈev＝Ｎｔｈ×Ｔａ　　…（９）
　式（８）および式（９）から、光電変換素子１１０に入射されるフォトン数Ｐｎが閾値Ｎｔｈを達成することが期待される期待時間Ｔｔｈevと、閾値Ｎｔｈを達成した際に期待される輝度値Ｌｘとが、次式（１０）に示されるように、反比例の関係にあることが分かる。
Ｔｔｈev＝｛Ｎｔｈ×(Ｔ×ｋ)｝／Ｌｘ　　…（１０）
　この式（１０）における輝度値Ｌｘは、上述のように、光電変換素子１１０に入射されるフォトン数Ｐｎが閾値Ｎｔｈを達成した際に期待される値であって、閾値Ｎｔｈにおいて予測される予測輝度値Ｌｐｒｅである。
　図３９は、第２の実施形態に係る、フォトン数Ｐｎが閾値Ｎｔｈを達成する時間Ｔｔｈと、予測輝度値Ｌｐｒｅとの一例の関係を示す図である。図３９において、上述した式（１０）における輝度値Ｌｘを予測輝度値Ｌｐｒｅとして示している。ここで、期待時間Ｔｔｈevは、光電変換素子１１０に入射したフォトン数Ｐｎが閾値Ｎｔｈを達成した時間Ｔｔｈを用いることができる。図３９において、例えば式（１０）に従った曲線ＬＴを時間Ｔｔｈ0に基づき参照することで、露光期間Ｔｓｈにおける予測輝度値Ｌｐｒｅを求めることができる。
　なお、上述の式（１０）において、閾値Ｎｔｈ、時間Ｔ（露光期間Ｔｓｈ）および係数ｋは、予め与えられる定数である。例えば、輝度値コード生成部２０は、曲線ＬＴを、予測輝度値Ｌｐｒｅと時間Ｔｔｈとが関連付けられたテーブルとして予め記憶しておくことができる。この場合、当該テーブルは、予測輝度値Ｌｐｒｅを、離散的な値である輝度値コードＬｃとして、対応する時間Ｔｔｈと対応付けて記憶する。
　これに限らず、輝度値コード生成部２０は、これら計測された時間Ｔｔｈに基づき、これら閾値Ｎｔｈ、時間Ｔ（露光期間Ｔｓｈ）および係数ｋを用いて予測輝度値Ｌｐｒｅを算出してもよい。この場合においても、算出された予測輝度値Ｌｐｒｅは、離散的な値に処理されて輝度値コードＬｃとされる。
　図４０は、第２の実施形態に係る輝度値コード生成部２０による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。図４０において、上段から、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、および、予測輝度値Ｌｐｒｅの例、をそれぞれ示している。これらのうち、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、は、上述した図３における対応部分と同様であるので、ここでの説明を省略する。また、図４０では、説明のため、高照度の場合のカウント値の例、および、等間隔のタイムコードＴｃの例において、図３と比べて時間のスケールを長く取っている。
　図４０の最下段には、予測輝度値Ｌｐｒｅが、時間の経過と共に。時間Ｔｔｈと反比例の関係で減少していく様子を模式的に示している。より具体的には、図４０の例では、予測輝度値Ｌｐｒｅは、露光期間Ｔｓｈの開始時点ｔ0に近い側では、短い間隔で値が「２２」、「１７」、「１４」、…と、値が急速に減少していく。一方、露光期間Ｔｓｈの終了時点の近くでは、時間に対する予測輝度値Ｌｐｒｅの変化が小さくなり、変化の間隔も長くなる。
　図４０において、高照度の場合、露光期間Ｔｓｈ内にＰｈ（２１）、Ｐｈ（２２）、…、Ｐｈ（２７）がカウントされ、次に８個目のフォトンＰｈ（２８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（２８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈとなる。図４０の例では、この時間Ｔｔｈに対応するタイムコードＴｃの値「１１」となっている。これに対して、予測輝度値Ｌｐｒｅは、値が「１０」となっている。
　なお、上述の式（１０）によれば、予測輝度値Ｌｐｒｅは、時間Ｔｔｈが０に近付くに連れ急激に増大し、さらに時間Ｔｔｈが０の場合には無限大となる。したがって、時間Ｔｔｈが極めて短い期間では、予測輝度値Ｌｐｒｅが極めて大きな値となり、当該期間内の予測輝度値Ｌｐｒｅは、現実的に意味をなさない値となる。これは、当該期間における予測輝度値Ｌｐｒｅが不要であることを意味している。そのため、例えば、予測輝度値Ｌｐｒｅと時間Ｔｔｈとが関連付けられたテーブルにおいて、時間Ｔｔｈは、露光期間Ｔｓｈの開始時点から所定時間が経過した時点以降の時間のみを対象とし、当該時点以前の予測輝度値Ｌｐｒｅをテーブルにおいて定義しないことができる。
　図４０の例では、例えば輝度値コード生成部２０は、最下段に示される予測輝度値において、予測輝度値Ｌｐｒｅ＝「２２」以前の時間における値、すなわち予測輝度値Ｌｐｒｅ＝「２２」を超える値を無視している。例えば、輝度値コード生成部２０は、予測輝度値Ｌｐｒｅ＝「２２」に対応する時間Ｔｔｈより前の時間Ｔｔｈおよび予測輝度値Ｌｐｒｅを、テーブルにおいて定義しない。
　このように、第２の実施形態では、露光期間Ｔｓｈにおいて予測される予測輝度値Ｌｐｒｅを、光電変換素子１１０に入射するフォトン数Ｐｎが閾値Ｎｔｈを達成した時間Ｔｔｈに基づき、直接的に求めることができる。これにより、第２の実施形態に係る受光装置１ｂは、第１の実施形態に係る受光装置１ａと比較して、タイムコードＴｃを輝度値に変換する処理の負荷を軽減することが可能である。
　例えば、第１の実施形態に係る受光装置１ａでは、例えば信号処理部２０１３ｃ（図７参照）が、ロジックアレイ部２０１１（図７参照）に含まれる各論理回路２０１４から読み出された各タイムコードＴｃを、それぞれ輝度値に変換する処理を実行する。すなわち、第１の実施形態に係る受光装置１ａにおいて、信号処理部２０１３ｃは、例えば、少なくとも、ロジックアレイ部２０１１に含まれる１行分の論理回路２０１４から読み出されるタイムコードＴｃそれぞれを輝度値に変換する処理を、１水平同期期間内に終了させる必要がある。
　これに対して、第２の実施形態に係る受光装置１ｂは、ロジックアレイ部２０１１に含まれる各論理回路２０１４それぞれにおいて、入射フォトン数が閾値Ｎｔｈを達成した時間Ｔｔｈを輝度値に変換する処理を実行している。時間情報の輝度値への変換処理が、各論理回路２０１４に分散して実行されるため、それぞれの変換処理が小さい処理で済むと共に、信号処理部２０１３ｃにおける処理を軽減することが可能である。
　図４１は、第２の実施形態に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。また、図４１において、画素アレイ部２００１に対して、画素回路のより具体的な構成が示されている。なお、図４１において、上述した図８と共通する部分には同一の符号を付して、詳細な説明を省略する。
　図４１に例示されるように、画素アレイ部２００１は、図８を用いて説明した画素アレイ部２００１と対応する構成を有し、それぞれ図８の画素回路１００ａに対応する複数の画素回路１００ａ’を含む。なお、図４１では、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ａ’のうち、１行に含まれる各画素回路１００ａ’を抜粋して示している。
　図４１において、画素回路１００ａ’は、光電変換素子１１０と、信号処理部１１１ａと、カウンタ１１２と、閾値判定部１１３ｂと、メモリ１１４と、を含む。これらのうち、光電変換素子１１０、信号処理部１１１ａ、カウンタ１１２および閾値判定部１１３ｂは、図８における光電変換素子１１０、信号処理部１１１ａ、カウンタ１１２および閾値判定部１１３ａと同様の機能を有するため、ここでの説明を省略する。例えば、図４１における光電変換素子１１０は、上述した第１の実施形態と同様に、ＳＰＡＤを適用できる。メモリ１１４は、閾値判定部１１３ｂから供給される書き込み信号ＷＲｅｎ（Ｗ）に応じて、後述するＬＣ生成部２００から供給される、予測輝度値Ｌｐｒｅとしての輝度値コードＬｃを記憶する。
　一方、図４１において、垂直制御部２０１３ａ’は、図８の垂直制御部２０１３ａと対応するもので、行毎に、ＬＣ（輝度値コード）生成部２００を含む。また、各行に共通して、タイマ２１０を含む。ＬＣ生成部２００は、上述した輝度値コード生成部２０と対応するものである。ＬＣ生成部２００は、例えばタイマ２１０から供給される時間情報に基づき、図３９および図４０を用いて説明した、露光期間Ｔｓｈの開始時点からの経過時間に対して反比例の関係で変化する輝度値コードＬｃを生成する。
　タイマ２１０は、例えば、クロック信号に基づき、図４０を用いて説明した予測輝度値Ｌｐｒｅの変化毎に、当該変化のタイミングを示す時間情報を生成する。
　図４２は、第２の実施形態に適用可能なＬＣ生成部２００の一例の構成を示すブロック図である。ここでは、輝度値コードＬｃは、時間Ｔｔｈと関連付けられたテーブルとして記憶されるものとする。ＬＣ生成部２００は、ＲＯＭ(Read　Only　Memory)２０１と、コード生成制御部２０２と、を含む。ＲＯＭ２０１は、輝度値コードＬｃと時間Ｔｔｈとが関連付けられたテーブルを予め記憶する。
　コード生成制御部２０２は、外部、例えばタイマ２１０から供給される時間情報に対応する輝度値コードＬｃを、ＲＯＭ２０１から読み出す。図４１の例では、コード生成制御部２０２によりＲＯＭ２０１から読み出された輝度値コードＬｃは、画素アレイ部２００１に含まれる各画素回路１００ａ’、１００ａ’、…に入力され、各メモリ１１４に供給される。
　なお、制御部１００３（図７参照）は、例えば、露光期間Ｔｓｈの開始タイミングをＬＣ生成部２００に指示すると共に、露光期間Ｔｓｈの長さを示す情報をＬＣ生成部２００に供給する。
　また、ＬＣ生成部２００は、信号処理部１１１ａがパルスＶｐｌｓを出力するタイミングを指示する信号ＳＨ＿ＯＮを生成する。ＬＣ生成部２００は、例えば、所定のクロック信号に基づき信号ＳＨ＿ＯＮを生成する。図４１の例では、ＬＣ生成部２００で生成された信号ＳＨ＿ＯＮは、各画素回路１００ａ’、１００ａ’、…に入力され、信号処理部１１１ａに供給される。
　なお、図１６Ａおよび図１６Ｂ、図１７、図１８、図１９Ａおよび図１９Ｂ、図２０～図２６を用いて説明した各カウンタ１１２ａ～１１２ｉおよびデジタルカウンタ１１２ｊは、上述した画素回路１００ａと同様に、第２の実施形態に係る画素回路１００ａ’にも適用可能である。
（２－３．第２の実施形態に適用可能なＬＣ生成部および画素回路の配置）
　次に、第１の実施形態に係るＬＣ生成部２００および画素回路１００ａ’の配置の例について説明する。なお、以下では、便宜上、画素回路１００ａ’を画素回路１００’として説明を行う。また、以下の図４３～図４８において、タイマ２１０の記載、および、ＬＣ生成部２００から出力される信号ＳＨ＿ＯＮの記載を省略している。
（２－３－１．第２の実施形態に係る第１の配置例）
　まず、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第１の配置例について説明する。図４３は、第２の実施形態に係る第１の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。
　第２の実施形態に係る第１の配置例は、図２７を用いて説明した第１の実施形態に係る第１の配置例に対応するもので、図４３に示すように、ＬＣ生成部２００が画素回路１００’毎に設けられている。すなわち、垂直制御部２０１３ａ’は、画素アレイ部２００１に含まれる画素回路１００’の数に対応する数のＬＣ生成部２００を含む。各ＬＣ生成部２００は、対応する画素回路１００’に対してそれぞれ信号ＳＨ＿ＯＮおよび輝度値コードＬｃを供給する。
　この第２の実施形態に係る第１の配置例によれば、輝度値コードＬｃの発行速度（時間間隔）を画素回路１００’毎に制御できる。そのため、画素回路１００’毎のバラツキを抑制可能である。例えば、各画素回路１００’がライン上に配置されるラインセンサにこの第２の実施形態に係る第１の配置例による配置を適用し、各画素回路１００’の特性を均一化することが考えられる。
（２－３－２．第２の実施形態に係る第２の配置例）
　次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第２の配置例について説明する。図４４は、第２の実施形態に係る第２の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。第２の実施形態に係る第２の配置例は、図２８を用いて説明した第１の実施形態に係る第２の配置例に対応するもので、図４４に示すように、垂直制御部２０１３ａ”に対し、画素アレイ部２００１に２次元格子状に配列される各画素回路１００’の行毎にＬＣ生成部２００を設けている。すなわち、第２の実施形態に係る第２の配置例は、上述した図４１に対応する構成を有する。ＬＣ生成部２００は、２次元格子の対応する行に配置される各画素回路１００’に対して共通して輝度値コードＬｃおよび信号ＳＨ＿ＯＮを供給する。
　この第２の実施形態に係る第２の配置例による構成は、既存のセンサとの相性が良い。また、上述した第２の実施形態に係る第１の配置例による構成と比較して配線を削減することが可能である。
（２－３－３．第２の実施形態に係る第３の配置例）
　次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第３の配置例について説明する。図４５は、第２の実施形態に係る第３の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。第２の実施形態に係る第３の配置例は、図２９を用いて説明した第１の実施形態に係る第３の配置例に対応するもので、図４５に示すように、画素アレイ部２００１に２次元格子状に配列される各画素回路１００’の２行毎にＬＣ生成部２００を設けている。ＬＣ生成部２００は、２次元格子の対応する２行に配置される各画素回路１００’に対して共通して輝度値コードＬｃおよび信号ＳＨ＿ＯＮを供給する。
　この第２の実施形態に係る第３の配置例による構成は、上述した第２の実施形態に係る第２の配置例による構成と比較して配線を削減することが可能である。
（２－３－４．第２の実施形態に係る第４の配置例）
　次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第４の配置例について説明する。図４６は、第２の実施形態に係る第４の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。
　第２の実施形態に係る第４の配置例は、図３１を用いて説明した第１の実施形態に係る第４の配置例に対応するもので、図４６に示すように、画素アレイ部２００１内の領域毎にＬＣ生成部２００が設けられる例である。各領域に含まれる各画素回路１００’に対して、当該領域に対応するＬＣ生成部２００から共通して輝度値コードＬｃおよび信号ＳＨ＿ＯＮ（図示しない）が供給される。換言すれば、第２の実施形態に係る第４の配置例では、画素アレイ部２００１に設けた領域に含まれる各画素回路１００’によるグループ１５０’に対して、１つのＬＣ生成部２００から輝度値コードＬｃおよび信号ＳＨ＿ＯＮが供給される。
　この第２の実施形態に係る第４の配置例によれば、例えば各画素回路１００’のバイアス条件などを領域毎に制御することができる。
（２－３－５．第２の実施形態に係る第５の配置例）
　次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第５の配置例について説明する。この第２の実施形態に係る第５の配置例は、図３２を用いて説明した第１の実施形態に係る第５の配置例に対応するもので、各画素回路１００’に含まれる光電変換素子１１０にカラーフィルタが設けられる場合の例である。第２の実施形態に係る第５の配置例では、画素アレイ部２００１の各行において、同色のカラーフィルタが設けられる光電変換素子１１０を含む画素回路１００’を纏めてグループとし、このグループ毎にＬＣ生成部２００を設ける。
　図４７は、第２の実施形態に係る第５の配置例に係る、ＬＣ生成部２００と、それぞれ、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）のカラーフィルタが設けられた光電変換素子１１０を含む画素回路１００Ｒ’、１００Ｇ’および１００Ｂ’と、の配置例を示す図である。
　図４７において、例えば上から第１行目に配置される各画素回路１００Ｒ’を含むグループ１５０Ｒ1’に対して、ＬＣ生成部２００Ｒ1から輝度値コードＬｃR1および信号ＳＨ＿ＯＮR1（図示しない）が供給される。また、当該第１行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ11’に対して、ＬＣ生成部２００Ｇ11から輝度値コードＬｃG11および信号ＳＨ＿ＯＮG11（図示しない）が供給される。
　第２行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ12’に対して、ＬＣ生成部２００Ｇ12から輝度値コードＬｃG12および信号ＳＨ＿ＯＮG12（図示しない）が供給される。また、当該第２行目に配置される各画素回路１００Ｂ’を含むグループ１５０Ｂ1’に対して、ＬＣ生成部２００Ｂ1から輝度値コードＬｃB1および信号ＳＨ＿ＯＮB1（図示しない）が供給される。
　同様に、ベイヤ配列に従い、例えば第３行目および第４行目において、第３行目に配置される各画素回路１００Ｒ’を含むグループ１５０Ｒ2’に対して、ＬＣ生成部２００Ｒ2から輝度値コードＬｃR2および信号ＳＨ＿ＯＮR2（図示しない）が供給される。また、当該第３行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ21’に対して、ＬＣ生成部２００Ｇ21から輝度値コードＬｃG21および信号ＳＨ＿ＯＮG21（図示しない）が供給される。
　第４行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ22’に対して、ＬＣ生成部２００Ｇ22から輝度値コードＬｃG22および信号ＳＨ＿ＯＮG22（図示しない）が供給される。また、当該第４行目に配置される各画素回路１００Ｂ’を含むグループ１５０Ｂ2’に対して、ＬＣ生成部２００Ｂ2から輝度値コードＬｃB2および信号ＳＨ＿ＯＮB2（図示しない）が供給される。
　以下同様に、それぞれベイヤ配列に従い、第５行目および第６行目、第７行目および第８行目、…について、各行毎に、同色のカラーフィルタが設けられる画素回路が同一のグループに纏められて、共通のＴＣ生成部から輝度値コードＬｃおよび信号ＳＨ＿ＯＮを供給される。
　Ｒ色、Ｇ色およびＢ色のカラーフィルタが設けられた各光電変換素子１１０は、入射されるフォトンに対する感度が異なる。この第５の配置によれば、各画素回路１００Ｒ’、１００Ｇ’および１００Ｂ’に対して、カラーフィルタの色毎に纏めてＬＣ生成部２００を設けている。そのため、光電変換素子１１０の、カラーフィルタの色に応じて異なる感度を、閾値Ｎｔｈの達成の時間Ｔｔｈに基づく予測輝度値Ｌｐｒｅの制御（例えばＲＯＭ２０１に記憶されるテーブル値の調整）により補正することが可能である。
　なお、この第２の実施形態の第５および第６の配置例においても、上述した第１の実施形態の第６および第７の配置例と同様に、各画素回路１００Ｒ’、１００Ｇ’および１００Ｂ’、ならびに、各画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’の配置は、ベイヤ型に限定されない。また、画素回路１００’に設けるカラーフィルタは、Ｒ、Ｇ、Ｂの３色による原色系フィルタに限らず、例えばＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）およびＧの４色による、補色系フィルタであってもよい。
　さらに、各画素回路１００に対して、Ｒ、Ｇおよび色、あるいは、Ｃ、Ｍ、ＹおよびＧの補色系フィルタに加え、ＩＲフィルタや透明フィルタといった他の種類の光学フィルタを設けてもよい。さらにまた、Ｒ、ＧおよびＢのカラーフィルタがそれぞれ設けられた各画素回路１００’の配列を、上述した４分割ベイヤ型ＲＧＢ配列としてもよい。
（２－３－６．第２の実施形態に係る第６の配置例）
　次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第６の配置例について説明する。この第２の実施形態に係る第６の配置例は、図３３を用いて説明した第１の実施形態に係る第６の配置例に対応するもので、各画素回路１００’に含まれる光電変換素子１１０にカラーフィルタが設けられ、且つ、１つのＬＣ生成部２００を、画素アレイ部２００１に含まれる全ての画素回路１００’に共通して設ける例である。
　図４８は、第２の実施形態に係る第６の配置例に係るＬＣ生成部２００、ならびに、画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’の配置例を示す図である。図４８において、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’が１つのグループ１５０ＲＧＢ’に含まれる。グループ１５０ＲＧＢに含まれる全ての画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’に対して、１つのＬＣ生成部２００ＲＧＢにより、輝度値コードＬｃRGBおよび信号ＳＨ＿ＯＮRGB（図示しない）が共通して供給される。
　このように、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’に対して共通のＬＣ生成部２００ＲＧＢを設けることで、グローバルシャッタに対応することが容易となる。
（２－４．第２の実施形態の第１の変形例）
　次に、第２の実施形態の第１の変形例について説明する。図４９は、第２の実施形態の第１の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａ’の一例の構成を示すブロック図である。
　図４９において、垂直制御部２０１３ａ’は、上述した図４１における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。
　画素アレイ部２００１において、画素回路１００ｂ’は、図３４を用いて説明した第１の実施形態の第１の変形例に係る画素回路１００ｂに対応するもので、光電変換素子１１０と、信号処理部１１１ｂと、カウンタ１１２と、閾値判定部１１３ｂ－１と、メモリ１１４と、を含む。画素回路１００ｂ’において、閾値判定部１１３ｂ－１から出力される、書き込み信号ＷＲｅｎ（Ｗ）は、メモリ１１４および信号処理部１１１ｂに供給される。
　信号処理部１１１ｂは、カウントされたフォトン数が露光期間Ｔｓｈ内に閾値Ｎｔｈを超え、書き込み信号ＷＲｅｎが輝度値コードＬｃの書き込みを指示する状態となった場合に、光電変換素子１１０の動作を制限する。光電変換素子１１０の動作の制限は、上述した第１の実施形態の第１の変形例と同様の手法が適用できるので、ここでの説明を省略する。
　書き込み指示の書き込み信号ＷＲｅｎに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｂ’における消費電力を削減することができる。
（２－５．第２の実施形態の第２の変形例）
　次に、第２の実施形態の第２の変形例について説明する。図５０は、第２の実施形態の第２の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａ’の一例の構成を示すブロック図である。
　図５０において、垂直制御部２０１３ａ’は、上述した図４１における垂直制御部２０１３ａ’と共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｃ’は、図４９の画素回路１００ｂ’’と比較して、信号処理部１１１ｂ’および閾値判定部１１３ｂ－２の機能が変更されている。
　第２の実施形態の第２の変形例は、図３５を用いて説明した第１の実施形態の第２の変形例に係る画素回路１００ｃに対応するもので、閾値判定部１１３ｂ－２による閾値Ｎｔｈの検出に応じて、光電変換素子１１０の動作を制限する。光電変換素子１１０の動作の制限は、上述した第１の実施形態の第２の変形例と同様の手法が適用できるので、ここでの説明を省略する。
　信号ＰｈＧａｔｉｎｇに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｃ’における消費電力を削減することができる。
（２－６．第２の実施形態の第３の変形例）
　次に、第２の実施形態の第３の変形例について説明する。第２の実施形態の第３の変形例は、図３６を用いて説明した第１の実施形態の第３の変形例に係る画素回路１００ｄに対応するもので、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓをカウントするカウンタとして、デュアルモードカウンタを用いることで、例えば図４１に示した画素回路１００ａにおけるメモリ１１４を省略することができ、回路面積を削減することが可能となる。
　図５１は、第２の実施形態の第３の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａ’の一例の構成を示すブロック図である。図５１において、垂直制御部２０１３ａ’は、上述した図４１における垂直制御部２０１３ａ’と共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｄ’は、図４１の画素回路１００ａと比較して、閾値判定部１１３ｂ－３の機能が変更されると共に、メモリ１１４が省略され、カウンタ１１２の代わりにデュアルモードカウンタ１１５が設けられている。
　図５１において、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓがデュアルモードカウンタ１１５に入力される。また、ＴＣ生成部１２０から出力された輝度値コードＬｃがデュアルモードカウンタ１１５に入力される。デュアルモードカウンタ１１５の構成および動作は、図３７Ａ～図３７Ｃを用いて説明したデュアルモードカウンタ１１５の構成および動作と同様であるので、ここでの説明を省略する。
　上述したように、デュアルモードカウンタ１１５は、動作モードを、閾値判定部１１３ｂ－３から供給される信号ＷＲｅｎ＿ＣＮＴに応じてカウント動作モードと、記憶動作モードとで切り替える。また、記憶動作モードは、書き込み動作モードと、保持動作モードとを含む。デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴがカウント動作を示している場合、動作モードをカウント動作モードに切り替えて、信号処理部１１１ａ’から供給されるパルスＶｐｌｓをカウントし、カウント結果を示すフォトン情報ＰｈＩｎｆｏを出力する。また、デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴが記憶動作を示している場合、動作モードを記憶動作モードに切り替えて、入力された輝度値コードＬｃを記憶する。
　デュアルモードカウンタ１１５に係る詳細な動作は、上述した第１の実施形態の第１の変形例と同様であるので、ここでの説明を省略する。
　なお、式（５）および式（６）を用いて説明した、予測カウント値Ｎｐｒｅに対する圧縮処理、および、式（７）を用いて説明した、予測カウント値Ｎｐｒｅに対する相関値への変換処理は、この第２の実施形態および各変形例にも適用可能である。この場合、式（５）、（６）および（７）における予測カウント値Ｎｐｒｅを、予測輝度値Ｌｐｒｅに読み替える。
（２－７．第２の実施形態の第４の変形例）
　次に、第２の実施形態の第４の変形例について説明する。上述した第２の実施形態では、図４０に示されるように、予測輝度値Ｌｐｒｅの更新周期を可変としていた。すなわち、図４０の例では、露光期間Ｔｓｈの開始時点ｔ0に近い側では、更新周期を短くし、開始時点ｔ0から時間が経過するに連れ、更新周期を長くしている。これに対して、第２の実施形態の第４の変形例では、予測輝度値Ｌｐｒｅの更新周期を固定的とする。
　図５２は、第２の実施形態の第４の変形例に係る輝度値コード生成部２０による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。図５２において、上段から、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、および、予測輝度値Ｌｐｒｅの例、をそれぞれ示している。これらのうち、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、は、上述した図４０における対応部分と同様であるので、ここでの説明を省略する。
　図５２の最下段に示されるように、例えば輝度値コード生成部２０は、同じ時間間隔で予測輝度値Ｌｐｒｅを更新している。より具体的には、図５２の例では、輝度値コード生成部２０は、上述した図４０において更新周期が最短の予測輝度値Ｌｐｒｅ＝「２２」の周期に従い、予測輝度値Ｌｐｒｅを更新している。この場合、開始時点ｔ0からの時間の経過に伴い、時間に対する予測輝度値Ｌｐｒｅの変化が小さくなる。そのため、輝度値コード生成部２０は、開始時点ｔ0からの時間の経過に伴い、連続する複数回の更新を同じ予測輝度値Ｌｐｒｅを用いて行う。図５２の例では、輝度値コード生成部２０は、予測輝度値Ｌｐｒｅ＝「１１」、「１０」、「９」、…により、それぞれ、２回連続、３回連続、５回連続、…のように、同じ値を複数回連続して用いて、一定周期で予測輝度値Ｌｐｒｅの更新を行っている。
　このように、一定周期で予測輝度値Ｌｐｒｅを更新することで、輝度値コード生成部２０による予測輝度値Ｌｐｒｅの更新処理をより容易とすることが可能となる。
［３．第３の実施形態］
　次に、本開示の第３の実施形態について説明する。第３の実施形態は、光電変換素子１１０に対して入射されるフォトン数に基づき予測輝度値Ｌｐｒｅを求めると共に、予測輝度値Ｌｐｒｅを取得するための更新周期を可変とする。また、取得された予測輝度値Ｌｐｒｅを示す輝度値コードＬｃの変化も、可変とする。
　図５３は、第３の実施形態に係る受光装置の概略的な構成例を示す図である。図５３において、第３の実施形態に係る受光装置１ｃは、画素１０と、計数部１１と、輝度値コード生成部２０’と、取得部１３と、を含む。画素１０は、図１の説明と同様に、光電変換により光を電荷に変換する光電変換素子と、光電変換素子から電荷を読み出して電気信号として出力する信号処理回路と、を含む。受光装置１ｃは、指定された露光期間Ｔｓｈ内に画素１０に入射されたフォトンの数に応じて輝度値を予測し、予測した輝度値に対応する、輝度値コード生成部２０’により生成された輝度値コードＬｃを、取得部１３により取得する。
　第３の実施形態についてより具体的に説明する。第２の実施形態において説明したように、予測輝度値Ｌｐｒｅは、フォトン数Ｐｎが閾値Ｎｔｈを達成する時間Ｔｔｈに対して反比例の関係で変化する（図３９参照）。この場合、単位時間当たりの予測輝度値Ｌｐｒｅの変化量は、露光期間Ｔｓｈの開始時点からの時間の経過に連れて小さくなる。ここで、単位時間が時間に対する分解能を示しているものとすると、単位時間当たりの予測輝度値Ｌｐｒｅの変化量は、予測輝度値Ｌｐｒｅの分解能を示すことになる。
　図５４は、第３の実施形態に適用可能な、予測輝度値Ｌｐｒｅの分解能（輝度値分解能）と、時間の分解能（時間分解能）との一例の関係を示す図である。図５４から、時間分解能を一定とした場合、輝度値分解能は、露光期間Ｔｓｈの開始時点からの時間の経過に従い低くなることが分かる。換言すれば、輝度値分解能を一定とした場合、時間分解能は、露光期間Ｔｓｈの開始時点からの時間の経過に従い低くなる、ともいえる。例えば、時間分解能は、例えば露光期間Ｔｓｈの開始時点の近傍における時間分解能に対して、当該開始時点からの時間の経過に従いより低い時間分解能で足りることになる。
　そこで、第３の実施形態に係る受光装置１ｃは、輝度値コード生成部２０’が輝度値コードＬｃを生成する時間間隔を、露光期間Ｔｓｈの開始時点からの時間の経過に従い変化させる。それと共に、受光装置１ｃは、輝度値コード生成部２０’が生成する輝度値コードＬｃの変化を、露光期間Ｔｓｈの開始時点からの時間の経過に従い制御する。
　図５５および図５６を用いて、第３の実施形態に係る輝度値コード生成部２０’による輝度値コードＬｃの生成について説明する。図５５は、第３の実施形態に係る、高照度および中照度の場合の輝度値コードＬｃ生成について説明するための図である。図５５において、上段から、時間の経過、中照度の場合のカウント値の例、高照度の場合のカウント値の例、時間値、および、輝度値コードＬｃの例、をそれぞれ示している。
　なお、ここでは、説明のため、計数部１１が有するカウンタが３ビットカウンタであって、閾値Ｎｔｈ＝８であるものとする。すなわち、画素１０に検知されるフォトン数が８個に達すると、計数部１１のカウンタがオーバーフローする。
　図５５において、時間値は、所定の時間毎にインクリメントされる値であり、例えばタイマから供給される。一方、輝度値コードＬｃは、照度を例えば高照度、中照度および低照度の３段階に分類し、それぞれ異なる更新周期に従った間隔で、輝度値コード生成部２０’により生成される。ここで、露光期間Ｔｓｈに対して、高照度の期間と、中照度の期間と、低照度の期間と、を割り当てる。例えば、高照度の期間は、露光期間Ｔｓｈの開始時点から所定時間までとし、当該所定時間から別の所定時間までを中照度の期間とする。さらに、当該別の所定期間から露光期間Ｔｓｈの終了時点までを、低照度の期間とする。
　輝度値コード生成部２０’は、これら高照度、中照度および低照度の各期間のうち、高照度の期間に対して、最も高い更新周期に従った間隔で輝度値コードＬｃを生成する。また、輝度値コード生成部２０’は、高照度の期間において、不連続な値で輝度値コードＬｃを生成する。例えば、輝度値コード生成部２０’は、高照度の期間において、露光期間Ｔｓｈの開始時点に最も近い位置から遠い位置に向けて、段階的に値を小さくした輝度値コードＬｃを生成する（図５５の例では、値「２８」、「２２」、「１７」、「１３」）。
　この第３の実施形態においても、上述した第２の実施形態と同様に、時間Ｔｔｈが極めて短い期間では、予測輝度値Ｌｐｒｅが極めて大きな値となり、当該期間内の予測輝度値Ｌｐｒｅは、現実的に意味をなさない値となる。これは、当該期間における輝度値コードＬｃが不要であることを意味している。そのため、輝度値コード生成部２０’は、例えば、高照度の期間において、当該期間の開始時点から所定時間が経過した時点おいて最も大きな値の輝度値コードＬｃを設定し、当該時点以前の期間においては、輝度値コードＬｃを設定しないことができる。図５５の例では、例えば輝度値コード生成部２０’は、最下段に示される輝度値コードＬｃにおいて、輝度値コードＬｃ＝「２８」以前の時間における値、すなわち、値「２８」を超える輝度値コードＬｃを設定していない。
　輝度値コード生成部２０’は、中照度および低照度の期間において、連続的な値で輝度値コードＬｃを生成する。例えば、輝度値コード生成部２０’は、中照度の期間において、露光期間Ｔｓｈの開始時点に最も近い位置から遠い位置に向けて、「１」ずつ値を小さくした輝度値コードＬｃを生成する（図５５の例では、値「１１」、「１０」、「９」）。具体例は後述するが、低照度の期間においても中照度の期間と同様に、連続的な値で輝度値コードＬｃを生成する。
　また、この例では、中照度の期間において、各輝度値コードＬｃに対応する期間は、上述の第２の実施形態において式（６）などを用いて説明した、期待時間Ｔｔｈevと輝度値Ｌｘとの反比例の関係に従い、露光期間Ｔｓｈの開始時点から遠ざかるに連れ長くなるように設定される。これは、高照度および低照度の期間においても同様に適用できる。なお、高照度の期間においては、各輝度値コードＬｃの値が段階的に変化しているので、各輝度値コードＬｃに対応する期間を同じ長さとすることもできる。
　図５５において、中照度の場合、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（３１）、Ｐｈ（３２）、…、Ｐｈ（３７）がカウントされ、次に８個目のフォトンＰｈ（３８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（３８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈ＿ｍとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対して、輝度値コード生成部２０’で生成された輝度値コードＬｃの書き込みを指示する。図５５の例では、時間Ｔｔｈ＿ｍに対応する輝度値コードＬｃの値「９」が、書き込み信号ＷＲｅｎに従い取得部１３に取得されメモリに書き込まれる。
　高照度の場合も同様に、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（４１）、Ｐｈ（４２）、…、Ｐｈ（４７）がカウントされ、次に８個目のフォトンＰｈ（４８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（３８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈ＿ｈとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対して、輝度値コード生成部２０’で生成された輝度値コードＬｃの書き込みを指示する。図５５の例では、時間Ｔｔｈ＿ｈに対応する輝度値コードＬｃの値「１３」が、書き込み信号ＷＲｅｎに従い取得部１３に取得されメモリに書き込まれる。
　なお、高照度の場合の時間Ｔｔｈ＿ｈ、および、中照度の場合の時間Ｔｔｈ＿ｍに対応する時間値は、それぞれ値「１１」および「１２７」であるものとする。
　図５６は、第３の実施形態に係る、低照度の場合の輝度値コードＬｃ生成について説明するための図である。図５６において、上段から、時間の経過、低照度の場合のカウント値の例、時間値、および、輝度値コードＬｃの例、をそれぞれ示している。
　図５６において、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（５１）、Ｐｈ（５２）、…、Ｐｈ（５７）がカウントされ、次に８個目のフォトンＰｈ（５８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（５８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈ＿ｌとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対して、輝度値コード生成部２０’で生成された輝度値コードＬｃの書き込みを指示する。図５６の例では、時間Ｔｔｈ＿ｌに対応する輝度値コードＬｃの値「７」が、書き込み信号ＷＲｅｎに従い取得部１３に取得されメモリに書き込まれる。
　ここで、低照度の場合、平均フォトン到達間隔Ｔａが例えば上述の高照度や中照度の場合と比べて非常に長く、８個目のフォトンＰｈ（３８）が検知されカウンタがオーバーフローする時点における時間値が非常に大きな値となる。図５６の例では、当該時間値が１１ビットを要する値「１２３４」となっている。さらに、低照度の場合、露光期間Ｔｓｈの終了時点までフォトン数が閾値Ｎｔｈに達しない場合もあり、この場合、時間値は、露光期間Ｔｓｈの終了時点までカウントした、さらに大きな値となる。すなわち、一定の周波数で時間をカウントし、このカウント値を取得部１３が取得する場合、低照度に対応するためには、取得部１３は、非常に大きなビット幅のメモリを持つ必要があり、メモリ回路に大きな面積を要する。
　これに対して、予測輝度値Ｌｐｒｅに基づく輝度値コードＬｃは、露光期間Ｔｓｈの開始時点から時間を経過するほど、小さな値となる。そのため、露光期間Ｔｓｈの終了時点において輝度値コードＬｃを取得した場合であっても、取得した輝度値コードＬｃの値が大きな値にはならず、メモリのビット幅を抑えることができ、メモリ回路の面積を削減可能である。
　また、第３の実施形態でも、上述した第２の実施形態と同様に、露光期間Ｔｓｈにおいて予測される予測輝度値Ｌｐｒｅを、光電変換素子１１０に入射するフォトン数Ｐｎが閾値Ｎｔｈを達成した時間Ｔｔｈに基づき、直接的に求めることができる。これにより、第３の実施形態に係る受光装置１ｃは、第１の実施形態に係る受光装置１ａと比較して、タイムコードＴｃを輝度値に変換する処理の負荷を軽減することが可能である。
　なお、この第３の実施形態は、上述した第２の実施形態およびその各変形例に係る各画素回路１００ａ’～１００ｄ’の構成や、図４３～図４８を用いて説明した各配置例を適用することができる。
［４．第４の実施形態］
　次に、本開示の第４の実施形態について説明する。第４の実施形態は、フォトン数のカウントを、上述した第１乃至第３の実施形態とは異なる期間において実行するようにしている。
　なお、第４の実施形態は、上述した第１乃至第３の実施形態の何れにも適用可能なものである。以下では、説明のため、第１の実施形態に係る受光装置１ａに対して、第４の実施形態を適用させたものとする。また、この場合において、受光装置１ａは、図８に示す画素回路１００ａを含むものとする。
　上述した第１乃至第３の実施形態、例えば、第１の実施形態では、図２Ａおよび図２Ｂ、ならびに、図３を用いて説明したように、露光期間Ｔｓｈの開始時点からのフォトン数のカウント値が閾値Ｎｔｈに到達した時間Ｔｔｈに基づき、露光期間Ｔｓｈ内におけるフォトン数の予測値である予測カウント値Ｎｐｒｅを求める。このように、照度に応じてフォトン数をカウントする時間が異なるため、例えば高速に移動する物体に対しては、予測カウント値Ｎｐｒｅを正しく求めることが困難となるおそれがある。
　一例として、高速に移動する物体において、高照度の部分と低照度の部分とが存在する場合、高照度の部分は短時間（時間Ｔｔｈ＿ｈ）にカウント値が閾値Ｎｔｈに達する一方で、低照度の部分では、例えば露光期間Ｔｓｈの終了時点までフォトン数のカウントが行われる。したがって、高照度の部分においてカウント値が閾値Ｎｔｈに達した時間Ｔｔｈ＿ｈから、露光期間Ｔｓｈの終了時点までの間に物体が大きく移動すると、当該物体内の各部における計測結果に大きな差が生じてしまう。これは、当該物体に対して適切な計測結果が得られないおそれがあることを意味する。
　そこで、第４の実施形態では、フォトン数のカウントを、上述した第１乃至第３の実施形態とは異なる期間において実行するようにしている。より具体的には、上述した第１乃至第３の実施形態では、フォトン数のカウントを１つの露光期間Ｔｓｈに基づき行っていた。これに対して、第４の実施形態では、露光期間Ｔｓｈを分割した分割露光期間Ｔｓｈ＿ｄｉｖに基づきフォトン数のカウントを実行する。
　露光期間Ｔｓｈの分割などの処理は、例えば、制御部１００３の指示に応じた垂直制御部２０１３ａの制御に従い実行することができる。
（４－１．第４の実施形態に係る第１の例）
　第４の実施形態に係る第１の例について説明する。図５７は、第４の実施形態に係る第１の例の分割露光を説明するための図である。図５７において、露光期間Ｔｓｈを１フレーム（Ｆｒａｍｅ）とし、露光期間Ｔｓｈを５等分に分割し、分割されたそれぞれを分割露光期間Ｔｓｈ＿ｄｉｖとする。閾値判定部１１３ａは、各分割露光期間Ｔｓｈ＿ｄｉｖにおいて、露光期間Ｔｓｈに対する閾値Ｎｔｈの１／５の値の閾値Ｎｔｈ＿ｄｉｖに基づきフォトン情報ＰｈＩｎｆｏに対する判定を行う。
　したがって、中照度の場合に入射フォトン数が閾値Ｎｔｈ＿ｄｉｖを達成する時間は、露光期間Ｔｓｈにおける時間Ｔｔｈ＿ｍの１／５の、時間Ｔｔｈ＿ｍ／５となる。同様に、高照度の場合に入射フォトン数が閾値Ｎｔｈ＿ｄｉｖを達成する時間は、露光期間Ｔｓｈにおける時間Ｔｔｈ＿ｈの１／５の、時間Ｔｔｈ＿ｈ／５となる。閾値判定部１１３ａは、各分割露光期間Ｔｓｈ＿ｄｉｖにおいて、これら時間Ｔｔｈ＿ｍ／５、時間Ｔｔｈ＿ｈ／５で書き込み信号ＷＲｅｎ（Ｗ）を出力し、メモリ１１４にタイムコードＴｃを書き込む。
　また、例えば低照度の状態など、各分割露光期間Ｔｓｈ＿ｄｉｖにおいて光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈ＿ｄｉｖに達しない場合も生じうる。この場合には、閾値判定部１１３ａは、各分割露光期間Ｔｓｈ＿ｄｉｖの終了時点Ｔｒｅａｄ1、Ｔｒｅａｄ2、Ｔｒｅａｄ3、Ｔｒｅａｄ4およびＴｒｅａｄ5において、書き込み信号ＷＲｅｎ（Ｗ）を出力し、メモリ１１４に対してタイムコードＴｃを書き込む。
　すなわち、第４の実施形態に係る第１の例では、画素回路１００ａは、露光期間Ｔｓｈにおいて、露光期間Ｔｓｈの１／５の時間の分割露光期間Ｔｓｈ＿ｄｉｖで露光を５回行う。
　上述したように、画素回路１００ａから信号線１４２を介して読み出されたタイムコードＴｃは、信号処理部２０１３ｃに供給される。信号処理部２０１３ｃは、画素回路１００ａから供給されたタイムコードＴｃに基づき、予測カウント値Ｎｐｒｅを算出する。このとき、信号処理部２０１３ｃは、各分割露光期間Ｔｓｈ＿ｄｉｖでそれぞれ読み出されたタイムコードＴｃ1、Ｔｃ2、Ｔｃ3、Ｔｃ4およびＴｃ5に対して、例えば式（１）に基づき、それぞれ予測カウント値Ｎｐｒｅ1、Ｎｐｒｅ2、Ｎｐｒｅ3、Ｎｐｒｅ4およびＮｐｒｅ5を算出する。
　信号処理部２０１３ｃは、次式（１１）に従い、予測カウント値Ｎｐｒｅ1、Ｎｐｒｅ2、Ｎｐｒｅ3、Ｎｐｒｅ4およびＮｐｒｅ5に基づき露光期間Ｔｓｈ全体での予測カウント値Ｎｐｒｅを算出する。
Ｎｐｒｅ＝Ｎｐｒｅ1＋Ｎｐｒｅ2＋Ｎｐｒｅ3＋Ｎｐｒｅ4＋Ｎｐｒｅ5　　…（１１）
　このように、露光期間Ｔｓｈを分割した各分割露光期間Ｔｓｈ＿ｄｉｖ毎に露光を行いタイムコードＴｃを読み出すことで、露光期間Ｔｓｈ内に移動する物体内の各部において発生する計測結果の差を抑制することが可能となる。
（４－２．第４の実施形態に係る第２の例）
　次に、第４の実施形態に係る第２の例について説明する。第４の実施形態に係る第２の例は、光電変換素子１１０に入射するフォトン数による照度に応じて分割露光を行うか否かを判定する例である。
　図５８は、第４の実施形態に係る第２の例の分割露光を説明するための図である。図５８において、図５７を用いて説明した第１の例と同様に、露光期間Ｔｓｈを５等分に分割する。このとき、画素回路１００ａは、照度が所定より低い場合は、露光期間Ｔｓｈの分割を行わずに、露光期間Ｔｓｈ内に入射されたフォトン数によるタイムコードＴｃを取得する。
　図５８の例では、照度が低照度であれば、露光期間Ｔｓｈの分割を行わず、照度が中照度および高照度の場合に、露光期間Ｔｓｈを５つの分割露光期間Ｔｓｈ＿ｄｉｖに分割している。
　換言すれば、第４の実施形態に係る第２の例では、画素回路１００ａは、光電変換素子１１０に対して入射するフォトンの平均時間間隔Ｔａが所定以下の場合に、露光期間Ｔｓｈを複数に分割した各分割露光期間Ｔｓｈ＿ｄｉｖ毎にタイムコードＴｃの取得を行う、ということができる。
　図５９は、第４の実施形態の第２の例に適用可能な画素回路の一例の構成を示すブロック図である。図５９において、画素回路１００ｃ’は、図３５を用いて説明した画素回路１００ｃに対応するもので、閾値判定部１１３ａ（ｃ）の判定結果に従い信号処理部１１１ｃを制御して、光電変換素子１１０の動作を制限する。
　画素回路１００ｃ’において、閾値判定部１１３ａ（ｃ）から出力される書き込み信号ＷＲｅｎがメモリ１１４に供給されると共に、ＡＮＤ回路１１７の一方の入力端に入力される。ＡＮＤ回路１１７の他方の入力端には、信号ＲＥＡＤＯＵＴ＿ｅｎが供給される。また、タイムコードＴｃが伝送される信号線１４２は、スイッチ１１６を介してメモリ１１４に接続される。スイッチ１１６は、ＡＮＤ回路１１７の出力に従いオン（閉）およびオン（開）状態を制御される。
　ここで、書き込み信号ＷＲｅｎは、ハイ状態で書き込み指示を示すものとする。また、スイッチ１１６は、ＡＮＤ回路１１７からの出力が「１」（ハイ）でオン、「０」（ロー）でオフに制御されるものとする。信号ＲＥＡＤＯＵＴ＿ｅｎは、例えば、信号処理部２０１３ｃ（図７参照）による予測カウント値Ｎｐｒｅに基づく制御部１００３からの指示に従い、垂直制御部２０１３ａから供給される。
　一例として、例えば制御部１００３は、垂直制御部２０１３ａに対して、信号ＲＥＡＤＯＵＴ＿ｅｎをデフォルトでハイ状態とするよう指示する。これにより、閾値判定部１１３ａから書き込み信号ＷＲｅｎ（Ｗ）が出力されることで、スイッチ１１６がオン状態とされて、信号線１４２から供給されるタイムコードＴｃがメモリ１１４に書き込まれる。
　一方、制御部１００３は、露光期間Ｔｓｈの開始時点から例えば最初の分割露光期間Ｔｓｈ＿ｄｉｖまでの間に光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈ＿ｄｉｖに達しない場合、低照度であるとして、信号ＲＥＡＤＯＵＴ＿ｅｎをロー状態に移行させるよう、垂直制御部２０１３ａに指示する。そして、制御部１００３は、例えば、露光期間Ｔｓｈの最後の分割点である、分割露光期間Ｔｓｈ＿ｄｉｖ4の終了時点Ｔｒｅａｄ4において、信号ＲＥＡＤＯＵＴ＿ｅｎをロー状態からハイ状態に移行させるよう、垂直制御部２０１３ａに指示する。これにより、低照度の場合のタイムコードＴｃをメモリ１１４に書き込むことが可能となる。
（４－３．第４の実施形態に係る第３の例）
　次に、第４の実施形態に係る第３の例について説明する。第４の実施形態に係る第３の例は、露光期間Ｔｓｈを複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割する際に、異なる長さの分割露光期間Ｔｓｈ＿ｄｉｖを含ませる例である。
　図６０は、第４の実施形態に係る第３の例の分割露光を説明するための図である。図６０の例では、露光期間Ｔｓｈを、第１の時間Ｔ1を有する２つの分割露光期間Ｔｓｈ＿ｄｉｖ３００1および３００2と、第１の時間Ｔ1より短い第２の時間Ｔ2を有する１つの分割露光期間Ｔｓｈ＿ｄｉｖ３０１と、に分割している。
　各分割露光期間Ｔｓｈ＿ｄｉｖ３００1、３００2および３０１の長さは、特に限定されないが、例えば、各分割露光期間Ｔｓｈ＿ｄｉｖ３００1および３００2の長さを、分割露光期間Ｔｓｈ＿ｄｉｖ３０１の２倍とすることが考えられる。
　図６０の例では、フォトン数を予測する予測カウント値Ｎｐｒｅの算出回数と、メモリ１１４からのタイムコードＴｃの読み出し回数がそれぞれ３回となり、例えば当該各回数が５回の上述した第４の実施形態の第１の例に対して各処理の回数を減らすことができる。このように、露光期間Ｔｓｈを複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割する際に、異なる長さの分割露光期間Ｔｓｈ＿ｄｉｖを含ませることで、予測カウント値Ｎｐｒｅの算出処理や、メモリ１１４からの読み出し処理に係る消費電力の削減が可能である。
（４－４．第４の実施形態に係る第４の例）
　次に、第４の実施形態に係る第４の例について説明する。第４の実施形態に係る第４の例は、露光期間Ｔｓｈを長さが等しい複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割し、各分割露光期間Ｔｓｈ＿ｄｉｖにおける閾値Ｎｔｈの値を異ならせる例である。
　図６１は、第４の実施形態に係る第４の例の分割露光を説明するための図である。図６１の例では、露光期間Ｔｓｈを、それぞれ長さが等しい５つの分割露光期間Ｔｓｈ＿ｄｉｖ３０２1、３０２2、３０２3、３０２4および３０２5に分割している。そして、分割露光期間Ｔｓｈ＿ｄｉｖ３０２1、３０２3および３０２5に対して閾値Ｎｔｈ1を設定し、分割露光期間Ｔｓｈ＿ｄｉｖ３０２2および３０２4に対して、閾値Ｎｔｈ1より小さい値の閾値Ｎｔｈ2を設定する。
　上述したように、画素回路１００ａから信号線１４２を介して読み出されたタイムコードＴｃは、信号処理部２０１３ｃに供給される。信号処理部２０１３ｃは、画素回路１００ａから供給されたタイムコードＴｃに基づき、予測カウント値Ｎｐｒｅを算出する。このとき、信号処理部２０１３ｃは、各分割露光期間Ｔｓｈ＿ｄｉｖ３０２1～３０２5でそれぞれ読み出されたタイムコードＴｃ11、Ｔｃ12、Ｔｃ13、Ｔｃ14およびＴｃ15に対して、例えば式（１）に基づき、それぞれ予測カウント値Ｎｐｒｅ11、Ｎｐｒｅ12、Ｎｐｒｅ13、Ｎｐｒｅ14およびＮｐｒｅ15を算出する。
　ここで、予測カウント値Ｎｐｒｅ11、Ｎｐｒｅ13およびＮｐｒｅ15は、閾値Ｎｔｈ1による判定結果に基づき算出された値である。一方、予測カウント値Ｎｐｒｅ12およびＮｐｒｅ14は、閾値Ｎｔｈ1と異なる値の閾値Ｎｔｈ2による判定結果に基づき算出された値である。閾値Ｎｔｈ1と閾値Ｎｔｈ2とが、所定の係数ｋを用いてＮｔｈ1＝ｋ×Ｎｔｈ2の関係にある場合、信号処理部２１０３ｃは、露光期間Ｔｓｈ全体での予測カウント値Ｎｐｒｅを、次式（１２）に従い算出する。
Ｎｐｒｅ＝Ｎｐｒｅ11＋ｋ×Ｎｐｒｅ12＋Ｎｐｒｅ13＋ｋ×Ｎｐｒｅ14＋Ｎｐｒｅ15　　…（１２）
　このように、露光期間Ｔｓｈを分割した各分割露光期間Ｔｓｈ＿ｄｉｖ３０２1～３０２5に対して、異なる値の閾値Ｎｔｈ1およびＮｔｈ2を設定することで、異なる露光条件による多重露光を実現できる。
（４－５．第４の実施形態に係る第５の例）
　次に、第４の実施形態に係る第５の例について説明する。第４の実施形態に係る第５の例は、露光期間Ｔｓｈを複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割する際に、異なる長さの分割露光期間Ｔｓｈ＿ｄｉｖを含ませる例である。このとき、第４の実施形態に係る第５の例では、各分割露光期間Ｔｓｈ＿ｄｉｖの長さが露光期間Ｔｓｈの開始時点から終了時点に向けて順次所定倍（例えば２倍）になるように、露光期間Ｔｓｈを分割する。
　図６２は、第４の実施形態に係る第５の例の分割露光を説明するための図である。図６２の例では、露光期間Ｔｓｈを、露光期間Ｔｓｈの開始時点から順に、３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、３０３2および３０３3に分割している。これら３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3は、先頭の分割露光期間Ｔｓｈ＿ｄｉｖ３０３1の長さを時間Ｔsとしたとき、次の分割露光期間Ｔｓｈ＿ｄｉｖ３０３2の長さを時間Ｔs×２とする。また、露光期間Ｔｓｈの終了時点側の分割露光期間Ｔｓｈ＿ｄｉｖ３０３3の長さを時間Ｔs×４とする。
　この第４の実施形態に係る第５の例による露光期間Ｔｓｈの分割方法は、照度差の大きな環境化において明瞭に映像を得ることを可能とするハイダイナミックレンジ（ＨＤＲ）機能を実現する方式の一つである、デジタルオーバーラップに適用することができる。デジタルオーバーラップは、撮像の場合、例えば電荷の蓄積時間（露光時間）の異なる複数フレームの情報を用いて、ダイナミックレンジの拡大を図る技術である。
　３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、３０３2および３０３3において、画素アレイ部２００１（およびロジックアレイ部２０１１）に２次元格子状に配列される複数の画素回路１００ａから読み出したタイムコードＴｃに基づき、露光時間Ｔｓに基づく予測カウント値ＮｐｒｅTsを算出する。同様に、当該複数の画素回路１００ａから読み出したタイムコードＴｃに基づき、露光時間Ｔs×２に基づく予測カウント値ＮｐｒｅTs2と、露光時間Ｔs×４に基づく予測カウント値ＮｐｒｅTs4と、を算出する。これら予測カウント値ＮｐｒｅTs、ＮｐｒｅTs2およびＮｐｒｅTs4に対してデジタルオーバーラップの技術による処理を適用することで、入射フォトン検出に係るダイナミックレンジの拡大を図ることが可能である。
（４－６．第４の実施形態に係る第６の例）
　次に、第４の実施形態に係る第６の例について説明する。第４の実施形態に係る第６の例は、上述した第４の実施形態に係る第５の例における各分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、３０３2および３０３3の順序を変更した例である。
　図６３は、第４の実施形態に係る第６の例の分割露光を説明するための図である。図６２を用いて説明した第４の実施形態に係る第５の例では、露光期間Ｔｓｈの開始時点から、各分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が長さの単調増加の順に並べられていた。
　これに対して、図６３に示す第４の実施形態に係る第６の例では、長さの単調増加または単調減少の順とは異なる順序で、各分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が並べられている。すなわち、図６３の例では、それぞれ長さが時間Ｔs、時間Ｔs×２、時間Ｔs×４の３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が、露光期間Ｔｓｈの開始時点から、分割露光期間Ｔｓｈ＿ｄｉｖ３０３2、分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、分割露光期間Ｔｓｈ＿ｄｉｖ３０３3、の順に並べられている。
　このように、第４の実施形態の第６の例では、それぞれ長さが時間Ｔs、時間Ｔs×２、時間Ｔs×４の３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が長さの単調増加または単調減少の順とは異なる順序で並べられている。この場合であっても、分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3において算出された予測カウント値ＮｐｒｅTs、ＮｐｒｅTs2およびＮｐｒｅTs4に対してデジタルオーバーラップの技術による処理を適用することができ、これにより、入射フォトン検出に係るダイナミックレンジの拡大を図ることが可能である。
［５．第５の実施形態］
　次に、本開示の第５の実施形態について説明する。図６４は、第５の実施形態に係る受光装置の概略的な構成例を示す図である。図６４において、受光装置１ｄは、画素１０と、計数部１１と、タイムコード生成部１２と、を含む。
　受光装置１ｄにおいて、計数部１１は、露光期間Ｔｓｈが開始されると、画素１０から出力されたパルスＶｐｌｓを計数する。計数部１１は、計数されたパルスＶｐｌｓの数が例えば時間ｔxにて閾値Ｎｔｈに達すると、係数の対象をパルスＶｐｌｓからタイムコードＴｃに切り替える。計数部１１は、露光期間Ｔｓｈが終了すると、時間ｔxから計数されたタイムコードの数であるタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)を出力する。
　タイムコード生成部１２が生成するタイムコードＴｃの更新周期は既知であるので、このタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)から時間ｔxを求めることができ、求めた時間ｔxに基づき、露光期間Ｔｓｈ内に入射されるフォトン数を予測することができる。
　この第５の実施形態の構成によれば、タイムコードＴｃそのものを記憶する必要が無く、したがって、タイムコードＴｃを書き込むメモリを省略できる。図６４の例では、受光装置１ｄは、上述した受光装置１ａ～１ｃが有する、当該メモリを含む取得部１３が省略されている。また、第５の実施形態の構成によれば、タイムコードＴｃも、時系列に沿って変化する値を含む必要が無く、例えばタイムコードＴｃとして更新周期毎のパルスを用いることができる。この場合、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)は、当該パルス数を計数した計数値となる。
　以下、特に記載の無い限り、タイムコードＴｃが更新周期毎のパルスであるものとして説明を行う。
　なお、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づくフォトン数の予測は、後段の回路、例えば信号処理部２０１３ｃ（図７参照）にて行われる。これに限らず、フォトン数の予測を受光装置１ｄの内部で行ってもよいし、受光装置１ｄの外部で行ってもよい。
　図６５は、第５の実施形態に係る計数部１１の構成の例を概略的に示すブロック図である。図６５において、計数部１１は、カウンタ１１２と、閾値判定部１１３ｃと、セレクタ４００と、を含む。
　セレクタ４００は、一方の入力端に画素１０から出力されたパルスＶｐｌｓが入力され、他方の入力単にタイムコード生成部１２により生成されたタイムコードＴｃが入力される。セレクタ４００は、閾値判定部１１３ｃから出力される選択信号ＳＥＬに従い、入力されたパルスＶｐｌｓおよびタイムコードＴｃから一方を選択して出力する。セレクタ４００の出力は、カウンタ１１２に入力される。カウンタ１１２は、セレクタ４００から入力されたパルスＶｐｌｓまたはタイムコードＴｃの数をカウントし、カウント結果をフォトン情報ＰｈＩｎｆｏとして出力する。
　閾値判定部１１３ｃは、カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏに対して、閾値Ｎｔｈに基づく判定を行う。より具体的には、閾値判定部１１３ｃは、フォトン情報ＰｈＩｎｆｏに含まれるカウント結果、すなわちパルスＶｐｌｓまたはタイムコードＴｃの数が閾値Ｎｔｈに達したか否かを判定する。
　なお、閾値ＮｔｈおよびタイムコードＴｃの値は、例えば露光期間Ｔｓｈの開始から終了まで通してタイムコードＴｃをカウントした場合であっても、カウントされたタイムコードＴｃの数が閾値Ｎｔｈ未満となるように設定される。したがって、閾値判定部１１３ｃは、パルスＶｐｌｓまたはタイムコードＴｃのうちパルスＶｐｌｓの数に対して閾値Ｎｔｈに対する判定を行うことになる。
　閾値判定部１１３ｃは、セレクタ選択信号ＳＥＬおよびイネーブル信号ＥＮを出力する。閾値判定部１１３ｃは、カウント数が閾値Ｎｔｈに達したと判定した場合、選択信号ＳＥＬおよびイネーブル信号ＥＮを、それぞれ所定の状態に遷移させる。
　以下、カウント数が閾値Ｎｔｈに達した場合の選択信号ＳＥＬおよびイネーブル信号ＥＮを、それぞれ選択信号ＳＥＬ(Ｎｔｈ)、イネーブル信号ＥＮ(Ｎｔｈ)とし、選択信号ＳＥＬおよびイネーブル信号ＥＮをそれぞれ選択信号ＳＥＬ(Ｎｔｈ)、イネーブル信号ＥＮ(Ｎｔｈ)に遷移させることを、選択信号ＳＥＬ(Ｎｔｈ)、イネーブル信号ＥＮ(Ｎｔｈ)を出力する、などと記述する。
　セレクタ４００は、選択信号ＳＥＬ(Ｎｔｈ)に応じて、入力されたパルスＶｐｌｓおよびタイムコードＴｃのうちタイムコードＴｃを選択する。すなわち、閾値判定部１１３ｃによりパルスＶｐｌｓのカウント数が閾値Ｎｔｈに達すると、セレクタ４００からカウンタ１１２に入力される情報がパルスＶｐｌｓからタイムコードＴｃに切り替わる。カウンタ１１２は、入力されたタイムコードＴｃの数をカウントする。
　また、画素１０は、イネーブル信号ＥＮ(Ｎｔｈ)に応じて、光電変換素子１１０の動作を停止させる。例えば、図９を参照し、抵抗１１０１の少なくとも一方の端の側に、イネーブル信号ＥＮにより開閉を制御されるスイッチを挿入する。より具体的には、抵抗１１０１と電源電位ＶＤＤとの間、および、抵抗１１０１と光電変換素子１１０およびインバータ１１０２とが接続される接続点との間、とのうち少なくとも一方に、当該スイッチを挿入する。これに限らず、当該スイッチを、光電変換素子１１０の少なくとも一方の端の側に挿入してもよい、
　画素１０は、イネーブル信号ＥＮ(Ｎｔｈ)に応じてこのスイッチを開状態として、光電変換素子１１０に対する電源電位ＶＤＤの電圧の印加を停止させる。画素１０は、次の露光期間Ｔｓｈの開始時にイネーブル信号ＥＮを出力し、このスイッチを閉状態とし、光電変換素子１１０に対する電源電位ＶＤＤの印加を開始する。これにより、光電変換素子１１０の消費電力を削減することが可能である。
　図６６は、第５の実施形態に適用可能な、フォトン数の予測について説明するための図である。図６６において、横軸は露光期間Ｔｓｈの開始からの時間の経過を示す。縦軸は、直線Ｃｔ1～Ｃｔ3に対しては、フォトン数すなわちパルスＶｐｌｓの数を示し、折れ線Ｔｃについては、タイムコードＴｃの変化を示している。
　なお、タイムコード生成部１２０は、一例として、図１２に示した更新周期でタイムコードＴｃの更新を行うものとする。すなわち、露光期間Ｔｓｈを１２８クロック分（０クロック～１２７クロック）の長さとし、露光期間Ｔｓｈの開始から３２クロック分の期間（０クロック～３１クロック）は、２クロックを更新周期としてタイムコードＴｃを更新する。次の３２クロック分の期間（３２クロック～６３クロック）は、４クロックを更新周期、さらに次の６４クロック分の期間（６４クロック～１２７クロック）は、８クロックを更新周期として、それぞれタイムコードＴｃを更新する。
　図６６の例では、露光期間Ｔｓｈの開始から時間ｔ10までが２クロックを更新周期とし、時間ｔ10～ｔ11の間が４クロックを、時間ｔ11～露光期間Ｔｓｈの終了までが８クロックを、それぞれ更新周期としている。
　図６６において、直線Ｃｔ1は、カウントされたフォトン数が時間ｔ1で閾値Ｎｔｈを達成したことを示している。また、直線Ｃｔ2は、カウントされたフォトン数が時間ｔ1より後の時間ｔ2で閾値Ｎｔｈを達成したことを示している。ここで、露光期間Ｔｓｈの終了時における、露光期間Ｔｓｈの開始時点からのタイムコードＴｃの更新回数は既知であり、タイムコードＴｃの各時点における更新周期も既知であるため、各時間ｔ1およびｔ2からそれぞれカウントされたタイムコード数Ｃｎｔ＿Ｔｃ(ｔ1)およびＣｎｔ＿Ｔｃ(ｔ2)に基づき、逆算により、時間ｔ1およびｔ2それぞれを求めることができる。
　ここで、時間ｔxから露光期間Ｔｓｈの終了時点（時間Ｔｓｈとする）までの時間を時間ΔＴｃ＿ｓｈ(ｔx)とする。この場合、時間ｔxは、下記の式（１３）により表される。
ｔx＝Ｔｓｈ－ΔＴｃ＿ｓｈ(ｔx)　　…（１３）
　時間ΔＴｃ＿ｓｈ(ｔx)は、時間ｔxからカウントされたタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき求める。すなわち、タイムコードＴｃの更新周期が図１２に示すものである場合、時間ΔＴｃ＿ｓｈ(ｔx)は、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)の値に基づき、下記の各式（１４）～（１６）にて求められる。なお、各式において、「：（コロン）」は、その前の記述がタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に対する条件であることを表している。また、［Ｃｋ］は、直前の数値がクロック数であることを表している。
Ｃｎｔ＿Ｔｃ(ｔx)≦８：ΔＴｃ＿ｓｈ(ｔx)＝Ｃｎｔ＿Ｔｃ(ｔx)×８［Ｃｋ］　　…（１４）
８＜Ｃｎｔ＿Ｔｃ(ｔx)≦１６：ΔＴｃ＿ｓｈ(ｔx)＝６４［Ｃｋ］＋（Ｃｎｔ＿Ｔｃ(ｔx)－８［Ｔｃ］）×４［Ｃｋ］　　…（１５）
Ｃｎｔ＿Ｔｃ(ｔx)＞１６：ΔＴｃ＿ｓｈ(ｔx)＝９６［Ｃｋ］＋（Ｃｎｔ＿Ｔｃ(ｔx)－１６［Ｔｃ］）×２［Ｃｋ］　　…（１６）
　例えば信号処理部２０１３ｃは、カウンタ１１２から出力されたタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき上述した式（１３）～（１６）の計算を実行し、フォトン数が閾値Ｎｔｈに達した時間ｔxを求める。そして、上述した式（１）に従い、時間ｔxを式（１）の時間Ｔｔｈとして用いて、予測カウント値Ｎｐｒｅを求める。
　なお、図６６に直線Ｃｔ3として示されるように、低照度であり、露光期間Ｔｓｈが経過してもフォトン数が閾値Ｎｔｈに達しない場合、選択信号ＳＥＬ(Ｎｔｈ)が出力されず、セレクタ４００においてタイムコードＴｃが入力として選択されない。したがって、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)のカウントが行われず、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)＝０となる。この場合には、露光期間Ｔｓｈが経過した時点でカウントされたフォトン数を、予測カウント値Ｎｐｒｅとして用いることができる。
　図６７は、第５の実施形態に係る画素回路の一例の構成を示すブロック図である。なお、図６７において、垂直制御部２０１３ａは、図８を用いて説明した垂直制御部２０１３ａと同等の構成を適用できるので、ここでの説明を省略する。図６７において、画素アレイ部２００１は、複数の画素回路１００ｅを含む。なお、図６７では、図８の例と同様に、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ｅのうち、１行に含まれる各画素回路１００ｅを抜粋して示している。
　画素回路１００ｅは、光電変換素子１１０と、信号処理部１１１ａと、セレクタ４００と、カウンタ１１２と、閾値判定部１１３ｃと、を含む。なお、以下では、上述した図８と異なる部分に注目して説明を行う。
　光電変換素子１１０は、閾値判定部１１３ｃから出力されるイネーブル信号ＥＮに従い、動作を制御される。光電変換素子１１０は、フォトンの入射に応じて信号Ｖｐｈを出力し、信号処理部１１１ａは、光電変換素子１１０から出力された信号Ｖｐｈを整形してパルスＶｐｌｓとして出力する。パルスＶｐｌｓは、セレクタ４００の一方の入力端に入力される。セレクタ４００の他方の入力端には、タイムコード生成部１２０で生成されたタイムコードＴｃが入力される。
　セレクタ４００は、閾値判定部１１３ｃから出力される選択信号ＳＥＬに従い、一方の入力端に入力されたパルスＶｐｌｓと、他方の入力端に入力されたタイムコードＴｃのうち一方を出力する。セレクタ４００の出力は、カウンタ１１２に入力される。
　カウンタ１１２は、露光期間Ｔｓｈを示す信号、例えば露光期間Ｔｓｈにおいてハイ状態とされ、その他の期間においてロー状態とされる信号が入力される。カウンタ１１２は、セレクタ４００から出力されたパルスＶｐｌｓまたはタイムコードＴｃを、露光期間Ｔｓｈにおいてカウントし、カウント値（フォトン数またはタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)を、フォトン情報ＰｈＩｎｆｏとして出力する。
　閾値判定部１１３ｃは、カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏに基づき閾値判定を行う。また、閾値判定部１１３ｃは、選択信号ＳＥＬおよびイネーブル信号ＥＮを出力する。閾値判定部１３ｃは、フォトン情報ＰｈＩｎｆｏに基づきフォトン数が閾値Ｎｔｈに達したと判定した場合、選択信号ＳＥＬを選択信号ＳＥＬ(Ｎｔｈ)に遷移させると共に、イネーブル信号ＥＮをイネーブル信号ＥＮ(Ｎｔｈ)に遷移させる。さらに、閾値判定部１１３ｃは、露光期間Ｔｓｈの終了時に、カウンタ１１２から供給されたカウント値（例えばタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)）を出力し、例えば信号処理部２０１３ｃに供給する。
　図６８は、第５の実施形態に適用可能なカウンタ１１２および閾値判定部１１３ｃの一例の構成を示すブロック図である。ここでは、カウンタ１１２として、図１７を用いて説明した、ビット列を出力可能なカウンタ１１２ｂを適用している。なお、カウンタ１１２ｂにおける基本的なカウント動作は、図１７を用いて説明したカウンタ１１２ｂと同様であるので、ここでの説明を省略する。
　カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏは、閾値判定部１１３ｃに入力される。閾値判定部１１３ｃは、比較回路１１３１’を含むと共に、選択信号ＳＥＬおよびイネーブル信号ＥＮを出力する。比較回路１１３１’は、フォトン情報ＰｈＩｎｆｏと、閾値Ｎｔｈとを比較し、フォトン情報ＰｈＩｎｆｏが示す値と閾値Ｎｔｈとが一致した場合に、選択信号ＳＥＬおよびイネーブル信号ＥＮを、それぞれ選択信号ＳＥＬ(Ｎｔｈ)およびイネーブル信号ＥＮ(Ｎｔｈ)の状態に遷移させる。
　閾値判定部１１３ｃに含まれるスイッチ４０１は、一端が、カウンタ１１２からビット列が入力される入力経路に接続され、他端が外部（例えば垂直信号線）に接続される。ここで、垂直信号線は、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ｅのうち、列方向に整列される各画素回路１００ｅに接続される信号線であって、例えば水平制御部２０１３ｂを介して信号処理部２０１３ｃに接続される。
　スイッチ４０１は、露光期間Ｔｓｈを示す信号により開閉が制御される。例えば、スイッチ４０１は、当該信号により露光期間Ｔｓｈ内では開状態に制御され、露光期間Ｔｓｈが終了するタイミングで開状態から閉状態に制御される。これにより、カウンタ１１２から閾値判定部１１３ｃに入力されるカウント値（例えばタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)が、閾値判定部１１３ｃから外部に出力される。
　このように、第５の実施形態に係る受光装置１ｄは、カウントしたフォトン数が閾値Ｎｔｈに達した場合に、カウントの対象をフォトン数からタイムコードＴｃに切り替える。そして、露光期間Ｔｓｈの終了時点でのタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき、予測カウント値Ｎｐｒｅを求めるようにしている。そのため、タイムコードＴｃを記憶するためのメモリを省略できる。
　なお、当該受光装置１ｄは、閾値判定部１１３ｃから出力されるタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき、フォトン数が閾値Ｎｔｈに達した時間ｔxを求めている。したがって、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)は、フォトン数が閾値Ｎｔｈに達した時間ｔxに到達した時間を示す時間情報であり、閾値判定部１１３ｃは、当該時間情報を取得する取得部として機能する。　
（５－１．第５の実施形態の第１の変形例）
　次に、第５の実施形態の第１の変形例について説明する。第５の実施形態の第１の変形例は、第５の実施形態のセレクタ４００の、パルスＶｐｌｓが入力される一方の入力端に１ビットカウンタを設けた例である。図６９Ａおよび図６９Ｂを用いて、第５の実施形態の第１の変形例に係る計数部１１について説明する。
　図６９Ａは、第５の実施形態の第１の変形例に係る計数部１１の構成の例を概略的に示すブロック図である。図６９Ａの例では、図６５の構成に対して画素１０とセレクタ４００の一方の入力端との間に１ビットカウンタ４０２（図では１ｂカウンタ４０２と表記）が挿入されている。この構成において、画素１０から出力されたパルスＶｐｌｓが１ビットカウンタ４０２に入力され、１ビットカウンタ４０２の出力がセレクタ４００の一方の入力端に入力される。セレクタ４００の他方の入力端には、タイムコードＴｃが入力される。
　図６９Ａの例では、１ビットカウンタ４０２は、１つの入力端を有し、当該入力端に入力される入力信号の立ち上がり毎に、出力信号の状態を反転させる。図６９Ｂは、第５の実施形態の第１の変形例に適用可能な１ビットカウンタの動作例を示すシーケンス図である。図６９Ｂの例では、パルスＶｐｌｓの立ち上がり毎に、１ビットカウンタ４０２の出力（図では１ｂカウンタ出力と表記）がハイ状態およびロー状態の間で遷移している。すなわち、１ビットカウンタ４０２は、パルスＶｐｌｓの２パルス毎に１カウントを行う。また、１ビットカウンタ４０２の出力は、初期状態と同一の状態で偶数のカウント値、初期状態に対して反転された状態で奇数のカウント値をそれぞれ示す。そのため、パルスＶｐｌｓのカウント値の解像度は、１ビットカウンタ４０２を用いない場合と変わらない。
　このような１ビットカウンタ４０２は、例えばフリップフロップ回路を用いて構成することができる。
　このように、パルスＶｐｌｓを１ビットカウンタ４０２でカウントした出力をカウンタ１１２に入力することで、カウンタ１１２におけるパルスＶｐｌｓのカウント動作が、１ビットカウンタ４０２を用いない場合に比べて１／２となり、カウンタ１１２における消費電力を削減することが可能である。また、１ビットカウンタ４０２を用いることによる解像度の低下も生じない。
　なお、第５の実施形態の第１の変形例におけるフォトン数の予測は、図６６を用いて説明した第５の実施形態による予測方法を適用することができるため、ここでの説明を省略する。
（５－２．第５の実施形態の第２の変形例）
　次に、第５の実施形態の第２の変形例について説明する。第５の実施形態の第２の変形例では、画素１０から出力されたパルスＶｐｌｓと、タイムコード生成部１２０から供給されるタイムコードＴｃとを合成した合成パルスＳｙｎＰｌｓを、カウンタ１１２で計数する。なお、ここでは、上述したように、タイムコードＴｃを、更新周期毎のパルスであるものとして説明を行う。露光期間Ｔｓｈ内におけるタイムコードＴｃの数および更新周期は既知なので、カウンタ１１２が合成パルスＳｙｎＰｌｓを計数したカウント値から、カウント期間内に含まれるタイムコードＴｃの数を減算することで、当該カウント期間内のパルスＶｐｌｓ数を得ることができる。
　図７０は、第５の実施形態の第２の変形例に係る計数部１１の構成の例を概略的に示すブロック図である。図７０において、計数部１１は、合成部４１０と、カウンタ１１２と、閾値判定部１１３ｄと、を含む。このように、第５の実施形態の第２の変形例に係る計数部１１は、上述した第５の実施形態および第５の実施形態の第１の変形例と異なり、セレクタ４００を含まない。
　また、第５の実施形態の第２の変形例に係る閾値判定部１１３ｄは、基準クロックに基づくクロックＣｋが供給されると共に、カウンタ１１２にカウントされたカウント値が閾値Ｎｔｈを達成した際に、イネーブル信号ＥＮ(Ｎｔｈ)を出力する。また、閾値判定部１１３ｄは、カウント値が閾値Ｎｔｈを達成した時間ｔxを示す情報が出力される。この時間ｔxを示す情報は、例えば基準クロックに基づくクロックＣｋを単位として表すことができる。
　画素１０から出力されたパルスＶｐｌｓと、タイムコード生成部１２０により生成されたタイムコードＴｃと、が合成部４１０に入力される。合成部４１０は、これらパルスＶｐｌｓとタイムコードＴｃを合成し、合成パルスＳｙｎＰｌｓを出力する。カウンタ１１２は、この合成パルスＳｙｎＰｌｓを計数し、計数された合成パルス数ＣｎｔＳｐをフォトン情報ＰｈＩｎｆｏとして出力する。
　閾値判定部１１３ｄは、フォトン情報ＰｈＩｎｆｏすなわち合成パルス数ＣｎｔＳｐが閾値Ｎｔｈに達したか否かを判定する。閾値判定部１１３ｄは、合成パルス数ＣｎｔＳｐが閾値Ｎｔｈを達成したと判定した場合、イネーブル信号ＥＮ(Ｎｔｈ)を出力して光電変換素子１１０の動作を停止させる。また、閾値判定部１１３ｄは、合成パルス数ＣｎｔＳｐが閾値Ｎｔｈを達成した時間ｔxを示す情報を出力する。この時間ｔxを示す情報は、閾値判定部１１３ｄから例えば信号処理部２０１３ｃに供給される。
　なお、この第５の実施形態の第２の変形例において、合成部４１０に対して、パルスＶｐｌｓを、第５の実施形態の第１の変形例で説明した１ビットカウンタ４０２を介して入力するように構成してもよい。
　図７１は、第５の実施形態の第２の変形例に適用可能な、フォトン数の予測について説明するための図である。なお、図７１の各部の意味は、上述した図６６と同様であるので、ここでの説明を省略する。
　図７１において、直線Ｃｔ4は、時間ｔ4で閾値Ｎｔｈを達成した合成パルス数ＣｎｔＳｐ(ｔ4)を示している。この合成パルス数ＣｎｔＳｐ(ｔ4)は、パルスＶｐｌｓの数であるパルス数ＣｎｔＶｐｌｓ(ｔx)の他に、時間ｔ4までのタイムコード数ＣｎｔＴｃ(ｔ4)を含んでいる。そのため、正しくフォトン数の予測を行うためには、図７１中に矢印にて示されるように、この合成パルス数ＣｎｔＳｐ(ｔ4)すなわち閾値Ｎｔｈからタイムコード数ＣｎｔＴｃ(ｔ4)を減じて、パルス数ＣｎｔＶｐｌｓ(ｔx)を求める必要がある。
　第５の実施形態の第２の変形例では、次式（１７）に従い、この閾値Ｎｔｈを達成した合成パルス数ＣｎｔＳｐ(ｔx)からタイムコード数ＣｎｔＴｃ(ｔx)を減じた値Ｎｔｈ’を式（１）の閾値Ｎｔｈとして用いる。また、時間ｔxを式（１）の時間Ｔｔｈとして用いる。これにより、予測カウント値Ｎｐｒｅを求める。なお、時間ｔxは、露光期間Ｔｓｈ内において合成パルス数ＣｎｔＳｐが閾値Ｎｔｈを達成した時間を示している。
Ｎｐｒｅ＝Ｎｔｈ’×(Ｔｓｈ／ｔx)　　…（１７）
　ここで、時間ｔxにおけるタイムコード数ＣｎｔＴｃ(ｔx)は、下記の各式（１８）～（２０）にて求めることができる。なお、ここでは、上述した式（１４）～（１６）と同様に、タイムコードＴｃの更新周期が図１２に示すものであり、時間ｔxが露光期間Ｔｓｈの開始時点からクロック（Ｃｋとする）単位で計測されるものとする。式（１８）～（２０）において、Ｃｎt(ｔx)は、時間ｔxを示す情報であって、時間ｔxにおけるクロックＣｋのカウント数とする。なお、各式（１８）～（２０）において、小数点以下は切り捨て処理を行うものとする。
０［Ｃｋ］＜Ｃｎt(ｔx)≦３１［Ｃｋ］：ＣｎｔＴｃ(ｔx)＝Ｃｎt(ｔx)／２　　…（１８）
３１［Ｃｋ］＜Ｃｎt(ｔx)≦６３［Ｃｋ］：ＣｎｔＴｃ(ｔx)＝３２［Ｃｋ］／２＋(Ｃｎt(ｔx)－３２［Ｃｋ］)／４　　…（１９）
６３［Ｃｋ］＜Ｃｎt(ｔx)≦１２７［Ｃｋ］：ＣｎｔＴｃ(ｔx)＝３２［Ｃｋ］／２＋３２［Ｃｋ］／４＋(Ｃｎt(ｔx)－６４［Ｃｋ］)／８　　…（２０）
　例えば信号処理部２０１３ｃは、閾値判定部１１３ｄから供給された時間ｔxに基づき上述した式（１８）～（２０）によりタイムコード数ＣｎｔＴｃ(ｔx)を算出する。信号処理部２０１３ｃは、さらに、このようにして算出されたタイムコード数ＣｎｔＴｃ(ｔx)を、次式（２１）にように閾値Ｎｔｈから減じて、値Ｎｔｈ’を求める。
Ｎｔｈ’＝Ｎｔｈ－ＣｎｔＴｃ(ｔx)　　…（２１）
　信号処理部２０１３ｃは、式（２１）により求めた値Ｎｔｈ’を上述の式（１７）に適用して、予測カウント値を求める。
　このように、第５の実施形態の第２の変形例では、タイムコードＴｃそのものを記憶する必要が無く、したがって、タイムコードＴｃを書き込むメモリを省略できる。
（５－２－１．光電変換素子の出力について）
　次に、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成例について説明する。第５の実施形態の第２の変形例に係る合成部４１０は、論理回路を用いて構成することが可能である。
　ここで、画素１０は、画素１０に含まれる光電変換素子１１０の接続方法により、正パルスおよび負パルスの何れかによるパルスＶｐｌｓを出力する。図７２Ａおよび図７２Ｂは、負パルスおよび正パルスとしてのパルスＶｐｌｓを出力する光電変換素子１１０の接続方法を説明するための図である。なお、図７２Ａおよび図７２Ｂでは、光電変換素子１１０と、クエンチング動作のための抵抗１１０１の接続に注目し、信号処理部１１１ａの記載が省略されている。
　図７２Ａは、上述した図９と対応する図であって、負パルスとしてのパルスＶｐｌｓを出力する光電変換素子１１０の接続方法の例を示している。図７２Ａに示されるように、光電変換素子１１０のカソードが抵抗１１０１を介して電源電位ＶＤＤに接続され、アノードが例えば接地電位である電位ＧＮＤ（１）に接続されている。光電変換素子１１０のカソードと抵抗１１０１との接続点から出力を取り出すことで、パルス部分がロー状態、非パルス部分がハイ状態である負パルスとしてのパルスＶｐｌｓが出力される。
　一方、図７２Ｂは、正パルスとしてのパルスＶｐｌｓを出力する光電変換素子１１０の接続方法の例を示している。図７２Ｂに観されるように、光電変換素子１１０のカソードが電源電位ＶＤＤに接続され、アノードが抵抗１１０１を介して例えば接地電位である電位ＧＮＤ（１）に接続されている、光電変換素子１１０のアノードと抵抗１１０１との接続点から出力を取り出すことで、パルス部分がハイ状態、非パルス部分がロー状態である正パルスとしてのパルスＶｐｌｓが出力される。
　なお、タイムコードＴｃは、画素１０の外部のタイムコード生成部１２０により生成される。そのため、正パルスおよび負パルスの何れによりタイムコードＴｃを生成するかは、タイムコード生成部１２０の設計により選択することが可能である。
（５－２－２．合成部の構成の第１の例）
　図７３Ａおよび図７３Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第１の例について説明するための図である。なお、図７３Ａおよび図７３Ｂ、ならびに、以下の同様の図において、各信号に付与される記号（＋）は、その信号が正パルスによる信号であることを示し、記号（－）は、その信号が負パルスによる信号であることを示している。
　図７３Ａに示されるように、第１の例による合成部４１０ａは、ＡＮＤ回路４１００を用いて構成される。ＡＮＤ回路４１００の一方の入力端に、負パルスによるタイムコードＴｃ（－）が入力され、他方の入力端に、負パルスによるパルスＶｐｌｓ（－）が入力される。ＡＮＤ回路４１００は、図７３Ｂに示されるように、タイムコードＴｃ（－）とパルスＶｐｌｓ（－）とで非パルス部分が一致する期間が負パルスとなる合成パルスＳｙｎＰｌｓ（－）を出力する。カウンタ１１２は、この負パルスをカウントする。
（５－２－３．合成部の構成の第２の例）
　図７４Ａおよび図７４Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第２の例について説明するための図である。図７４Ａに示されるように、第２の例による合成部４１０ｂは、ＸＮＯＲ(eXclusive　NOR)回路４１０１を用いて構成される。図７４Ｂは、ＸＮＯＲ回路４１０１の真理値表を示す。図７４Ｂに示されるように、ＸＮＯＲ回路４１０１は、２つの入力ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致する場合に出力Ｏｕｔｐｕｔが「１」となり、ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致しない場合に、出力Ｏｕｔｐｕｔが「０」となる。
　このＸＮＯＲ回路４１０１の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（－）を入力し、他方にパルスＶｐｌｓ（－）を入力する。これにより、合成部４１０ｂは、図７３Ａおよび図７３Ｂを用いて説明した、第１の例によるＡＮＤ回路４１００を用いた合成部４１０ａとほぼ同様の、負パルスによる合成パルスＳｙｎＰｌｓ（－）を得ることができる。
（５－２－４．合成部の構成の第３の例）
　図７５Ａおよび図７５Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第３の例について説明するための図である。図７５Ａに示されるように、第３の例による合成部４１０ｃは、ＮＡＮＤ回路４１０２を用いて構成される。ＮＡＮＤ回路４１０２の一方の入力端に、負パルスによるタイムコードＴｃ（－）が入力され、他方の入力端に、負パルスによるパルスＶｐｌｓ（－）が入力される。ＮＡＮＤ回路４１０２は、図７５Ｂに示されるように、タイムコードＴｃ（－）とパルスＶｐｌｓ（－）とで非パルス部分とパルス部分とが重なる期間が正パルスとなる合成パルスＳｙｎＰｌｓ（＋）を出力する。カウンタ１１２は、この正パルスをカウントする。
（５－２－５．合成部の構成の第４の例）
　図７６Ａおよび図７６Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第４の例について説明するための図である。図７６Ａに示されるように、第４の例による合成部４１０ｄは、ＸＯＲ(eXclusive　OR)回路４１０３を用いて構成される。図７６Ｂは、ＸＯＲ回路４１０３の真理値表を示す。図７６Ｂに示されるように、ＸＯＲ回路４１０３は、２つの入力ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致する場合に出力Ｏｕｔｐｕｔが「０」となり、ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致しない場合に、出力Ｏｕｔｐｕｔが「１」となる。
　このＸＯＲ回路４１０３の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（－）を入力し、他方にパルスＶｐｌｓ（－）を入力する。これにより、合成部４１０ｄは、図７５Ａおよび図７５Ｂを用いて説明した、第３の例によるＮＡＮＤ回路４１０２を用いた合成部４１０ｃとほぼ同様の、正パルスによる合成パルスＳｙｎＰｌｓ（＋）を得ることができる。
（５－２－６．合成部の構成の第５の例）
　図７７Ａおよび図７７Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第５の例について説明するための図である。図７７Ａに示されるように、第５の例による合成部４１０ｅは、ＯＲ回路４１０４を用いて構成される。ＯＲ回路４１０４の一方の入力端に、正パルスによるタイムコードＴｃ（＋）が入力され、他方の入力端に、正パルスによるパルスＶｐｌｓ（＋）が入力される。ＯＲ回路４１０４は、図７７Ｂに示されるように、タイムコードＴｃ（＋）およびパルスＶｐｌｓ（＋）の少なくとも一方が正パルスになる期間が正パルスとなる合成パルスＳｙｎＰｌｓ（＋）を出力する。カウンタ１１２は、この正パルスをカウントする。
（５－２－７．合成部の構成の第６の例）
　図７８は、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第６の例について説明するための図である。図７８に示されるように、第６の例による合成部４１０ｆは、ＸＯＲ回路４１０３を用いて構成される。合成部４１０ｆにおいて、ＸＯＲ回路４１０３の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（＋）を入力し、他方にパルスＶｐｌｓ（＋）を入力する。これにより、合成部４１０ｆは、図７７Ａおよび図７７Ｂを用いて説明した、第５の例によるＯＲ回路４１０４を用いた合成部４１０ｅとほぼ同様の、正パルスによる合成パルスＳｙｎＰｌｓ（＋）を得ることができる。
（５－２－８．合成部の構成の第７の例）
　図７９Ａおよび図７９Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第７の例について説明するための図である。図７９Ａに示されるように、第７の例による合成部４１０ｇは、ＮＯＲ回路４１０５を用いて構成される。ＮＯＲ回路４１０５の一方の入力端に、正パルスによるタイムコードＴｃ（＋）が入力され、他方の入力端に、正パルスによるパルスＶｐｌｓ（＋）が入力される。ＮＯＲ回路４１０５は、図７９Ｂに示されるように、タイムコードＴｃ（＋）およびパルスＶｐｌｓ（＋）の少なくとも一方が正パルスなる期間が負パルスとなる合成パルスＳｙｎＰｌｓ（－）を出力する。カウンタ１１２は、この負パルスをカウントする。
（５－２－９．合成部の構成の第８の例）
　図８０は、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第８の例について説明するための図である。図８０に示されるように、第８の例による合成部４１０ｈは、ＸＮＯＲ回路４１０１を用いて構成される。合成部４１０ｈにおいて、ＸＮＯＲ回路４１０１の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（＋）を入力し、他方にパルスＶｐｌｓ（＋）を入力する。これにより、合成部４１０ｈは、図７９Ａおよび図７９Ｂを用いて説明した、ＮＯＲ回路４１０５を用いた第７の例による合成部４１０ｇとほぼ同様の、負パルスによる合成パルスＳｙｎＰｌｓ（－）を得ることができる。
　このように、第５の実施形態の第２の変形例では、論理回路により構成される合成部４１０によりタイムコードＴｃとパルスＶｐｌｓとを合成した合成パルスＳｙｎＰｌｓに基づき予測カウント値を求めている。そのため、第５の実施形態の第２の変形例に係る計数部１１は、上述した第５の実施形態および第５の実施形態の第１の変形例における計数部１１に含まれるセレクタ４００を省略でき、回路面積を削減可能である。
［６．第６の実施形態］
　次に、本開示の第６の実施形態について説明する。第６の実施形態は、上述した第１～第４の実施形態に係る各受光装置１ａ～１ｄを、距離を測定する装置（測距装置）に適用した場合の例である。
　図８１は、第６の実施形態に係る測距装置の一例の構成を示すブロック図である。図８１において、測距装置３０００は、光パルス送信機３０１０と、光パルス受信機３０１１と、ＲＳフリップフロップ３０１２と、を含む。
　距離を測定する方法として、ＴｏＦ（Time　of　Flight）方式を用いた場合を例に挙げて説明する。ＴｏＦ型センサは、当該ＴｏＦ型センサに近接する位置から発せられた光が対象物３０２０に照射され、当該光が対象物３０２０により反射して帰って来るまでの時間を計測することで、対象物３０２０までの距離を計測する。
　図８２は、第６の実施形態に適用可能なＴｏＦ型センサの一例の動作タイミングを示すタイミングチャートである。図８２を参照して、測距装置３０００の動作について説明する。
　光パルス送信機３０１０は、供給されるトリガパルスに基づき、光を発光する（光送信パルス）。光パルス受信機３０１１は、この発光された光が対象物３０２０に照射され、当該光が対象物３０２０により反射されてきた反射光を受信する。光パルス受信機３０１１として、上述した受光装置１ａ、１ｂおよび１ｃの何れかを適用することができる。ここでは、便宜上、光パルス受信機３０１１として受光装置１ａを適用するものとして説明を行う。
　送信光パルスが発光された時刻と、受信光パルスが受光された時刻との差分が、対象物との距離に応じた時間、すなわち光飛行時間ＴｏＦに相当する。
　トリガパルスは、光パルス送信機３０１０とＲＳフリップフロップ３０１２とに供給される。トリガパルスが光パルス送信機３０１０に供給されることで、短時間、光パルスが送信される。また、ＲＳフリップフロップ３０１２は、トリガパルスによりリセットされる。
　光パルス受信機３０１１に受光装置１ａを適用した場合、受光装置１ａが有する光電変換素子１１０に受信光パルスが受信（入射）されると、光電変換素子１１０においてフォトンが発生する。その発生したフォトンに基づく例えばパルスＶｐｌｓにより、ＲＳフリップフロップ３０１２がリセットされる。
　このような動作により、ＲＳフリップフロップ３０１２において、光飛行時間ＴｏＦに相当するパルス幅を持ったゲート信号を生成することができる。この生成されるゲート信号を、クロック信号などを用いてカウントすることで、光飛行時間ＴｏＦを算出することができる。算出された光飛行時間ＴｏＦは、距離を示す距離情報のデジタル信号として、測距装置３００から出力される。
［７．第７の実施形態］
　次に、本開示の第７の実施形態として、本開示の第１～４の実施形態および各変形例に係る受光装置の適用例について説明する。図８３は、第７の実施形態による、上述の第１～第４の実施形態およびその各変形例に係る受光装置１ａ、１ｂおよび１ｃを使用する使用例を示す図である。
　上述した受光装置１ａ、１ｂおよび１ｃは、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
［本開示に係る技術のさらなる適用例］
（移動体への適用例）
　本開示に係る技術は、さらに、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
　図８４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図８４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced　Driver　Assistance　System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図８４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図８５は、撮像部１２０３１の設置位置の例を示す図である。図８５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図８５には、撮像部１２１０１～１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２および１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２および１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１～１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１～１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１～１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を基に、撮像範囲１２１１１～１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１～１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１～１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、上述した本開示の第１～４の実施形態および各変形例に係る受光装置１ａ～１ｃを撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、走行する車両からの測距をより高精度に実行することが可能となる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　露光期間内で受光素子への光子の入射を検知した回数である検知回数を計数して計数値を出力する計数部と、
　時間情報を更新する周期を前記露光期間における経過時間に応じて設定する設定部と、
　前記露光期間が経過する前に前記計数値が閾値に到達した時間を示す前記時間情報を取得する取得部と、
を備える
受光装置。
（２）
　前記設定部は、
　前記周期の設定を前記露光期間の開始時から所定時間が経過した時点から開始し、当該時点での該周期を、該露光期間内において最も短い周期に設定する
前記（１）に記載の受光装置。
（３）
　前記設定部は、
　前記周期に応じて変化するコードを前記時間情報として出力する
前記（１）または（２）に記載の受光装置。
（４）
　前記取得部は、
　前記計数値が前記閾値に到達した場合に、前記時間情報を取得する、
前記（１）乃至（３）の何れかに記載の受光装置。
（５）
　前記取得部は、
　前記計数値が前記閾値に到達した時点から前記露光期間の終了の時点までの時間に基づき、前記計数値が前記閾値に到達した時間を示す前記時間情報を取得する、
前記（１）乃至（３）の何れかに記載の受光装置。
（６）
　前記計数部は、
　前記計数値が前記閾値に到達した時点から前記露光時間の終了の時点までの間、前記時間情報が更新される回数である更新回数を計数し、
　前記取得部は、
　前記更新回数に基づき前記計数値が閾値に到達した時間を示す前記時間情報を取得する、
前記（５）に記載の受光装置。
（７）
　前記計数部は、
　前記時間情報が更新される回数である更新回数と前記検知回数と、を合成部により合成した回数を計数した合成計数値を出力し、
　前記取得部は、
　前記合成計数値が前記閾値に到達した時間に基づき、前記合成計数値から前記更新回数を減じて、該時間における前記検知回数を求める、
前記（５）に記載の受光装置。
（８）
　前記計数部は、
　１つの入力端に入力される複数のパルス入力毎に計数を行うカウンタにより前記検知回数を計数された値に基づき前記計数値を出力する、
前記（５）乃至（７）の何れかに記載の受光装置。
（９）
　前記合成部は、
　論理回路を用いて前記更新回数と前記検知回数とを合成する、
前記（７）に記載の受光装置。
（１０）
　前記計数部は、
　前記露光期間を分割した分割露光期間毎に前記計数を行い、
　前記取得部は、
　前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、前記閾値に到達した各時間を、該分割露光期間毎の前記時間情報としてそれぞれ取得する
前記（１）乃至（９）の何れかに記載の受光装置。
（１１）
　前記計数部は、
　前記露光期間を長さが異なる期間を含んで分割した前記分割露光期間毎に前記計数を行う
前記（１０）に記載の受光装置。
（１２）
　前記計数部は、
　前記受光素子への前記光子が入射する平均時間間隔が所定以下の場合に、前記分割露光期間毎の前記計数を行う
前記（１０）または（１１）に記載の受光装置。
（１３）
　前記取得部は、
　前記分割露光期間のうち少なくとも２つの前記分割露光期間で異なる前記閾値を用いて前記時間情報を取得する
前記（１０）乃至（１２）の何れかに記載の受光装置。
（１４）
　前記取得部は、
　前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
前記（１）乃至（１３）の何れかに記載の受光装置。
（１５）
　前記計数部は、
　前記取得部による前記時間情報の取得の機能を含み、前記計数の機能と、該取得の機能と、を切り替えて実行する
前記（１）乃至（４）の何れかに記載の受光装置。
（１６）
　前記受光素子は、２次元格子状に配列され、
　前記設定部は、
　前記２次元格子状に配列された前記受光素子毎に設けられる
前記（１）乃至（１５）の何れかに記載の受光装置。
（１７）
　前記受光素子は、２次元格子状に配列され、
　前記設定部は、
　前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
前記（１）乃至（１５）の何れかに記載の受光装置。
（１８）
　前記設定部は、
　前記配列の行単位の前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（１８）
　前記設定部は、
　前記配列の複数の行を含む前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（１９）
　前記設定部は、
　前記配列の行方向に複数に分割された領域による前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（２０）
　前記受光素子は、カラーフィルタが設けられ、
　前記設定部は、
　同色の前記カラーフィルタが設けられた前記受光素子を含む前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（２１）
　前記設定部は、
　前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
前記（１７）に記載の受光装置。
（２２）
　前記受光素子は、単一光子アバランシェダイオードである
前記（１）乃至（２１）の何れかに記載の受光装置。
（２３）
　前記計数部は、
　それぞれ各ビットの計数を行う複数のカウンタを有し、
　該複数のカウンタのうち所定ビット以上の各ビットの計数を行う各カウンタを、複数の前記受光素子で共有する
前記（１）乃至（２２）の何れかに受光装置。
（２４）
　第１の基板と、該第１の基板に積層される第２の基板とを含み、
　前記第１の基板に前記受光素子が配置され、
　前記第２の基板に、少なくとも前記計数部が配置され、
　前記計数部は、
　前記複数のカウンタのうち所定ビット未満の各ビットの計数を行う各カウンタが、前記第２の基板における前記受光素子と対応する位置に配置される
前記（２３）に記載の受光装置。
（２５）
　前記設定部は、
　前記時間情報をグレイコード用いて表現する
前記（１）乃至（４）の何れかに記載の受光装置。
（２６）
　露光期間内で受光素子への光子の入射を検知した回数を計数して計数値を出力する計数部と、
　輝度値を更新する輝度値更新部と、
　前記露光期間が経過する前に前記計数値が閾値に到達した場合に、該閾値に到達した到達時間に対応する前記輝度値を取得する取得部と、
を備える
受光装置。
（２７）
　前記取得部は、
　前記露光期間開始時から所定時間が経過した時点から、該露光期間の終了時までに入射される前記光子による輝度を前記到達時間に基づき予測した値を前記輝度値として取得する
前記（２６）に記載の受光装置。
（２８）
　前記輝度値更新部は、
　前記露光期間における照度および前記露光期間の開始時からの経過時間に応じて前記輝度値を更新する
前記（２６）または（２７）に記載の受光装置。
（２９）
　前記輝度値更新部は、
　前記輝度値の更新を周期毎に行うと共に、前記露光期間の開始時から所定時間が経過した時点で開始し、該時点において該露光期間内で最も短い周期で前記輝度値の更新を行う
前記（２８）に記載の受光装置。
（３０）
　前記計数部は、
　前記露光期間を分割した分割露光期間毎に前記計数を行い、
　前記取得部は、
　前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、該分割露光期間それぞれにおける前記到達時間に対応する前記輝度値それぞれを、該分割露光期間毎の前記時間情報としてそれぞれ取得する
前記（２６）乃至（２９）の何れかに記載の受光装置。
（３１）
　前記計数部は、
　前記露光期間を長さが異なる期間を含んで分割した前記分割露光期間毎に前記計数を行う
前記（３０）に記載の受光装置。
（３２）
　前記計数部は、
　前記受光素子への前記光子が入射する平均時間間隔が所定以下の場合に、前記分割露光期間毎の前記計数を行う
前記（３０）に記載の受光装置。
（３３）
　前記取得部は、
　前記分割露光期間のうち少なくとも２つの前記分割露光期間で異なる前記閾値を用いて前記時間情報を取得する
前記（３０）乃至（３２）の何れかに記載の受光装置。
（３４）
　前記取得部は、
　前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
前記（２６）乃至（３３）の何れかに記載の受光装置。
（３５）
　前記計数部は、
　前記取得部による前記輝度値の取得の機能を含み、前記計数の機能と、該取得の機能と、を切り替えて実行する
前記（２６）乃至（３４）の何れかに記載の受光装置。
（３６）
　前記受光素子は、２次元格子状に配列され、
　前記輝度値更新部は、
　前記２次元格子状に配列された前記受光素子毎に設けられる
前記（２６）乃至（３５）の何れかに記載の受光装置。
（３７）
　前記受光素子は、２次元格子状に配列され、
　前記輝度値更新部は、
　前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
前記（２６）乃至（３５）の何れかに記載の受光装置。
（３８）
　前記輝度値更新部は、
　前記配列の行単位の前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（３９）
　前記輝度値更新部は、
　前記配列の複数の行を含む前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（４０）
　前記輝度値更新部は、
　前記配列の行方向に複数に分割された領域による前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（４１）
　前記受光素子は、カラーフィルタが設けられ、
　前記輝度値更新部は、
　同色の前記カラーフィルタが設けられた前記受光素子を含む前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（４２）
　前記輝度値更新部は、
　前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
前記（３７）に記載の受光装置。
（４３）
　前記受光素子は、単一光子アバランシェダイオードである
前記（２６）乃至（４２）の何れかに記載の受光装置。
（４４）
　前記計数部は、
　それぞれ各ビットの計数を行う複数のカウンタを有し、
　該複数のカウンタのうち所定ビット以上の各ビットの計数を行う各カウンタを、複数の前記受光素子で共有する
前記（２６）乃至（４３）の何れかに受光装置。
（４５）
　第１の基板と、該第１の基板に積層される第２の基板とを含み、
　前記第１の基板に前記受光素子が配置され、
　前記第２の基板に、少なくとも前記計数部が配置され、
　前記計数部は、
　前記複数のカウンタのうち所定ビット未満の各ビットの計数を行う各カウンタが、前記第２の基板における前記受光素子と対応する位置に配置される
前記（４４）に記載の受光装置。
１ａ，１ｂ，１ｃ，１ｄ　受光装置
１０　画素
１１　計数部
１２　タイムコード生成部
１３　取得部
２０，２０’　輝度値コード生成部
１００，１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ａ’，１００ｂ’，１００ｃ’，１００ｄ’，１００Ｒ，１００Ｇ，１００Ｇ1，１００Ｇ2，１００Ｂ，１００’，１００Ｒ’，１００Ｇ’，１００Ｇ1’，１００Ｇ2’，１００Ｂ’　画素回路
１１０　光電変換素子
１１１ａ，１１１ｂ，１１１ｂ’，１１１ｃ　信号処理部
１１２，１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ，１１２ｅ，１１２ｆ1，１１２ｆ2，１１２ｆ3，１１２ｇ，１１２ｈ，１１２ｉ，１１２ｋ，１１２０，１１２０’，１１２０ａ1，１１２０ａ2，１１２０ａ3，１１２０ｂ1，１１２０ｂ2，１１３０　カウンタ
１１２ｊ　デジタルカウンタ
１１３ａ，１１３ａ－１，１１３ａ－２，１１３ａ－３，１１３ａ（ａ），１１３ａ（ｂ），１１３ａ（ｃ），１１３ａ（ｄ），１１３ｂ，１１３ｂ－１，１１３ｂ－２，１１３ｂ－３，１１３ｃ　閾値判定部
１１４　メモリ
１２０，１２０’　ＴＣ生成部
１２１　時間カウンタ
１２２　分周設定値記憶部
１２３　周波数判定部
１２４，１２７　コード生成部
１２５　クロック生成部
１２６　ＰＬＬ回路
１４１，１４２　信号線
１５０，１５０’，１５０Ｒ1，１５０Ｇ11，１５０Ｇ12，１５０Ｇ21，１５０Ｇ22，１５０Ｂ1，１５０Ｂ2，１５０Ｒ1’，１５０Ｇ11’，１５０Ｇ12’，１５０Ｇ21’，１５０Ｇ22’，１５０Ｂ1’，１５０Ｂ2’　グループ
２００　ＬＣ生成部
３００1，３００2，３０１，３０２1，３０２2，３０２3，３０２4，３０２5，３０３1，３０３2，３０３3　分割露光期間Ｔｓｈ＿ｄｉｖ
４００　セレクタ
４０２　１ビットカウンタ
４１０，４１０ａ，４１０ｂ，４１０ｃ，４１０ｄ，４１０ｅ，４１０ｆ，４１０ｇ，４１０ｈ　合成部
１００３　制御部
１１２５ａ，１１２５ｂ　アナログカウンタ
１１２６　デジタルカウンタ
１１３１，１１３１’　比較回路
１１３２　ＡＮＤ回路
２０００　受光チップ
２００１　画素アレイ部
２０１０　ロジックチップ
２０１１　ロジックアレイ部
２０１３　素子制御部
２０１３ａ，２０１３ａ’，２０１３ａ”　垂直制御部
２０１３ｂ　水平制御部
２０１３ｃ　信号処理部
２０１４　論理回路

Claims (26)

  1. 　露光期間内で受光素子への光子の入射を検知した回数である検知回数を計数して計数値を出力する計数部と、
    　時間情報を更新する周期を前記露光期間における経過時間に応じて設定する設定部と、
    　前記露光期間が経過する前に前記計数値が閾値に到達した時間を示す前記時間情報を取得する取得部と、
    を備える
    受光装置。
  2. 　前記設定部は、
    　前記周期の設定を前記露光期間の開始時から所定時間が経過した時点から開始し、当該時点での該周期を、該露光期間内において最も短い周期に設定する
    請求項１に記載の受光装置。
  3. 　前記設定部は、
    　前記周期に応じて変化するコードを前記時間情報として出力する
    請求項１に記載の受光装置。
  4. 　前記取得部は、
    　前記計数値が前記閾値に到達した場合に、前記時間情報を取得する、
    請求項１に記載の受光装置。
  5. 　前記取得部は、
    　前記計数値が前記閾値に到達した時点から前記露光期間の終了の時点までの時間に基づき、前記計数値が前記閾値に到達した時間を示す前記時間情報を取得する、
    請求項１に記載の受光装置。
  6. 　前記計数部は、
    　前記計数値が前記閾値に到達した時点から前記露光期間の終了の時点までの間、前記時間情報が更新される回数である更新回数を計数し、
    　前記取得部は、
    　前記更新回数に基づき前記計数値が閾値に到達した時間を示す前記時間情報を取得する、
    請求項５に記載の受光装置。
  7. 　前記計数部は、
    　前記時間情報が更新される回数である更新回数と前記検知回数と、を合成部により合成した回数を計数した合成計数値を出力し、
    　前記取得部は、
    　前記合成計数値が前記閾値に到達した時間に基づき、前記合成計数値から前記更新回数を減じて、該時間における前記検知回数を求める、
    請求項５に記載の受光装置。
  8. 　前記計数部は、
    　１つの入力端に入力される複数のパルス入力毎に計数を行うカウンタにより前記検知回数を計数された値に基づき前記計数値を出力する、
    請求項５に記載の受光装置。
  9. 　前記合成部は、
    　論理回路を用いて前記更新回数と前記検知回数とを合成する、
    請求項７に記載の受光装置。
  10. 　前記計数部は、
    　前記露光期間を分割した分割露光期間毎に前記計数を行い、
    　前記取得部は、
    　前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、前記閾値に到達した各時間を、該分割露光期間毎の前記時間情報としてそれぞれ取得する
    請求項１に記載の受光装置。
  11. 　前記計数部は、
    　前記露光期間を長さが異なる期間を含んで分割した前記分割露光期間毎に前記計数を行う
    請求項１０に記載の受光装置。
  12. 　前記取得部は、
    　前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
    請求項１に記載の受光装置。
  13. 　前記計数部は、
    　前記取得部による前記時間情報の取得の機能を含み、前記計数の機能と、該取得の機能と、を切り替えて実行する
    請求項１に記載の受光装置。
  14. 　前記受光素子は、２次元格子状に配列され、
    　前記設定部は、
    　前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
    請求項１に記載の受光装置。
  15. 　前記受光素子は、カラーフィルタが設けられ、
    　前記設定部は、
    　同色の前記カラーフィルタが設けられた前記受光素子を含む前記グループ毎に設けられる
    請求項１４に記載の受光装置。
  16. 　前記設定部は、
    　前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
    請求項１４に記載の受光装置。
  17. 　前記受光素子は、単一光子アバランシェダイオードである
    請求項１に記載の受光装置。
  18. 　露光期間内で受光素子への光子の入射を検知した回数を計数して計数値を出力する計数部と、
    　輝度値を更新する輝度値更新部と、
    　前記露光期間が経過する前に前記計数値が閾値に到達した場合に、該閾値に到達した到達時間に対応する前記輝度値を取得する取得部と、
    を備える
    受光装置。
  19. 　前記取得部は、
    　前記露光期間の開始時から所定時間が経過した時点から、該露光期間の終了時までに入射される前記光子による輝度を前記到達時間に基づき予測した値を前記輝度値として取得する
    請求項１８に記載の受光装置。
  20. 　前記輝度値更新部は、
    　前記露光期間における照度および前記露光期間の開始時からの経過時間に応じて前記輝度値を更新する
    請求項１８に記載の受光装置。
  21. 　前記輝度値更新部は、
    　前記輝度値の更新を周期毎に行うと共に、前記露光期間の開始時から所定時間が経過した時点で開始し、該時点において該露光期間内で最も短い周期で前記輝度値の更新を行う
    請求項２０に記載の受光装置。
  22. 　前記計数部は、
    　前記露光期間を分割した分割露光期間毎に前記計数を行い、
    　前記取得部は、
    　前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、該分割露光期間それぞれにおける前記到達時間に対応する前記輝度値それぞれを、該分割露光期間毎の前記輝度値としてそれぞれ取得する
    請求項１８に記載の受光装置。
  23. 　前記取得部は、
    　前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
    請求項１８に記載の受光装置。
  24. 　前記受光素子は、２次元格子状に配列され、
    　前記輝度値更新部は、
    　前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
    請求項１８に記載の受光装置。
  25. 　前記輝度値更新部は、
    　前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
    請求項２４に記載の受光装置。
  26. 　前記受光素子は、単一光子アバランシェダイオードである
    請求項１８に記載の受光装置。
PCT/JP2020/009871 2019-03-07 2020-03-06 受光装置 Ceased WO2020179928A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/428,408 US11754442B2 (en) 2019-03-07 2020-03-06 Light-receiving apparatus with cycle setting according to photon count determinations
EP20767256.9A EP3936840A4 (en) 2019-03-07 2020-03-06 LIGHT RECEIPT DEVICE
JP2021503676A JP7374174B2 (ja) 2019-03-07 2020-03-06 受光装置
CN202080013323.8A CN113424027B (zh) 2019-03-07 2020-03-06 光接收装置
US18/332,215 US12188816B2 (en) 2019-03-07 2023-06-09 Light-receiving apparatus with cycle setting according to illumination categories for updating luminance value

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019041786 2019-03-07
JP2019-041786 2019-03-07
JP2020-038225 2020-03-05
JP2020038225 2020-03-05

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/428,408 A-371-Of-International US11754442B2 (en) 2019-03-07 2020-03-06 Light-receiving apparatus with cycle setting according to photon count determinations
US18/332,215 Continuation US12188816B2 (en) 2019-03-07 2023-06-09 Light-receiving apparatus with cycle setting according to illumination categories for updating luminance value

Publications (1)

Publication Number Publication Date
WO2020179928A1 true WO2020179928A1 (ja) 2020-09-10

Family

ID=72337480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009871 Ceased WO2020179928A1 (ja) 2019-03-07 2020-03-06 受光装置

Country Status (6)

Country Link
US (2) US11754442B2 (ja)
EP (1) EP3936840A4 (ja)
JP (1) JP7374174B2 (ja)
CN (1) CN113424027B (ja)
TW (1) TWI857021B (ja)
WO (1) WO2020179928A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022106660A (ja) * 2021-01-07 2022-07-20 キヤノン株式会社 光電変換装置、光検出システム
JP2023032283A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
WO2023047975A1 (ja) * 2021-09-24 2023-03-30 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2023061645A (ja) * 2021-10-20 2023-05-02 キヤノン株式会社 光電変換装置、光電変換システム、移動体、機器
JP2023178686A (ja) * 2022-06-06 2023-12-18 キヤノン株式会社 光電変換装置、光電変換システム
WO2025005212A1 (ja) 2023-06-30 2025-01-02 キヤノン株式会社 光電変換装置および光電変換装置を有する光電変換システム
JP2025529407A (ja) * 2022-09-27 2025-09-04 エックスオー セミコンダクタ インコーポレイテッド 単光子アバランシェダイオード基盤のイメージセンサー及びその駆動方法
JP2025530535A (ja) * 2022-12-12 2025-09-11 エックスオー セミコンダクタ インコーポレイテッド 単光子アバランシェダイオード基盤のイメージセンサー及びその駆動方法
JP7851445B2 (ja) 2021-01-07 2026-04-24 キヤノン株式会社 光電変換装置、光検出システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3989535B1 (en) * 2020-10-20 2025-09-24 Canon Kabushiki Kaisha Photoelectric conversion device, method of controlling photoelectric conversion device, and information processing apparatus
US12183754B2 (en) * 2021-08-24 2024-12-31 Globalfoundries Singapore Pte. Ltd. Single-photon avalanche diodes with deep trench isolation
CN114553103B (zh) * 2022-01-24 2025-09-05 江西九二盐业有限责任公司 一种大包装生产线汇总智能让包系统
CN116559841B (zh) * 2023-07-07 2023-10-27 苏州识光芯科技术有限公司 光子计数方法、装置、芯片及设备
KR102912961B1 (ko) * 2023-11-06 2026-01-15 엑소반도체 주식회사 Spad 기반 이미지 센서 및 이의 동작 방법
US20250189370A1 (en) * 2023-12-12 2025-06-12 Samsung Electronics Co., Ltd. Solid-state imaging device
WO2025155931A1 (en) * 2024-01-17 2025-07-24 Government Of The United States Of America, As Represented By The Secretary Of Commerce Metrological photon counter and metrologically counting photons at room temperature
US12324252B1 (en) * 2024-04-29 2025-06-03 Globalfoundries Singapore Pte. Ltd. Structures including a photodetector and multiple cathode contacts

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057152A1 (en) * 2010-09-06 2012-03-08 King Abdulaziz City Science And Technology High-speed analog photon counter and method
JP2014081253A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光検出器
WO2017042993A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置
JP2019009768A (ja) * 2017-06-23 2019-01-17 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2650066A1 (en) 2009-01-16 2010-07-16 Karim S. Karim Photon counting and integrating pixel readout architecture with dynamic switching operation
WO2010149593A1 (en) * 2009-06-22 2010-12-29 Toyota Motor Europe Nv/Sa Pulsed light optical rangefinder
JP5521721B2 (ja) * 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
US8716643B2 (en) 2010-09-06 2014-05-06 King Abdulaziz City Science And Technology Single photon counting image sensor and method
EP2437484B1 (en) * 2010-10-01 2017-02-15 Sony Semiconductor Solutions Corporation Imaging device and camera system
US9210350B2 (en) 2013-12-09 2015-12-08 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
WO2016003451A1 (en) * 2014-07-02 2016-01-07 The Johns Hopkins University Photodetection circuit and operating method thereof
CN108291961B (zh) * 2015-12-08 2022-06-28 松下知识产权经营株式会社 固体摄像装置、距离测定装置及距离测定方法
US11105925B2 (en) * 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
JP6730217B2 (ja) * 2017-03-27 2020-07-29 株式会社デンソー 光検出器
EP3748316B1 (en) * 2018-02-02 2022-04-20 Sony Semiconductor Solutions Corporation Solid-state imaging element, imaging device, and control method for solid-state imaging element
US10616512B2 (en) * 2018-07-27 2020-04-07 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057152A1 (en) * 2010-09-06 2012-03-08 King Abdulaziz City Science And Technology High-speed analog photon counter and method
JP2014081253A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光検出器
WO2017042993A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置
JP2019009768A (ja) * 2017-06-23 2019-01-17 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025092560A (ja) * 2021-01-07 2025-06-19 キヤノン株式会社 光電変換装置、光検出システム
JP2022106660A (ja) * 2021-01-07 2022-07-20 キヤノン株式会社 光電変換装置、光検出システム
JP7851445B2 (ja) 2021-01-07 2026-04-24 キヤノン株式会社 光電変換装置、光検出システム
JP7661212B2 (ja) 2021-01-07 2025-04-14 キヤノン株式会社 光電変換装置、光検出システム
JP2023032283A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP7774995B2 (ja) 2021-08-26 2025-11-25 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
WO2023047975A1 (ja) * 2021-09-24 2023-03-30 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2023046662A (ja) * 2021-09-24 2023-04-05 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP7661191B2 (ja) 2021-09-24 2025-04-14 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2023061645A (ja) * 2021-10-20 2023-05-02 キヤノン株式会社 光電変換装置、光電変換システム、移動体、機器
JP7775021B2 (ja) 2021-10-20 2025-11-25 キヤノン株式会社 光電変換装置、光電変換システム、移動体、機器
JP2023178686A (ja) * 2022-06-06 2023-12-18 キヤノン株式会社 光電変換装置、光電変換システム
JP2025529407A (ja) * 2022-09-27 2025-09-04 エックスオー セミコンダクタ インコーポレイテッド 単光子アバランシェダイオード基盤のイメージセンサー及びその駆動方法
JP2025530535A (ja) * 2022-12-12 2025-09-11 エックスオー セミコンダクタ インコーポレイテッド 単光子アバランシェダイオード基盤のイメージセンサー及びその駆動方法
WO2025005212A1 (ja) 2023-06-30 2025-01-02 キヤノン株式会社 光電変換装置および光電変換装置を有する光電変換システム
KR20260007348A (ko) 2023-06-30 2026-01-13 캐논 가부시끼가이샤 광전 변환장치 및 광전 변환장치를 갖는 광전 변환 시스템

Also Published As

Publication number Publication date
EP3936840A4 (en) 2022-06-08
US20230358608A1 (en) 2023-11-09
JPWO2020179928A1 (ja) 2020-09-10
EP3936840A1 (en) 2022-01-12
US20220155153A1 (en) 2022-05-19
TW202104854A (zh) 2021-02-01
TWI857021B (zh) 2024-10-01
CN113424027A (zh) 2021-09-21
CN113424027B (zh) 2024-04-12
US12188816B2 (en) 2025-01-07
US11754442B2 (en) 2023-09-12
JP7374174B2 (ja) 2023-11-06

Similar Documents

Publication Publication Date Title
JP7374174B2 (ja) 受光装置
US11101305B2 (en) Imaging element and electronic device
JP7171199B2 (ja) 固体撮像装置、及び電子機器
JP7029890B2 (ja) 撮像素子、撮像素子の制御方法、及び、電子機器
CN116348737A (zh) 光接收装置、光接收装置的控制方法以及测距系统
JP2020072471A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7370413B2 (ja) 固体撮像装置、及び電子機器
WO2018163873A1 (ja) 固体撮像装置および電子機器
CN113711585A (zh) 固态摄像装置和测距装置
KR102674469B1 (ko) 비교기 및 촬상 장치
JP2022078127A (ja) 撮像素子及び電子機器
US20210385394A1 (en) Solid-state imaging apparatus and electronic
JP7743465B2 (ja) 光電変換装置、移動体、光電変換方法、及びコンピュータプログラム
TW202312679A (zh) 光電轉換裝置和光電轉換系統
WO2020090311A1 (ja) 固体撮像素子
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2025177720A1 (ja) 光検出装置および光検出システム
JP7703546B2 (ja) 光検出装置
WO2020090459A1 (ja) 固体撮像装置、及び電子機器
WO2022004289A1 (ja) 光検出装置、および電子機器
WO2023243222A1 (ja) 撮像装置
JP2025075978A (ja) 光電変換装置、移動体
WO2023132151A1 (ja) 撮像素子および電子機器
KR20240087828A (ko) 촬상 장치
KR20250087444A (ko) 장치 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20767256

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503676

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020767256

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020767256

Country of ref document: EP

Effective date: 20211007

WWW Wipo information: withdrawn in national office

Ref document number: 2020767256

Country of ref document: EP