WO2020022137A1 - 受光装置及び測距装置 - Google Patents

受光装置及び測距装置 Download PDF

Info

Publication number
WO2020022137A1
WO2020022137A1 PCT/JP2019/028059 JP2019028059W WO2020022137A1 WO 2020022137 A1 WO2020022137 A1 WO 2020022137A1 JP 2019028059 W JP2019028059 W JP 2019028059W WO 2020022137 A1 WO2020022137 A1 WO 2020022137A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
light receiving
correction
histogram
receiving device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/028059
Other languages
English (en)
French (fr)
Inventor
憲太 槇本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020532314A priority Critical patent/JP7568504B2/ja
Priority to CN201980048680.5A priority patent/CN112513678B/zh
Priority to US17/251,920 priority patent/US12061292B2/en
Priority to EP19840492.3A priority patent/EP3832352B1/en
Publication of WO2020022137A1 publication Critical patent/WO2020022137A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the present disclosure relates to a light receiving device and a distance measuring device (distance measuring device).
  • a light receiving device using an element that generates a signal in response to receiving a photon as a light receiving element (for example, see Patent Document 1).
  • a TOF TOF
  • the Time Of Flight method is used.
  • the TOF methods in the direct TOF method in which the direct distance is calculated from the difference in time of flight of light, it is necessary to accurately capture the photon flight time.
  • in-plane delay skew a two-dimensional propagation delay skew in the plane
  • the correction of the in-plane delay skew can also be performed by an application processor provided at a stage subsequent to the light receiving device.
  • an application processor provided at a stage subsequent to the light receiving device.
  • the processing delay of the entire system becomes a frame unit for acquiring all signals of a plurality of pixels, and the processing delay is large. In applications that require a response, the processing delay becomes a problem.
  • an object of the present disclosure is to provide a light receiving device that can realize excellent correction processing for in-plane delay skew, and a distance measuring device that uses the light receiving device.
  • a light receiving unit having a plurality of pixels arranged two-dimensionally, Signal lines connected to the pixels, A time measuring unit connected to the signal line and measuring the time from the light emission command timing to the light reception timing, A histogram creation unit that creates a histogram of the measurement values measured by the time measurement unit, A storage unit that stores a correction value corresponding to the position of the pixel in the light receiving unit, A correction processing unit that performs correction processing on the histogram created by the histogram creation unit based on the correction value stored in the storage unit; and An output unit that outputs the signal that has been corrected by the correction processing unit, Is provided.
  • the distance measuring device of the present disclosure for achieving the above object, A light source that irradiates light to a measurement object, and Equipped with a light receiving device that receives light reflected by the measurement object, The light receiving device having the above configuration is used as the light receiving device.
  • FIG. 1 is a schematic configuration diagram illustrating a distance measuring device according to an embodiment of the present disclosure.
  • 2A and 2B are block diagrams illustrating a specific configuration of the distance measuring device according to an embodiment of the present disclosure.
  • FIG. 3 is a circuit diagram showing a basic pixel circuit of a light receiving device using a SPAD element.
  • FIG. 4A is a characteristic diagram showing a current-voltage characteristic of the PN junction of the SPAD element, and
  • FIG. 4B is a waveform diagram for explaining a circuit operation of the pixel circuit.
  • FIG. 5 is a schematic plan view illustrating an example of the configuration of the light receiving unit of the light receiving device.
  • FIG. 6 is a block diagram illustrating a basic configuration of a distance measurement control unit of the light receiving device.
  • FIG. 1 is a schematic configuration diagram illustrating a distance measuring device according to an embodiment of the present disclosure.
  • 2A and 2B are block diagrams illustrating a specific configuration of the distance measuring device according to an embodiment of the
  • FIG. 7 is a diagram illustrating a two-dimensional in-plane delay skew.
  • FIG. 8 is a block diagram illustrating the configuration of the light receiving device according to the first embodiment.
  • FIG. 9 is a block diagram illustrating an example of a configuration of the in-plane delay correction unit in the light receiving device according to the first embodiment.
  • FIG. 10 is a timing chart showing a timing relationship among the data DATA relating to the histogram, the address ADDR of the histogram, the correction amount OFST, and the bin value BIN for each histogram after correction.
  • FIG. 11A is a flowchart illustrating a flow of a correction process of the in-plane delay skew in the light receiving device according to the first embodiment.
  • FIG. 11A is a flowchart illustrating a flow of a correction process of the in-plane delay skew in the light receiving device according to the first embodiment.
  • FIG. 11B is a positional relationship in the time axis direction of the histogram data before and after the correction in the first embodiment.
  • FIG. FIG. 12A is an explanatory diagram of a positional relationship of each pixel with respect to a time measuring unit in the case of the second embodiment, and FIG. 12B is a diagram illustrating that a delay from each pixel to the time measuring unit is linear in a plane.
  • FIG. 13 is a diagram illustrating a positional relationship in the time axis direction of data regarding a histogram before and after correction in the case of the third embodiment.
  • FIG. 14 is a block diagram illustrating the configuration of the light receiving device according to the fourth embodiment.
  • FIG. 15 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a moving object control system to which the technology according to the present disclosure can be applied.
  • FIG. 16 is a diagram illustrating an example of an installation position of the distance measuring device.
  • Example 1 an example in which in-plane delay skew correction processing is performed when data relating to a histogram is read from the histogram creation unit
  • Second Embodiment Modification of First Embodiment: Example in Which Delay from Each Pixel to Time Measurement Unit Shows Linear Trend in Plane
  • Third embodiment a modification of the first embodiment: an example in which a correction process is also performed on a delay common to all histograms
  • Fourth Embodiment Example of Correcting In-plane Delay Skew When Writing Data Related to Histogram to Histogram Creation Unit
  • Application example of technology according to the present disclosure (example of moving object) 5. Configurations that the present disclosure can take
  • the correction value may be a value based on the distance from the pixel to the time measuring unit. Based on the correction values for the pixels at the ends in the light receiving unit, the correction values for the other pixels may be calculated by linear interpolation.
  • a plurality of histogram creating units may be provided corresponding to the pixel rows of the light receiving unit.
  • the correction processing unit may be configured to perform the correction process for each histogram created by each of the plurality of histogram creation units. Further, the correction processing unit may be configured to perform the correction processing on a histogram bin basis.
  • the correction processing unit uses a system correction value common to all histograms created by each of the plurality of histogram creating units.
  • a configuration for performing a correction process can be adopted.
  • the system correction value may be a value corresponding to a delay common to all histograms created by each of the plurality of histogram creating units.
  • the storage unit may be configured to include a correction register group in which correction values are set for each histogram.
  • the correction processing unit may be provided at a stage subsequent to the histogram creation unit, and may perform a correction process by adding a correction value to a bin value of the histogram created by the histogram creation unit.
  • the correction processing unit may be provided before the histogram creation unit, and may perform the correction process by adding the correction value to the measurement value measured by the time measurement unit.
  • the light receiving element of the pixel may be configured to include an element that generates a signal in response to receiving a photon.
  • the light receiving unit includes a pixel group having a plurality of pixels as a unit, and the signal line includes a plurality of signal lines as a unit. And a plurality of pixels included in the pixel group and a plurality of signal lines included in the signal line group are connected one to one.
  • FIG. 1 is a schematic configuration diagram illustrating a distance measuring device according to an embodiment of the present disclosure.
  • the distance measuring apparatus 1 according to the present embodiment uses a light (for example, a laser having a peak wavelength in an infrared wavelength region) radiated toward the subject 10 as a measuring method for measuring a distance to the subject 10 as a measurement target.
  • a TOF (time of flight) method of measuring a time until light is reflected by the subject 10 and returned is adopted.
  • the distance measuring device 1 according to the present embodiment includes a light source 20 and a light receiving device 30.
  • the light receiving device 30 a light receiving device according to an embodiment of the present disclosure described later is used.
  • the light source 20 has, for example, a laser driver 21, a laser light source 22, and a diffusion lens 23, and irradiates the subject 10 with laser light.
  • the laser driver 21 drives the laser light source 22 under the control of the control unit 40.
  • the laser light source 22 includes, for example, a semiconductor laser, and emits laser light when driven by the laser driver 21.
  • the diffusion lens 23 diffuses the laser light emitted from the laser light source 22 and irradiates the laser light to the subject 10.
  • the light receiving device 30 includes a light receiving lens 31, an optical sensor 32 as a light receiving unit, and a logic circuit 33, and receives the reflected laser light returned by the laser irradiation unit 20 being reflected by the subject 10 and reflected by the laser irradiation unit 20. .
  • the light receiving lens 31 focuses the reflected laser light from the subject 10 on the light receiving surface of the optical sensor 32.
  • the optical sensor 32 receives the reflected laser light from the subject 10 that has passed through the light receiving lens 31 in pixel units, and performs photoelectric conversion.
  • the output signal of the optical sensor 32 is supplied to the control unit 40 via the logic circuit 33.
  • the details of the optical sensor 32 will be described later.
  • the control unit 40 includes, for example, a CPU (Central Processing Unit) and controls the light source 20 and the light receiving device 30.
  • the time t until the light is reflected and returned is measured.
  • the distance L to the subject 10 can be obtained based on the time t.
  • the timer is started at the timing when the pulse light is emitted from the light source 20, and the timer is stopped at the timing when the light receiving device 30 receives the pulse light, and the time t is measured.
  • pulse light is emitted from the light source 20 at a predetermined cycle, a cycle when the light receiving device 30 receives the pulse light is detected, and a phase difference between the cycle of light emission and the cycle of light reception is determined.
  • the time t may be measured.
  • the time measurement is executed a plurality of times, and the time t is measured by detecting a peak of a histogram obtained by accumulating the times measured a plurality of times.
  • a two-dimensional array sensor (a so-called area sensor) in which pixels including light receiving elements are two-dimensionally arranged in a matrix (array) can be used, or pixels including light receiving elements can be linearly arranged.
  • a one-dimensional array sensor (a so-called line sensor) arranged can also be used.
  • the optical sensor 32 a sensor in which a light receiving element of a pixel generates a signal in response to light reception of a photon, for example, a sensor formed of a SPAD (Single Photon Avalanche Diode) element is used.
  • the light receiving device 30 has a configuration in which the light receiving elements of the pixels are formed of the SPAD elements.
  • the light receiving element is not limited to the SPAD element, and may be various elements such as APD (Avalanche Photo Diode) and CAPD (Current Assisted Photonic Demodulator).
  • FIG. 3 shows a circuit diagram of a basic pixel circuit of the light receiving device 30 using the SPAD element. Here, a basic configuration for one pixel is shown.
  • the cathode electrode of the SPAD device 51 the load at which through the P-type MOS transistor Q L, is connected to a terminal 52 of the power supply voltage V DD is applied, the anode electrode, an anode It is configured to be connected to a terminal 53 to which the voltage V bd is applied.
  • a large negative voltage at which avalanche multiplication occurs is applied as the anode voltage V bd .
  • the capacitive element C is connected between the anode electrode and the ground.
  • the cathode voltage V CA in SPAD device 51 is derived as the SPAD output (pixel output) through the CMOS inverter 54 P-type MOS transistor Q p and the N-type MOS transistor Q n, which are connected in series.
  • a voltage equal to or higher than the breakdown voltage V BD is applied to the SPAD element 51.
  • Breakdown voltage V BD or more excess voltage is called the excess bias voltage V EX, a voltage of about 2-5V is common.
  • the SPAD element 51 operates in a region called a Geiger mode having no DC stable point.
  • FIG. 4A shows the I (current) -V (voltage) characteristics of the PN junction of the SPAD element 51.
  • V DD -V bd When no current flows through the SPAD element 51, a voltage of V DD -V bd is applied to the SPAD element 51. This voltage value (V DD -V bd ) is (V BD + V EX ). Then, electrons generated by the dark electron generation rate DCR (Dark Count Rate) and light irradiation at the PN junction of the SPAD element 51 cause avalanche multiplication, and an avalanche current is generated. This phenomenon occurs stochastically even in a light-shielded state (ie, a state in which light is not incident). This is the dark electron generation rate DCR.
  • DCR dark electron generation rate
  • the probability PDE at which this photon can be detected is usually about several to 20%.
  • the cathode voltage V CA is waveform-shaped by the CMOS inverter 54, and a pulse signal having a pulse width T starting from the arrival time of one photon becomes a SPAD output (pixel output).
  • FIG. 5 exemplifies a light receiving unit 60 composed of a set of pixels 50 two-dimensionally arranged in n rows and m columns.
  • a plurality of signal lines 61 are arranged for each pixel row in a pixel array of n rows and m columns.
  • the plurality of signal lines 61 are connected to a number of pixels 50 in units of the number of the signal lines 61, one for each unit.
  • the x pixels 50 are set as a unit, and the first pixel in the unit is the first of x signal lines 61, the second pixel is the second of x signal lines 61, ..., x pixels 50 are sequentially connected to x signal lines 61 in units of x pixels.
  • the “pixel group” described in the claims is an example of a unit of x pixels 50.
  • the “signal line group” described in the claims is an example of a unit of x signal lines 61.
  • the signal of every x pixels 50 is transmitted to the subsequent ranging control unit 70 (see FIG. 6) sharing the same signal line 61.
  • every x pixels 50 sharing the same signal line 61 are not activated simultaneously, that is, every x pixels 50 use the same signal line 61 in a time-division manner. Timing control is performed.
  • x which is the number of pixels 50 as a unit, is preferably as large as possible from the viewpoint of preventing interference. However, from the viewpoint of layout, if x is too large, it is necessary to increase the space for arranging the signal lines 61, which is desirable. Absent.
  • the number x of the pixels 50 as a unit may be between 2 and 50, and more preferably between 5 and 15.
  • FIG. 6 shows a basic configuration of the distance measurement control unit of the light receiving device 30.
  • the light receiving device 30 includes a light receiving unit 60 corresponding to the optical sensor 32 in FIG. 2A and a distance measurement control unit 70 corresponding to the logic circuit 33 in FIG. 2A.
  • the distance measurement control unit 70 processes the signal of the pixel 50 supplied from the light receiving unit 60 through the signal line 61.
  • the distance measurement control unit 70 includes a multiplexer (MUX) 71, a time measurement unit (TDC) 72, a histogram creation unit (Hist) 73, and an output unit 74.
  • the time measurement unit 72 and the histogram creation unit 73 are provided in n units corresponding to the pixel rows 0 to n ⁇ 1 of the light receiving unit 60 (72 0 to 72 n ⁇ 1 , 73 0 to 73 n ⁇ 1). ).
  • the multiplexer 71 sequentially selects the signals of the pixels 50 supplied through the x signal lines 61 for each pixel row of the light receiving unit 60 and supplies the signals to the time measuring units 72 0 to 72 n-1 .
  • the time measuring units 72 0 to 72 n ⁇ 1 measure the time from the light emission command timing to the laser light source 22 to the light receiving timing at the light receiving element of the pixel 50 for each pixel row of the light receiving unit 60. More specifically, the time measuring units 72 0 to 72 n ⁇ 1 reflect the laser light emitted from the laser light source 22 toward the object to be measured, which is reflected by the object and received by the light receiving element of the pixel 50. Is measured by a well-known TOF method.
  • the histogram creation units 73 0 to 73 n ⁇ 1 are histograms of the measurement values (time) repeatedly measured by the time measurement units 72 0 to 72 n ⁇ 1 , specifically, the horizontal axis represents time, and the vertical axis represents time. The axis creates a histogram of measurement frequency.
  • the output unit 74 uses the data on the histogram created by the histogram creating units 73 0 to 73 n-1 in order for each pixel row as information on the flight time (TOF) of the laser beam from the emission command timing to the light reception timing.
  • the data is output to an application processor 80 provided outside the light receiving device 30.
  • the application processor 80 corresponds to the control unit 40 in FIG. 2A and extracts the maximum value of the histogram based on the data on the histogram output through the output unit 74. Then, the application processor 80 calculates the distance corresponding to the maximum value of the extracted histogram as the distance to the subject.
  • a histogram of the measured values (time) measured by the time measuring units 72 0 to 72 n-1 is created, and the maximum value of the histogram is extracted as the flight time of the laser beam from the emission command timing to the light reception timing. By doing so, the flight time can be correctly measured without being affected by disturbance light or the like.
  • each pixel 50 and the distance measurement control unit 70 are connected through the signal line 61 wired for each pixel row. Therefore, the length of the path from each pixel 50 to the time measuring units 72 0 to 72 n-1 is different. Thus, if the lengths of the paths from the pixels 50 to the time measuring units 72 0 to 72 n ⁇ 1 are different, two-dimensional in-plane delay skew becomes a problem due to the wiring delay of the signal line 61.
  • the application processor 80 If the in-plane delay skew is corrected by the application processor 80 provided at the subsequent stage of the light receiving device 30, the application processor 80 accumulates data relating to the histogram in the memory and performs the processing. Is delayed in units of frames. Therefore, since the processing delay is large, the processing delay becomes a problem in an application that requires an immediate response. Incidentally, in the light receiving device 30 whose driving frequency is 60 fps, the processing delay is about 17 milliseconds.
  • a driving force generating device for example, by controlling a driving force generating device, a steering mechanism, a braking device, or the like based on information around the vehicle acquired by the distance measuring device 1 including the light receiving device 30, And cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the correction of the in-plane delay skew is performed in the light receiving device 30 to realize a high-speed correction processing of the in-plane delay skew. More specifically, the in - plane delay skew is corrected by shifting the histograms created by the histogram creating units 73 0 to 73 n ⁇ 1 as a whole in the time axis direction. As described above, the light receiving device 30 according to the present embodiment can realize a high-speed correction process of the in-plane delay skew, so that an immediate response (high-speed response) such as an automatic operation or a distance measurement of a moving object is performed. It can be used for necessary applications.
  • the first embodiment is an example in which correction processing of in-plane delay skew is performed when data relating to a histogram is read from the histogram creation units 73 0 to 73 n ⁇ 1 .
  • FIG. 8 shows the configuration of the light receiving device 30 according to the first embodiment.
  • the light receiving device 30 includes an in-plane delay correction unit 75 that performs an in-plane delay skew correction process after the histogram creation unit 73, that is, before the output unit 74. It has a configuration.
  • the processing speed for writing the data relating to the measurement values of the time measurement units (TDC) 72 0 to 72 n-1 to the histogram creation units 73 0 to 73 n-1 is several times. High speed of about 100 MHz. Further, the processing speed for reading the data related to the histogram from the histogram creation units 73 0 to 73 n ⁇ 1 is as low as about several tens of MHz.
  • FIG. 9 illustrates an example of the configuration of the in-plane delay correction unit 75 in the light receiving device 30 according to the first embodiment.
  • the in-plane delay correction unit 75 is illustrated as a configuration incorporated in the output unit 74.
  • the configuration is not limited to the built-in configuration.
  • the output unit 74 has a configuration including a multiplexer (MUP) 741 and a control counter 742.
  • the multiplexer 741 receives the data related to the histogram given from the histogram creating units 73 0 to 73 n ⁇ 1 , selects the data in order under the control of the control counter 742, and as the data DATA related to the histogram, Output to the application processor 80.
  • the in-plane delay correction unit 75 includes an address counter 751, a storage unit 752, a multiplexer (MUP) 753, and an adder 754.
  • the address counter 751 controls the address ADDR of the histogram created by the histogram creating units 73 0 to 73 n ⁇ 1 .
  • the address ADDR is a bin value BIN, which is a unit of a histogram, and is supplied to a two-input adder 754 as one of its inputs.
  • the storage unit 752 includes n correction registers reg 0 to reg n-1 (correction register group) corresponding to the histogram creation units 73 0 to 73 n-1 (that is, the pixel rows of the light receiving unit 60). .
  • correction registers reg 0 to reg n ⁇ 1 correction values (correction amounts) corresponding to the positions of the pixels 50 in the light receiving unit 60 are stored.
  • This correction value is a value for correcting the in-plane delay skew, specifically, a value based on the distance from the pixel 50 to the time measurement units 72 0 to 72 n-1 .
  • the correction values (correction amounts) stored in the correction registers reg 0 to reg n ⁇ 1 are values unique to the light receiving device 30, for example, in verification before shipment of the light receiving device 30, evaluation measurement, or the like.
  • the value for correcting the internal delay skew can be obtained in advance using a predetermined method.
  • the correction value is not limited to acquisition by verification or evaluation measurement before shipment. For example, when the light receiving device 30 is started, a correction value is acquired using a predetermined method, and each correction register reg 0 of the storage unit 752 is acquired. Reg n-1 .
  • the multiplexer 753 sequentially selects the correction values of the correction registers reg 0 to reg n ⁇ 1 in synchronization with the multiplexer 741 under the control of the control counter 742, and shifts the histogram as a whole in the time axis direction.
  • the correction value OFST is output. This correction value OFST is the other input of the two-input adder 754.
  • the adder 754 adds the correction value OFST, which is the other input, to the bin value BIN for each histogram, which is one input, to shift the histogram as a whole in the time axis direction for each histogram. I do. In this manner, the correction processing of the in-plane delay skew is realized by shifting the histogram as a whole in the time axis direction for each histogram.
  • the in-plane delay correction unit 75 performs correction processing on the histograms created by the histogram creation units 73 0 to 73 n ⁇ 1 based on the correction values stored in the storage unit 752.
  • FIG. 10 shows a timing chart of the data DATA relating to the histogram, the address ADDR of the histogram, the correction value OFST, and the bin value BIN for each histogram after correction.
  • a correction value for correcting the in-plane delay skew is obtained in advance (step S11).
  • the correction value that is a value unique to the light receiving device 30 can be acquired by using a predetermined method, for example, at the time of evaluation measurement of the light receiving device 30 or at the time of activation of the light receiving device 30.
  • each correction value set (stored) in each of the correction registers reg 0 to reg n-1 of the storage unit 752 is used as a correction value OFST for shifting the histogram as a whole in the time axis direction, and the correction value OFST is used as the correction value OFST.
  • the correction processing of the in-plane delay skew is executed by adding to the bin value BIN for each histogram (step S13). By this addition processing, the correction of the in-plane delay skew is realized, and the centers of the histograms are aligned.
  • the correction value OFST is simply added to the bin value BIN for each histogram for each histogram.
  • the correction processing for the in-plane delay skew can be performed at high speed. This processing is about one cycle of the operation clock, and has a processing delay of about several tens of nanoseconds.
  • the processing delay can be significantly reduced as compared with the case where the correction processing is performed by the application processor 80 in the subsequent stage.
  • the processing delay of the entire system becomes a frame unit, and the driving frequency is 60 fps. In the light receiving device, the processing delay is about 17 milliseconds.
  • FIG. 11B shows the positional relationship in the time axis direction (BIN direction) between the data on the histogram before correction and the data on the histogram after correction.
  • BIN direction time axis direction
  • FIG. 11B shows the correction based on the correction value OFST.
  • the correction by the correction value OFST is performed in bin units.
  • the correction is not limited to bin units. For example, a half of a bin may be used as a unit, or the resolution may be further increased.
  • the second embodiment is a modification of the first embodiment, in which the delay from each pixel 50 to the time measurement unit (TDC) 72 0 to 72 n-1 shows a linear tendency in the plane of the light receiving unit 60. It is an example.
  • the pixel 50 of the (m-1) -th column closest to the time measuring units 72 0 to 72 n-1 and the 0-column farthest are It is assumed that the amount of delay of each image with respect to the eye pixel 50 is linear as shown in FIG. 12B.
  • the pixel 50 at the end of the light receiving unit 60 that is, From the correction value for the delay of the pixel 50 in the first column farthest from the time measurement units 72 0 to 72 n ⁇ 1 , the other pixels 50, that is, the pixels between the pixel column 0 and the pixel column m ⁇ 1
  • the 50 correction values are calculated by linear interpolation.
  • the time required for obtaining the correction value in step S11 is shorter than that in the first embodiment. can do.
  • the third embodiment is a modification of the first embodiment, and is an example in which a correction process is also performed on a delay common to all histograms.
  • the “delay common to all histograms” includes a processing delay of a circuit and a wiring for transmitting a trigger signal for causing the laser light source 22 of the light source 20 shown in FIG. For example.
  • different delay corrections are performed for each histogram.
  • different delay corrections are performed for each histogram, and correction processing is also performed for delays common to all histograms using a system correction value common to all histograms corresponding to delays common to all histograms.
  • the system correction value can be calculated in advance, for example, as a value obtained by dividing the difference (error) between the distance measured by the light receiving device 30 and the actual distance by the speed of light.
  • FIG. 13 shows the positional relationship in the time axis direction (BIN direction) of the data regarding the histogram before and after correction in the case of the third embodiment.
  • the histogram Hist 0 histogram creation unit 73 0 is created corresponding to the pixel rows 0 and illustrates the histogram Hist n-1 to the histogram creation unit 73 n-1 created corresponding to pixel row n-1 I have.
  • solid-line arrows represent skew correction values when correction is individually performed for each histogram
  • broken-line arrows represent system correction values when correction is performed commonly to all histograms.
  • the delay correction is performed in bin units.
  • the delay correction is not limited to bin units. For example, a half of a bin may be used as a unit or the resolution may be further increased.
  • the delay common to all the histograms can be corrected in addition to the delay correction different for each histogram, even if the delay common to all the histograms exists, the actual distance can be reduced. It can be measured accurately.
  • the fourth embodiment is an example in which correction processing of in-plane delay skew is performed when data relating to a histogram is written to the histogram creation units 73 0 to 73 n ⁇ 1 .
  • FIG. 14 shows the configuration of the light receiving device 30 according to the fourth embodiment.
  • the light receiving device 30 has a configuration in which an in-plane delay correction unit 75 that performs an in-plane delay skew correction process is provided before the histogram creation units 73 0 to 73 n-1. Has become.
  • the in-plane delay correction unit 75 includes a storage unit 752 that stores a correction value corresponding to the position of the pixel 50 in the light receiving unit 60, and n units provided at each preceding stage of the histogram creation units 73 0 to 73 n ⁇ 1. 754 0 to 754 n ⁇ 1 .
  • the storage unit 752 includes n correction registers reg 0 to reg n-1 (correction register group) corresponding to the n time measurement units 72 0 to 72 n-1 .
  • the correction registers reg 0 to reg n ⁇ 1 have correction values for correcting the in-plane delay skew, specifically, the pixels 50 to the time measurement units 72 0 to 72 n ⁇ .
  • a correction value based on the distance to 1 is set.
  • Each of the n adders 754 0 to 754 n-1 receives each of the measured values of the time measuring units 72 0 to 72 n-1 as one input, and is set in the correction registers reg 0 to reg n-1 . Each correction value is used as the other input. Then, the adders 754 0 to 754 n-1 add the correction values of the correction registers reg 0 to reg n-1 for each histogram to the respective measurement values of the time measurement units 72 0 to 72 n-1. Thus, the correction process can be performed on the in-plane delay skew.
  • the correction process is performed when the data relating to the histogram is written to the histogram creating units 73 0 to 73 n ⁇ 1 .
  • the data relating to the histogram is read out from the histogram creating units 73 0 to 73 n-1.
  • the correction process can be performed on the in-plane delay skew. As in the case of the first embodiment, the processing delay can be significantly reduced as compared with the case where the correction processing is performed by the application processor 80 in the subsequent stage.
  • the technology of the third embodiment that is, the technology of correcting a delay common to all histograms can be applied.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to any type of transportation such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), and the like. It may be realized as a distance measuring device mounted on the body.
  • FIG. 15 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000, which is an example of a moving object control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an inside information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as, for example, CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various calculations, and a driving circuit that drives a device to be variously controlled. Is provided.
  • Each control unit includes a network I / F for performing communication with another control unit via a communication network 7010, and performs wired or wireless communication with devices or sensors inside and outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, a sound image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device for generating a drive force of the vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism for adjusting and a braking device for generating a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as an ABS (Antilock Brake System) or an ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a wheel rotation speed, and the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
  • the body control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body-related control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a blinker, and a fog lamp.
  • radio waves or signals of various switches transmitted from a portable device that substitutes for a key can be input to the body system control unit 7200.
  • the body system control unit 7200 receives the input of these radio waves or signals and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the driving motor according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature control of the secondary battery 7310 or control of a cooling device or the like provided in the battery device.
  • External information detection unit 7400 detects external information of the vehicle equipped with vehicle control system 7000.
  • the imaging unit 7410 and the outside information detection unit 7420 is connected to the outside information detection unit 7400.
  • the imaging unit 7410 includes at least one of a time-of-flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and another camera.
  • the outside-of-vehicle information detection unit 7420 includes, for example, an environment sensor for detecting current weather or weather, or other vehicles, obstacles, or pedestrians around a vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environment sensor may be, for example, at least one of a raindrop sensor for detecting rainy weather, a fog sensor for detecting fog, a sunshine sensor for detecting the degree of sunshine, and a snow sensor for detecting snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging and Detection and Ranging) device.
  • These imaging unit 7410 and outside-of-vehicle information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 16 shows an example of the installation positions of the imaging unit 7410 and the outside-of-vehicle information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided at, for example, at least one of a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirror mainly acquire images of the side of the vehicle 7900.
  • An imaging unit 7916 provided in a rear bumper or a back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided above the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, and the like.
  • FIG. 16 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d is 14 shows an imaging range of an imaging unit 7916 provided in a rear bumper or a back door.
  • the external information detectors 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners of the vehicle 7900, and the upper part of the windshield in the passenger compartment may be, for example, an ultrasonic sensor or a radar device.
  • the outside information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and windshield in the vehicle cabin of the vehicle 7900 may be, for example, a LIDAR device.
  • These outside-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • Out-of-vehicle information detection unit 7400 causes imaging section 7410 to capture an image of the outside of the vehicle, and receives data of the captured image. Further, the outside-of-vehicle information detection unit 7400 receives the detection information from the connected outside-of-vehicle information detection unit 7420.
  • the out-of-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the out-of-vehicle information detection unit 7400 transmits an ultrasonic wave, an electromagnetic wave, or the like, and receives information on a received reflected wave.
  • the out-of-vehicle information detection unit 7400 may perform an object detection process or a distance detection process of a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, and the like based on the received information.
  • the outside-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the outside-of-vehicle information detection unit 7400 may perform an image recognition process or a distance detection process for recognizing a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the out-of-vehicle information detection unit 7400 performs processing such as distortion correction or positioning on the received image data, and combines image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. Is also good.
  • the outside-of-vehicle information detection unit 7400 may perform a viewpoint conversion process using image data captured by different imaging units 7410.
  • In-vehicle information detection unit 7500 detects information in the vehicle.
  • a driver state detection unit 7510 that detects the state of the driver is connected.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sounds in the vehicle compartment, and the like.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects biological information of a passenger sitting on a seat or a driver gripping the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver has fallen asleep. May be.
  • the in-vehicle information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 according to various programs.
  • the input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device that can be input and operated by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by voice recognition of voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000. You may.
  • Input unit 7800 may be, for example, a camera, in which case the occupant can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the above-described input unit 7800 and outputs the input signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 or instruct a processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I / F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile Communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)), and other wireless communication protocols such as Bluetooth (registered trademark).
  • the general-purpose communication I / F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point. May be.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or an operator-specific network
  • the general-purpose communication I / F 7620 is, for example, a terminal (for example, a driver, pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing near the vehicle using P2P (Peer To Peer) technology. May be connected.
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F 7630 uses, for example, a standard protocol such as WAVE (Wireless Access in Vehicle Vehicle Environment), which is a combination of lower layer IEEE 802.11p and upper layer IEEE 1609, DSRC (Dedicated Short Range Communications), or a cellular communication protocol. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-vehicle communication, vehicle-to-home communication, and vehicle-to-vehicle communication. And) performing V2X communication, which is a concept including one or more of the communication.
  • the positioning unit 7640 receives, for example, a GNSS signal (for example, a GPS signal from a GPS (Global Positioning System) satellite) from a GNSS (Global Navigation Satellite System) satellite, executes positioning, and executes the positioning, and detects the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with a wireless access point, or may obtain position information from a terminal having a positioning function, such as a mobile phone, a PHS, or a smartphone.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station or the like installed on a road, and acquires information such as the current position, traffic congestion, suspension of traffic, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates a connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or an MHL (Mobile) via a connection terminal (and a cable if necessary) not shown.
  • a wired connection such as High-definition (Link) may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device possessed by the occupant, and an information device carried or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected to at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled in accordance with various programs on the basis of the information acquired. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the acquired information on the inside and outside of the vehicle, and outputs a control command to the driving system control unit 7100. Is also good.
  • the microcomputer 7610 realizes functions of an ADAS (Advanced Driver Assistance System) including a collision avoidance or a shock mitigation of a vehicle, a follow-up traveling based on an inter-vehicle distance, a vehicle speed maintaining traveling, a vehicle collision warning, or a vehicle lane departure warning. May be performed for the purpose of cooperative control.
  • the microcomputer 7610 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can autonomously travel without depending on the driver's operation. Cooperative control for driving or the like may be performed.
  • the microcomputer 7610 is information obtained through at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a nearby structure or a person may be generated, and local map information including peripheral information of the current position of the vehicle may be created. In addition, the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or entry into a closed road, based on the acquired information. The warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of an audio and an image to an output device capable of visually or audibly notifying a passenger of the vehicle or the outside of the vehicle of information.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a wearable device such as a spectacle-type display worn by a passenger, a projector or a lamp other than these devices.
  • the display device converts results obtained by various processes performed by the microcomputer 7610 or information received from other control units into various formats such as text, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • some or all of the functions performed by one of the control units may be provided to another control unit. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may transmit and receive detection information to and from each other via the communication network 7010. .
  • the technology according to the present disclosure includes, for example, the imaging units 7910, 7912, 7914, 7916, 7918, the outside-of-vehicle information detection units 7920, 7922, 7924, 7926, 7928, 7930, and the driver state detection among the configurations described above. It can be applied to the part 7510 and the like. Then, by applying the technology according to the present disclosure, it is possible to realize excellent correction processing for the in-plane delay skew of the light receiving device, so that a vehicle control system capable of high-speed response can be constructed.
  • the present disclosure may have the following configurations.
  • Light receiving device a light receiving unit having a plurality of pixels arranged two-dimensionally, Signal lines connected to the pixels, A time measuring unit connected to the signal line and measuring the time from the light emission command timing to the light reception timing, A histogram creation unit that creates a histogram of the measurement values measured by the time measurement unit, A storage unit that stores a correction value corresponding to the position of the pixel in the light receiving unit, A correction processing unit that performs correction processing on the histogram created by the histogram creation unit based on the correction value stored in the storage unit; and An output unit that outputs the signal that has been corrected by the correction processing unit, A light receiving device comprising: [A-2] The correction value is a value based on the distance from the pixel to the time measurement unit.
  • the light receiving device according to the above [A-1].
  • [A-3] Based on the correction values for the pixels at the ends in the light receiving unit, the correction values for the other pixels are calculated by linear interpolation.
  • the light receiving device according to the above [A-2].
  • [A-4] A plurality of histogram creating units are provided corresponding to the pixel rows of the light receiving unit.
  • the correction processing unit performs a correction process for each histogram created by each of the plurality of histogram creation units.
  • the light receiving device according to any one of [A-1] to [A-3].
  • [A-5] The correction processing unit performs correction processing in units of bins of the histogram.
  • the light receiving device according to the above [A-4].
  • the correction processing unit performs a correction process using a system correction value common to all histograms created by each of the plurality of histogram creation units.
  • the system correction value is a value corresponding to a delay common to all histograms created by each of the plurality of histogram creating units.
  • the storage unit includes a correction register group in which a correction value is set for each histogram.
  • the light receiving device according to any one of [A-1] to [A-7].
  • the correction processing unit is provided after the histogram creation unit.
  • the correction process is performed by adding the correction value to the bin value of the histogram created by the histogram creating unit.
  • the light receiving device according to the above [A-8].
  • the correction processing unit is provided before the histogram creation unit. Perform correction processing by adding a correction value to the measurement value measured by the time measurement unit, The light receiving device according to the above [A-8].
  • the light receiving element of the pixel includes an element that generates a signal in response to receiving a photon.
  • the light receiving device according to any one of [A-1] to [A-10].
  • the light receiving unit includes a pixel group having a plurality of pixels as a unit,
  • the signal line includes a signal line group having a plurality of signal lines as a unit, A plurality of pixels included in the pixel group and a plurality of signal lines included in the signal line group are connected one-to-one,
  • the light receiving device according to any one of [A-1] to [A-11].
  • Distance measuring device [B-1] a light source for irradiating light to the object to be measured, and Equipped with a light receiving device that receives light reflected by the measurement object,
  • the light receiving device A light receiving unit having a plurality of pixels arranged two-dimensionally, Signal lines connected to the pixels, A time measuring unit connected to the signal line and measuring the time from the light emission command timing to the light reception timing, A histogram creation unit that creates a histogram of the measurement values measured by the time measurement unit, A storage unit that stores a correction value corresponding to the position of the pixel in the light receiving unit, A correction processing unit that performs a correction process on the histogram created by the histogram creation unit based on the correction value stored in the storage unit; and An output unit that outputs the signal that has been subjected to the correction processing by the correction processing unit, Distance measuring device.
  • the correction value is a value based on the distance from the pixel to the time measurement unit.
  • the distance measuring apparatus according to the above [B-1].
  • [B-3] Based on the correction values for the pixels at the ends in the light receiving unit, the correction values for the other pixels are calculated by linear interpolation.
  • the distance measuring apparatus according to the above [B-2].
  • [B-4] A plurality of histogram creating units are provided corresponding to the pixel rows of the light receiving unit.
  • the correction processing unit performs a correction process for each histogram created by each of the plurality of histogram creation units.
  • the distance measuring device according to any one of [B-1] to [B-3].
  • [B-5] The correction processing unit performs a correction process on a histogram bin basis.
  • the correction processing unit performs a correction process using a system correction value common to all histograms created by each of the plurality of histogram creation units.
  • the system correction value is a value corresponding to a delay common to all histograms created by each of the plurality of histogram creating units.
  • the storage unit includes a correction register group in which correction values are set for each histogram.
  • the distance measuring device according to any one of [B-1] to [B-7].
  • the correction processing unit is provided after the histogram creation unit.
  • the correction process is performed by adding the correction value to the bin value of the histogram created by the histogram creating unit.
  • the distance measuring apparatus according to the above [B-8].
  • the correction processing unit is provided before the histogram creation unit, Perform correction processing by adding a correction value to the measurement value measured by the time measurement unit, The distance measuring apparatus according to the above [B-8].
  • the light receiving element of the pixel includes an element that generates a signal in response to light reception of a photon.
  • the distance measuring device according to any one of [B-1] to [B-10].
  • the light receiving unit includes a pixel group having a plurality of pixels as a unit,
  • the signal line includes a signal line group having a plurality of signal lines as a unit, A plurality of pixels included in the pixel group and a plurality of signal lines included in the signal line group are connected one-to-one,
  • the light receiving device according to any one of [B-1] to [B-11].

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示の受光装置は、２次元状に配置された複数の画素を有する受光部、画素に接続された信号線、信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、受光部内における画素の位置に対応した補正値を記憶する記憶部、記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、補正処理部で補正処理された信号を出力する出力部、を備える。本開示の測距装置は、上記の構成の受光装置を用いる。

Description

受光装置及び測距装置
　本開示は、受光装置及び測距装置（距離測定装置）に関する。
　光子の受光に応じて信号を発生する素子を、受光素子として用いた受光装置がある（例えば、特許文献１参照）。この種の受光装置では、測定対象物までの距離を測定する測定法として、測定対象物に向けて照射した光が、当該測定対象物で反射されて戻ってくるまでの時間を測定するＴＯＦ（Time Of Flight：飛行時間）法が採用されている。ＴＯＦ法のうち、光の飛行時間差から直接距離を算出する直接ＴＯＦ法では、光子飛行時間を正確にとらえる必要がある。
　受光素子を含む画素を２次元状に配置して、３次元深度マップ（ｄｅｐｔｈｍａｐ）を取得する受光装置では、各画素から時間計測部（time-to-digital converter：ＴＤＣ）に至る経路の長さが異なるため、２次元の面内の伝搬遅延スキュー（以下、「面内遅延スキュー」と記述する）が問題になる。
特開２０１６－２１１８８１号公報
　面内遅延スキューを無くすために、複数の受光素子（画素）から時間計測部（Time to Digital Converter：ＴＤＣ）に至る各経路の配線に直接、遅延調整のためのバッファを追加する手法が考えられる。しかし、追加するバッファの特性ばらつきによって面内遅延スキューが更に悪化することが懸念される。従って、バッファを追加する手法で面内遅延スキューを補正することは難しい。
　また、面内遅延スキューの補正を、受光装置の後段に設けられたアプリケーションプロセッサで行うこともできる。しかし、アプリケーションプロセッサで面内遅延スキューの補正を実施するようにした場合、システム全体の処理遅延が、複数の画素の全信号を取得するフレーム単位になってしまい、処理遅延が大きいために、即時応答が必要なアプリケーションではその処理遅延が問題になる。
　そこで、本開示は、面内遅延スキューに対する優れた補正処理を実現することができる受光装置、及び、当該受光装置を用いる測距装置を提供することを目的とする。
　上記の目的を達成するための本開示の受光装置は、
　２次元状に配置された複数の画素を有する受光部、
　画素に接続された信号線、
　信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
　時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
　受光部内における画素の位置に対応した補正値を記憶する記憶部、
　記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
　補正処理部で補正処理された信号を出力する出力部、
　を備える構成となっている。
　また、上記の目的を達成するための本開示の測距装置は、
　測定対象物に対して光を照射する光源、及び、
　測定対象物で反射された光を受光する受光装置を備え、
　受光装置として、上記の構成の受光装置を用いる構成となっている。
図１は、本開示の一実施形態に係る測距装置を示す概略構成図である。 図２Ａ及び図２Ｂは、本開示の一実施形態に係る測距装置の具体的な構成を示すブロック図である。 図３は、ＳＰＡＤ素子を用いた受光装置の基本的な画素回路を示す回路図である。 図４Ａは、ＳＰＡＤ素子のＰＮ接合の電流－電圧特性を示す特性図であり、図４Ｂは、画素回路の回路動作の説明に供する波形図である。 図５は、受光装置の受光部の構成の一例を示す概略平面図である。 図６は、受光装置の測距制御部の基本的な構成を示すブロック図である。 図７は、２次元の面内遅延スキューについて説明する図である。 図８は、実施例１に係る受光装置の構成を示すブロック図である。 図９は、実施例１に係る受光装置における面内遅延補正部の構成の一例を示すブロック図である。 図１０は、ヒストグラムに関するデータＤＡＴＡ、ヒストグラムのアドレスＡＤＤＲ、補正量ＯＦＳＴ、及び、補正後のヒストグラム毎のビン値ＢＩＮのタイミング関係を示すタイミングチャートである。 図１１Ａは、実施例１に係る受光装置における面内遅延スキューの補正処理の流れを示すフローチャートであり、図１１Ｂは、実施例１の場合の補正前後のヒストグラムに関するデータの時間軸方向の位置関係を示す図である。 図１２Ａは、実施例２の場合の時間計測部に対する各画素の位置関係についての説明図であり、図１２Ｂは、各画素から時間計測部までの遅延が面内で線形的であることの説明図である。 図１３は、実施例３の場合の補正前後のヒストグラムに関するデータの時間軸方向の位置関係を示す図である。 図１４は、実施例４に係る受光装置の構成を示すブロック図である。 図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図１６は、測距装置の設置位置の例を示す図である。
　以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
　１．本開示の受光装置及び測距装置、全般に関する説明
　２．実施形態に係る測距装置
　　２－１．ＳＰＡＤ素子を用いた受光装置の基本構成
　　２－２．受光装置の受光部の構成
　　２－３．受光装置の信号処理部の基本的な構成
　　２－４．面内遅延スキューについて
　３．実施形態に係る受光装置
　　３－１．実施例１（ヒストグラムに関するデータのヒストグラム作成部からの読み出し時に、面内遅延スキューの補正処理を行う例）
　　３－２．実施例２（実施例１の変形例：各画素から時間計測部までの遅延が面内で線形的な傾向を示す場合の例）
　　３－３．実施例３（実施例１の変形例：全ヒストグラムに共通する遅延についても補正処理を行う例）
　　３－４．実施例４（ヒストグラムに関するデータのヒストグラム作成部への書き込み時に、面内遅延スキューの補正処理を行う例）
　４．本開示に係る技術の適用例（移動体の例）
　５．本開示がとることができる構成
＜本開示の受光装置及び測距装置、全般に関する説明＞
　本開示の受光装置及び測距装置にあっては、補正値について、画素から時間計測部までの距離に基づく値である形態とすることができる。受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する構成とすることができる。
　上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、ヒストグラム作成部について、受光部の画素行に対応して複数設けられている構成とすることができる。このとき、補正処理部について、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う構成とすることができる。また、補正処理部について、ヒストグラムのビン単位で補正処理を行う構成とすることができる。
　更に、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、補正処理部について、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う構成とすることができる。システム補正値については、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である形態とすることができる。
　更に、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、記憶部について、ヒストグラム毎に補正値が設定された補正レジスタ群から成る構成とすることができる。そして、補正処理部について、ヒストグラム作成部の後段に設けられ、ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う構成とすることができる。あるいは又、補正処理部について、ヒストグラム作成部の前段に設けられ、時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う構成とすることができる。
　また、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、画素の受光素子について、光子の受光に応じて信号を発生する素子から成る構成とすることができる。
　また、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、受光部について、複数の画素を単位とする画素グループを含み、信号線について、複数の信号線を単位とする信号線グループを含む構成とし、画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される構成とすることができる。
＜実施形態に係る測距装置＞
　図１は、本開示の一実施形態に係る測距装置を示す概略構成図である。本実施形態に係る測距装置１は、測定対象物である被写体１０までの距離を測定する測定法として、被写体１０に向けて照射した光（例えば、赤外の波長領域にピーク波長を有するレーザ光）が、当該被写体１０で反射されて戻ってくるまでの時間を測定するＴＯＦ（time of flight：飛行時間）法を採用している。ＴＯＦ法による距離測定を実現するために、本実施形態に係る測距装置１は、光源２０及び受光装置３０を備えている。そして、受光装置３０として、後述する本開示の一実施形態に係る受光装置を用いる。
　本実施形態に係る測距装置１の具体的な構成を図２Ａ及び図２Ｂに示す。光源２０は、例えば、レーザドライバ２１、レーザ光源２２、及び、拡散レンズ２３を有し、被写体１０に対してレーザ光を照射する。レーザドライバ２１は、制御部４０による制御の下に、レーザ光源２２を駆動する。レーザ光源２２は、例えば半導体レーザから成り、レーザドライバ２１によって駆動されることによりレーザ光を出射する。拡散レンズ２３は、レーザ光源２２から出射されたレーザ光を拡散し、被写体１０に対して照射する。
　受光装置３０は、受光レンズ３１、受光部である光センサ３２、及び、論理回路３３を有し、レーザ照射部２０による照射レーザ光が被写体１０で反射されて戻ってくる反射レーザ光を受光する。受光レンズ３１は、被写体１０からの反射レーザ光を光センサ３２の受光面上に集光する。光センサ３２は、受光レンズ３１を経た被写体１０からの反射レーザ光を画素単位で受光し、光電変換する。
　光センサ３２の出力信号は、論理回路３３を経由して制御部４０へ供給される。光センサ３２の詳細については後述する。制御部４０は、例えば、ＣＰＵ（Central Processing Unit：中央処理ユニット）等によって構成され、光源２０及び受光装置３０を制御するとともに、光源２０から被写体１０に向けて照射したレーザ光が、当該被写体１０で反射されて戻ってくるまでの時間ｔの計測を行う。この時間ｔを基に、被写体１０までの距離Ｌを求めることができる。
　時間計測の方法としては、光源２０からパルス光を照射したタイミングでタイマをスタートさせ、受光装置３０が当該パルス光を受光したタイミングでタイマをストップし、時間ｔを計測する。時間計測のその他の方法として、光源２０から所定の周期でパルス光を照射し、受光装置３０が当該パルス光を受光した際の周期を検出し、発光の周期と受光の周期との位相差から時間ｔを計測してもよい。時間計測は複数回実行され、複数回計測された時間を積み上げたヒストグラムのピークを検出することで時間ｔを計測する。
　光センサ３２としては、受光素子を含む画素が行列状（アレイ状）２次元配置されて成る２次元アレイセンサ（所謂、エリアセンサ）を用いることもできるし、受光素子を含む画素が直線状に配置されて成る１次元アレイセンサ（所謂、ラインセンサ）を用いることもできる。
　そして、本実施形態では、光センサ３２として、画素の受光素子が、光子の受光に応じて信号を発生する素子、例えば、ＳＰＡＤ（Single Photon Avalanche Diode：単一光子アバランシェダイオード）素子から成るセンサを用いている。すなわち、本実施形態に係る受光装置３０は、画素の受光素子がＳＰＡＤ素子から成る構成となっている。尚、受光素子はＳＰＡＤ素子に限定されず、ＡＰＤ（Avalanche Photo Diode）やＣＡＰＤ(Current Assisted Photonic Demodulator)等の種々の素子であってもよい。
［ＳＰＡＤ素子を用いた受光装置の基本回路］
　ＳＰＡＤ素子を用いた受光装置３０の基本的な画素回路の回路図を図３に示す。ここでは、１画素分の基本構成を図示している。
　本例に係る画素５０の画素回路は、ＳＰＡＤ素子５１のカソード電極が、負荷であるＰ型ＭＯＳトランジスタＱLを介して、電源電圧ＶDDが与えられる端子５２に接続され、アノード電極が、アノード電圧Ｖbdが与えられる端子５３に接続された構成となっている。アノード電圧Ｖbdとしては、アバランシェ増倍が発生する大きな負電圧が印加される。アノード電極とグランドとの間には容量素子Ｃが接続されている。そして、ＳＰＡＤ素子５１のカソード電圧ＶCAが、Ｐ型ＭＯＳトランジスタＱp及びＮ型ＭＯＳトランジスタＱnが直列接続されて成るＣＭＯＳインバータ５４を介してＳＰＡＤ出力（画素出力）として導出される。
　ＳＰＡＤ素子５１には、ブレークダウン電圧ＶBD以上の電圧が印加される。ブレークダウン電圧ＶBD以上の過剰電圧は、エクセスバイアス電圧ＶEXと呼ばれ、２－５Ｖ程度の電圧が一般的である。ＳＰＡＤ素子５１は、ＤＣ的な安定点が無いガイガーモードと呼ばれる領域で動作する。ＳＰＡＤ素子５１のＰＮ接合のＩ（電流）－Ｖ（電圧）特性を図４Ａに示す。
　続いて、上記の構成の画素５０の画素回路の回路動作について、図４Ｂの波形図を用いて説明する。
　ＳＰＡＤ素子５１に電流が流れていない状態では、ＳＰＡＤ素子５１には、ＶDD－Ｖbdの電圧が印加されている。この電圧値（ＶDD－Ｖbd）は、（ＶBD＋ＶEX）である。そして、ＳＰＡＤ素子５１のＰＮ接合部で暗電子の発生レートＤＣＲ（Dark Count Rate）や光照射によって発生した電子がアバランシェ増倍を生じ、アバランシェ電流が発生する。この現象は、遮光されている状態（即ち、光が入射していない状態）でも確率的に発生している。これが暗電子の発生レートＤＣＲである。
　カソード電圧ＶCAが低下し、ＳＰＡＤ素子５１の端子間の電圧がＰＮダイオードのフレークダウン電圧ＶBDになると、アバランシェ電流が停止する。そして、アバランシェ増倍で発生し、蓄積された電子が、負荷の抵抗素子Ｒ（又は、Ｐ型ＭＯＳトランジスタＱL）によって放電し、カソード電圧ＶCAが電源電圧ＶDDまで回復し、再び初期状態に戻る。
　ＳＰＡＤ素子５１に光が入射して１個でも電子－正孔対が発生すると、それが種となってアバランシェ電流が発生するので、光子１個の入射でも、ある確率ＰＤＥ（Photon Detection Efficiency）で検出することができる。この光子を検出できる確率ＰＤＥは、通常、数％～２０％程度のものが多い。
　以上の動作が繰り返される。そして、この一連の動作において、カソード電圧ＶCAが、ＣＭＯＳインバータ５４で波形整形され、１フォトンの到来時刻を開始点とするパルス幅Ｔのパルス信号がＳＰＡＤ出力（画素出力）となる。
［受光装置の受光部の構成］
　上記の構成の画素５０が、行列状に２次元配置されて成る受光装置３０の受光部の構成の一例について、図５を用いて説明する。図５には、ｎ行ｍ列に２次元配置された画素５０の集合から成る受光部６０を例示している。
　受光部６０には、ｎ行ｍ列の画素配列に対して、複数の信号線６１が画素行毎に配線されている。複数の信号線６１には、当該信号線６１の本数を単位とする数の画素５０が、当該単位毎に１個ずつ接続されている。具体的には、ｘ個の画素５０を単位とし、当該単位内の１番目の画素がｘ本の信号線６１の１本目に、２番目の画素がｘ本の信号線６１の２本目に、・・・という具合に、ｘ本の信号線６１に対して、画素５０がｘ個を単位として順番に接続されている。尚、請求の範囲に記載される「画素グループ」は、ｘ個の画素５０の単位の一例である。請求の範囲に記載される「信号線グループ」は、ｘ個の信号線６１の単位の一例である。
　これにより、１つの画素行において、ｘ個おきの画素５０の信号が同じ信号線６１を共有して、後段の測距制御部７０（図６参照）に伝送されることになる。但し、同じ信号線６１を共有するｘ個おきの画素５０が同時にアクティブ状態にならないように、即ち、ｘ個おきの画素５０が同じ信号線６１を時分割で使用するように、各画素５０に対するタイミング制御が行われる。
　このような構成を採ることで、隣接する画素からほぼ同時にパルス信号が出力された場合であっても、異なる信号線６１を通じてパルス信号が出力されるため、複数のパルス信号の干渉を防止することが可能となる。尚、単位とする画素５０の数であるｘは、干渉を防止する観点では多ければ多いほど望ましいが、レイアウトの観点ではｘが多すぎると信号線６１を配置するスペースを大きくする必要があり望ましくない。単位とする画素５０の数であるｘは、２～５０の間であってもよく、更に望ましくは５～１５の間であってもよい。
［受光装置の測距制御部の基本的な構成］
　受光装置３０の測距制御部の基本的な構成を図６に示す。受光装置３０は、図２Ａの光センサ３２に相当する受光部６０、及び、図２Ａの論理回路３３に相当する測距制御部７０から成る。測距制御部７０は、受光部６０から信号線６１を通して供給される画素５０の信号を処理する。
　測距制御部７０は、マルチプレクサ（ＭＵＸ）７１、時間計測部（ＴＤＣ）７２、ヒストグラム作成部（Ｈｉｓｔ）７３、及び、出力部７４によって構成されている。時間計測部７２及びヒストグラム作成部７３はそれぞれ、受光部６０の画素行０～ｎ－１に対応してｎ個ずつ設けられている（７２0～７２n-1，７３0～７３n-1）。
　マルチプレクサ７１は、受光部６０の画素行毎に、ｘ本の信号線６１を通して供給される画素５０の信号を順番に選択して時間計測部７２0～７２n-1に供給する。時間計測部７２0～７２n-1は、受光部６０の画素行毎に、レーザ光源２２に対する発光指令タイミングから、画素５０の受光素子での受光タイミングまでの時間を計測する。具体的には、時間計測部７２0～７２n-1は、レーザ光源２２から測定対象物である被写体に向けて照射したレーザ光が、当該被写体で反射されて画素５０の受光素子で受光されるまでの時間を、周知のＴＯＦ法にて計測する。
　測距制御部７０では、１回の計測シーケンスおいて、例えば数十回乃至数百回の計測が行われる。そして、ヒストグラム作成部７３0～７３n-1は、時間計測部７２0～７２n-1で繰り返して計測された計測値（時間）のヒストグラム、具体的には、横軸が時間で、縦軸が計測頻度のヒストグラムを作成する。
　出力部７４は、画素行毎に順番に、ヒストグラム作成部７３0～７３n-1が作成したヒストグラムに関するデータを、発光指令タイミングから受光タイミングまでのレーザ光の飛行時間（ＴＯＦ）の情報として、受光装置３０の外部に設けられたアプリケーションプロセッサ８０に出力する。
　アプリケーションプロセッサ８０は、図２Ａの制御部４０に相当し、出力部７４を通して出力されるヒストグラムに関するデータを基に、ヒストグラムの最大値を抽出する。そして、アプリケーションプロセッサ８０は、抽出したヒストグラムの最大値に対応する距離を、被写体までの距離として算出する。
　このように、時間計測部７２0～７２n-1が計測した計測値（時間）のヒストグラムを作成し、当該ヒストグラムの最大値を、発光指令タイミングから受光タイミングまでのレーザ光の飛行時間として抽出することで、外乱光などの影響を受けることなく、飛行時間を正しく計測することができる。
［面内遅延スキューについて］
　上述したように、複数の画素５０を２次元状に配置して成る受光装置３０では、各画素５０と測距制御部７０との間は、画素行毎に配線された信号線６１を通して接続されることから、各画素５０から時間計測部７２0～７２n-1に至る経路の長さが異なる。このように、各画素５０から時間計測部７２0～７２n-1に至る経路の長さが異なると、信号線６１の配線遅延によって２次元の面内遅延スキューが問題になる。
　例えば、図６において、０行０列の画素５０を画素０とし、ｎ－１行ｍ－１列の画素５０を画素Ｎとするとき、図７に示すように、画素０のヒストグラムの最大値と画素Ｎのヒストグラムの最大値との間に面内遅延スキューが生じる。図７のヒストグラムにおいて、横軸が時間で、縦軸が計測頻度である。
　この面内遅延スキューについて、受光装置３０の後段に設けられたアプリケーションプロセッサ８０で補正を行うとすると、アプリケーションプロセッサ８０では、ヒストグラムに関するデータをメモリに蓄積して処理を行うことになるため、システム全体の処理遅延がフレーム単位になってしまう。そのため、処理遅延が大きいことから、即時応答が必要なアプリケーションではその処理遅延が問題になる。因みに、駆動周波数が６０ｆｐｓの受光装置３０では、処理遅延が１７ミリ秒程度である。
　即時応答が必要なアプリケーションとしては、例えば、本受光装置３０を含む測距装置１で取得される車両の周囲の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御などを例示することができる。
＜実施形態に係る受光装置＞
　本実施形態では、面内遅延スキューの補正を、受光装置３０内で実施することで、面内遅延スキューの高速な補正処理を実現する。より具体的には、ヒストグラム作成部７３0～７３n-1が作成したヒストグラムを全体的に時間軸方向にシフトすることによって面内遅延スキューの補正を実現する。このように、本実施形態に係る受光装置３０は、面内遅延スキューの高速な補正処理を実現できるため、自動運転や測定対象物が動被写体の測距など、即時応答（高速な応答）が必要なアプリケーションに使用することが可能となる。
　以下に、受光装置３０内において、ヒストグラムを全体的に時間軸方向にシフトすることによって面内遅延スキューの補正を実施する本実施形態の具体的な実施例について説明する。
［実施例１］
　実施例１は、ヒストグラムに関するデータのヒストグラム作成部７３0～７３n-1からの読み出し時に、面内遅延スキューの補正処理を行う例である。実施例１に係る受光装置３０の構成を図８に示す。
　図８に示すように、実施例１に係る受光装置３０は、ヒストグラム作成部７３の後段、即ち、出力部７４の前段に、面内遅延スキューの補正処理を行う面内遅延補正部７５を有する構成となっている。
　実施例１に係る受光装置３０において、時間計測部（ＴＤＣ）７２0～７２n-1での計測値に関するデータを、ヒストグラム作成部７３0～７３n-1に書き込むまでの処理速度は、数百ＭＨｚ程度の高速である。また、ヒストグラム作成部７３0～７３n-1からヒストグラムに関するデータを読み出す処理速度は、数十ＭＨｚ程度の低速である。
　実施例１に係る受光装置３０における面内遅延補正部７５の構成の一例を図９に示す。ここでは、面内遅延補正部７５が、出力部７４に内蔵された構成として図示している。但し、内蔵した構成に限られるものではない。
　出力部７４は、マルチプレクサ（ＭＵＰ）７４１及び制御カウンタ７４２から成る構成となっている。マルチプレクサ７４１は、ヒストグラム作成部７３0～７３n-1から与えられるヒストグラムに関するデータを入力とし、制御カウンタ７４２による制御の下に、それらのデータを順番に選択し、ヒストグラムに関するデータＤＡＴＡとして、後段のアプリケーションプロセッサ８０に出力する。
　面内遅延補正部７５は、アドレスカウンタ７５１、記憶部７５２、マルチプレクサ（ＭＵＰ）７５３、及び、加算器７５４から成る構成となっている。アドレスカウンタ７５１は、ヒストグラム作成部７３0～７３n-1で作成されるヒストグラムのアドレスＡＤＤＲを制御する。このアドレスＡＤＤＲは、ヒストグラムの単位であるビン値ＢＩＮであり、２入力の加算器７５４にその一方の入力として与えられる。
　記憶部７５２は、ヒストグラム作成部７３0～７３n-1（即ち、受光部６０の画素行）に対応したｎ個の補正レジスタｒｅｇ0～ｒｅｇn-1（補正レジスタ群）によって構成されている。補正レジスタｒｅｇ0～ｒｅｇn-1には、受光部６０内における画素５０の位置に対応した補正値（補正量）が記憶されている。この補正値は、面内遅延スキューを補正するための値、具体的には、画素５０から時間計測部７２0～７２n-1までの距離に基づく値である。
　補正レジスタｒｅｇ0～ｒｅｇn-1に記憶する補正値（補正量）については、受光装置３０に固有の値であることから、例えば、受光装置３０の出荷前の検証や評価測定等において、面内遅延スキューを補正するための値として、予め所定の手法を用いて取得することができる。但し、出荷前の検証や評価測定等での取得に限られるものではなく、例えば、受光装置３０の起動時に、所定の手法を用いて補正値を取得し、記憶部７５２の各補正レジスタｒｅｇ0～ｒｅｇn-1に記憶するようにすることもできる。
　マルチプレクサ７５３は、制御カウンタ７４２による制御の下に、マルチプレクサ７４１と同期して、補正レジスタｒｅｇ0～ｒｅｇn-1の各補正値を順番に選択し、ヒストグラムを全体的に時間軸方向にシフトする補正値ＯＦＳＴとして出力する。この補正値ＯＦＳＴは、２入力の加算器７５４の他方の入力となる。
　加算器７５４は、その一方の入力であるヒストグラム毎のビン値ＢＩＮに対して、その他方の入力である補正値ＯＦＳＴを加算することによって、ヒストグラム毎に、ヒストグラムを全体的に時間軸方向にシフトする。このようにして、ヒストグラム毎に、ヒストグラムを全体的に時間軸方向にシフトすることにより、面内遅延スキューの補正処理が実現される。
　以上の説明から明らかなように、面内遅延補正部７５は、記憶部７５２に記憶された補正値に基づいて、ヒストグラム作成部７３0～７３n-1が作成したヒストグラムに対して補正処理を行う補正処理部である。ヒストグラムに関するデータＤＡＴＡ、ヒストグラムのアドレスＡＤＤＲ、補正値ＯＦＳＴ、及び、補正後のヒストグラム毎のビン値ＢＩＮのタイミングチャートを図１０に示す。
　続いて、実施例１に係る受光装置３０における面内遅延スキューの補正処理の流れについて、図１１Ａのフローチャートを用いて説明する。
　面内遅延スキューの補正に当たり、先ず、面内遅延スキューを補正するための補正値を予め取得する（ステップＳ１１）。受光装置３０固有の値である補正値については、先述したように、例えば、受光装置３０の評価測定時や受光装置３０の起動時に、所定の手法を用いて取得することができる。
　次に、予め取得した補正値を、記憶部７５２の各補正レジスタｒｅｇ0～ｒｅｇn-1に設定する（ステップＳ１２）。次に、記憶部７５２の各補正レジスタｒｅｇ0～ｒｅｇn-1に設定（記憶）された各補正値を、ヒストグラムを全体的に時間軸方向にシフトする補正値ＯＦＳＴとし、当該補正値ＯＦＳＴをヒストグラム毎のビン値ＢＩＮに加算することにより、面内遅延スキューの補正処理を実行する（ステップＳ１３）。この加算処理により、面内遅延スキューの補正が実現され、各ヒストグラムのセンターが揃うことになる。
　上述した面内遅延スキューの補正処理によれば、ヒストグラム作成部７３0～７３n-1からのヒストグラムに関するデータの読み出し時に、ヒストグラム毎に、ヒストグラム毎のビン値ＢＩＮに補正値ＯＦＳＴを加算する単純な加算処理により、面内遅延スキューについて高速に補正処理を行うことができる。この処理は、動作クロックの１サイクル程度であり、数十ナノ秒程度の処理遅延である。
　従って、後段のアプリケーションプロセッサ８０で補正処理を行う場合に比べて、処理遅延を大幅に短縮することができる。因みに、後段のアプリケーションプロセッサ８０で補正処理を行う場合には、ヒストグラムに関するデータをメモリに蓄積して処理を行うことになるために、システム全体の処理遅延がフレーム単位になり、駆動周波数が６０ｆｐｓの受光装置では、処理遅延が１７ミリ秒程度になる。
　補正前のヒストグラムに関するデータと、補正後のヒストグラムに関するデータとの時間軸方向（ＢＩＮ方向）の位置関係を図１１Ｂに示す。ここでは、ビン数が３のヒストグラムを、全体的にＢＩＮ方向（時間軸方向）に、１ＢＩＮ分だけシフトする場合を例示している。図１１Ｂから明らかなように、補正値ＯＦＳＴによる補正はビン単位で実行される。尚、ここでは、補正値ＯＦＳＴによる補正をビン単位としたが、ビン単位に限られるものではなく、例えばビンの半分を単位としてもよいし、更に分解能を上げるようにしてもよい。
［実施例２］
　実施例２は、実施例１の変形例であり、各画素５０から時間計測部（ＴＤＣ）７２0～７２n-1までの遅延が受光部６０の面内で線形的な傾向を示す場合の例である。
　ここでは、図１２Ａに示す受光部６０のｎ行ｍ列の画素配列において、時間計測部７２0～７２n-1に対して一番近いｍ－１列目の画素５０と一番遠い０列目の画素５０との間における各画の遅延量が、図１２Ｂに示すように線形的であるとする。
　このように、各画素５０から時間計測部７２0～７２n-1までの遅延が面内で線形的な傾向を示す場合において、実施例２では、受光部６０の端部の画素５０、即ち、時間計測部７２0～７２n-1から一番遠い第１列目の画素５０の遅延に対する補正値から、その他の画素５０、即ち、画素列０と画素列ｍ－１との間の画素５０の補正値を、線形補間によって算出するようにする。
　線形補間によって補正値を求める実施例２によれば、面内遅延スキューの補正処理の流れを示す図１１Ａのフローチャートにおいて、ステップＳ１１の補正値取得に要する時間を、実施例１の場合よりも短縮することができる。
［実施例３］
　実施例３は、実施例１の変形例であり、全ヒストグラムに共通する遅延についても補正処理を行う例である。ここで、「全ヒストグラムに共通する遅延」としては、回路の処理遅延や、受光装置３０の外部、具体的には、図２Ａに示す光源２０のレーザ光源２２を発光させるトリガー信号を伝送する配線の遅延などを例示することができる。
　実施例１では、ヒストグラム毎に異なる遅延補正を行うとしている。しかし、面内遅延以外に、上記の全ヒストグラムに共通する遅延が存在する。そして、全ヒストグラムに共通する遅延が存在すると、受光装置３０が計測した距離と実際の距離との間に、全ヒストグラムに共通する遅延分の誤差が生じることになる。
　そこで、実施例３では、ヒストグラム毎に異なる遅延補正を行うとともに、全ヒストグラムに共通する遅延に対応する全ヒストグラムに共通のシステム補正値を用いて、全ヒストグラムに共通する遅延についても補正処理を行うようにする。システム補正値については、例えば、受光装置３０が計測した距離と実際の距離との差分（誤差分）を光速で割った値として予め算出することができる。
　実施例３の場合の補正前後のヒストグラムに関するデータの時間軸方向（ＢＩＮ方向）の位置関係を図１３に示す。ここでは、画素行０に対応するヒストグラム作成部７３0が作成したヒストグラムＨｉｓｔ0、及び、画素行ｎ－１に対応するヒストグラム作成部７３n-1が作成したヒストグラムＨｉｓｔn-1について図示している。
　図１３において、実線の矢印が、ヒストグラム毎に個別に補正を行う場合のスキュー補正値を表しており、破線の矢印が、全ヒストグラムに共通して補正を行う場合のシステム補正値を表している。本例でも、遅延補正をビン単位で行うとしているが、ビン単位に限られるものではなく、例えばビンの半分を単位としてもよいし、更に分解能を上げるようにしてもよい。
　実施例３によれば、ヒストグラム毎に異なる遅延補正に加えて、全ヒストグラムに共通する遅延についても補正を行うことができるため、全ヒストグラムに共通する遅延が存在していても、実際の距離を正確に計測することができる。
［実施例４］
　実施例４は、ヒストグラムに関するデータのヒストグラム作成部７３0～７３n-1への書き込み時に、面内遅延スキューの補正処理を行う例である。実施例４に係る受光装置３０の構成を図１４に示す。
　図１４に示すように、実施例４に係る受光装置３０は、ヒストグラム作成部７３0～７３n-1の前段に、面内遅延スキューの補正処理を行う面内遅延補正部７５を有する構成となっている。面内遅延補正部７５は、受光部６０内における画素５０の位置に対応した補正値を記憶する記憶部７５２、及び、ヒストグラム作成部７３0～７３n-1の各前段に設けられたｎ個の加算器７５４0～７５４n-1から構成されている。
　記憶部７５２は、ｎ個の時間計測部７２0～７２n-1に対応したｎ個の補正レジスタｒｅｇ0～ｒｅｇn-1（補正レジスタ群）によって構成されている。補正レジスタｒｅｇ0～ｒｅｇn-1には、実施例１の場合と同様に、面内遅延スキューを補正するための補正値、具体的には、画素５０から時間計測部７２0～７２n-1までの距離に基づく補正値が設定されている。
　ｎ個の加算器７５４0～７５４n-1は、時間計測部７２0～７２n-1での各計測値を各一方の入力とし、補正レジスタｒｅｇ0～ｒｅｇn-1に設定されている各補正値を他方の入力としている。そして、加算器７５４0～７５４n-1は、時間計測部７２0～７２n-1での各計測値に、ヒストグラム毎の補正レジスタｒｅｇ0～ｒｅｇn-1の各補正値を加算することで、面内遅延スキューについて補正処理を行うことができる。
　このように、ヒストグラムに関するデータのヒストグラム作成部７３0～７３n-1への書き込み時に補正処理を行う実施例４によっても、ヒストグラムに関するデータのヒストグラム作成部７３0～７３n-1からの読み出し時に補正処理を行う実施例１と同様に、面内遅延スキューについて補正処理を行うことができる。そして、実施例１の場合と同様に、後段のアプリケーションプロセッサ８０で補正処理を行う場合に比べて、処理遅延を大幅に短縮することができる。
　尚、実施例４に対しても、実施例２の技術、即ち、時間計測部７２0～７２n-1から一番遠い０列目の画素５０の遅延に対する補正値から、０列目とｍ－１列目との間の画素５０の補正値を、線形補間によって算出する技術や、実施例３の技術、即ち、全ヒストグラムに共通する遅延について補正する技術を適用することができる。
＜本開示に係る技術の適用例＞
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
［移動体］
　図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　尚、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　尚、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８や、車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０や、運転者状態検出部７５１０等に適用され得る。そして、本開示に係る技術を適用することにより、受光装置の面内遅延スキューに対する優れた補正処理を実現することができるため、高速応答が可能な車両制御システムを構築できる。より具体的には、同一面内において画素の位置毎による測距結果のばらつきを抑えることができるため、正確に測距することが可能となる。その結果、対向車や歩行者の検出の際の測距誤差を低減し、安全な車両走行を実現することが可能となる。
＜本開示がとることができる構成＞
　本開示は、以下のような構成をとることもできる。
≪Ａ．受光装置≫
［Ａ－１］２次元状に配置された複数の画素を有する受光部、
　画素に接続された信号線、
　信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
　時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
　受光部内における画素の位置に対応した補正値を記憶する記憶部、
　記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
　補正処理部で補正処理された信号を出力する出力部、
　を備える受光装置。
［Ａ－２］補正値は、画素から時間計測部までの距離に基づく値である、
　上記［Ａ－１］に記載の受光装置。
［Ａ－３］受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
　上記［Ａ－２］に記載の受光装置。
［Ａ－４］ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
　補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
　上記［Ａ－１］乃至上記［Ａ－３］のいずれかに記載の受光装置。
［Ａ－５］補正処理部は、ヒストグラムのビン単位で補正処理を行う、
　上記［Ａ－４］に記載の受光装置。
［Ａ－６］補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
　上記［Ａ－４］又は上記［Ａ－５］に記載の受光装置。
［Ａ－７］システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
　上記［Ａ－６］に記載の受光装置。
［Ａ－８］記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
　上記［Ａ－１］乃至上記［Ａ－７］のいずれかに記載の受光装置。
［Ａ－９］補正処理部は、ヒストグラム作成部の後段に設けられており、
　ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
　上記［Ａ－８］に記載の受光装置。
［Ａ－１０］補正処理部は、ヒストグラム作成部の前段に設けられており、
　時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
　上記［Ａ－８］に記載の受光装置。
［Ａ－１１］画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
　上記［Ａ－１］乃至上記［Ａ－１０］のいずれかに記載の受光装置。
［Ａ－１２］受光部は、複数の画素を単位とする画素グループを含み、
　信号線は、複数の信号線を単位とする信号線グループを含み、
　画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される、
　上記［Ａ－１］乃至上記［Ａ－１１］のいずれかに記載の受光装置。
≪Ｂ．測距装置≫
［Ｂ－１］測定対象物に対して光を照射する光源、及び、
　測定対象物で反射された光を受光する受光装置を備え、
　受光装置は、
　２次元状に配置された複数の画素を有する受光部、
　画素に接続された信号線、
　信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
　時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
　受光部内における画素の位置に対応した補正値を記憶する記憶部、
　記憶部に記憶された補正値に基づいて、ヒストグラム作成部で作成したヒストグラムに対して補正処理を行う補正処理部、及び、
　補正処理部で補正処理された信号を出力する出力部、を備える、
　測距装置。
［Ｂ－２］補正値は、画素から時間計測部までの距離に基づく値である、
　上記［Ｂ－１］に記載の測距装置。
［Ｂ－３］受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
　上記［Ｂ－２］に記載の測距装置。
［Ｂ－４］ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
　補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
　上記［Ｂ－１］乃至上記［Ｂ－３］のいずれかに記載の測距装置。
［Ｂ－５］補正処理部は、ヒストグラムのビン単位で補正処理を行う、
　上記［Ｂ－４］に記載の測距装置。
［Ｂ－６］補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
　上記［Ｂ－４］又は上記［Ｂ－５］に記載の測距装置。
［Ｂ－７］システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
　上記［Ｂ－６］に記載の測距装置。
［Ｂ－８］記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
　上記［Ｂ－１］乃至上記［Ｂ－７］のいずれかに記載の測距装置。
［Ｂ－９］補正処理部は、ヒストグラム作成部の後段に設けられており、
　ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
　上記［Ｂ－８］に記載の測距装置。
［Ｂ－１０］補正処理部は、ヒストグラム作成部の前段に設けられており、
　時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
　上記［Ｂ－８］に記載の測距装置。
［Ｂ－１１］画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
　上記［Ｂ－１］乃至上記［Ｂ－１０］のいずれかに記載の測距装置。
［Ｂ－１２］受光部は、複数の画素を単位とする画素グループを含み、
　信号線は、複数の信号線を単位とする信号線グループを含み、
　画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される、
　上記［Ｂ－１］乃至上記［Ｂ－１１］のいずれかに記載の受光装置。
　１・・・測距装置、１０・・・被写体（測定対象物）、２０・・・光源、２１・・・レーザドライバ、２２・・・レーザ光源、２３・・・拡散レンズ、３０・・・受光装置、３１・・・受光レンズ、３２・・・光センサ、３３・・・回路部、４０・・・制御部、５０・・・画素、５１・・・ＳＰＡＤ素子、６０・・・受光部、６１・・・信号線、７０・・・測距制御部、７１・・・マルチプレクサ（ＭＵＰ）、７２（７２0～７２n-1）・・・時間計測部（ＴＤＣ）、７３（７３0～７３n-1）・・・ヒストグラム作成部、７４・・・出力部、７５・・・面内遅延補正部、８０・・・アプリケーションプロセッサ、７５２・・・記憶部、７５４・・・加算器

Claims (13)

  1. 　２次元状に配置された複数の画素を有する受光部、
    　画素に接続された信号線、
    　信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
    　時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
    　受光部内における画素の位置に対応した補正値を記憶する記憶部、
    　記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
    　補正処理部で補正処理された信号を出力する出力部、
    　を備える受光装置。
  2. 　補正値は、画素から時間計測部までの距離に基づく値である、
    　請求項１に記載の受光装置。
  3. 　受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
    　請求項２に記載の受光装置。
  4. 　ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
    　補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
    　請求項１に記載の受光装置。
  5. 　補正処理部は、ヒストグラムのビン単位で補正処理を行う、
    　請求項４に記載の受光装置。
  6. 　補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
    　請求項４に記載の受光装置。
  7. 　システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
    　請求項６に記載の受光装置。
  8. 　記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
    　請求項１に記載の受光装置。
  9. 　補正処理部は、ヒストグラム作成部の後段に設けられており、
    　ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
    　請求項８に記載の受光装置。
  10. 　補正処理部は、ヒストグラム作成部の前段に設けられており、
    　時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
    　請求項８に記載の受光装置。
  11. 　画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
    　請求項１に記載の受光装置。
  12. 　受光部は、複数の画素を単位とする画素グループを含み、
    　信号線は、複数の信号線を単位とする信号線グループを含み、
    　画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される、
    　請求項１に記載の受光装置。
  13. 　測定対象物に対して光を照射する光源、及び、
    　測定対象物で反射された光を受光する受光装置を備え、
    　受光装置は、
    　２次元状に配置された複数の画素を有する受光部、
    　画素に接続された信号線、
    　信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
    　時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
    　受光部内における画素の位置に対応した補正値を記憶する記憶部、
    　記憶部に記憶された補正値に基づいて、ヒストグラム作成部で作成したヒストグラムに対して補正処理を行う補正処理部、及び、
    　補正処理部で補正処理された信号を出力する出力部、を備える、
    　測距装置。
PCT/JP2019/028059 2018-07-27 2019-07-17 受光装置及び測距装置 Ceased WO2020022137A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020532314A JP7568504B2 (ja) 2018-07-27 2019-07-17 受光装置及び測距装置
CN201980048680.5A CN112513678B (zh) 2018-07-27 2019-07-17 光电检测器和距离测量设备
US17/251,920 US12061292B2 (en) 2018-07-27 2019-07-17 Light receiving apparatus and distance measuring apparatus
EP19840492.3A EP3832352B1 (en) 2018-07-27 2019-07-17 Photodetector and distance measurement apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-141167 2018-07-27
JP2018141167 2018-07-27

Publications (1)

Publication Number Publication Date
WO2020022137A1 true WO2020022137A1 (ja) 2020-01-30

Family

ID=69181415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028059 Ceased WO2020022137A1 (ja) 2018-07-27 2019-07-17 受光装置及び測距装置

Country Status (6)

Country Link
US (1) US12061292B2 (ja)
EP (1) EP3832352B1 (ja)
JP (1) JP7568504B2 (ja)
CN (1) CN112513678B (ja)
TW (1) TWI828695B (ja)
WO (1) WO2020022137A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184224A1 (ja) * 2019-03-14 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及びスキュー補正方法
WO2022244322A1 (ja) * 2021-05-17 2022-11-24 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026014139A1 (ja) * 2024-07-12 2026-01-15 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026014138A1 (ja) * 2024-07-09 2026-01-15 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026042648A1 (ja) * 2024-08-19 2026-02-26 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システム、及び処理装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI759213B (zh) * 2020-07-10 2022-03-21 大陸商廣州印芯半導體技術有限公司 光感測器及其感測方法
EP4193181A4 (en) * 2020-09-11 2024-08-21 Sense Photonics, Inc. MEMORY PIXEL WITH GAIN CELLS AND ACTIVATION/RECHARGE ACTIVATED CLOCKED
TWI735384B (zh) * 2020-11-23 2021-08-01 國立陽明交通大學 光達與用於光達之光子數快速累積方法
EP4300135A4 (en) * 2021-02-25 2024-07-24 Sony Semiconductor Solutions Corporation LIGHT DETECTION DEVICE AND LIGHT DETECTION SYSTEM
CN112799097B (zh) * 2021-04-14 2023-11-28 深圳阜时科技有限公司 深度图和灰度图的获取方法、深度相机、以及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225909A (ja) * 2013-06-21 2013-10-31 Mega Chips Corp 画像処理装置
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
JP2016211881A (ja) 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301608B1 (en) * 2005-01-11 2007-11-27 Itt Manufacturing Enterprises, Inc. Photon-counting, non-imaging, direct-detect LADAR
EP1860462A1 (de) * 2006-05-23 2007-11-28 Leica Geosystems AG Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles
EP2395369A1 (en) 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
EP2469301A1 (en) * 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
GB2520232A (en) 2013-08-06 2015-05-20 Univ Edinburgh Multiple Event Time to Digital Converter
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
US9874629B2 (en) * 2013-12-23 2018-01-23 Oulun Yliopisto Distance measurement device, receiver thereof and method of distance measurement
JP6012589B2 (ja) * 2013-12-27 2016-10-25 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置及び物体検出方法
JP6501403B2 (ja) * 2014-02-07 2019-04-17 国立大学法人静岡大学 イメージセンサ
EP4421188A3 (en) * 2014-08-08 2024-10-23 Quantum-Si Incorporated Integrated device with external light source for probing, detecting, and analyzing molecules
CN104567902A (zh) 2014-11-24 2015-04-29 朱今兰 一种智慧城市交通管理系统
JP6481405B2 (ja) * 2015-02-17 2019-03-13 株式会社デンソー 演算装置
JP6443132B2 (ja) * 2015-03-03 2018-12-26 株式会社デンソー 演算装置
JP6554909B2 (ja) * 2015-05-21 2019-08-07 株式会社デンソー 受光装置
US20180074196A1 (en) 2016-05-27 2018-03-15 Harvey Weinberg Hybrid flash lidar system
US10620301B2 (en) * 2017-04-04 2020-04-14 Argo AI, LLC LiDAR system and method employing late-lock Geiger mode detection
CN107607960B (zh) * 2017-10-19 2024-12-20 深圳市欢创科技股份有限公司 一种光学测距的方法及装置
JP2020134171A (ja) * 2019-02-13 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 受光装置および測距システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225909A (ja) * 2013-06-21 2013-10-31 Mega Chips Corp 画像処理装置
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
JP2016211881A (ja) 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3832352A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184224A1 (ja) * 2019-03-14 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及びスキュー補正方法
WO2022244322A1 (ja) * 2021-05-17 2022-11-24 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026014138A1 (ja) * 2024-07-09 2026-01-15 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026014139A1 (ja) * 2024-07-12 2026-01-15 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026042648A1 (ja) * 2024-08-19 2026-02-26 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システム、及び処理装置

Also Published As

Publication number Publication date
EP3832352A1 (en) 2021-06-09
CN112513678A (zh) 2021-03-16
US20210165084A1 (en) 2021-06-03
CN112513678B (zh) 2024-06-11
JPWO2020022137A1 (ja) 2021-08-02
EP3832352A4 (en) 2021-09-22
TW202008004A (zh) 2020-02-16
US12061292B2 (en) 2024-08-13
TWI828695B (zh) 2024-01-11
EP3832352B1 (en) 2025-01-15
JP7568504B2 (ja) 2024-10-16

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
US20240353559A1 (en) Ranging device and ranging method
JP7568504B2 (ja) 受光装置及び測距装置
JP7511562B2 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
US20240125931A1 (en) Light receiving device, distance measuring device, and signal processing method in light receiving device
WO2021111766A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
JP2021128084A (ja) 測距装置および測距方法
JPWO2020116158A1 (ja) 光検出装置及び光検出装置の制御方法、並びに、測距装置
US20230145695A1 (en) Light receiving device and distance measuring device
US20250106534A1 (en) Light-receiving element and electronic apparatus
WO2021124762A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
US20250199129A1 (en) Light-receiving element and electronic apparatus
WO2023162734A1 (ja) 測距装置
JP2023176643A (ja) 測距装置
US12429566B2 (en) Photodetector, driving method of photodetector, and distance measuring device
US20220342040A1 (en) Light reception device, distance measurement apparatus, and method of controlling distance measurement apparatus
WO2024162109A1 (ja) 光検出装置及び測距システム
WO2021161858A1 (ja) 測距装置および測距方法
US20240337730A1 (en) Light source device, distance measuring device, and distance measuring method
WO2023281824A1 (ja) 受光装置、測距装置及び受光装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19840492

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020532314

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019840492

Country of ref document: EP

Effective date: 20210301