WO2017141957A1 - 距離測定装置 - Google Patents

距離測定装置 Download PDF

Info

Publication number
WO2017141957A1
WO2017141957A1 PCT/JP2017/005503 JP2017005503W WO2017141957A1 WO 2017141957 A1 WO2017141957 A1 WO 2017141957A1 JP 2017005503 W JP2017005503 W JP 2017005503W WO 2017141957 A1 WO2017141957 A1 WO 2017141957A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement
period
distance
light
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/005503
Other languages
English (en)
French (fr)
Inventor
征人 竹本
信三 香山
基範 石井
繁 齋藤
暁登 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201780007142.2A priority Critical patent/CN108474849B/zh
Priority to JP2018500150A priority patent/JP6910010B2/ja
Priority to EP17753213.2A priority patent/EP3418772A4/en
Publication of WO2017141957A1 publication Critical patent/WO2017141957A1/ja
Priority to US16/040,624 priority patent/US11204421B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Definitions

  • the present disclosure relates to a distance measuring device.
  • the measuring object As a distance measuring method from the distance measuring device to the object to be measured (hereinafter referred to as the measuring object), light is irradiated from the vicinity of the distance measuring device toward the measuring object, and then reflected by the object and returned to the distance measuring device.
  • the TOF method Compared with other distance measurement methods such as the compound eye method, the TOF method has a disadvantage in that it requires a light source in addition to the distance measurement device, while if the light source is strengthened, the distance measurement of a distant object can be performed.
  • the advantage is that it can be performed with high resolution.
  • the TOF method has a problem that if the measurement range is set far, the measurement time becomes longer.
  • a light pulse is emitted to the measurement object, and the reflected light from the measurement object is exposed at an exposure timing with a plurality of delay amounts synchronized with the light emission timing, and output at each exposure. Based on this, the distance to the object is calculated. Therefore, the farther the object to be measured is, the more intense the light pulse is required, so the longer the waiting time for preventing the deviation of the pair of light emission and exposure, which is necessary for one set of light emission and exposure. It takes a long time. Further, when the object to be measured is far away, in order to perform distance measurement with high distance resolution, it is necessary to execute many pairs of light emission and exposure, and the measurement time becomes long.
  • the present disclosure has been made in view of the above circumstances, and a main purpose thereof is to provide a distance measuring device capable of efficiently measuring a distance.
  • a distance measuring device includes a light emitting unit that emits outgoing light, and a light receiving unit that can receive reflected light reflected by the measurement object from the measuring object during exposure.
  • a control unit that controls the light emitting unit and the light receiving unit, and a measurement target from the distance measuring device based on a time from when the light emitting unit emits emitted light to when the light receiving unit receives reflected light.
  • a distance calculation unit that calculates a distance to the object, and an output unit that outputs the calculated distance, and the control unit is configured to output a time range corresponding to the first measurement distance range during the first period.
  • a first measurement time range is set, and in the first measurement time range, the light emitting unit emits emitted light, the light receiving unit is in exposure, and the control unit is in a second period.
  • Time range corresponding to the second measurement distance range A second measurement time range is set, and in the second measurement time range, the light emitting unit emits emitted light, the light receiving unit is exposed, and in the first period and the second period, , At least one measurement condition is different, and the distance calculation unit causes the reflection unit to reflect the reflection light from the time when the light emission unit emits light in at least one of the first period and the second period. The distance from the distance measuring device to the measurement object is calculated based on the time until the light is received.
  • a distance measuring device includes a light emitting unit that emits emitted light, and a light receiving unit that can receive reflected light reflected by the measurement object from the emitted light during exposure. And a control unit that controls the light emitting unit and the light receiving unit, and the measurement from the distance measuring device based on the time from when the light emitted from the light emitting unit is emitted until the light receiving unit receives the reflected light.
  • a distance calculation unit that calculates a distance to the object; and an output unit that outputs the calculated distance; and the control unit is a time range corresponding to the first measurement distance range during the first period.
  • a first measurement time range is set, and in the first measurement time range, emitted light is emitted from the light emitting unit, the light receiving unit is being exposed, and the control unit Corresponding to the second measuring distance range during the period
  • the second measurement time range which is an interval range, is divided into K ′ (K ′: a natural number of 2 or more) sections, and the repetition period including the time for emitting the light emitted from the light emitting unit and the second measurement time range
  • K ′ K ′: a natural number of 2 or more
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of the distance measuring apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a measurement sequence of the distance measuring apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a measurement sequence of the distance measuring apparatus according to the second embodiment.
  • FIG. 4 is a diagram illustrating another example of a measurement sequence of the distance measuring apparatus according to the second embodiment.
  • FIG. 5 is a diagram illustrating another example of a distance measuring operation sequence of the distance measuring apparatus according to the second embodiment.
  • FIG. 6A is a diagram showing another example of a distance measuring operation sequence of the distance measuring apparatus according to Embodiment 2.
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of the distance measuring apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a measurement sequence of the distance measuring apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a measurement
  • FIG. 6B is a diagram showing another example of a distance measuring operation sequence of the distance measuring apparatus according to Embodiment 2.
  • FIG. 6C is a diagram showing another example of a distance measuring operation sequence of the distance measuring apparatus according to Embodiment 2.
  • FIG. 7 is a diagram illustrating an example of a distance measuring operation sequence of the distance measuring apparatus according to the third embodiment.
  • FIG. 8 is a diagram illustrating an example of a distance measuring operation sequence of the distance measuring apparatus according to the fourth embodiment.
  • FIG. 9 is a diagram illustrating an example of a distance measuring operation sequence of the distance measuring apparatus according to the fourth embodiment.
  • FIG. 10 is a diagram illustrating an example of a distance measuring operation sequence of the distance measuring apparatus according to the fifth embodiment.
  • FIG. 11 is a diagram illustrating an example of a circuit configuration of the pixel circuit according to Example 1 of the sixth embodiment.
  • FIG. 12 is a diagram for explaining the relationship between the distance between the image sensor and the object and the image in the image sensor according to Example 2 of the sixth embodiment.
  • FIG. 13 is an example of a distance image measured by the distance measuring apparatus according to Example 2 of the sixth embodiment.
  • FIG. 14A is a schematic diagram for explaining an exposure sequence of the distance measuring apparatus according to Example 3 of Embodiment 6.
  • FIG. 14B is a schematic diagram for explaining an exposure sequence of the distance measuring apparatus according to Example 3 of Embodiment 6.
  • FIG. 15 is a diagram illustrating an example of an image sensor included in the light receiving unit according to Example 3 of the sixth embodiment.
  • FIG. 16 is a diagram illustrating an example of an image sensor included in the light receiving unit according to Example 3 of the sixth embodiment.
  • FIG. 17A is a diagram illustrating an example of an image sensor included in the light receiving unit according to Example 3 of the sixth embodiment.
  • FIG. 17B is a diagram illustrating an example of a control circuit of the image sensor in FIG. 16.
  • FIG. 18 is a diagram illustrating another example of the image sensor included in the light receiving unit according to Example 3 of the sixth embodiment.
  • FIG. 19 is a diagram for describing an example of controlling the read time according to Example 3 of the sixth embodiment.
  • FIG. 20 is a diagram illustrating an example of a circuit configuration of the pixel circuit according to the first embodiment.
  • FIG. 20 is a diagram illustrating an example of a circuit configuration of the pixel circuit according to the first embodiment.
  • FIG. 21 is a diagram for explaining that different results according to the distance to be measured can be obtained in the same exposure sequence for all pixels according to the fourth embodiment.
  • FIG. 22 is a diagram showing a pixel circuit configuration and an exposure sequence according to the fifth embodiment.
  • FIG. 23A is a diagram for describing driving of the shutter array and the image sensor according to Example 2 of Embodiment 7.
  • FIG. 23B is a diagram for describing driving of the shutter array and the image sensor according to Example 2 of Embodiment 7.
  • FIG. 24 is a diagram illustrating an example of a distance measurement operation sequence of the distance measurement device according to the modification of the first embodiment.
  • FIG. 25 is a diagram for explaining the division distance section of the measurement distance range and the variation of the light source parameter for each division distance section.
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of a distance measuring device 10 according to the present embodiment.
  • FIG. 1 includes a light-emitting unit 101, a light-receiving unit 102, a control unit 103, an output unit 104, and a distance calculation unit 105.
  • FIG. 1 shows a measurement object 60 as an example.
  • the light emitting unit 101 is controlled by the control unit 103 to emit emitted light.
  • the light emitting unit 101 has a light source such as a laser light source, for example, and emits a light pulse (emitted light) by emitting light with a predetermined light pulse width.
  • the intensity of the light pulse used for the light emitting unit 101 is, for example, about class 1 or class 2, and is not regarded as dangerous according to a predetermined safety standard.
  • a single wavelength, short pulse, high intensity light source is suitable for distance measurement, and a pulse laser may be used. Further, a different light source such as a light emitting diode (LED) or a halogen lamp can be used as the light source.
  • the wavelength of the light source may be the wavelength of infrared light in consideration of use in an urban area or the like, but is not particularly limited.
  • the light receiving unit 102 is controlled by the control unit 103 to receive the reflected light reflected by the measurement object 60 from the emitted light.
  • the light receiving unit 102 can receive reflected light while being controlled by the control unit 103 during exposure.
  • the light receiving unit 102 is configured using, for example, a photodiode.
  • the light receiving unit 102 may be an avalanche photodiode or a photomultiplier tube, or may be an image sensor in which light receiving elements are two-dimensionally arranged. In this case, the light receiving unit 102 may include an optical system such as a lens as necessary.
  • one independent light receiving element is referred to as a pixel.
  • data analysis such as image processing and recognition processing can be performed at a later stage.
  • the light receiving unit 102 by providing the light receiving unit 102 with a filter that blocks or transmits light of a specific frequency, it is possible to obtain frequency information. That is, the right of the present disclosure is not limited depending on the configuration of the light receiving unit 102.
  • the control unit 103 controls the light emitting unit 101 and the light receiving unit 102.
  • the control unit 103 controls the light emitting unit 101 and the light receiving unit 102 under a predetermined measurement condition during the first period, and calculates the distance from the distance measuring device 10 to the measurement object 60 to the distance calculating unit 105.
  • the control unit 103 divides the first measurement time range into K sections (K: a natural number of 2 or more) during the first period, and emits light emitted from the light emitting unit 101.
  • the repetition period including the first measurement time range is repeated K times.
  • the control unit 103 causes the light emitting unit 101 to emit light for each repetition period, and causes the light receiving unit 102 to be exposed during at least one of the K sections for each repetition period.
  • the control unit 103 performs control so that the measurement conditions are different between the first period and the second period.
  • the control unit 103 includes K measurement time ranges (K: a natural number of 1 or more) that are time ranges corresponding to the measurement distance range starting from the predetermined position during the first period. It divides
  • the control unit 103 performs control so that the measurement period including at least the measurement distance range is different between the first period and the second period following the first period.
  • the distance calculation unit 105 performs the distance measurement device 10 to the measurement object 60 based on the time from the time when the light emitted from the light emitting unit 101 is emitted during the first period and the second period to the time when the light receiving unit 102 receives the light. The distance is calculated.
  • the output unit 104 outputs the calculated distance from the distance measuring device 10 to the measurement object 60.
  • FIG. 2 is a diagram showing an example of a distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment.
  • (A) in FIG. 2 shows a distance measurement sequence, and distance data is measured in each period separated by vertical lines.
  • distance data is measured in one or more periods, and distance measurement is performed in measurement conditions different from those in other periods in at least one period.
  • the measurement conditions here include the pulse period, pulse intensity, pulse width, and pulse train encoding method of the emitted light, the exposure time width of the light receiving unit 102, the exposure cycle, the number of exposures, and the method for controlling the drive circuit of the light receiving unit 102 And at least one of data processing methods such as an image reading range of the light receiving unit. Measurement conditions are not limited to the examples given above.
  • luminance data measurement may be included. Further, the data may be output after the measurement in all the periods is completed, or the data may be output every time the measurement for one period is completed. A method of performing measurement while varying measurement conditions within one period is also included in the scope of the present disclosure.
  • FIG. 2B shows an example of a sequence of emitted light, reflected light, and exposure within each measurement period. Note that the scope of rights of the present disclosure is not limited to the distance measurement method described with reference to FIG.
  • the control unit 103 first determines a distance range l for performing distance measurement, and determines a measurement time range 2l / c that is a time range corresponding to this distance on the time axis. Next, the determined measurement time range is divided into one or a plurality of sections. The upper limit of the measurement time range of one section is determined by the intensity of the light source and the sensitivity of the light receiving unit 102, and the condition is that the pulsed light reflected by the measurement target can be detected by the light receiving unit 102. The pulsed light is emitted at least once in synchronization with the start of the measurement time range 2 l / c or with a predetermined time delay / preceding, and exposure is performed in at least one of the divided sections.
  • a section where no exposure is performed may be provided. This operation is repeated as many times as the number of the divided sections, and in each operation, measurement is performed with different exposure sections. Since the optical signal can be detected only when the reflected light returns during exposure, the distance to be measured can be determined corresponding to the divided sections. Note that the scope of rights of the present disclosure is also applicable to cases where the number of divided sections and the number of repetitions are different, such as limiting the section in which exposure is performed.
  • the lower limit of the repetition time is determined by the intensity of the emitted pulsed light and the sensitivity of the light receiving unit 102, and it is necessary that the intensity of the pulsed light is sufficiently attenuated so that no erroneous detection of light occurs in the next measurement.
  • Measured time range, divided section, measured distance range, and distance resolution correspond as follows.
  • the time t is expressed by the following (formula 1).
  • c is the speed of light
  • the numerical value “2” takes into account the amount of light emitted from the light source and the return.
  • the measurement time range t a is equally divided into N intervals, 1,2,3 in order from the light-emitting time, shake ... and numbers.
  • the width of d i is the ct a / 2N, it is possible to measure the distance to the measurement target and the self apparatus in this resolution.
  • section division of the measurement time range may not be equally divided with the measurement time range, and an algorithm may be constructed in the distance measurement device 10 or may be arbitrarily set by the user.
  • the control unit 103 causes the light emitting unit 101 to emit a light pulse (emitted light).
  • the emitted light pulse is reflected after reaching the measurement object 60 at the distance d, and the reflected light returns to the distance measuring device 10 after time t from the emission (light emission) of the pulsed light.
  • the control unit 103 performs control to cause the light receiving unit 102 to be exposed during the time range ti delayed by (Equation 3) from the time of light emission in accordance with the one divided section i.
  • control unit 103 indicates a distance range corresponding to the time range ti when the light receiving unit 102 receives light (reflected light) having a signal intensity or higher set in advance within the time range ti (during exposure).
  • a distance (a distance indicated by a minimum value, an average value, or the like) is stored as a distance to the measurement object 60 in a memory (not shown) or output to the output unit 104.
  • the number of sections N is shows an example of a case 3, the light emitting unit 101, the light pulse every repetition period (P 11, P 12, P 13) of FIG. 2
  • the light receiving unit 102 shows an example in which at least one of the divided sections (section 11, section 12, and section 13) is under exposure (exposure times E 11 , E 12, and E 13 ) for each repetition period. Has been.
  • E 11 , E 12, and E 13 Exposure times E 11 , E 12, and E 13
  • the exposure time E 13 is the exposure period in the third repetition period to during exposure.
  • all sections are exposed during one period, but this is not necessary.
  • a method may be used in which only the section 11 is exposed in the first period and the sections 12 and 13 are exposed in the second period.
  • the following two methods can be considered to determine whether reflected light is detected.
  • the first method is a first method in which the background light intensity is measured, and when a significant difference is recognized from the signal intensity of the light receiving unit 102 at the time of exposure, it is determined that the measurement object has been detected in that section.
  • the second method is a second method in which the signal intensity in each section is recorded, and it is determined that the measurement object is detected in the section with the maximum signal intensity.
  • the first method since it is not necessary to check only the presence or absence of a signal and record the magnitude of the signal intensity, for example, detection of weak light of about one photon such as an avalanche photodiode or a photomultiplier tube can be performed.
  • a method for increasing the detection efficiency by using possible elements is effective.
  • the second method a method of obtaining a signal amount using a photodiode can be considered, but the number of photons may be counted using an avalanche photodiode, a photomultiplier tube, or the like.
  • the light emission of the light pulse does not need to have complete periodicity, and a measurement using a long light emission period and a measurement using a short light emission period may be combined to provide a time when light emission is not randomly performed. Further, encoding may be performed by a method such as delaying the light emission timing to prevent erroneous detection.
  • the light emission pulse width is preferably shorter than the exposure width, but it is not always necessary.
  • the distance between the measurement object 60 and the distance measuring device 10 can be calculated.
  • (C) of FIG. 2 is an example of a measurement sequence in a second period different from the first period.
  • the first period and the second period are adjacent to each other, but this is not always necessary, and other measurements such as measurement of background light intensity may be introduced between the two periods. Good.
  • the control unit 103 determines a predetermined measurement distance range in the second period, divides the determined measurement distance range into one or a plurality of sections (divided sections), and performs a ranging operation for each divided section.
  • the measurement distance range l ′ is different from the measurement distance range l in the first period.
  • FIG. 2C shows an example in which N is 3.
  • the light emitting unit 101 emits a light pulse (P 21 , P 22 , P 23 ) for each repetition period, and the light receiving unit 102
  • An example is shown in which at least one of the divided sections (section 21, section 22, and section 23) is being exposed (exposure times E 21 , E 22, and E 23 ) for each repetition period.
  • (c) of FIG. 2 to return the reflected light in the section 23, and detecting the reflected light the exposure time E 23 in the third repetition period to during exposure.
  • the distance measuring apparatus 10 performs a distance measuring operation with the measurement distance range l, the number of divisions of the divided section 3, and the optical pulse width tp of the emitted light.
  • the distance measuring device 10 changes the measurement conditions to the measurement distance range l ′, the number of divisions 3, and the optical pulse width tp ′ of the emitted light. Performs ranging operation.
  • the measurement conditions may change the number of divisions, the intensity of light emission, the repetition period of the light source, and the like.
  • a physical quantity of a measurement target such as a measurement method other than the direct method, luminance, and color may be changed between the first period and the second period.
  • the distance measurement device 10 can adaptively execute a pair of light emission and exposure under different measurement conditions in the first period and the second period.
  • the distance measurement operation can be performed with high distance resolution (high distance measurement accuracy) even if the number of executions of the exposure pairs is reduced.
  • calibration of the distance measuring device 10 such as measuring the background light intensity before and after the distance measurement or during the distance measurement may be appropriately performed.
  • FIG. 20 is a diagram illustrating an example of a circuit configuration of the pixel circuit according to the present embodiment.
  • the pixel circuit of this embodiment includes a light receiving circuit 201, a counter circuit 202, a comparison circuit 203, a storage circuit 204, a light receiving element 205, a transfer transistor 206, a reset transistor 207, a charge storage capacitor 208, and a counter.
  • the transistor 209, the counter capacitor 210, the DC cut capacitor 211, the clamp transistor 212, the inverter 213, the input transistor 214, the storage capacitor 215, the storage node reset transistor 216, the amplification transistor 217, and the selection transistor 218 are configured.
  • 230 is an output permission signal.
  • the distance measurement includes a period in which background light is detected and a threshold is set, and a period in which distance measurement is performed.
  • the background light detection operation is performed by turning off the signal light from the light source. At this time, incident light to the distance measuring device 10 is only due to background light.
  • the reset transistor 207 is turned on, and then the transfer transistor 206 is turned on to reset the light receiving element 205. Then, the transfer transistor 206, both from OFF the reset transistor 207 is ON the transfer transistor 206 only t a seconds. If light is incident on the t a seconds, it charges corresponding to is stored in the charge storage capacitor 208 through the transfer transistor 206. After t a seconds, the transfer transistor 206 is turned off, a voltage is applied to the gate of the counter transistor 209 (counter trigger), and the counter transistor 209 is turned on to transfer the charge to the counter capacitor 210.
  • the counter trigger is turned off, that is, the counter transistor 209 is turned off, the reset transistor 207 is turned on, and the charge of the charge storage capacitor 208 is reset.
  • the threshold setting signal of the comparison circuit 203 is turned ON, and this signal is applied to the clamp transistor 212, whereby the voltage of the counter capacitor 210 corresponding to the background light is stored as the voltage across the DC cut capacitor 211.
  • the output permission signal is set to an arbitrary voltage E.
  • the distance measurement operation is performed by turning on the light source.
  • the following operation corresponds to an operation within one repetition period.
  • the reset transistor 207 is turned on in advance to reset the charge in the charge storage capacitor 208.
  • a signal light pulse is emitted.
  • the transfer gate is turned on during the period represented by (Equation 3).
  • ON counter trigger transfers charges generated by the receiving element 205 in the counter capacity 210. Repeat this process b times. Thereafter, the voltage of the output permission signal is changed to zero.
  • the comparison circuit The state of the inverter 213 changes, and the input transistor 214 is turned ON. Since this threshold value can be adjusted by changing the voltage E at the lower end of the counter capacitor 210, it can be set to an appropriate value according to the use environment.
  • the voltage value of the output permission signal is E in the background light detection period and 0 in the distance measurement period.
  • the voltage value is not limited to this. For example, 0 in the background light detection period and ⁇ E in the distance measurement period.
  • the setting value in the background light detection period may be set so that there is a difference between the setting value in the distance measurement period.
  • a time signal (voltage) corresponding to the distance signal is applied to the drain of the input transistor 214.
  • (1 + i / R) volts (R is an arbitrary integer) may be used.
  • a voltage corresponding to the distance to the measurement object is stored in the storage capacitor 215 of each pixel. This signal is output during the distance signal output period.
  • the selection transistor 218 is turned on. At this time, the voltage stored in the storage capacitor 215 is output by the amplification transistor 217. In reality, an offset voltage unique to the amplification transistor 217 is superimposed on this voltage.
  • the storage node reset transistor 216 is turned ON to reset the voltage of the storage capacitor 215.
  • the output voltage from the amplification transistor 217 after the storage node reset transistor 216 is turned off is read.
  • a correlated double sampling (CDS) circuit or the like is provided in the subsequent stage of the readout line, and distance data is obtained by removing the offset voltage.
  • the transfer transistor 206, the reset transistor 207, and the counter transistor 209 are turned on before exposure, and the photodiode 201, the charge storage capacitor 208, and the counter capacitor 210 are set to a reset voltage.
  • the reset transistor 207 is turned off.
  • the electrons photoelectrically converted by the photodiode 201 are accumulated in the parasitic capacitance and the charge storage capacitance 208 of the photodiode 201. This corresponds to the start of exposure, and the exposure times E 11 and E in FIG. 12, corresponding to the start time of the E 13.
  • the time to turn OFF the reset transistor 207 By changing the time to turn OFF the reset transistor 207, it is possible to arbitrarily change the exposure start time, in the first repetition period in FIG. 2 (b), if OFF the reset transistor 207 at the start time of the exposure time E 11 well, in the second repetition period shown in FIG. 2 (b), it may be OFF reset transistor 207 in synchronization with the start of the exposure time E 12, the third repetition period of FIG. 2 (b), the exposure time E
  • the reset transistor 207 may be turned off in synchronism with the start of No. 13 .
  • this time is the time when the exposure ends. That is, it corresponds to the end time of the exposure times E 11 , E 12 , E 13 in FIG.
  • the time a from the start of exposure to the end of exposure may be set to 2 l / nc. That is, the time from when the reset transistor 207 is turned off to when the transfer transistor 206 is turned off may be 2 l / nc.
  • the start time and end time of the exposure times E 11 , E 12 , E 13 in the divided sections are determined by measuring the delay time with respect to the pulse emission.
  • a method using a clock circuit can be considered.
  • the exposure start time and the exposure end time can be determined by counting the number of clocks from the light pulse emission. Note that the method of synchronizing light emission and exposure is not limited to the above.
  • the first period and the second period are measured in the first period or the second period while the measurement conditions are different.
  • the distance may be measured in at least one of the period and the second period. That is, the control unit 103 sets a first measurement time range that is a time range corresponding to the first measurement distance range during the first period, and outputs the light to the light emitting unit 101 in the first measurement time range. Light is emitted, and the light receiving unit 102 is exposed. Furthermore, the control unit 103 sets a second measurement time range that is a time range corresponding to the second measurement distance range during the second period, and emits light to the light emitting unit 101 in the second measurement time range. And the light receiving unit 102 is exposed.
  • the control unit 103 makes at least one measurement condition different between the first period and the second period. Then, the distance calculation unit 105 is based on the time from when the light emitted from the light emitting unit 101 is emitted in at least one of the first period and the second period to the time when the light receiving unit 102 receives the reflected light. What is necessary is just to calculate the distance from the distance measuring device 10 to the measuring object 60.
  • the distance measuring device 10 may perform distance measurement a plurality of times, and may measure the distance by dividing the measurement section at one time.
  • An example of the distance measurement operation sequence in this case is shown in FIG.
  • FIG. 24 is a diagram illustrating an example of a distance measuring operation sequence of the distance measuring apparatus 10 according to the modification of the first embodiment. Since the same elements as those in FIG. 2 are given the same names, detailed description thereof is omitted.
  • the control unit 103 of the distance measurement apparatus 10 is a time range corresponding to the first measurement distance range during the first period.
  • a first measurement time range is set, and in the first measurement time range, emitted light is emitted from the light emitting unit 101, and the light receiving unit 102 is being exposed.
  • the control unit 103 sets the second measurement time range, which is a time range corresponding to the second measurement distance range, to K ′ (K ′: a natural number of 2 or more) intervals during the second period.
  • the portion may be exposed.
  • the distance calculation unit 105 is based on the time from the time when the light emitted from the light emitting unit 101 is emitted during at least one of the first period and the second period to the time when the light receiving unit 102 receives the reflected light.
  • the distance from the distance measuring device 10 to the measurement object 60 may be calculated.
  • the distance measurement device 10 according to the present embodiment differs from the distance measurement device 10 according to the first embodiment in the operation contents of the control unit 103 and the distance calculation unit 105.
  • the control unit 103 divides the first measurement time range into K sections (K: a natural number of 1 or more), the time for emitting light emitted from the light emitting unit 101, and the first measurement time range.
  • K a natural number of 1 or more
  • the light emitting unit 101 emits emitted light every first repetition period
  • the light receiving unit 102 is exposed in at least one of the K intervals for each first repetition period.
  • the control to be made inside is performed.
  • the control unit 103 performs the second measurement distance range in the second period. To change. Then, the light receiving unit 102 is controlled using the second measurement distance range. More specifically, in this case, the control unit 103 performs the second measurement time corresponding to the second measurement distance range including the region not included in the measurement distance range used in the first period in the second period. The light receiving unit 102 is controlled using the range.
  • control unit 103 confirms that the light receiving unit 102 receives reflected light and the measurement object 60 exists in the Lth section (L: natural number equal to or less than K) among the K sections.
  • the control unit 103 includes K ′ (K ′: K ′) second measurement time ranges that include the L period and are shorter than the first measurement time range used in the first period. 2), and the second repetition period including the time for emitting the light emitted from the light emitting unit 101 and the second measurement time range is repeated K ′ times, and the K ′ is repeated every second repetition period. Control is performed so that the light receiving unit 102 is exposed during at least one of the intervals.
  • the distance calculation unit 105 calculates the distance from the distance measuring device 10 to the measurement object 60 based on the time from the time when the light emitted from the light emitting unit 101 is emitted in the second period to the time when the light receiving unit 102 receives the light. What is necessary is just to calculate.
  • FIG. 3 is a diagram showing an example of a distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment. Elements similar to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 3A is similar to FIG. 2A of Embodiment 1 in that the distance measurement operation is performed under different measurement conditions in the first period and the second period.
  • the second period is different in that the measurement condition is determined according to the result of the distance measurement operation in the first period.
  • FIG. 3B shows a case where the measurement object 60 cannot be detected in the first period.
  • the other operations are the same as those described with reference to FIG. 2B, and a description thereof is omitted here.
  • An example in which a distance measurement operation is performed using a measurement distance range is shown. More specifically, in the second period, three repetition periods including three divided sections (section 31, section 32, section 33) when N is 3 and the time during which the light emitting unit 101 emits pulsed light are repeated three times. A repeated example is shown.
  • the light emitting unit 101 emits pulsed light (P 21 , P 22 , P 23 ) for each repetition period, and the light receiving unit 102 includes at least a divided section (section 31, section 32, section 33) for each repetition period. One section is being exposed.
  • the second measurement time range (the time of the sections 31 to 33) that does not include the first measurement time range (the time range of the sections 11 to 13) in which the ranging operation is performed in the first period. Range), but may include a measurement time range including the first measurement time range in which the distance measurement operation is performed in the first period.
  • the measurement time range of the second period may be arbitrarily determined.
  • the number of periods may be any number of times, not limited to the first period and the second period. In this case, a method of sequentially increasing the measurement distance range can be considered.
  • FIG. 4 is a diagram showing another example of the distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment. Elements similar to those in FIGS. 2 and 3 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 4B shows a case where the measurement object 60 is detected in the first period.
  • the other operations are the same as those described with reference to FIG. 2B, and a description thereof is omitted here.
  • the second period shown in FIG. 4C in the divided section (section 13) in which the measurement object 60 is detected in the first period shown in FIG. 4B, or in the vicinity of the divided section.
  • An example in which the distance measuring operation is performed using the limited second measurement time range is shown. More specifically, in the second period, a repetition period including three divided sections (section 41, section 42, section 43) when N is 3 and a time during which the light emitting unit 101 emits pulsed light is repeated three times. A repeated example is shown. Then, the light emitting unit 101 emits pulsed light (P 21, P 22, P 23) for each repetition period, the light receiving unit 102, at least of the divided sections each repetition period (section 41, section 42, section 43) An example of exposure during one section is shown.
  • the control unit 103 determines the second measurement time range according to the result of the distance measurement operation in the first period. Then, the control unit 103 divides the second measurement time range into a plurality of sections (divided sections), and performs a ranging operation for each divided section by repeating the repetition period a plurality of times.
  • the control unit 103 performs ranging in the second period.
  • the second measurement time range in which the operation is performed is matched with the divided section i in which the measurement object 60 is detected in the first period.
  • the method for dividing the first measurement time range and the second measurement time range is not limited to an equal interval, and is arbitrary.
  • the measurement time range may be narrowed sequentially with reference to the result of the previous period to improve the measurement resolution.
  • FIG. 5 is a diagram illustrating another example of the distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment. Elements similar to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the measurement time range is preferably the same as the section in which the measurement object is detected in the previous period, but a time range wider than the divided section may be selected.
  • the measurement time range does not necessarily need to be continuously narrowed.
  • a period for performing low-resolution period measurement with a wide measurement time range may be added between measurements with a narrow measurement time range. The advantage of this method is that even when an object suddenly enters outside the measurement time range of the distance measuring device 10, the distance of the measurement object can be measured by measurement with a wide measurement time range.
  • the exposure time width is less than or equal to the optical pulse width, and change the exposure start time by a step size smaller than the optical pulse width.
  • the distance from the object 60 to be measured is the exposure start time at which the intensity of the reflected light is maximized.
  • a circuit shown in FIG. 10 described later is preferably used.
  • the light receiving unit 102 when configured using an image sensor, a two-dimensional distance data group can be configured, and a distance image can be obtained.
  • a plurality of measurement objects (measurement objects 60) are detected by one distance measurement.
  • measurement under the same conditions as the measurement conditions in the first period May be performed.
  • humans and animals perform measurements with high distance resolution, but do not perform measurements on houses, walls, signs, etc. The limiting method is not limited to the above.
  • the light receiving unit 102 has a plurality of distance measuring devices arranged two-dimensionally and can output a distance image
  • the measurement results of the plurality of distance measuring devices are integrated to determine the number of incident photons. It is also possible to use a method of counting the sum, average, variance, etc. and determining that a photon has been detected when a significant difference from the background light is recognized. The measurement flow in this case will be described below with reference to the drawings.
  • 6A, 6B, and 6C are diagrams showing another example of the distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment.
  • FIG. 6A shows a case in which a distance measurement operation with a low measurement resolution is performed in the first period, and then a second period having a higher measurement resolution than the first period is performed n times.
  • the distance measurement device 10 performs a distance measurement operation with a low measurement resolution in the first period, and the objects 1, 2, 3,..., N are distances z1, z2, z3,. Assume that zn is calculated.
  • the distance measuring device 10 has a second measurement resolution higher than that of the first period for each of the objects 1, 2, 3,..., N at the distances z1, z2, z3,.
  • the ranging operation is performed in the ⁇ 1 period, the 2-1 period,..., The 2-nth frame.
  • the progress of the period is not limited to the case shown in FIG. 6A.
  • the distance measurement operation may be performed by alternately progressing a first period with a low measurement resolution and a second period with a high measurement resolution.
  • the ratio of the first period with a high measurement resolution and the second period with a low measurement resolution is set to 1: 1, and an arbitrary ratio such as 1: 2 is used.
  • the period may be advanced.
  • time for performing a plurality of second periods may be set in advance, such as repeatedly performing a second period with high measurement resolution. Needless to say, the progress of the period is not limited to these examples.
  • Embodiment 3 In the first and second embodiments, the case where the distance measuring device 10 and the measuring object 60 move such as movement is not mentioned. Therefore, in the present embodiment, the distance measuring device 10 or the measuring object 60 is moved. In the case of being present, the difference from Embodiments 1 and 2 will be mainly described.
  • the distance measurement device 10 according to the present embodiment differs from the distance measurement device 10 according to the first and second embodiments in the operation contents of the control unit 103 and the distance calculation unit 105.
  • the control unit 103 receives the reflected light and the measurement object 60 has an Nth section (N: K ′ (M) or less) among the K ′ (M) sections. Suppose that it exists in natural number).
  • the control unit 103 includes O (O) third measurement time ranges including the N period and equal to or less than the second measurement time range used in the second period. : A natural number greater than or equal to 2), and the third repetition period including the time for emitting the light emitted from the light emitting unit 101 and the third measurement time range is repeated O times, and the O number of times for each third repetition period Control is performed so that the light receiving unit 102 is exposed during at least one of the intervals.
  • the distance calculation unit 105 calculates the distance from the distance measuring device 10 to the measurement object 60 based on the time from the time when the light emitted from the light emitting unit 101 is emitted in the third period to the time when the light receiving unit 102 receives the light. What is necessary is just to calculate.
  • the distance calculation is performed.
  • the unit 105 may obtain a distance difference that is a difference between the distance calculated in the third period and the distance calculated in the second period. Then, the distance calculation unit 105 calculates the ratio between the obtained distance difference and the time from the start time of the Nth section in the second period to the start time of the Pth section in the third period. You may obtain
  • the start time of the Nth section and the start time of the Pth section are used, characteristic times of the Nth section and the Pth section may be used.
  • the end time of the Nth section and the Pth section It may be the end time of the section.
  • the control unit 103 adds the distance value obtained by multiplying the speed by the time from the start time of the third period to the start time of the fourth period to the start time of the fourth period to the distance calculated in the third period.
  • the distance range of the measurement object 60 in the fourth period can be predicted. Therefore, in the fourth period, the control unit 103 determines a fourth measurement time range that includes a measurement time range corresponding to the predicted distance range and is shorter than the third measurement time range.
  • the fourth repetition period including the time for emitting the light emitted from the light-emitting unit 101 and the fourth measurement time range is repeated a plurality of times, and at least one of the plurality of sections for each fourth repetition period. Control is performed so that the light receiving unit 102 is exposed during the interval.
  • FIG. 7 is a diagram showing an example of a distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment. Elements similar to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIG. 7A four distance measuring operations in the first period, the second period, the third period, and the fourth period are performed as one set. . 7B and 7C are the same as FIG. 4B and FIG. 4C, and thus the description thereof is omitted.
  • distance measurement is performed with a distance resolution equivalent to that of the second period or a distance resolution higher than that of the second period. Since the details of the operation are as described in FIG. 4C, description thereof is omitted here.
  • the distance to the measurement object 60 obtained by the control unit 103 in the second period is z1, and the distance to the measurement object 60 obtained in the third period is z2. Further, the time from the time when the measurement object 60 is detected in the second period to the time when the measurement object 60 is detected in the third period is denoted by ⁇ t1. In this case, the control unit 103 can calculate the speed v1 in the distance direction of the measurement object 60 using (Expression 6).
  • the control unit 103 may obtain the velocity v2 in the distance direction of the measurement object 60 from the third period to the fourth period. Using the time ⁇ t2 from the time when the measurement object 60 is detected in the period of time to the time when the measurement object 60 is detected in the fourth period and the speeds v1 and v2, the acceleration a 1 of the measurement object 60 is expressed by It may be calculated from 7).
  • the control unit 103 uses the velocity v1 of the measurement object 60 obtained in the third period shown in FIG.
  • the distance (position) of the measurement object 60 at is predicted, and a fourth measurement distance range including the predicted distance (position) is determined.
  • the distance measuring apparatus 10 can divide the fourth measurement distance range including the distance (position) where the measurement object 60 exists in the fourth period to increase the measurement resolution, thereby further improving the measurement accuracy. can do.
  • the distance z2 and speed v1 of the measurement object 60 obtained in the third period, and the time from the time representative of the third period to the time representative of the fourth period are denoted by ⁇ t2.
  • the control unit 103 can predict the position of the measurement object 60 existing in the fourth period using (Equation 8).
  • control unit 103 can perform the distance measurement operation only in the vicinity of the distance where the measurement object 60 is predicted to exist in the fourth period, and the measurement object with higher resolution and fewer measurement times.
  • the distance to the object 60 can be calculated.
  • an image sensor that is an element in which light receiving elements are arranged in a two-dimensional array is used in the light receiving unit 102, and if necessary, an optical system is mounted to measure two-dimensional distance data, that is, a distance image.
  • it can be used for recognizing people and animals.
  • the distance measuring device 10 is mounted on a vehicle running on a general road at a speed of 60 km / h to recognize a person or an animal, the following performance is required.
  • the measurement resolution requires about 0.1 m, which is half the thickness.
  • the distance range corresponding to one divided section is 0.1 m
  • the number of divided sections in the measurement time range is a distance variation. It is necessary to make it at least 6 or more so as to include 0.6 m / min. Since the stop distance of a 60 km / h car is about 35 m, in order to recognize a person and stop with a margin, it is necessary to capture a distance image about 100 m ahead of this three times.
  • the laser light source used for the light emitting unit 101 is considered to be equivalent to class 1, and the intensity is about 1 mW and the irradiation angle is 10 °.
  • the resolution of the image sensor in the horizontal and vertical directions is required to be about 0.1 m. Therefore, the focal length of the lens is designed to achieve this resolution, and the lens radius is set to about 1 cm.
  • the reflectance of the measurement object 60 is 0.1.
  • the wavelength of the light pulse emitted from the laser light source is 860 nm
  • the number of photons of the light pulse is about 4 ⁇ 10 15 per second, and the reflected light that is reflected back to the measuring object 60 returns approximately per second. It is calculated as 1 ⁇ 10 3 pieces.
  • the quantum efficiency of the image sensor is set to 60%, it takes about 2 ms to detect the return of one photon to the sensor. Therefore, if the measurement is performed 6 times, the measurement time of 12 ms is taken. Take it. Since the frame rate of a general moving image is approximately 30 fps, one frame needs to be 30 ms or less. In the conventional distance measuring operation described above, it is not possible to recognize three or more people and animals and output them as images. Is possible.
  • the measurement method of the present embodiment there is substantially no lower limit of the number of divided sections in each period, and the measurement object that is in motion can be assured with one measurement. It can also be captured.
  • the measurement time is a maximum of 1/6 times, so it is possible to capture about 10 measurement objects with high distance resolution. Therefore, for example, an effect can be expected in applications such as remote object recognition in in-vehicle applications.
  • a distance measuring device is arranged in a two-dimensional array in the light receiving unit 102, and if necessary, a two-dimensional image of distance measuring data can be measured by constructing an optical system using a lens or the like.
  • a distance measuring device having a simple configuration may be used.
  • a light receiving element that does not include an optical system is called an image sensor, and each element that can output a measurement result independently is called a pixel.
  • FIG. 12 is a diagram for explaining the relationship between the position between the image sensor 31 and the object 33 according to the present embodiment and the position at which the point P in the measurement object is imaged in the image sensor 31. .
  • Equation 9 can be used to predict the region in the image sensor where the measurement target appears in the next frame.
  • the area on the image sensor where the image recognition process is performed can be limited to the vicinity of the measurement target, and the time required for the image recognition process can be shortened.
  • the difference ( ⁇ x, ⁇ y) between the vertical and horizontal positions (x, y) of the measurement object 60 in the image is taken, and the difference ⁇ t between the two measurements, which is the difference between the two measurements.
  • the velocity (v x , v y ) ( ⁇ x / ⁇ t, ⁇ y / ⁇ t) of the measuring object 60 in the screen is obtained, so that the measuring object 60 is measured at the next distance measurement. May be predicted to determine an area on which image recognition processing is performed.
  • the speed of the distance measuring device 10 can be obtained by the speed measurement shown in the present embodiment.
  • Register a stationary object in advance in the camera system examples include, but are not limited to, walls, buildings, and road signs.
  • this velocity vst is the relative velocity between the stationary object and the distance measuring device 10, and the absolute velocity of the stationary object is 0 m / s. Therefore, as shown in (Equation 10), the relative velocity vst is The speed multiplied by ⁇ 1 is the moving speed V of the distance measuring device.
  • FIG. 13 is an example of a distance image measured by the distance measuring device 10.
  • FIG. 13 shows an object 41 that is, for example, a person, an object 42 that is, for example, a car, and an object 43 that is, for example, a sign.
  • the distance measuring device 10 including the image sensor 31 is a sign (object 43) that is stopped from the three measurement objects 60 shown in FIG. 12, that is, a person (object 41), a car (object 42), and a sign (object 43).
  • the speed of the distance measuring device 10 can be obtained from the relative speed.
  • the distance measuring device 10 when the distance measuring device 10 according to the present embodiment is used for in-vehicle applications, it is necessary to change the measurement conditions depending on the vehicle speed. For example, when the speed of the car is high, it is desired to measure the distance in the distance, but when the speed is low, it is desired to measure the distance only in the near distance. Therefore, the distance measurement device 10 itself recognizes its own speed, so that the distance measurement can be performed sequentially while feeding back the measurement result and changing the measurement conditions.
  • the speedometer Even if the camera system is operating normally with the speedometer, if the speedometer does not operate correctly, such as when slipping or idling, the speed determined by the distance measuring device 10 is provided to the speedometer. The correct vehicle speed can be displayed.
  • the distance measuring device 10 according to the present embodiment is different from the distance measuring device 10 according to the first embodiment in the operation content of the control unit 103.
  • the control unit 103 provides a second repetition period that is shorter than the first measurement time range and is the same as the time width of the section in which the measurement target 60 is detected among the K sections.
  • the light emitting unit 101 emits emitted light at the same cycle as the second repetition period, and the light receiving unit 102 is provided in one of the divided sections obtained by dividing the second repetition period into M (M: natural number of 2 or more) sections. Is controlled during exposure.
  • the lower limit of the time width of the repetition period is defined as a time that sufficiently attenuates the reflected light of a certain repetition period so that it is not erroneously detected in another repetition period. This regulation is not performed in the embodiment.
  • the control unit 103 causes the distance calculation unit 105 to measure (calculate) the distance of the measurement object 60 by performing AND processing on the results of the first period and the second period.
  • the distance is determined with the resolution represented by (Equation 4).
  • the distance resolution is also 1 / M.
  • the second period since it is assumed that light is emitted with a light emission period shorter than the decay time of the light pulse, the correspondence between the light emission pulse and the light reception pulse cannot be determined 1: 1, and an integer of the light emission period Td . It is necessary to consider periodic wrapping at double. That is, when pulse light is detected in the j-th section among the M sections, the distance data is represented by the following (Equation 11), where T d is the time width of the repetition period.
  • k is an unknown integer of 0 or more
  • kT d corresponds to the aliasing components. Since (Expression 4) can uniquely determine the distance with the resolution of T d , the unknown integer k in the result of (Expression 11) can be determined uniquely, and the position of the measurement target with the resolution T d / M. Can be determined.
  • a light emission and exposure driving method (ranging operation) in distance measurement of the distance measuring apparatus 10 according to the present embodiment configured as described above will be described.
  • FIG. 8 and 9 are diagrams showing an example of a distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment. Elements similar to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the other operations are the same as those described with reference to FIG. 2B, and a description thereof is omitted here.
  • the control unit 103 has the same period of time T d as the first divided section (section 12, section 13, section 14) of the first measurement time range.
  • the light emitting unit 101 emits a light pulse.
  • the control unit 103 performs control so that the light receiving unit 102 is being exposed in one section (second divided section) obtained by dividing the period into three.
  • FIG. 8C shows an example of driving for performing integration, and averaging in the figure corresponds to one integration. Of course, only one light pulse may be emitted for one section without performing integration. When integrating, the distance is calculated using the average value or the sum.
  • FIG. 8C shows an example in which reflected light returns to the second section in the second period.
  • the present driving method has an advantage that the distance data can be determined by performing the measurement in the second period without referring to the distance data in the first period and performing arithmetic processing in the subsequent stage. . Since it is unnecessary to determine whether or not the measurement target is detected and to perform recognition processing, the measurement time can be shortened.
  • the measurement time can be shortened by eliminating the time required for the recognition process.
  • the measurement method described in this embodiment has the following two advantages. 1. 1. Increase the efficiency of long distance measurement; This is high-precision measurement of a plurality of objects in distance image measurement.
  • an example will be described.
  • the efficiency improvement of long distance measurement will be described. That is, at the time of measurement at a distant place, the number of photons reflected and returned from the measurement object decreases, so that the number of integrations increases. Therefore, it is important to shorten the cycle of the light emission pulse and increase the number of integrations.
  • the probability that one photon caused by one light pulse returns to the light receiving unit and undergoes photoelectric conversion is less than 1/2000, so that an integration of about 2000 times is required at a minimum.
  • the time required for the light pulse to be reflected from the measurement object at a distance of 250 m and returning to the light receiving unit is approximately 1.6 ⁇ s, so the lower limit of the repetition time is defined as 1.6 ⁇ s, Even if the light pulse is emitted 2000 times, it takes 4 ms to measure in one section.
  • the step size of the measurement distance range is set to 10 m in the first period
  • the cycle of emitting the light pulse in the second period is Since it is approximately 0.06 ⁇ s at 1/25 times, even if the pulse light emission is performed 2000 times, it becomes 0.12 ms. This is a negligible time of 1/400 times the time of 30 ms for one frame in the case of a general frame rate of 30 fps for moving images.
  • the distance image here refers to a two-dimensional distance data group output from a distance measuring device arranged in a two-dimensional array and, if necessary, a measuring device system having an optical system such as a lens.
  • the timing for detecting reflected light at the corresponding pixel differs depending on the distance of each measurement object. Need to be implemented. However, in the present embodiment, different results corresponding to the distance to be measured can be obtained with the same exposure sequence for all pixels. This will be described with reference to FIG.
  • the sequence of emitted light, reflected light, and exposure is shown.
  • the emitted light is the same, and the exposure timing is the same for both pixel A and pixel B.
  • the pixel A detects light in the third interval
  • the pixel B detects light in the second interval
  • the pixel A detects light in the second interval
  • the pixel B detects light in the first interval. Is detected.
  • the first period and the second period may be performed in any order.
  • the third period, the fourth period,... May be added, and the operation for sequentially increasing the resolution may be performed.
  • the first exposure in the second period starts from the time when the first pulse light is expected to be surely returned. It is desirable to do.
  • the reflected light R 31 of the light pulse P 31 one-time one-shot eyes the exposure time E 31 is not returned, the exposure time E 31 Is a useless exposure and, out of the four integrations, the light should be detected four times, but only three times are detected, so the possibility of detection omission increases.
  • the first exposure start time in the second period is set to be after the start time of the last section of the first measurement time range in the first period, Detection omission can be prevented. That is, the first-th exposure of the second period may be started from the exposure time E 33.
  • the number of pulse emission times is larger than the number of exposure times, and thus there are disadvantages such as an increase in power consumption and a long measurement time.
  • pulse emission of 1000 times or more is necessary.
  • an increase in the number of pulse emission is equal to the number of section divisions of the first measurement. Since it is about 10 times at most, it is only an increase of 1%.
  • the distance measuring device 10 according to the present embodiment is different in the operation content of the control unit 103 from the distance measuring device 10 according to the first to fourth embodiments.
  • the following description will focus on the differences from Embodiments 1 to 4.
  • control unit 103 divides the measurement time range into K sections (K: a natural number of 1 or more) in the first period and the second period, and the time for emitting the light emitted from the light emitting unit 101
  • K a natural number of 1 or more
  • control unit 103 causes the light emitting unit 101 to emit emitted light with a narrow pulse width that is shorter than half of the interval for each start time of the repetition period, and K intervals for each repetition period. Control is performed so that the light receiving unit 102 is exposed during at least one section.
  • the control unit 103 causes the light emitting unit 101 to emit emitted light with a wide pulse width that is half the time of each of the K intervals of the repetition period. Then, in each of the K sections of the repetition period, the control unit 103 performs first exposure period control that causes the light receiving unit 102 to be exposed during the first time that is a half time of the section for each start time of the section. And a second exposure period control in which the light receiving unit 102 is exposed during the first time from the time when the first time has elapsed from the start time of the section.
  • the first exposure period corresponds to the following A exposure period
  • the second exposure period corresponds to the following B exposure period.
  • FIG. 10 is a diagram showing an example of a distance measuring operation sequence of the distance measuring apparatus 10 according to the present embodiment. Elements similar to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the distance of the measuring object 60 is measured using the same distance measuring method as in FIG. 2A of the first embodiment. Since it is the same as (a) in FIG. 2 except that the reflected light returns in the section 12 and there is no waiting time between the repetition periods, detailed description thereof is omitted here. . Note that there may be a waiting time between the repetition periods in the first period.
  • the light emitting unit 101 alternately repeats light emission and quenching with the same time width (first time), and the light receiving unit 102 performs light emission and quenching of the light emitting unit 101, respectively.
  • Light reception is performed in two different exposure sequences that are synchronized.
  • the control unit 103 calculates the distance between the measurement object 60 and the distance measuring device 10 from the ratio of the intensity of the reflected light obtained in each of these exposure sequences.
  • the control unit 103 controls the light receiving unit 102 to perform A exposure (first exposure sequence) performed in synchronization with light emission of the light emitting unit 101 and B exposure (second exposure sequence) performed in synchronization with extinction.
  • control unit 103 stores the light intensity SA of the reflected light detected by the light receiving unit 102 during the A exposure and the light intensity SB of the reflected light detected by the light receiving unit 102 during the B exposure, respectively, in a memory (not shown). .
  • the A exposure and the B exposure may be performed using different pixels or the same pixel.
  • the distance to the measurement object 60 is z 4
  • the time when the reflected light returns to the distance measuring device 10 is ⁇ from the light emission
  • the time ⁇ (2z 4 / c) ⁇ first time when the reflected light returns first.
  • T0 the time width of the reflected light received during the A exposure period
  • T0 ⁇ the time width of the reflected light received during the B exposure period
  • T0 ⁇ (T0 ⁇ ) ⁇ .
  • the ratio (intensity ratio) between the light intensity SA of the reflected light detected by the light receiving unit 102 and the light intensity SB of the reflected light detected by the light receiving unit 102 during B exposure can be expressed by (Equation 12).
  • the distance of the measuring object 60 and the distance measuring apparatus 10 can be represented by (Formula 13).
  • the distance measuring device can be obtained by using the signal intensity ratio (SA ⁇ SB) / (SA + SB) of the reflected light.
  • SA ⁇ SB signal intensity ratio
  • SA + SB signal intensity ratio
  • the distance from 10 to the measurement object 60 can be obtained as a continuous value.
  • Such a second period is advantageous over the first period in which the distance can be obtained only with the resolution determined by the time width of the divided section.
  • n in ⁇ + 2nT0 can be determined.
  • the distance to be measured can be obtained as a continuous value in two measurements.
  • the result of the first period and the result of the second period are AND-processed (AND operation process) without feeding back the result of the first period.
  • the distance from the measuring device 10 to the measuring object 60 can be uniquely determined.
  • the recognition processing takes about several milliseconds, which may be rate-limiting to the frame rate.
  • the measurement time can be shortened because there is no recognition processing.
  • the measurement of the second period may be performed by feeding back the result of the first period.
  • it is not necessary to repeat light pulse emission and quenching as shown in FIG. A exposure in which exposure is performed for T0 from the start time of the divided section in which reflected light is detected in the first period and B exposure in which exposure is performed for T0 from the end of A exposure may be performed only once.
  • the number of exposures can be reduced, and generation of pulse noise and thermal noise due to background light can be prevented, so that erroneous detection of reflected light can be prevented.
  • an avalanche photodiode may be used for the light receiving unit 102.
  • the Geiger mode in which a voltage higher than the breakdown voltage is applied, it is possible to multiply the optical signal from a single photon to a saturation value, and the sensitivity of the light receiving unit 102 is increased to a single photon. It can be increased to a detectable level.
  • the Geiger mode is suitable for use in detecting the presence or absence of light because the photodiode is easily saturated and noise is also amplified, but is not suitable for use in obtaining the absolute value of the amount of light.
  • the normal mode in which a voltage equal to or lower than the breakdown voltage is applied, it can be used as a normal photodiode and can also be used for obtaining an absolute value of signal intensity.
  • the measurement since it is only necessary to determine whether or not light returns during the exposure period in the first period, measurement may be performed in the Geiger mode. As a result, remote measurement with a small amount of light returning can be performed with a small number of integrations.
  • the measurement in the second period, the measurement may be performed in the normal mode.
  • the APD can switch the light detection characteristic only by changing the applied voltage, a driving method suitable for each measurement method in the first period and the second period can be realized by a single device. The distance of the measurement object 60 can be obtained as a continuous value while detecting low-intensity light with high sensitivity.
  • Patent Document 2 may be used as the pixel circuit in this case.
  • this circuit is only used for measurement similar to the measurement in the second period, but by using this circuit, the measurement in the first period can be efficiently performed. Will be able to.
  • FIG. 22 shows a pixel circuit configuration and an exposure sequence.
  • the pixel circuit has two floating diffusion regions (FD1, FD2).
  • the SA signal values shown in (Expression 12), (Expression 13), and (Expression 9) are stored in one (for example, FD1)
  • the SB signal value is stored in the other (for example, FD2).
  • the distance values of (Expression 13) and (Expression 9) can be measured by taking the sum and difference at the subsequent stage.
  • the first period as shown in FIG. 22 (b), it is possible to measure two different divided sections during the same repetition period by making the exposure timing different between FD1 and FD2. Furthermore, if signal difference processing is performed in the subsequent stage, it is possible to easily determine which stray diffusion capacitor has been charged by simply looking at the sign of the signal. For example, if a process for calculating the signal amount of FD1 ⁇ the signal amount of FD2 is provided in the subsequent stage, if the sign of the signal is positive, it can be understood that the reflected light has returned to the section where exposure has been performed with FD1, and the signal If the sign is negative, it can be seen that the reflected light has returned to the section where exposure has been performed with FD1. By using this method, the number of pulse emission can be reduced to half, and the measurement time in the first period is halved.
  • the distance measuring apparatus 10 includes a pixel circuit that can acquire distance data in the first period and can acquire luminance data in the second period. That is, the pixel circuit of this embodiment includes both a distance measurement circuit that acquires distance data and a luminance measurement circuit that acquires luminance data.
  • An example of the pixel circuit of the present embodiment has a configuration as shown in FIG. 11, and both distance image data and luminance image data can be measured with the same circuit configuration. It is also possible to perform distance measurement and luminance measurement simultaneously.
  • FIG. 11 is a diagram illustrating an example of a circuit configuration of the pixel circuit according to the present embodiment.
  • the pixel circuit of this embodiment includes a light receiving circuit 201, a counter circuit 202, a comparison circuit 203, a storage circuit 204, a light receiving element 205, a transfer transistor 206, a reset transistor 207, a charge storage capacitor 208, and a counter.
  • 230 is an output permission signal.
  • the configuration is the same as a pixel circuit of a normal image sensor.
  • the reset transistor 207 from the ON first, then turn ON the transfer gate voltage, after resetting the light-receiving element 205, and OFF the reset transistor 207, between t a, Doing receiving, transfer transistor 206 charges corresponding to it The charge is stored in the charge storage capacitor 208. After t a seconds, when the transfer transistor 206 is turned off and the luminance image selection transistor 220 is turned on, the output voltage from the luminance image amplification transistor 219 is read to obtain a signal. At this time, it is desirable to provide a CDS circuit in the subsequent stage and remove the offset voltage to obtain a luminance signal. In such a circuit configuration, both distance and luminance can be obtained with a single circuit configuration.
  • a two-dimensional image of distance measurement data is constructed by constructing an optical system using an image sensor in which distance measuring devices are arranged in a two-dimensional array in the light receiving unit 102 and, if necessary, a lens or the like. You may use the solid-state imaging device made into the structure which can measure.
  • the distance data output by a plurality of pixels is processed, arranged in a two-dimensional form, the distance image output by imaging, and the luminance data output by a plurality of pixels are processed, and arranged in a two-dimensional form. Then, an image such as a luminance image output as an image can be obtained.
  • the type of image data to be acquired is not limited to the distance and the luminance.
  • a method of providing a filter that blocks or transmits light of a specific frequency on the front surface of the light receiving unit 102 is also available.
  • frequency information may be obtained.
  • the order of acquisition of the luminance image and the distance image does not limit the scope of the right of the present application.
  • the method of alternately repeating the luminance image measurement and the distance image measurement for example, the first in the first embodiment Luminance measurement is performed before or after the distance measurement is performed, or after the distance measurement of the period, the luminance measurement is performed, then the second period measurement is performed, and then the luminance measurement is performed. Possible ways to do this.
  • the ratio of the number of times of distance measurement and luminance measurement may be set at an arbitrary ratio.
  • the measurement object 60 can be recognized by a method such as recognition processing of a distance image and a luminance image at a later stage.
  • the efficiency of the recognition process can be improved by combining the distance image and the luminance image.
  • the distance measuring apparatus 10 according to the present embodiment first performs recognition processing on the distance image to narrow down the boundary of the measurement object 60.
  • the distance measurement apparatus 10 according to the present embodiment performs the recognition process of the luminance image, but performs the recognition process again in an area corresponding to the inside of the boundary of the measurement object 60 narrowed down by the distance image.
  • the distance measuring device 10 of the present embodiment can perform image recognition more efficiently.
  • recognition processing can be performed complementarily with the distance image and the luminance image.
  • the distance difference is less than or equal to the resolution of the distance measurement device
  • the shape of each of the two measurement objects 60 cannot be recognized separately in the distance image. Examples are the boundaries between people and the ground, and animals that are near walls.
  • the difference in reflectance between the two measurement objects 60 can be identified using the luminance image as in this embodiment, and the two measurement objects 60 can be recognized separately.
  • the two measurement objects 60 can be recognized separately.
  • an image sensor and, if necessary, an optical system such as a lens are used for the light receiving unit 102, and a solid-state imaging device that can measure a two-dimensional image of distance measurement data is used. It is also possible to obtain a distance image in which distance data is two-dimensionally arranged and a luminance image in which luminance data is two-dimensionally arranged. Moreover, it is good also as a structure which can recognize the measuring object 60 by methods, such as recognition processing of a distance image and a brightness
  • the exposure timing is set the same for all pixels, but exposure is performed at different timings for each pixel. May be.
  • Example 1 14A and 14B are schematic diagrams for explaining the exposure sequence of the distance measuring apparatus 10 according to the present embodiment.
  • FIG. 14A is a schematic diagram illustrating an example of an image including the measurement target 60 imaged by the distance measuring device 10, and shows an object 41 at a distance z1, an object 42 at a distance z2, and an object 43 at a distance z3. Has been.
  • FIG. 14A (b) and FIG. 14B (c) show driving when distance measurement is performed with the measurement range limited to 43.
  • the measurement target objects 41, 42, and 43 exist at different positions in the distance image.
  • a distance measurement device that detects the measurement target object 41 is called a pixel 1
  • an exposure sequence is Exposure 1
  • the measurement target object A distance measuring device that detects 42 is referred to as pixel 2
  • the exposure sequence is called Exposure 2
  • a distance measuring device that detects the object 43 to be measured is called pixel 3
  • the exposure sequence is shown as Exposure 3.
  • FIG. 14B (c) as described in FIG. 4C of the second embodiment and FIGS. 6A to 6C, the operation of performing distance measurement by limiting the measurement range in the vicinity of the detected measurement object is performed.
  • the measurement is repeated for all the objects 41, 42, and 43 that are measurement objects.
  • the pixel 2 that detected the object 42 to be measured in the first period is exposed during exposure, and within the first measurement time range,
  • the pixel 3 having detected 43 is caused to be exposed.
  • the light receiving unit 102 has a plurality of two-dimensionally arranged pixels that can receive light, and the light receiving unit 102 is divided into a plurality of regions. Has been.
  • each pixel belongs to one of a plurality of regions.
  • the control unit 103 divides the first measurement time range into K sections (K: a natural number of 1 or more) (first division period), the time for emitting the light emitted from the light emitting unit 101, and The repetition period including the first measurement time range is repeated K times (first repetition period).
  • the control unit 103 causes the light emitting unit 101 to emit emitted light at each start time of the repetition period, and includes all of the plurality of areas in the area in each of the K sections of the repetition period. Control is performed to cause all pixels to be exposed during exposure.
  • the second measurement time range is divided into L sections (L: a natural number equal to or greater than 1), and the repetition period including the time for emitting the light emitted from the light emitting unit 101 and the measurement time range is repeated L times.
  • the control unit 103 performs control to cause the light emitting unit 101 to emit emitted light at each start time of the repetition period and to perform exposure of one of the plurality of regions in each of the L sections of the repetition period.
  • the control unit 103 performs control for causing each of the plurality of regions to be different during exposure in the different second divided section.
  • the control unit 103 performs control to cause a different area for each of the plurality of areas to be performed during exposure in different sections of the K sections of the repetition period.
  • the control unit 103 has a plurality of objects 41, 42, and 43, which are measurement objects, by the light receiving unit 102 receiving a plurality of reflected lights, and among the K sections. Suppose that it is confirmed that it exists in a different section. In this case, the control unit 103 sets different measurement distance ranges for each of the plurality of regions in the second period, and sets the second measurement time range to K ′ sections according to the set different measurement distance ranges. What is necessary is just to divide. Thereby, it is possible to determine the measurement range for each of the plurality of pixels (regions) and measure the distance.
  • FIGS. 15, 16, and 17 ⁇ / b> A are diagrams illustrating an example of an image sensor included in the light receiving unit 102 according to the present embodiment.
  • FIG. 17B is a diagram illustrating an example of a control circuit of the image sensor in FIG. 17A.
  • the pixel array 102a of the image sensor is divided into small areas of vertical N rows and horizontal M columns (N and M are natural numbers).
  • Each of the small partition areas includes one or a plurality of pixels.
  • a corresponding exposure gate driver is provided in each row and column of the small partition area and operates independently.
  • N row pulse power sources for exposure and M column pulse power sources are connected to correspond to each of vertical N rows and horizontal M columns in the small partition area so that they can be operated independently.
  • the row pulse power supply is turned on, the row selection transistor 1301 is turned on.
  • the column pulse power supply is turned on, the column selection transistor 1302 is turned on, so that both the row selection transistor 1301 and the column selection transistor 1302 are turned on. Only, the power supply voltage 1303 is applied to the pixel circuit via the row selection transistor 1301 and the column selection transistor 1302.
  • the circuit of the pixel included in the small region for example, the configurations shown in FIGS. 20 and 11 are conceivable.
  • the pixel circuit to be exposed can be determined by the method of FIG. 15, and the exposure is independently performed for each of the small regions of the image sensor.
  • the division method is divided into two sections of the central portion and the outer peripheral portion of the pixel array 102b, concentric division, and the like. It doesn't matter. Of course, exposure may be performed independently for all pixels. Moreover, the measurement conditions may be changed for each of the divided small regions. For example, in the case of FIG. 16, the exposure time width is increased so that the measurement distance range is wide and the measurement is performed at a low resolution so that the intrusion of the object (measurement object 60) from the outside of the screen can be quickly caught at the outer peripheral portion. In the central portion, the exposure time width may be narrowed so that the measurement object 60 in the screen is measured with a high resolution.
  • the light receiving unit 102 may alternately arrange pixels connected to two or more different exposure power sources.
  • a distance image in the same imaging range as that of the original image can be output using only the pixel A or only the pixel B.
  • the final image may be output after the distance images obtained by the pixels A and B are combined.
  • the control circuit for controlling the pixel array 102c shown in FIG. 17A is configured as shown in FIG. 17B, for example.
  • the pulse power supply A when the pulse power supply A is turned on, the transistor connected only to the pixel circuit A is turned on, the power supply voltage 1701 is applied only to the pixel A, and only the pixel A is exposed.
  • the pulse power supply B when the pulse power supply B is turned on, the transistor connected to the pixel circuit B is turned on, the power supply voltage 1701 is applied only to the pixel B, and only the pixel B is exposed.
  • the pixel array 102c shown in FIG. 17A has two power supplies and the number of transistors may be one pixel. is there. Further, in the pixel array 102a shown in FIG. 15, it is necessary to select the exposure timing of each pixel region depending on the position of the measurement object 60 in the screen, but it is not necessary to select in the method of FIG. 17A.
  • the exposure of the section 11 is performed by the pixel A in the first repetition period shown in FIG. 14A (b).
  • the measurement of two divided sections can be performed during one repetition period, and the measurement time can be halved.
  • the measurement time can be reduced to one time the number of exposure power supplies.
  • the pixels A connected to the exposure power source A and the pixels B connected to the exposure power source B are arranged in a checkered pattern, but the arrangement type is not limited to this.
  • three exposure power supplies may be prepared, and the pixel A connected to the exposure power supply A, the pixel B connected to the exposure power supply B, and the pixel C connected to the exposure power supply C may be alternately repeated.
  • the number of repetitions may be increased by further increasing the power supply for exposure.
  • the repeating pattern is an array that repeats pixel A, pixel B,... For each row, an array that repeats pixel A, pixel B,. Any number of exposure power supplies may be used in any arrangement.
  • an element for controlling an externally exposed region may be introduced.
  • the light receiving unit 102 may include a shutter mechanism that can control transmission and blocking of reflected light in front of the light receiving element. More specifically, the distance measuring device 10 includes a shutter mechanism as the light receiving unit 102, and the shutter is in an open state in which light can be transmitted and closed in which light can be blocked by any method such as mechanical or electrical. The state can be switched.
  • FIG. 18 is a diagram illustrating an example of the image sensor 102d and the shutter array 102e included in the light receiving unit 102 according to the present embodiment.
  • a shutter array 102e that can be freely opened and closed partially is introduced on the upper surface of the image sensor 102d.
  • the regions that can be opened and closed independently of the shutter array 102 e are arranged in an array, and the shutter open state and the closed state can be independently controlled for each pixel of the image sensor.
  • the shutter arrangement method in which the control of the open state and the closed state is independent is not limited to the above array arrangement, and a free arrangement may be used. For example, an array that can be controlled independently for each row, an array that can be controlled independently for each row, and the like can be given.
  • the shutter array 102e requires a high speed operation of about 10 ns to 1 ⁇ s, it is desirable to drive electronically, and a liquid crystal shutter is an example.
  • a liquid crystal shutter is an example.
  • the type of shutter to be used is not limited, and other examples include a mechanical shutter that physically moves the light shield.
  • an area in which the open state and the closed state of the shutter can be independently controlled is two-dimensionally arranged corresponding to one pixel or a plurality of pixels of the image sensor 102d.
  • the liquid crystal shutter for example, if the liquid crystal body transmits light only when a voltage is applied, the shutter is opened when the voltage is applied.
  • FIGS. 23A and 23B show cases where there are objects 41, 42, and 43 to be measured at distances z1, z2, and z3.
  • the time from the emission to the return of the reflected light is ⁇ 1, ⁇ 2.
  • ⁇ 3 ( ⁇ i 2zi / c).
  • a pixel that detects the measurement target object 41 is referred to as a pixel 1
  • a pixel that detects the measurement target object 42 is a pixel 2
  • a pixel that detects the measurement target object 43 is a pixel 3.
  • the reflected timing of reflected light from the object 41 as the object target is Reflected light1
  • the reflected timing of the reflected light from the object 42 as the object is Reflected light2
  • the reflected light from the object 43 as the object is returned.
  • Timing is Reflected light 3
  • Exposure timing of pixel 1 is Exposure 1
  • Exposure timing of pixel 2 is Exposure 2
  • Exposure timing of pixel 3 is Exposure 3
  • Shutter opening / closing of the entire pixel 1 is Shutter 1
  • Opening / closing shutter of the entire pixel 2 is Shutter 2
  • Pixel 3 Shutter 3 indicates the opening and closing of the shutter on the entire surface.
  • the control unit 103 of this embodiment always opens the entire area of the shutter array 102e. Since the image sensor 102d performs the same exposure as in FIG. 2B, details are omitted.
  • the second period only the shutter i is opened during the period including the time ⁇ i, and the shutter is closed during the other periods.
  • the first section of the L divided sections is exposed, that is, the sections 21, 24, and 27 in FIG. 23B are being exposed.
  • the second section is exposed in the L divided sections, that is, the sections 22, 25, and 28 in FIG. 23B are being exposed.
  • the third section is exposed in the L divided sections, that is, the sections 23, 26, and 29 in FIG. 23B are being exposed. This operation is repeated L times so that all the sections are exposed at least once.
  • the reflected light can be detected only when the shutter is in the open state and the pixel is being exposed, so even if multiple exposures are performed during the second repetition period, the light detection is possible.
  • the timing can be determined uniquely.
  • the exposure timing is controlled, but a method of controlling the reading range is also conceivable.
  • an image sensor may be used for the light receiving unit 102, a distance image may be measured in the first period, a measurement target may be recognized, and only the vicinity of the recognized measurement target may be read in the second period. Good.
  • a third period, a fourth period,... May be added by repeating the period of reading only the vicinity of the recognized measurement object a plurality of times, and the measurement object can be recognized. Alternatively, only a predetermined area may be read out.
  • FIG. 19 is an example of an image sequence when an image is output using the above-described method for controlling the readout range.
  • the entire screen is read during the first period. Thereafter, only a part of the area in the screen is read out in the second period, the third period,..., The Nth period (N: an integer of 2 or more).
  • N an integer of 2 or more.
  • the method of determining the reading area may be arbitrarily determined by the user or may be defined by an algorithm, and in this case, image recognition processing or the like may be included.
  • Limiting the signal readout area can reduce the time required for signal readout and image output. Thereby, for example, the motion of the measurement object can be captured at a high frame rate.
  • an effect can be expected by combining with the method of measuring distance while predicting the next image described in the third embodiment.
  • the target distance is predicted in advance, but at this time, a result different from the predicted result may be obtained.
  • a result different from the predicted result may be obtained.
  • a sudden intrusion of a person or an animal into the screen can be detected at high speed, and can be used, for example, as an accident prevention measure for in-vehicle use.
  • the measurement condition of the distance measurement operation has been described as being changed for each frame period, but is not limited thereto.
  • the measurement conditions such as the conditions of the light source parameters of the light emitting unit may be changed for each divided section of the measurement distance time range, that is, for each divided distance section of the measurement distance range.
  • the distance measurement device may divide the measurement distance range starting from the distance measurement device into divided distance sections that are a plurality of sections having different distance ranges. Then, according to the distance range of the divided distance section, the distance measuring device calculates the product of the light emission intensity, the number of times of light emission, and the pulse width, which are light source parameters of the light emitting unit, as the square of the maximum measured distance of the divided distance section.
  • the light source parameter may be varied so that the light emitting unit emits light at least once for each divided distance section so that the distance measuring operation is performed for each divided distance section.
  • the measurement distance range set by the user is divided into one or more sections (division distance sections), and the distance measurement operation according to the divided division distance sections (corresponding to the measurement distances) I do.
  • the number of divisions and the division width may be determined each time by the user, or may be set in advance.
  • FIG. 25 is a diagram for explaining the division distance section of the measurement distance range and the variation of the light source parameter for each division distance section.
  • the measurement distance ranges are range 1 corresponding to the measurement distance of 0 to 2, range 2 corresponding to the measurement distance 2 to 4, and range ⁇ 3 corresponding to the measurement distance of 4 to 8. The case where it divides
  • the number K of divided distance sections can be freely set among natural numbers.
  • the width of the division distance section may be equal, or may be proportional to the measurement distance corresponding to the division distance section as shown in FIG. Further, the width of the divided distance section corresponding to the measurement distance that the user particularly pays attention to may be fine, or the measurement distance and the divided distance section width may be determined according to a preset table.
  • a dashed-dotted line curve P shown in FIG. 25 indicates a condition (measurement condition) that the product P of the light emission intensity I, the number of times of light emission N, and the pulse width W, which is the light source parameter of the light emitting unit in each divided distance section. ing.
  • the control circuit 103A controls the laser light source of the light emitting unit under measurement conditions according to this curve in each divided distance section.
  • the product P of the light emission intensity I, the light emission frequency N, and the pulse width W, which are light source parameters of the light emitting unit is controlled so as to be proportional to the square of the maximum measurement distance in each divided distance section. It is shown.
  • the proportionality constant is A (A is a positive number)
  • the value of the product P may be set to a value larger than the value obtained by multiplying the square of the maximum measurement distance of each divided distance section by the proportionality constant A.
  • Two measurement conditions may be different.
  • the emission intensity of the light pulse, the number of times of light emission, and the number of light pulses in the farther measurement distance range of the midpoint positions of the first measurement distance range and the second measurement distance range are smaller than those in the closer measurement distance range. What is necessary is just to set so that the value of the product of an optical pulse width may become large.
  • the present invention can be realized not only as a distance measuring device having the above-described characteristic configuration, but also as a distance measuring method of the distance measuring device.
  • the present disclosure can be used for a distance measuring device, and in particular, can be applied to automobile equipment for collision prevention or automatic driving, a distance measuring device, or a device using the measuring method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

距離測定装置(10)は、制御部(103)と距離算出部(105)とを備える。制御部(103)は、第1の期間中において、第1の測定距離範囲に対応する時間範囲である第1の測定時間範囲を設定し、第1の測定時間範囲において、発光部(101)に出射光を発せさせ、受光部(102)を露光中にし、さらに、第2の期間中において、第2の測定距離範囲に対応する時間範囲である第2の測定時間範囲を設定し、第2の測定時間範囲において、発光部(101)に出射光を発せさせ、受光部(102)を露光中にする。ここで、第1の期間と第2の期間は、少なくとも一つの測定条件が異なっており、距離算出部(105)は、第1の期間または第2の期間の少なくとも一方の期間における発光部(101)の出射光を発する時刻から受光部(102)が反射光を受光した時刻までの時間に基づいて、距離測定装置(10)から測定対象物(60)までの距離を算出する。

Description

距離測定装置
 本開示は、距離測定装置に関する。
 距離測定装置から測定対象の物体(以下、測定対象物)までの距離測定方法として、光を距離測定装置付近から測定対象物に向けて照射されてから、物体により反射し距離測定装置に帰還するまでの時間を測定するTOF(Time Of Flight)法がある。TOF法は、複眼方式などの他の距離測定方法と比較すれば、距離測定装置の他に光源が必要になる点が短所である一方、光源を強くすれば、遠方にある物体の距離測定を高分解能で行うことができる点が長所である。
特開2001-337166号公報 国際公開第2010/013779号
 しかしながら、TOF法では、測定範囲を遠方に設定すると、それに伴って、測定時間が長くなるという課題がある。
 より具体的には、TOF法では、測定対象物に光パルスを発光し、測定対象物からの反射光を、発光タイミングに同期した複数遅延量の露光タイミングで露光し、各露光での出力に基づいて対象物までの距離を算出する。そのため、測定対象物が遠方にあるほど、強い強度の光パルスを必要とするため、発光と露光とのペアのズレを防止するための待ち時間が長くなり、一組の発光と露光とに必要な時間が長くなる。また、測定対象物が遠方にある場合、高い距離分解能で距離測定を行うために、発光と露光のペアを数多く実行する必要があり、測定時間が長くなる。
 本開示は、上記のような事情を鑑みてなされたものであり、その主な目的は、効率的に距離測定をすることができる距離測定装置を提供することにある。
 上記目的を達成するために、本開示の一形態に係る距離測定装置は、出射光を発する発光部と、前記出射光が測定対象物で反射した反射光を露光中に受光可能な受光部と、前記発光部および前記受光部の制御を行う制御部と、前記発光部が出射光を発してから前記受光部が反射光を受光するまでの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する距離算出部と、算出された前記距離を出力する出力部とを備え、前記制御部は、第1の期間中において、第1の測定距離範囲に対応する時間範囲である第1の測定時間範囲を設定し、前記第1の測定時間範囲において、前記発光部に出射光を発せさせ、前記受光部を露光中にし、さらに前記制御部は、第2の期間中において、第2の測定距離範囲に対応する時間範囲である第2の測定時間範囲を設定し、前記第2の測定時間範囲において、前記発光部に出射光を発せさせ、前記受光部を露光中にし、前記第1の期間と前記第2の期間では、少なくとも一つの測定条件が異なっており、前記距離算出部は、前記第1の期間または前記第2の期間の少なくとも一方の期間における前記発光部の出射光を発する時刻から前記受光部が前記反射光を受光した時刻までの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する。
 また、上記目的を達成するために、本開示の一形態に係る距離測定装置は、出射光を発する発光部と、前記出射光が測定対象物で反射した反射光を露光中に受光可能な受光部と、前記発光部および前記受光部の制御を行う制御部と、発光部の出射光を発してから前記受光部が反射光を受光するまでの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する距離算出部と、算出された前記距離を出力する出力部とを備え、前記制御部は、第1の期間中において、第1の測定距離範囲に対応する時間範囲である第1の測定時間範囲を設定し、前記第1の測定時間範囲において、前記発光部から出射光を発せさせ、前記受光部を露光中にさせ、さらに、前記制御部は、第2の期間中において、第2の測定距離範囲に対応する時間範囲である第2の測定時間範囲をK’個(K’:2以上の自然数)の区間に分割し、前記発光部の出射光を発する時間および前記第2の測定時間範囲を含む繰り返し期間を繰り返し、かつ、少なくとも一つの前記繰り返し期間において、前記K’個の区間の少なくとも一の区間に前記受光部を露光状態とし、前記距離算出部は、前記第1の期間または前記第2の期間の少なくとも一方の期間における前記発光部の出射光を発する時刻から前記受光部が前記反射光を受光した時刻までの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本明細書において開示される発明によって得られる主な効果を簡単に説明すれば、以下の通りである。即ち、本開示によれば、効率的な距離測定が可能な距離測定装置を実現することができる。
図1は、実施の形態1に係る距離測定装置の機能構成の一例を示すブロック図である。 図2は、実施の形態1に係る距離測定装置の測定シーケンスの一例を示す図である。 図3は、実施の形態2に係る距離測定装置の測定シーケンスの一例を示す図である。 図4は、実施の形態2に係る距離測定装置の測定シーケンスの別の一例を示す図である。 図5は、実施の形態2に係る距離測定装置の測距動作シーケンスの別の一例を示す図である。 図6Aは、実施の形態2に係る距離測定装置の測距動作シーケンスの別の一例を示す図である。 図6Bは、実施の形態2に係る距離測定装置の測距動作シーケンスの別の一例を示す図である。 図6Cは、実施の形態2に係る距離測定装置の測距動作シーケンスの別の一例を示す図である。 図7は、実施の形態3に係る距離測定装置の測距動作シーケンス一例を示す図である。 図8は、実施の形態4に係る距離測定装置の測距動作シーケンスの一例を示す図である。 図9は、実施の形態4に係る距離測定装置の測距動作シーケンスの一例を示す図である。 図10は、実施の形態5に係る距離測定装置の測距動作シーケンスの一例を示す図である。 図11は、実施の形態6の実施例1に係る画素回路の回路構成の一例を示す図である。 図12は、実施の形態6の実施例2に係るイメージセンサと対象物との距離とイメージセンサ内の像との関係を説明するための図である。 図13は、実施の形態6の実施例2に係る距離測定装置が測定する距離画像の一例である。 図14Aは、実施の形態6の実施例3に係る距離測定装置の露光シーケンスを説明するための模式図である。 図14Bは、実施の形態6の実施例3に係る距離測定装置の露光シーケンスを説明するための模式図である。 図15は、実施の形態6の実施例3に係る受光部の構成するイメージセンサの一例を示す図である。 図16は、実施の形態6の実施例3に係る受光部の構成するイメージセンサの一例を示す図である。 図17Aは、実施の形態6の実施例3に係る受光部の構成するイメージセンサの一例を示す図である。 図17Bは、図16のイメージセンサの制御回路の一例を示す図である。 図18は、実施の形態6の実施例3に係る受光部の構成するイメージセンサの別の一例を示す図である。 図19は、実施の形態6の実施例3に係る読み出し時刻を制御する場合の一例を説明するための図である。 図20は、実施の形態1に係る画素回路の回路構成の一例を示す図である。 図21は、実施の形態4に係る全画素同一の露光シーケンスで、測定対象の距離に応じた異なる結果を得ることができることを説明するための図である。 図22は、実施の形態5に係る画素回路構成と露光シーケンスを示す図である。 図23Aは、実施の形態7の実施例2に係るシャッターアレイとイメージセンサの駆動について説明するための図である。 図23Bは、実施の形態7の実施例2に係るシャッターアレイとイメージセンサの駆動について説明するための図である。 図24は、実施の形態1の変形例に係る距離測定装置の測距動作シーケンスの一例を示す図である。 図25は、測定距離範囲の分割距離区間と、分割距離区間ごとの光源パラメータの変動を説明するための図である。
 以下、本開示に係る実施形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
 以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
 (実施の形態1)
 図1は、本実施の形態に係る距離測定装置10の機能構成の一例を示すブロック図である。
 図1に示す距離測定装置10は、発光部101と、受光部102と、制御部103と、出力部104と、距離算出部105とを備える。なお、図1には、一例として測定対象物60が示されている。
 発光部101は、制御部103に制御され、出射光を発する。発光部101は、例えばレーザ光源などの光源を有し、所定の光パルス幅で発光させることで、光パルス(出射光)を射出する。なお、発光部101に用いられる光パルスの強度は、例えばクラス1またはクラス2の程度であり、予め定められた安全基準で危険なものとみなされない程度である。
 光源は、単一波長、短パルス、高強度のものが距離測定に適しており、パルスレーザーを用いるとよい。また、光源には、発光ダイオード(LED)や、ハロゲンランプ等の異なる光源を用いることも可能である。また、光源の波長は、市街地等での利用を鑑みて赤外光の波長を用いるとよいが、特に限定するものではない。
 受光部102は、制御部103に制御され、出射光が測定対象物60で反射した反射光を受光する。受光部102は、制御部103により露光中に制御された間に反射光を受光可能となる。受光部102は、例えばフォトダイオードを用いて構成される。また、受光部102は、アバランシェフォトダイオードや光電子増倍管を用いるとしてもよいし、受光素子を二次元的に配列したイメージセンサを用いるとしてもよい。この場合、受光部102には、必要に応じて、レンズ等の光学系を含めるとよい。特に、イメージセンサを受光部に用いる場合の、独立した受光素子一つを画素と呼ぶ。さらに、受光部102にイメージセンサを用いる場合には、後段で画像処理や認識処理等のデータ解析を行うことができる。
 また、受光部102に、特定の周波数の光を遮断あるいは透過するフィルターを設けるなどすることで、周波数の情報を得ることもできる。つまり、受光部102の構成によっては、本開示の権利は限定されない。
 制御部103は、発光部101および受光部102の制御を行う。制御部103は、第1の期間中に所定の測定条件の下で発光部101および受光部102の制御を行い、距離算出部105に、距離測定装置10から測定対象物60までの距離を算出させる。より具体的には、制御部103は、第1の期間中において、第1の測定時間範囲をK個(K:2以上の自然数)の区間に分割し、発光部101の出射光を発する時間および第1の測定時間範囲を含む繰り返し期間をK回繰り返す。そして、制御部103は、繰り返し期間ごとに発光部101に出射光を発せさせ、繰り返し期間ごとにK個の区間の少なくとも一の区間に受光部102を露光中にさせる。なお、制御部103は、第1の期間と第2の期間とは、測定条件を異ならせる制御を行う。
 本実施の形態では、制御部103は、第1の期間中において、所定位置を起点とする測定距離範囲に対応する時間範囲である測定時間範囲をK個(K:1以上の自然数)の区間(分割区間)に分割し、発光部101の出射光を発する時間および測定時間範囲を含む繰り返し期間をK回繰り返す。そして、制御部103は、繰り返し期間ごとに発光部101に出射光を発せさせ、繰り返し期間ごとにK個の区間の少なくとも一の区間に受光部102を露光中にさせる。ここで、制御部103は、第1の期間と前記第1の期間に続く第2の期間とは、少なくとも測定距離範囲を含む測定条件を異ならせる制御を行う。
 距離算出部105は、第1の期間および第2の期間における発光部101の出射光を発する時刻から受光部102が受光した時刻までの時間に基づいて、距離測定装置10から測定対象物60までの距離を算出する。
 出力部104は、算出された距離測定装置10から測定対象物60までの距離を出力する。
 次に、以上のように構成された距離測定装置10の距離測定動作(測距動作)について説明する。
 図2は、本実施の形態に係る距離測定装置10の測距動作シーケンスの一例を示す図である。
 図2の(a)は、距離測定のシーケンスを示しており、縦線で区切られた各期間において距離データの測定を行う。本開示では、1以上の期間で距離データの測定を行い、少なくとも1つの期間では、他の期間と異なる測定条件で距離測定を実施する。ここでの測定条件とは、出射光のパルス周期、パルス強度、パルス幅、パルス列の符号化の方法、受光部102の露光時間幅、露光周期、露光回数、受光部102の駆動回路の制御方法、および、受光部の画像読み出し範囲などのデータ処理の方法のうちの少なくともいずれか一つを含む。なお、測定条件は、上記に挙げた例に限らない。
 なお、全ての期間で距離データの取得を行う必要は無く、輝度データの測定を含んでもよい。また、全ての期間での測定を完了した後にデータを出力してもよいし、一期間の測定が完了するごとにデータを出力してもよい。1つの期間内で測定条件を異ならせながら測定を行う方法も、本開示の範囲に含まれる。
 図2の(b)では、各測定期間内での出射光、反射光、露光のシーケンスの一例が示されている。なお、本開示の権利範囲は図2を用いて説明する本距離測定方式には限定されない。
 制御部103は、まず、距離測定を実施する距離範囲lを決定し、時間軸上で、この距離に対応する時間範囲である、測定時間範囲2l/cを決定する。次に、決定した測定時間範囲を一つあるいは複数の区間に分割する。1区間の測定時間範囲の上限は光源の強度、受光部102の感度で決定し、測定対象で反射したパルス光が受光部102で検出できることが条件となる。測定時間範囲2l/cの開始に同期して、あるいは、一定時間の遅延・先行して少なくとも一回のパルス光の出射を行い、分割した区間の内、少なくとも1の区間で露光を行う。当然、露光を行わない区間を設けてもよい。この動作を上記の分割した区間の数だけ繰り返し、各動作では、露光を行う区間を異ならせて測定を行う。露光中に反射光が帰還した場合のみ、光信号を検出できるため、分割した区間に対応して、測定対象の距離を決定できる。なお、露光を行う区間を限定するなど、分割した区間数と繰り返しの回数とが異なる場合も、本開示の権利範囲である。この際、繰り返し時間の下限は、出射したパルス光強度と受光部102の感度で決定し、パルス光強度が十分減衰し、次回の測定で光の誤検出が起こらないことを必要とする。
 測定時間範囲と、分割区間と、測定距離範囲と、距離分解能とは下記のとおり対応する。
 すなわち、光源から発された光が距離dにある測定対象物60に反射して戻ってくる場合、その時間tは、下記の(式1)で表される。ここで、cは光速であり、数値「2」は光源から発された光の行きと帰りとの分を考慮している。
Figure JPOXMLDOC01-appb-M000001
 前記測定距離範囲をlとすると、この測定距離範囲lに対応する測定時間範囲tは、(式1)を参考に、(式2)で表される。
Figure JPOXMLDOC01-appb-M000002
 測定時間範囲tをN区間に等分割し、発光時刻から順に1,2,3,・・・と番号を振る。(式3)で表されるi区間の時間範囲に反射光が距離測定装置10に戻る場合、測定対象物は、距離範囲di(式4)に存在すると分かる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 ここで、dの幅はct/2Nであり、この分解能で測定対象と自装置との距離を測定することができる。
 なお、測定時間範囲の区間分割は、測定時間範囲と等分でなくてもよく、距離測定装置10中にアルゴリズムを構築してもよいし、使用者が任意に設定してもよい。
 次に、一つの分割区間iでの、発光部101及び受光部102の駆動について詳細に説明する。
 まず、制御部103は、発光部101に光パルス(出射光)を射出させる。射出された光パルスは距離dの測定対象物60に到達した後反射し、その反射光がパルス光の射出時(発光時)から時間t後に距離測定装置10に戻ってくる。この反射光を検出するために、制御部103は、当該一つの分割区間iに合わせて発光時から(式3)だけ遅れた時間範囲tiにおいて受光部102を露光中にさせる制御を行う。そして、制御部103は、この時間範囲ti内(露光中)にあらかじめ設定した信号強度以上の光(反射光)を受光部102が受光した場合に、その時間範囲tiに対応する距離範囲を示す距離(最小値や平均値などで示される距離)を測定対象物60までの距離として不図示のメモリなどに保存したり、出力部104に出力させたりする。
 なお、図2の(b)の第1の期間では、区間数Nが3の場合の例を示しており、発光部101は、繰り返し期間ごとに光パルス(P11、P12、P13)を発光し、受光部102は、繰り返し期間ごとに分割区間(区間11、区間12、区間13)の少なくとも一の区間が露光中(露光時間E11、E12およびE13)となる例が示されている。図2の(b)では、区間13に反射光が帰還するため、露光期間である露光時間E13を露光中とする第3の繰り返し期間に反射光を検出することとなる。
 この例では、1つの期間中に全ての区間を露光しているが、その必要はない。例えば、第1の期間に区間11のみを露光し、第2の期間に区間12、区間13を露光するといった方法でもよい。
 反射光検出の有無の判断は、下記のような2つの方法が考えられる。一つ目は、背景光強度を測定し、露光時の受光部102の信号強度と有意差が認められる場合に、その区間を測定対象物を検出したと判断する第1の方法である。二つ目は、各区間での信号強度を記録し、信号強度最大の区間で測定対象物を検出したと判断する第2の方法である。
 第1の方法の場合、信号の有無のみを確認し、信号強度の大きさを記録する必要は無いので、例えば、アバランシェフォトダイオードや、光電子増倍管など、1光子程度の微弱光の検出が可能な素子を用いて、検出効率を高める方法が有効である。また、第2の方法の場合、フォトダイオードを用いて、信号量を求める方法が考えられるが、アバランシェフォトダイオードや、光電子増倍管などを用いて、光子数を計数してもよい。また、第2の方法の場合、図2の(b)における、露光時間E11~E13の時間幅と区間11~区間13の時間幅を必ずしも一致させなくてもよい。図2(b)では、パルス光の発光(出射)と露光の組を1つの区間につき1つで記載しているが、1つの区間の測定に対し、任意の回数のパルス列を発生させ、それぞれに対し、露光を行い積算することで、その和や平均値を距離データ算出の基準としてもよい。この際、光パルスの発光は完全な周期性を持つ必要は無く、ランダムに発光しない回を設ける、長い発光周期を用いる測定と短い発光周期を用いる測定を組み合わせてもよい。さらに、発光タイミングに遅延を与えるなどの方法で、符号化を行い、誤検知防止を行ってもよい。発光パルス幅は露光幅より短いことが望ましいが、必ずしもその必要は無い。
 以上のような測距動作を行うことで測定対象物60と距離測定装置10との間の距離を算出することができる。
 図2の(c)は、第1の期間とは異なる第2の期間における測定シーケンスの一例である。図2(a)では、第1の期間と第2の期間が隣り合っているが、必ずしもその必要は無く、2つの期間の間に背景光強度の測定など、その他の測定を導入してもよい。
 制御部103は、第2の期間における所定の測定距離範囲を決定し、決定した測定距離範囲を一つあるいは複数の区間(分割区間)に分割し、分割区間ごとに測距動作を行う。
 より具体的には、図2の(c)で示される第2の期間では、測定距離範囲l’は、第1の期間の測定距離範囲lと異なっている。図2の(c)では、Nが3の場合の例を示しており、発光部101は、繰り返し期間ごとに光パルス(P21、P22、P23)を発光し、受光部102は、繰り返し期間ごとに分割区間(区間21、区間22、区間23)の少なくとも一の区間が露光中(露光時間E21、E22およびE23)となる例が示されている。図2の(c)では、区間23に反射光が帰還するため、露光時間E23を露光中とする第3の繰り返し期間に反射光を検出することとなる。
 つまり、図2の(b)に示す第1の期間では、距離測定装置10は、測定距離範囲l、分割区間の分割数3、出射光の光パルス幅tpで測距動作を行う。一方、図2の(c)に示す第2の期間では、距離測定装置10は、測定距離範囲l’、分割の分割数3、出射光の光パルス幅tp’に、測定条件を変化させて測距動作を行う。
 なお、測定条件は、上記に挙げたものの他、分割数、発光の強度、光源の繰り返し周期などを変化させてもよい。一例としては、第1の期間と第2の期間とで、直接方式以外の測定方式、輝度、色などの測定対象の物理量を変化させるとしてもよい。これらは、距離測定装置10が光強度と任意に設定した閾値とを比較し大小を判断する機能と、光強度の測定を行う機能を併せ持つ回路構成を備えれば実現可能である。
 以上のように、本実施の形態に係る距離測定装置10では、第1の期間と第2の期間とで異なる測定条件下で適応的に発光と露光のペアを実行することができるので、発光と露光のペアの実行の数を少なくしても高い距離分解能(高い測距精度)で測距動作を行える。
 なお、上記において、距離測定の前後や、距離測定中に、背景光強度の測定を行うなどの距離測定装置10の較正を、適宜行ってよい。
 以下、本実施の形態の画素回路の回路構成の一例について図を用いて説明する。図20は、本実施の形態に係る画素回路の回路構成の一例を示す図である。
 本実施の形態の画素回路は、図20に示すように、受光回路201、カウンタ回路202、比較回路203、記憶回路204、受光素子205、トランスファトランジスタ206、リセットトランジスタ207、電荷蓄積コンデンサ208、カウンタトランジスタ209、カウンタ容量210、直流カットコンデンサ211、クランプトランジスタ212、インバータ213、入力トランジスタ214、記憶コンデンサ215、記憶ノードリセットトランジスタ216、増幅トランジスタ217および選択トランジスタ218で構成される。ここで、230は出力許可信号である。
 まずは光強度と閾値との比較により距離測定を行う回路の動作について説明する。距離測定には、背景光を検知し閾値を設定する期間と、距離測定をする期間が含まれる。
 背景光検出の動作は、光源からの信号光をオフして動作を行う。このとき、距離測定装置10への入射光は、背景光によるものだけである。まずリセットトランジスタ207をONしてから、トランスファトランジスタ206をONし、受光素子205をリセットする。その後、トランスファトランジスタ206、リセットトランジスタ207を共にOFFしてから、t秒間だけトランスファトランジスタ206をONする。このt秒間に光が入射すれば、それに対応する電荷がトランスファトランジスタ206を介して電荷蓄積コンデンサ208に蓄積される。t秒後、トランスファトランジスタ206をOFFし、カウンタトランジスタ209のゲートに電圧を印加(カウンタトリガ)し、カウンタトランジスタ209をONすることで、その電荷をカウンタ容量210に転送する。その後、カウンタトリガをOFF、すなわち、カウンタトランジスタ209をOFFした後、リセットトランジスタ207をONし、電荷蓄積コンデンサ208の電荷をリセットする。この行程をb回繰り返す。その後、比較回路203の閾値設定信号をONし、この信号をクランプトランジスタ212に印加することで、背景光に対応するカウンタ容量210の電圧を直流カットコンデンサ211の両端の電圧として記憶しておく。この間、出力許可信号は任意の電圧Eに設定する。
 距離測定の動作は、光源の発光をONにして実施する。下記の動作は、1つの繰り返し期間内での動作に相当する。下記では、i番目の分割区間の測定に対応する繰り返し期間での動作について説明する。まず背景光検出期間と同様、予めリセットトランジスタ207をONし、電荷蓄積コンデンサ208の電荷をリセットしておく。その後、信号光パルスを射出する。その光パルスに対し、(式3)で表される期間にトランスファゲートをONする。t秒間だけONしたあと、カウンタトリガをONし、受光素子205で生成した電荷をカウンタ容量210に転送する。この行程をb回繰り返す。そのあと、出力許可信号の電圧を0に変化させる。このとき、背景光検出期間で設定した比較回路203の閾値と任意に設定した電圧の閾値Eの和の絶対値よりもカウンタ容量210で記憶しているカウンタ値の絶対値が大きければ、比較回路内のインバータ213の状態が変わり、入力トランジスタ214をONする。この閾値は、カウンタ容量210の下端の電圧Eを変化することによって調節することができるので、使用環境に応じて適切な値に設定できる。また、ここでは出力許可信号の電圧値は背景光検出期間でE、距離測定期間で0としているが、これに限られることはなく、例えば、背景光検出期間で0、距離測定期間で-Eなどとしてもよく、背景光検出期間における設定値と距離測定期間での設定値に差があるように設定すればよい。
 入力トランジスタ214のドレインには距離信号に相当する時間信号(電圧)が印加される。例えば、(1+i/R)ボルト(Rは任意の整数)などとすればよい。比較回路203によって入力トランジスタ214のゲートがONされたとき、距離信号に相当する電圧が記憶コンデンサ215に記憶される。
 全期間が終了した後、各画素の記憶コンデンサ215には、測定対象物までの距離に相当する電圧が記憶されている。この信号を、距離信号出力期間中に出力する。まず、選択トランジスタ218がONされる。このとき、増幅トランジスタ217によって、記憶コンデンサ215に記憶された電圧が出力される。この電圧には増幅トランジスタ217固有のオフセット電圧が実際には重畳する。そのあと、記憶ノードリセットトランジスタ216をONして、記憶コンデンサ215の電圧をリセットする。記憶ノードリセットトランジスタ216をOFFしたあとの増幅トランジスタ217からの出力電圧を読み出す。読み出し線の後段には相関二重サンプリング(CDS)回路などを備えておき、上記オフセット電圧を除去して距離データを得る。
 ここで、図20に示す画素回路の動作と上述した測距動作シーケンスとの関係について説明する。
 図20に示す画素回路では、露光前にトランスファトランジスタ206、リセットトランジスタ207、カウンタトランジスタ209をONして、フォトダイオード201と電荷蓄積容量208とカウンタ容量210をリセット電圧に設定する。
 次に、カウンタトランジスタ209をOFFした後に、リセットトランジスタ207をOFFする。
 これ以降、フォトダイオード201で光電変換された電子は、フォトダイオード201の寄生容量及び電荷蓄積容量208に蓄積されるので、これが露光開始に対応し、図2(b)における露光時間E11,E12,E13の開始時刻に相当する。
 リセットトランジスタ207をOFFする時刻を変えることで、露光開始時刻を任意に変化できるため、図2(b)の第1の繰り返し期間では、露光時間E11の開始時刻にリセットトランジスタ207をOFFすればよく、図2(b)の第2の繰り返し期間では、露光時間E12の開始に同期してリセットトランジスタ207をOFFすればよく、図2(b)の第3の繰り返し期間では、露光時間E13の開始に同期してリセットトランジスタ207をOFFすればよい。
 次に、リセットトランジスタ207のOFF時刻から、一定時間tだけ待った後に、トランスファトランジスタ206をOFFする。これ以降、受光素子205で光電変換された電子は電荷蓄積容量208に移動しないので、この時刻が露光終了の時刻となる。即ち、図2(b)における露光時間E11,E12,E13の終了時刻に相当する。
 分割区間の数をnとする場合、露光開始から露光終了までの時間aを2l/ncとすればよい。つまり、リセットトランジスタ207をOFFしてからトランスファトランジスタ206をOFFするまでの時間を2l/ncとすればよい。
 分割区間における露光時間E11,E12,E13の開始時刻と終了時刻は、パルス発光に対する遅れ時間を計測することで決定する。発光と露光の間の同期方法の例としては、クロック回路を用いる方法が考えられる。光パルス発光からのクロック数をカウントして、露光開始時刻および露光終了時刻を決定できる。なお、発光と露光の同期方法は上記に限定しない。
 なお、上述した距離測定装置10では、第1の期間と第2の期間とは、測定条件を異ならせながら、第1の期間または第2の期間とで距離測定を行うとしたが、第1の期間および第2の期間の少なくとも一方の期間において、距離測定を行うとしてもよい。すなわち、制御部103は、第1の期間中において、第1の測定距離範囲に対応する時間範囲である第1の測定時間範囲を設定し、第1の測定時間範囲において、発光部101に出射光を発せさせ、受光部102を露光中にする。さらに制御部103は、第2の期間中において、第2の測定距離範囲に対応する時間範囲である第2の測定時間範囲を設定し、第2の測定時間範囲において、発光部101に出射光を発せさせ、受光部102を露光中にする。制御部103は、第1の期間と第2の期間では、少なくとも一つの測定条件が異ならせる。そして、距離算出部105は、第1の期間または第2の期間の少なくとも一方の期間における発光部101の出射光を発する時刻から受光部102が反射光を受光した時刻までの時間に基づいて、距離測定装置10から測定対象物60までの距離を算出すればよい。
 また、距離測定装置10は、距離測定を複数回行い、うち1回において測定区間を分割して距離測定を行うとしてもよい。この場合の測距動作シーケンスの一例を図24に示す。
 図24は、実施の形態1の変形例に係る距離測定装置10の測距動作シーケンスの一例を示す図である。図2と同様の要素には同一の名称を付しているため、詳細な説明は省略する。
 すなわち、図24に示す例のように、実施の形態1の変形例に係る距離測定装置10の制御部103は、第1の期間中において、第1の測定距離範囲に対応する時間範囲である第1の測定時間範囲を設定し、第1の測定時間範囲において、発光部101から出射光を発せさせ、受光部102を露光中にさせる。さらに、この制御部103は、第2の期間中において、第2の測定距離範囲に対応する時間範囲である第2の測定時間範囲をK’個(K’:2以上の自然数)の区間に分割し、発光部101の出射光を発する時間および第2の測定時間範囲を含む繰り返し期間を繰り返し、かつ、少なくとも一つの前記繰り返し期間において、前記K’個の区間の少なくとも一の区間に前記受光部を露光状態としてもよい。この場合、距離算出部105は、第1の期間または第2の期間の少なくとも一方の期間における発光部101の出射光を発する時刻から受光部102が反射光を受光した時刻までの時間に基づいて、距離測定装置10から測定対象物60までの距離を算出すればよい。
 (実施の形態2)
 実施の形態1では、第1の期間と第2の期間の測定条件決定方法に限定がない場合を説明したが、下記のとおり、第1の期間における距離データの測定結果に応じて、第2の期間での測定条件を決定してもよい。つまり、制御部103は、第1の期間において算出された距離測定装置10から測定対象物60までの距離に基づいて、第2の期間における測定条件を決定してもよい。以下、この場合について、実施の形態1と異なる点について実施の形態2として説明する。
 本実施の形態に係る距離測定装置10は、実施の形態1における距離測定装置10に対して、制御部103および距離算出部105の動作内容が異なることになる。
 すなわち、制御部103は、第1の期間において、第1測定時間範囲をK個(K:1以上の自然数)の区間に分割し、発光部101の出射光を発する時間および第1測定時間範囲を含む第1繰り返し期間をK回繰り返し、かつ、第1繰り返し期間ごとに発光部101に出射光を発せさせ、第1繰り返し期間ごとにK個の区間の少なくとも一の区間に受光部102を露光中にさせる制御を行う。
 制御部103は、第1の期間において、受光部102が反射光を受光せず測定対象物60が第1測定距離範囲に存在しないことを確認した場合、第2の期間における第2測定距離範囲を変更する。そして、この第2測定距離範囲を用いて、受光部102の制御を行う。より具体的には、制御部103は、この場合、第2の期間において、第1の期間で用いた測定距離範囲に含まれない領域を含む第2測定距離範囲に対応する第2の測定時間範囲を用いて、受光部102の制御を行う。
 また、制御部103は、受光部102が反射光を受光し測定対象物60がK個の区間のうち第L区間(L:K以下の自然数)に存在することを確認したとする。このとき、制御部103は、第2の期間において、第L区間を含み且つ第1の期間で用いた第1の測定時間範囲よりも短い第2の測定時間範囲をK’個(K’:2以上の自然数)の区間に分割し、発光部101の出射光を発する時間および第2の測定時間範囲を含む第2繰り返し期間をK’回繰り返し、かつ、第2繰り返し期間ごとに前記K’個の区間の少なくとも一の区間に受光部102を露光中にさせる制御を行う。
 そして、距離算出部105は、第2の期間における発光部101の出射光を発する時刻から受光部102が受光した時刻までの時間に基づいて、距離測定装置10から測定対象物60までの距離を算出すればよい。
 次に、以上のように構成された本実施の形態に係る距離測定装置10の距離測定動作(測距動作)について説明する。
 図3は、本実施の形態に係る距離測定装置10の測距動作シーケンスの一例を示す図である。図2と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図3の(a)では、実施の形態1の図2の(a)と比較すると、第1の期間と第2の期間とでは異なる測定条件で測距動作を行う点で同様であるが、第2の期間では第1の期間の測距動作の結果に応じて測定条件が決定する点で異なる。
 図3の(b)では、第1の期間において測定対象物60が検出できなかった場合について示されている。その他の動作については図2の(b)で説明した通りであるので、ここでの説明は省略する。
 図3の(c)に示される第2の期間では、図3の(b)に示される第1の期間の第1測定距離範囲の上限値よりも遠方の上限値の距離範囲を有する第2測定距離範囲を用いて測距動作を行う場合の例が示されている。より具体的には、第2の期間では、Nが3の場合の3つの分割区間(区間31、区間32、区間33)と発光部101がパルス光を発する時間とを含む繰り返し期間を3回繰り返す例が示されている。そして、発光部101は、繰り返し期間ごとにパルス光(P21、P22、P23)を発光し、受光部102は、繰り返し期間ごとに分割区間(区間31、区間32、区間33)の少なくとも一の区間が露光中となっている。
 なお、図3の(c)では、第1の期間で測距動作を行った第1測定時間範囲(区間11~13の時間範囲)を含まない第2測定時間範囲(区間31~33の時間範囲)としているが、第1の期間で測距動作を行った第1測定時間範囲を含め測定時間範囲てもよい。また、第2の期間の測定時間範囲時間範囲は、任意に決定してよい。特に、第1の期間と第2の期間のみに限らず、第3、第4、・・・と期間数を任意の複数回にしてもよい。この場合、逐次的に測定距離範囲を増大する方法が考えられる。
 図4は、本実施の形態に係る距離測定装置10の測距動作シーケンスの別の一例を示す図である。図2および図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図4の(b)では、第1の期間において測定対象物60が検出された場合について示されている。その他の動作については図2の(b)で説明した通りであるので、ここでの説明は省略する。
 図4の(c)に示される第2の期間では、図4の(b)に示される第1の期間で測定対象物60を検出した分割区間(区間13)内あるいは当該分割区間の近傍に限定した第2測定時間範囲を用いて測距動作を行う場合の例が示されている。より具体的には、第2の期間では、Nが3の場合の3つの分割区間(区間41、区間42、区間43)と発光部101がパルス光を発する時間とを含む繰り返し期間を3回繰り返さす例が示されている。そして、発光部101は、繰り返し期間ごとにパルス光(P21、P22、P23)を発光し、受光部102は、繰り返し期間ごとに分割区間(区間41、区間42、区間43)の少なくとも一の区間で露光中となる例が示されている。
 すなわち、本実施の形態では、制御部103は、第1の期間における測距動作の結果に応じて第2測定時間範囲を決定する。そして、制御部103は第2測定時間範囲を複数の区間(分割区間)に分割し、繰り返し期間を複数回繰り返すことでそれぞれの分割区間ごとの測距動作を行う。
 ここで、制御部103は、受光部102が、第1の期間でパルス光を発光した時刻の分割区間から数えてi番目の分割区間で反射光を検出した場合、第2の期間で測距動作を行う第2測定時間範囲を第1の期間で測定対象物60を検出した分割区間iに一致させる。
 この場合、第1測定時間範囲をt、第2測定時間範囲tとすると、第2測定時間範囲の幅はt=t/Nと表現できる。第2測定時間範囲をM分割し、時系列順に1、2、・・・と番号を振ったとするとそのうちのj区間目は、(式5)で表すことができる。
Figure JPOXMLDOC01-appb-M000005
 (式5)から、第2測定時間範囲tをM区間に等分割した場合の測定分解能はta/MNとなり、第1の期間での距離分解能である第1測定時間範囲t/Nと比較しても1/M倍となり距離分解能が向上する。
 なお、本実施の形態についても、第1測定時間範囲および第2測定時間範囲を分割する方法は、等間隔に限らず、任意である。また、図5に示したように、第3の期間以降でも、同様に、前の期間の結果を参照して測定時間範囲を逐次的に狭め、測定分解能を向上させてもよい。ここで、図5は、本実施の形態に係る距離測定装置10の測距動作シーケンスの別の一例を示す図である。図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 なお、測定時間範囲は、前の期間で測定対象物を検出した区間と同一にすることが望ましいが、当該分割区間より広い時間範囲を選択してもよい。
 また、測定時間範囲は、必ずしも、逐次的に狭め続ける必要は無く、例えば、測定時間範囲の狭い測定の間に、測定時間範囲の広い低分解能の期間測定を行う期間を追加してもよい。この方法の利点は、距離測定装置10の当該測定時間範囲外に物体が急に侵入した場合にも、測定時間範囲の広い測定により、測定対象物の距離測定ができることである。
 この実施の形態の特殊な例として、K=1の場合がある。この場合、第一の期間では測定対象の有無のみを確認し、測定対象物を発見した場合にのみ、第2の期間で距離測定を行うというものである。
 特に光パルス幅より高い測定分解能で測距動作を行いたい場合には、露光時間幅を光パルス幅と同程度以下にし、露光開始の時刻を光パルス幅より小さい刻み幅で変化させて、検出した反射光の強度が最大となる露光開始時刻をもって測定対象物60の距離とする方法も考えられる。この場合、距離および輝度の両方の測定が必要であるので、後述する図10に記載の回路を用いるとよい。
 また、受光部102がイメージセンサを用いて構成される場合、二次元の距離データ群を構成することができ、距離画像を得ることができる。この場合、一度の距離測定で複数個の測定対象(測定対象物60)を検出する可能性がある。この場合には、第2の期間で複数の測定時間範囲を選択する必要がある。つまり、この場合には、測定対象1が存在する測定時間範囲1、測定対象2が存在する測定時間範囲2、・・・の測定を一度に全て行ってもよいが、測定対象が多い場合には、測定時間が長引く可能性がある。これを防ぐために、例えば、測定対象1が存在する測定時間範囲1の測定と、測定対象2が存在する測定時間範囲2の測定の間に、第1の期間での測定条件と同じ条件の測定を行うとしてもよい。また、距離測定の分解能を高める測定を行う対象を、アルゴリズムで決定する、使用者が任意に定める、などの方法で限定してもよい。例えば、人、動物は距離分解能の高い測定を実施するが、家や壁、標識などに対しては実施しないなどである。限定の方法は上記に限らない。
 なお、受光部102が、二次元的に配列された複数の距離測定装置を有し、距離画像を出力可能である場合には、複数の距離測定装置の測定結果を統合し、入射フォトン数の和、平均、分散等を計数し、背景光との有意差が認められた場合に、光子を検出したと判定する方法を用いることも可能である。この場合についての測定の流れを、以下、図を用いて説明する。
 図6A、図6Bおよび図6Cは、本実施の形態に係る距離測定装置10の測距動作シーケンスの別の一例を示す図である。
 例えば図6Aには、第1の期間で低測定分解能での測距動作を行った後、第1の期間より測定分解能の高い第2の期間をn回行う場合が示されている。より具体的には、距離測定装置10は、第1の期間で低測定分解能での測距動作を行い、物体1,2,3,・・・,nが距離z1,z2,z3,…,znにあることを算出したとする。この場合、距離測定装置10は、距離z1,z2,z3,…,znにある物体1,2,3,・・・,nのそれぞれに対して、第1の期間より測定分解能の高い第2-1の期間、第2-1の期間、…、第2-nフレームで測距動作を行う。
 なお、期間の進行は、図6Aに示す場合に限らず、図6Bに示すように、第1の期間、第2-1の期間、第1の期間、第2-2の期間…などと、測定分解能の低い第1の期間と、測定分解能の高い第2の期間とを交互に進行させて測距動作を行ってもよい。
 また、図6Bに示すように、測定分解能の高い第1の期間と測定分解能の低い第2の期間の比率を1:1としての期間を進行させるだけでなく、1:2など任意の比率としての期間を進行させてもよい。
 また、図6Cに示すように、期間T1では、測定分解能の高い第2の期間を繰り返し行うなど、複数の第2の期間を行う時間をあらかじめ設定してもよい。なお、の期間の進行はこれらの例に限定されないのはいうまでもない。
 (実施の形態3)
 実施の形態1および2では、距離測定装置10および測定対象物60が移動等の運動する場合について言及しなかったので、本実施の形態では、距離測定装置10あるいは測定対象物60が移動している場合について、実施の形態1および2と異なる点を中心に説明する。
 本実施の形態に係る距離測定装置10は、実施の形態1、2における距離測定装置10に対して、制御部103および距離算出部105の動作内容が異なることになる。
 すなわち、制御部103は、第2の期間において、受光部102が反射光を受光し測定対象物60がK’(M)個の区間のうち第N区間(N:K’(M)以下の自然数)に存在することを確認したとする。この場合、制御部103は、第2の期間に続く第3の期間において、第N区間を含み且つ第2の期間で用いた第2測定時間範囲以下の第3測定時間範囲をO個(O:2以上の自然数)の区間に分割し、発光部101の出射光を発する時間および第3測定時間範囲を含む第3繰り返し期間をO回繰り返し、かつ、第3繰り返し期間ごとに前記O個の区間の少なくとも一の区間に受光部102を露光中にさせる制御を行う。
 そして、距離算出部105は、第3の期間における発光部101の出射光を発する時刻から受光部102が受光した時刻までの時間に基づいて、距離測定装置10から測定対象物60までの距離を算出すればよい。
 さらに、制御部103により、受光部102が反射光を受光し測定対象物60がO個の区間のうち第P区間(P:O以下の自然数)に存在することが確認されたときには、距離算出部105は、第3の期間において算出させた距離と第2の期間において算出させた距離との差分である距離差分を求めてもよい。そして、距離算出部105は、求めた距離差分と、第2の期間の第N区間の開始時刻から第3の期間の第P区間の開始時刻までの時間との比を計算することで、距離測定装置10の出射光の進行方向における速度を求めてもよい。ここで、第N区間の開始時刻と第P区間の開始時刻を用いているが、第N区間と第P区間の特徴的な時刻を用いればよく、例えば、第N区間の終了時刻と第P区間の終了時刻でもよい。
 ここで、制御部103は、第3の期間の開始時刻からの期間第4の期間の開始時刻までの時間と前記速度とを乗算した距離値を、第3の期間において算出した距離に足すことで、第4の期間における測定対象物60の距離範囲を予測できる。そのため、制御部103は、第4の期間において、予測した距離範囲に対応する測定時間範囲を含み、且つ、第3測定時間範囲よりも短い第4測定時間範囲を決定し、前記の距離測定と同様、複数の区間に分割し、発光部101の出射光を発する時間および第4測定時間範囲を含む第4繰り返し期間を複数回繰り返し、かつ、第4繰り返し期間ごとに当該複数の区間の少なくとも一の区間に受光部102を露光中にさせる制御を行う。
 次に、以上のように構成された本実施の形態に係る距離測定装置10の距離測定動作(測距動作)について説明する。
 図7は、本実施の形態に係る距離測定装置10の測距動作シーケンスの一例を示す図である。図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 本実施の形態では、図7の(a)に示すように、第1の期間、第2の期間、第3の期間、第4の期間での4回の測距動作を一つの組として行う。図7の(b)、(c)は、図4の(b)、(c)と同じのため説明を省略する。
 図7の(c)に示される第3の期間では、第2の期間と同等の距離分解能あるいは第2の期間よりも高い距離分解能の距離測定を行う。動作詳細は図4の(c)で説明した通りであるので、ここでの説明は省略する。
 制御部103が第2の期間で得た測定対象物60までの距離をz1、第3の期間で得た測定対象物60までの距離をz2とする。また、第2の期間において測定対象物60を検出した時刻から第3の期間において測定対象物を60検出した時刻までの時間を△t1とする。この場合、制御部103は、測定対象物60の距離方向の速度v1を、(式6)を用いて算出することができる。
Figure JPOXMLDOC01-appb-M000006
 なお、制御部103は、同様に、第4の期間において、第3の期間から第4の期間までの測定対象物60の距離方向の速度v2を求めてもよく、制御部103は、第3の期間において測定対象物60を検出した時刻から第4の期間で測定対象物60を検出した時刻までの時間△t2および、速度v1,v2を用い、測定対象物60の加速度aを(式7)より算出してもよい。
 図7の(e)に示される第4の期間では、制御部103は、図7の(d)に示される第3の期間において得た測定対象物60の速度v1を用いて第4の期間における測定対象物60の距離(位置)を予測し、予測した距離(位置)を含む第4測定距離範囲を決定する。これにより、距離測定装置10は、第4の期間に測定対象物60が存在する距離(位置)を含む第4測定距離範囲を分割して測定分解能を高めることができるので、測定精度をさらに向上することができる。
 以下、より詳細に説明する。第3の期間において得た測定対象物60の距離z2、速度v1、第3の期間を代表する時刻から第4の期間を代表する時刻までの時間を△t2とする。この場合、制御部103は、第4の期間に存在する測定対象物60の位置を、(式8)で予測することができる。
Figure JPOXMLDOC01-appb-M000008
 このため、制御部103は、第4の期間において測定対象物60が存在すると予測される距離の近傍に限定して測距動作を行うことができ、より高分解能、より少ない測定回数で測定対象物60までの距離を算出することができる。この方法を以降の期間において繰り返し行うことによって、逐次的に距離測定の精度を向上することもできる。
 たとえば、受光部102に受光素子を二次元アレイ状に並べた素子であるイメージセンサを用い、必要であれば、光学系を搭載することで、二次元状の距離データ、即ち、距離画像を測定して、人や動物を認識する用途も考えられる。この用途を、時速60kmで一般道路を走る車に距離測定装置10を搭載し、人や動物を認識したい場合に適用する場合、下記のような性能が要求される。一般的な動画のフレームレートである30fpsの動画撮像時には、1フレーム間に人と装置の距離が、60×(1000/3600)×(1/30)=0.6mだけ変化する。
 人や動物の厚みはおよそ0.2m程度であるので、人や動物を認識したい場合、測定分解能は、その厚みの半分の0.1m程度を要する。一つの分割区間に対応する距離範囲を0.1mとする場合、距離測定装置10が測定対象物60を見失わずに測距動作を行うためには、測定時間範囲の分割区間数は、距離変動分の0.6mを含むよう、少なくとも6以上にする必要がある。60km/hの車の停止距離は約35mなので、人を認識し余裕をもって停止するためには、この三倍程度の100m程度前方の距離画像を撮像する必要がある。ここで、発光部101に用いられるレーザ光源は、クラス1相当のものを考え、強度を1mW程度とし、照射角10°とする。人を認識するにはイメージセンサの水平垂直方向の分解能が0.1m程度必要であるので、この分解能になるようレンズの焦点距離を設計し、レンズ半径は1cm程度とする。また、測定対象物60の反射率は0.1とする。レーザ光源が発する光パルスの波長が860nmである場合、光パルスの光子数は1秒間に4×1015個程度であり、測定対象物60に反射して戻ってくる反射光は1秒間におよそ1×10個と計算される。そのため、イメージセンサの量子効率を60%としても、1つの光子がセンサに帰還したのを検出するのに2ms程度の時間がかかるので、6度の測定を実施するならば、12msの測定時間がかかる。一般的な動画のフレームレートはおよそ30fpsなので、1フレームは30ms以下である必要があり、上記に示した従来の測距動作では3以上の人や動物を認識し、画像として出力することは不可能である。
 このような場合でも、本実施の形態の測定方法を用いることで、各期間の分割区間数の下限は実質的に存在しなくなり、1回の測定で、運動している測定対象物を確実に捉えることも可能となる。これにより、上記の例では、測定時間は最大1/6倍となるので、10程度の測定対象物を高い距離分解能で捉えることも可能となる。そのため、例えば、車載用途での遠方物体認識などの用途で効果を見込むことができる。
 本実施の形態では、受光部102に距離測定装置を二次元アレイ状に配列し、必要があれば、レンズ等を用いて光学系を構築することで、距離測定データの二次元画像を測定可能な構成とした、距離測定装置を用いてもよい。この時、光学系を含めない、受光素子をイメージセンサと呼び、独立に測定結果を出力できる各々の素子を画素と呼ぶ。この場合には、距離データを二次元に配列した距離画像、輝度データを二次元に配列した輝度画像のそれぞれを得ることもできる。また、後段で距離画像を認識処理するなどの方法で、測定対象物60を認識することができる構成としてもよい。
 図12は、本実施の形態に係るイメージセンサ31と対象物33との距離に対し、イメージセンサ31内で測定対象物中の点Pが結像する位置の関係を説明するための図である。
 ある時刻において、イメージセンサ31から距離dにある対象物33上の点で、レンズ32の光軸から距離rだけ離れた点Pにおいて反射した光が、イメージセンサ31上の点で、レンズ光軸から距離Rだけ離れた点Qに入射するとする。次の距離測定期間で、イメージセンサ31と対象物33との距離がd’に変化した場合の、点Pで反射した光が入射するイメージセンサ上の点と、レンズ光軸との距離R’は、(式9)に変化する。
Figure JPOXMLDOC01-appb-M000009
 (式9)を用いて、次のフレームで測定対象が現れるイメージセンサ中の領域を予測することができる。
 この場合、画像認識処理を行うイメージセンサ上の領域を測定対象の近傍に限定することができ、画像認識処理にかかる時間を短縮できる。
 また、画像中での測定対象物60の垂直・水平方向位置(x,y)の差分(△x,△y)をとり、差分を取った二つの測定の特徴的な時刻の差分△tで除算することにより、画面内での測定対象物60の速度(v,v)=(△x/△t,△y/△t)が求められるので、次の距離測定時に測定対象物60が存在する領域を予測し、画像認識処理を行う領域を決定してもよい。
 また、距離測定装置10が移動している場合、本実施の形態で示した速度の測定により、距離測定装置10の速度を求めることができる。カメラシステムにあらかじめ静止物を登録しておく。静止物の例としては壁や建造物、道路標識などがあり、これに限定されない。
 静止物の速度vstを求めれば、この速度vstは静止物と距離測定装置10の相対速度であり、静止物の絶対速度は0m/sなので、(式10)に示されるように相対速度vstに-1を乗算した速度が距離測定装置の移動速度Vとなる。
Figure JPOXMLDOC01-appb-M000010
 図13は、距離測定装置10が測定する距離画像の一例である。図13には、例えば人である物体41と、例えば車である物体42と、例えば標識である物体43が示されている。イメージセンサ31を備える距離測定装置10は、図12に示される人(物体41)、車(物体42)、標識(物体43)の三つの測定対象物60の中から止まっている標識(物体43)を認識し、その相対速度から距離測定装置10の速度を求めることができる。
 たとえば、車載用途で本実施例における距離測定装置10を用いる場合、車速によって測定条件を変更する必要がある。例えば、車の速度が大きい場合には遠方の距離測定を実施したいが、速度が小さい場合には近方のみの距離測定を行いたい。そのため、距離測定装置10自体が自らの速度を認識することで、測定結果をフィードバックし、測定条件を変更しながら、距離測定を逐次的に行うことができる。
 車載用途の場合は、スピードメータと距離測定装置10の通信を行うこともできるが、通信の急な遅延・切断が起きた場合にも、距離測定装置10単独で距離測定動作を継続できるロバストなシステムを構築することができる。
 また、当該カメラシステムがスピードメータとの通信が正常に動作している場合でも、スリップ・空転時など、スピードメータが正しく動作しない場合には、距離測定装置10が求めた速度をスピードメータに提供し、正しい車速を表示することができる。
 (実施の形態4)
 実施の形態2、3では、第1の期間における測距動作の結果に応じて第2の期間の測定条件を決定する場合について説明したが、それに限らない。第1の期間の結果を参照せずに、第2の期間の測定を行い、2つの期間の測定結果をデータ処理することで、距離データを得る方法を用いてもよい。以下、この場合について、実施の形態1と異なる点について実施の形態4として説明する。
 本実施の形態に係る距離測定装置10は、実施の形態1における距離測定装置10に対して、制御部103の動作内容が異なることになる。
 すなわち、制御部103は、第2の期間では、第1測定時間範囲より短く、当該K個の区間のうち、測定対象物60が検出される区間の時間幅と同じ第2繰り返し期間を設ける。第2繰り返し期間と同じ周期で発光部101に出射光を発せさせ、第2繰り返し期間をM個(M:2以上の自然数)の区間に分割した分割区間のうちの一の区間に受光部102を露光中にさせる制御を行う。特に、実施の形態1~3では、繰り返し期間の時間幅の下限は、ある繰り返し期間の反射光が、他の繰り返し期間に誤検出されないように、十分減衰する時間として規定しているが、本実施の形態では本規定を行わない。
 制御部103は、第1の期間および第2の期間それぞれの結果をAND処理することで、距離算出部105に測定対象物60の距離を測定(算出)させる。
 下記に、本実施の形態の原理を示す。まず、第1の期間では、(式4)で示される分解能で距離を決定する。第2の期間では、露光時間幅を、第1の期間の分割区間幅の1/Mとするので、距離分解能も1/Mとなる。第2の期間では、光パルスの減衰時間よりも短い発光周期で発光を行うことを想定しているため、発光パルスと受光パルスの対応を1:1で決定できず、発光周期Tの整数倍で周期的な折り返しを考慮する必要がある。すなわち、M個の区間のうち、j番目の区間でパルス光を検出した場合、繰り返し期間の時間幅をTとして、距離データは、下記の(式11)のようになる。
 t=(j-1)T/M+kT~jT/M+kT     (式11)
 ここで、kは未知の0以上の整数で、kTが前記折り返し成分に対応する。(式4)はTの分解能で、一意に距離を決定できるので、(式11)の結果における、未知の整数kを一意に決定することができ、分解能T/Mで測定対象の位置を決定できる。
 以上のように構成された本実施の形態に係る距離測定装置10の距離測定における発光及び露光の駆動方法(測距動作)について説明する。
 図8および図9は、本実施の形態に係る距離測定装置10の測距動作シーケンスの一例を示す図である。図2と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図8の(b)では、第1の期間において測定対象物60が区間12で検出した場合について示されている。このとき、反射光の帰還タイミングは、t=T~2Tの範囲に限られる。その他の動作については図2の(b)で説明した通りであるので、ここでの説明は省略する。
 図8の(c)に示される第2の期間では、制御部103は、第1測定時間範囲の第1分割区間(区間12、あるいは区間13、区間14)と同一の時間Tの周期で発光部101に光パルスを発光させる。また、第2の期間では、制御部103は、当該周期を3分割させた区間(第2分割区間)の一の区間で受光部102を露光中にする制御を行う。なお、図8の(c)では、積算を行う駆動の例を示しており、図中のaveragingが一度の積算に対応する。当然、積算を行わず、1つの区間に対して、1つの光パルスのみを出射してもよい。積算を行う場合には、その平均値や和などを用いて距離を算出する。図8(c)では、第2の期間において、2番目の区間に反射光が帰還する例を示している。(式12)に従うと、この場合、パルス光帰還のタイミングはt=T/3+kT~2T/3+kTと分かる。前述のとおり、第1の期間での測定から、反射光の帰還タイミングは、t=T~2Tなので、k=1が分かり、t=4T/3~5T/3と一意に決定することができる。
 特に、本駆動方法は、第1の期間での距離データを参照することなく、第2の期間での測定を実施し、後段での演算処理によって、距離データを決定することができる利点がある。測定対象の検出の有無の判断や、認識処理の時間が不要であるので、測定時間の短縮を図ることができる。特に、受光部102に一般的なイメージセンサのように、10個程度の高集積な距離測定装置アレイを使用する場合には、認識処理の時間が数ms程度かかるため、フレームレートに対する律速となりうるが、本測定方法では認識処理の時間を取らなくてすむ分、測定時間を短縮できる。本実施の形態で説明した測定方法は下記の2つの利点が存在する。1.長距離の距離測定の効率化と、2.距離画像測定における複数物体の高精度測定である。以下、例を挙げて説明する。
 1.長距離の距離測定の効率化について説明する。すなわち、遠方の測定時には、測定対象で反射して帰還するフォトン数が低下するため、積算回数が多くなる。そのため、発光パルスの周期を短くし、積算回数を増加することが重要である。1例として、距離画像装置を用いて、250m遠方までの距離測定を行う状況を考える。例えば、パルス強度20W、光パルス幅100ns、射出角10度程度の光パルス源、量子効率60%、受光部面積10μmの受光部、F=2のレンズを用いて250m以上遠方の測定対象の距離を測定する場合、1つの光パルスに起因した光子一個が受光部に帰還し、光電変換される確率は2000分の1以下なので、2000回程度の積算が最低でも必要となる。実施の形態1~3の場合では、250m遠方の測定対象で光パルスが反射し、受光部まで帰還するのにかかる時間はおよそ1.6μsなので、繰り返し時間の下限は1.6μsで規定され、光パルスの出射を2000回としても、一つの区間の測定に4msの時間が必要である。
 一方、本実施の形態の距離測定装置10による測定手法を用いた場合、第1の期間で測定距離範囲の刻み幅を10mにしたとすれば、第2の期間で光パルスを発光する周期は1/25倍でおよそ0.06μsになるため、2000回のパルス発光を行ったとしても、0.12msとなる。これは、動画の一般的なフレームレート30fpsの場合の1フレームの時間30msに比べて1/400倍と無視できる程度の時間となる。
 2.距離画像測定における複数物体の高精度測定について、下記で説明する。ここでの距離画像とは、2次元アレイ状に並んだ距離測定装置、及び必要であれば、レンズ等の光学系を有する測定装置系より出力される、二次元状の距離データ群を指す。実施の形態2で、測定対象が複数存在する場合、各測定対象の距離に応じて、対応する画素で反射光を検出するタイミングが異なるため、全ての測定対象について、別途距離分解能の高い測定を実施する必要がある。しかし、本実施の形態では、全画素同一の露光シーケンスで、測定対象の距離に応じた、異なる結果を得ることができる。これについて図21を用いて説明する。測定対象Aを検出する画素Aと測定対象Bを検出する画素Bについて、出射光、反射光、露光のシーケンスを示した。出射光は同一で、露光のタイミングは画素Aも画素Bも同一である。第1の期間に、画素Aは3番目の区間、画素Bは2番目の区間で光を検出し、第2の期間に、画素Aは2番目の区間、画素Bは1番目の区間で光を検出する。これにより、測定対象Aからの反射光はt=7T/3~8T/3の間に帰還し、測定対象Bからの反射光はt=4T/3~5T/3の間に帰還することが1度の測定で分かる。
 ここで、第1の期間、第2の期間は、順不同に行ってよい。また、当然、第3の期間、第4の期間、・・・を追加し、逐次的に分解能を高める操作を行ってもよい。
 また、光パルスの発光から反射光が戻ってくるまでに時間がかかるため、第2の期間での最初の露光は、最初のパルス光が確実に帰還していることが期待される時刻から開始することが望ましい。たとえば、図9の(a)に示される第2の期間では、一回目の露光時間E31では一発目の光パルスP31の反射光R31が帰還しておらず、この露光時間E31は無駄な露光になっており、また、本来4回の積算の内、4回とも光検出されるべきところ、3回しか光検出されないため、検出漏れの可能性が高くなる。
 そこで、図9の(b)に示すように、第2の期間の第一番目の露光開始時刻を、第1の期間での第一の測定時間範囲の最終区間の開始時刻以降とすれば、検出漏れを防止できる。つまり、第2の期間の第一番目の露光を露光時間E33から開始すればよい。なお、図9の(b)に示される第2の期間のように、パルス発光回数が露光回数よりも多くなるため、消費電力の上昇、測定時間の長大という欠点がある。しかし、遠方の距離測定、例えば、250m遠方の距離測定を行う場合、1000回以上のパルス発光が必要であり、これに対して、パルス発光回数の増加は、第1の測定の区間分割数と同程度で高々10回であるから、1%の増加でしかない。
 (実施の形態5)
 実施の形態1~4では、測定対象物60までの距離の決定方式は同一であったが、異なる方式を変更してもよく、以下の実施の形態5でこの場合について説明する。
 本実施の形態に係る距離測定装置10は、実施の形態1~4における距離測定装置10に対して、制御部103の動作内容が異なることになる。以下、実施の形態1~4と異なる点を中心に説明する。
 すなわち、制御部103は、第1の期間および前記第2の期間において、測定時間範囲をK個(K:1以上の自然数)の区間に分割し、発光部101の出射光を発する時間および当該測定時間範囲を含む繰り返し期間をK回繰り返す。
 制御部103は、第1の期間において、繰り返し期間の開始時刻ごとに、当該区間の半分より短い時間である狭パルス幅で出射光を発光部101に発せさせ、繰り返し期間ごとにK個の区間の少なくとも一の区間に受光部102を露光中にさせる制御を行う。
 また、制御部103は、第2の期間において、繰り返し期間のK個の区間それぞれの開始時刻ごとに、当該区間の半分の時間である広パルス幅で出射光を発光部101に発せさせる。そして、制御部103は、繰り返し期間のK個の区間それぞれにおいて、当該区間の開始時刻ごとに、当該区間の半分の時間である第1時間だけ受光部102を露光中にさせる第1露光期間制御と、当該区間の開始時刻から第1時間経過した時刻から第1時間だけ受光部102を露光中にさせる第2露光期間制御とを行う。なお、第1露光期間は、以下のA露光期間に対応し、第2露光期間は、以下のB露光期間に対応する。
 次に、以上のように構成された本実施の形態に係る距離測定装置10の距離測定動作(測距動作)について説明する。
 図10は、本実施の形態に係る距離測定装置10の測距動作シーケンスの一例を示す図である。図2と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図10の(b)では、実施の形態1の図2の(a)と同様の測距方法を用いて測定対象物60の距離を測定する。反射光が戻ってくるのが区間12である点と、繰り返し期間の間に待ち時間がない点を除いて、図2の(a)と同様であるため、ここでの詳細な説明は省略する。なお、第1の期間で繰り返し期間の間に待ち時間があってもよい。
 図10の(c)に示される第2の期間では、発光部101は、発光・消光を同じ時間幅(第1時間)で交互に繰り返し、受光部102は発光部101の発光・消光にそれぞれ同期する2つの異なる露光シーケンスで受光を行う。そして、制御部103は、これらの露光シーケンスでそれぞれ得た反射光の強度の比から測定対象物60と距離測定装置10との距離を算出する。
 下記では、図10の(c)を参照し、より詳細に測定原理について述べる。本実施の形態では、発光部101は、第1時間T0だけ発光した後、第1時間T0だけ消光してこれを繰り返す。ここで、第1時間Tは、第1測定時間範囲の分割区間の半分の時間である。制御部103は、受光部102を制御して、発光部101の発光に同期して行うA露光(第1露光シーケンス)と消光に同期して行うB露光(第2露光シーケンス)をそれぞれ行う。また、制御部103は、A露光中に受光部102が検出した反射光の光強度SAとB露光中に受光部102が検出した反射光の光強度SBとをそれぞれ不図示のメモリに保存する。
 なお、受光部102において、A露光とB露光とは異なる画素で行っても、同一の画素で行ってもよい。
 ここで、測定対象物60までの距離をz、反射光が距離測定装置10に帰還する時刻を発光からτとし、まず反射光が帰還する時刻τ=(2z/c)<第1時間T0の場合を考える。この場合、A露光期間に受光する反射光の時間幅はT0-τで、B露光期間に受光する反射光の時間幅はT0-(T0-τ)=τとなることから、A露光中に受光部102が検出した反射光の光強度SAとB露光中に受光部102が検出した反射光の光強度SBとの比(強度比)は(式12)で表すことができる。そして、測定対象物60と距離測定装置10との距離は(式13)で表すことができる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 したがって、図10の(c)に示される第2の期間において位相差方式で測距動作を行う場合には、反射光の信号強度比(SA-SB)/(SA+SB)を用いると距離測定装置10から測定対象物60までの距離を連続値で求めることができる。このような第2の期間は、分割区間の時間幅で定められる分解能でしか距離を求められない第1の期間に対して利点がある。
 なお、測定対象物60までの距離が遠い(τ>T0)の場合には、第1番目の発光(光パルス)の反射光が第2番目の発光時刻以降で検出されるため、光パルスの帰還する時刻がパルス帰還時刻τ+2nT0(n:整数)のいずれも(式12)の値が同じになり区別ができない。
 しかし、本実施の形態では、第1の期間において2T0の分解能で測定対象の距離が分かっているので、τ+2nT0におけるnを決定できる。
 これを式で表すと、第1の期間で、i番目の区間にパルス光が帰還した場合、τ+2nT0は、(式14)で表すことができるので、nが一意に決定する。 
Figure JPOXMLDOC01-appb-M000013
 このように求めたτ+2nT0を(式13)中のτに代入して得られる(式15)がτ>T0の場合の解となる。
 z5=c(τ+2nT0)/2=cT0/2(1-(S-S)/(S+S))+cnT0   (式15)
 このように、2回の測定で、測定対象の距離を連続値として得ることができる。
 本実施の形態の測定方法では、第1の期間の結果をフィードバックせずとも、第1の期間の結果と第2の期間の結果とをAND処理(論理積演算処理)を施すことによって、距離測定装置10から測定対象物60までの距離を一意に決定できるという利点がある。受光部102をイメージセンサとして画像処理を行う場合、認識処理の時間が数ms程度かかり、フレームレートに対する律速となりうるが、本測定方法では認識処理の時間がない分測定時間を短縮できる。
 なお、第1の期間の結果をフィードバックして第2の期間の測定を行うとしてもよい。この場合、図10の(c)に示されるような、光パルスの発光・消光の繰り返しは行わなくてよい。第1の期間で反射光を検出した分割区間の開始時刻からT0だけ露光を行うA露光とA露光終了時からT0だけ露光を行うB露光を一度限り行えばよい。これにより、露光回数を少なくし、背景光によるパルス的なノイズや熱ノイズ発生を防ぐことができるので、反射光の誤検知を防ぐことができる。
 また、受光部102には、アバランシェフォトダイオード(APD)を用いてもよい。
 APDでは、ブレークダウン電圧以上の電圧をかけた状態である、ガイガーモードでは、単一のフォトンからの光信号を飽和値まで増倍することも可能であり、受光部102の感度を単一光子検出可能なレベルまで高めることができる。ガイガーモードは、フォトダイオードが飽和しやすく、またノイズも増幅されるため、光の有無を検出する用途には向いているが、光量の絶対値を求める用途には向いていない。ブレークダウン電圧以下の電圧をかけた状態である、ノーマルモードでは、通常のフォトダイオードとして用いることができ、信号強度の絶対値を得る用途にも用いることができる。
 したがって、本実施の形態では、第1の期間は露光期間中に光が帰還するか否か判定できればよいので、ガイガーモードで測定を行えばよい。これにより、帰還する光量が少ない遠方の測定も少ない積算回数で行うことができる。一方、第2の期間では、ノーマルモードで測定を行えばよい。このように、APDは印加電圧を変更するだけで光の検出特性を切り替え可能であるので、第1の期間および第2の期間それぞれの測定方式に適した駆動方法を単一の装置で実現でき、低強度光を高感度で検出しつつ、測定対象物60の距離を連続値として得ることが可能となる。
 なお、この場合の画素回路は特許文献2を用いればよい。特に、特許文献2では、本回路を第2の期間の測定と同様の測定に用いているのみであるが、本回路を用いることで、第1の期間の測定をも効率的に実施することができるようになる。図22に画素回路構成と露光シーケンスを示す。図22の(a)に示すとおり、画素回路は二つの浮遊拡散領域(FD1、FD2)を有することを特徴とする。上記の第2の期間では、(式12)、(式13)、(式9)に示されるSAの信号値を一方(例えばFD1)に、SBの信号値をもう一方(例えばFD2)に保存し、後段で和、差分を取ることで、(式13)、(式9)の距離値を測定することができる。第1の期間では、図22の(b)に示すとおり、FD1とFD2とで露光のタイミングを異ならせることで、同一の繰り返し期間中に、異なる二つの分割区間の測定を行うことができる。更に、後段で信号の差分処理を行えば、信号の正負を見るだけで、どちらの浮遊拡散容量に電荷が入ったかを容易に判定できる。例えば、後段に、FD1の信号量-FD2の信号量を計算する処理を設ければ、信号の符号が正であれば、FD1で露光を行った区間に反射光が帰還したと分かり、信号の符号が負であれば、FD1で露光を行った区間に反射光が帰還したと分かる。本方式を用いることにより、パルス発光の回数を半分に低減することができ、第1の期間の測定時間が半減する。
 (実施の形態6)
 本実施の形態では、距離データだけでなく、輝度データの測定も行う方法について説明する。
 本実施の形態の距離測定装置10は、第1の期間において距離データを取得し、第2の期間において輝度データを取得することができる画素回路を備える。つまり、本実施の形態の画素回路は、距離データを取得する距離測定回路と輝度データを取得する輝度測定回路との両方を備えている。
 本実施の形態の画素回路の一例は、図11に示すような構成からなり、距離画像データと輝度画像データとの両方を同一の回路構成で測定することができる。また、距離測定と輝度測定とを同時に行うことも可能である。
 以下、本実施の形態の画素回路の回路構成の一例について図を用いて説明する。図11は、本実施の形態に係る画素回路の回路構成の一例を示す図である。
 本実施の形態の画素回路は、図11に示すように、受光回路201、カウンタ回路202、比較回路203、記憶回路204、受光素子205、トランスファトランジスタ206、リセットトランジスタ207、電荷蓄積コンデンサ208、カウンタトランジスタ209、カウンタ容量210、直流カットコンデンサ211、クランプトランジスタ212、インバータ213、入力トランジスタ214、記憶コンデンサ215、記憶ノードリセットトランジスタ216、増幅トランジスタ217、選択トランジスタ218、輝度画像用増幅トランジスタ219、輝度画像用選択トランジスタ220および輝度画像用回路221で構成される。ここで、230は出力許可信号である。
 距離測定を行う回路部分については、図20と全く同じなので、ここでの詳細は省略する。
 以下では、光強度を測定する回路について説明する。輝度画像用回路221と受光回路201部分を合わせると、通常のイメージセンサの画素回路と同じ構成である。まずリセットトランジスタ207をONしてから、トランスファゲート電圧をONし、受光素子205をリセットした後に、リセットトランジスタ207をOFFし、tの間、受光を行うと、それに対応した電荷がトランスファトランジスタ206を介して電荷蓄積コンデンサ208に蓄積される。t秒後、トランスファトランジスタ206をOFFし、輝度画像用選択トランジスタ220をONすると、輝度画像用増幅トランジスタ219からの出力電圧を読み出し、信号を得る。このとき、後段にCDS回路を設け、オフセット電圧を除去して輝度信号を得ることが望ましい。このような回路構成では、単一の回路構成で距離と輝度の両方を得ることができる。
 本実施の形態では、受光部102に距離測定装置を二次元アレイ状に配列したイメージセンサと、必要があれば、レンズ等を用いて光学系を構築することで、距離測定データの二次元画像を測定可能な構成とした、固体撮像装置を用いてもよい。この場合には、複数の画素が出力した距離データを処理し、二次元状に配列、画像化して出力した距離画像、および、複数の画素が出力した輝度データを処理し、二次元状に配列、画像化して出力した輝度画像などの画像を得ることができる。
 ここで、取得する画像データの種類は、距離と輝度に限定するものではなく、この他にも、例えば、受光部102の前面に特定の周波数の光を遮断あるいは透過するフィルターを設けるなどの方法で、周波数情報を得てもよい。
 また、輝度画像と距離画像の取得の順番は本願の権利の範囲を限定せず、例えば、輝度画像測定と距離画像測定を交互に繰り返す方法、すなわち、例えば、実施の形態1における、第1の期間の距離測定の後に、輝度測定を行い、その後に、第2の期間の測定を行い、さらにその後に輝度測定を行う、という流れを繰り返す方法や、距離測定実施の前あるいは後に、輝度測定を行う方法などが考えられる。また、距離測定と輝度測定の実施回数の比についても、任意の比で行ってよい。
 また、後段で距離画像および輝度画像を認識処理するなどの方法で、測定対象物60を認識することができる構成としてもよい。この場合、距離画像と輝度画像を組み合わせることで、認識処理の効率化を図ることができる。本実施の形態の距離測定装置10は、まず、距離画像に認識処理を施し、測定対象物60の境界を絞り込む。次に、本実施例の距離測定装置10は、輝度画像の認識処理を行うが、距離画像により絞り込まれた測定対象物60の境界内部に相当する領域で、て再度認識処理を行う。この方法により、本実施例の距離測定装置10は、より効率的に画像認識を行うことができる。
 また、距離画像と輝度画像で相補的に認識処理を行うことができる。測定対象物60が複数存在し、それらの距離が近く、距離の差分が、距離測定装置の分解能以下となる場合、距離画像では、二つの測定対象物60それぞれの形状を分けて認識できない。人と地面との境界や、壁と壁の近くにいる動物などがその例である。この場合、本実施例のように輝度画像を用いて、2つの測定対象物60間の反射率の違いを識別し、2つの測定対象物60を分けて認識できる。一方、輝度画像のみを用いて認識する場合には、離れた二つの測定対象物60の輝度がたまたま同程度になった場合に、輝度画像からは二つの測定対象物60を見分けることは不可能だが、距離画像を用いれば、2つの測定対象物60を別々に認識できる。
 (実施の形態7)
 本実施の形態では、受光部102に、イメージセンサおよび、必要であれば、レンズ等の光学系を構築することで、距離測定データの二次元画像を測定可能とした、固体撮像装置を用いる。距離データを二次元に配列した距離画像、輝度データを二次元に配列した輝度画像のそれぞれを得ることもできる。また、後段で距離画像および輝度画像を認識処理するなどの方法で、測定対象物60を認識することができる構成としてもよい。
 実施の形態1~6では、受光部が複数の距離測定装置で構成されている場合にも、露光タイミングは全ての画素で同じく設定していたが、それぞれの画素で異なるタイミングでの露光を行ってもよい。
 (実施例1)
 図14Aおよび図14Bは、本実施例に係る距離測定装置10の露光シーケンスを説明するための模式図である。図14Aの(a)は、距離測定装置10が撮像した測定対象物60を含む画像の一例を示す模式図であり、距離z1の物体41,距離z2の物体42,距離z3の物体43が示されている。
 ここで、本願の実施の形態2で説明したように、測定対象の3つの物体41,42,43を第1の期間に検出し、第2の期間に、測定対象の各物体41,42,43の近傍に測定範囲を限定して、距離測定を行う場合の駆動を図14Aの(b)及び、図14Bの(c)に示している。
 測定対象の物体41,42,43は、距離画像内で異なる位置に存在しており、測定対象の物体41を検出する距離測定装置を画素1と呼び、露光シーケンスはExposure1とし、測定対象の物体42を検出する距離測定装置を画素2と呼び、露光シーケンスはExposure2とし、測定対象の物体43を検出する距離測定装置を画素3と呼び、露光シーケンスはExposure3として示されている。
 図14Aの(b)では、測定対象物60が複数個存在し、距離z1の物体41,距離z2の物体42,距離z3の物体43のそれぞれに対応し、物体41からの反射光がτ(=2z/c)、物体42からの反射光がτ(=2z/c)、物体43からの反射光がτ(=2z/c)、に帰ってくる。露光動作は実施の形態2の図2の(b)と同様、全画素一斉に行う。ここでの詳細な説明は省略する。
 図14Bの(c)では、実施の形態2の図4の(c)および、図6A~図6Cで説明したとおり、検出した測定対象の近傍に測定範囲を限定して距離測定を行う動作を、測定対象物である物体41,42,43全てについて繰り返す。
 図14Bの(c)の場合には、距離z1の測定対象の物体41,距離z2の測定対象の物体42,距離z3の測定対象の物体43それぞれの近傍で更に細かい区間の距離測定を行うため、第1測定時間範囲の分割区間11をさらに分割した分割区間21、分割区間22、分割区間23、及び、分割区間12をさらに分割した分割区間24、分割区間25、分割区間26、及び、分割区間13をさらに分割した分割区間27、分割区間28、分割区間29の9つすべてに対して測定を行う必要があるため、測定時間が長大化する。
 そこで、図14Bの(d)に示したとおり、画素1では、測定対象の物体41の存在する距離z1の近傍を、画素2では、測定対象の物体42の存在する距離z2の近傍を、画素3では、測定対象の物体43の存在する距離z3の近傍を、それぞれ測定する構成とすればよく、測定時間の短縮が可能となる。特に、本実施例で示した駆動により、各画素の露光回数が減少するので、背景光強度・熱ノイズの低減が見込まれ、誤検出防止の効果がある。
 ここで、図14Bの(d)のシーケンスを詳しく説明する。第1測定時間範囲の内、距離zに対応する時刻であるτ(=2z/c)を含む分割区間(図では区間11)を更に分割した分割区間21,22,23では、第1の期間で測定対象物である物体41を検出した画素1を露光中にさせ、第1測定時間範囲の内、距離zに対応する時刻であるτ(=2z/c)を含む分割区間(図では区間12)を更に分割した分割区間24,25,26では、第1の期間で測定対象の物体42を検出した画素2を露光中にさせ、第1測定時間範囲の内、距離zに対応する時刻であるτ(=2z/c)を含む分割区間(図では区間13)を更に分割した分割区間27,28,29では、第1の期間で測定対象の物体43を検出した画素3を露光中にさせる。より具体的には、本実施例の距離測定装置10では、受光部102は、それぞれ受光可能である二次元的に配列された複数の画素を有し、受光部102は、複数の領域に分割されている。ここで、各画素は、複数の領域のいずれかに属している。制御部103は、第1の期間において、第1の測定時間範囲をK個(K:1以上の自然数)の区間に分割し(第1分割期間)、発光部101の出射光を発する時間および第1の測定時間範囲を含む繰り返し期間をK回繰り返す(第1繰り返し期間)。制御部103は、当該繰り返し期間の開始時刻ごとに、出射光を発光部101に発せさせ、繰り返し期間のK個の区間それぞれにおいて、前記複数の領域の内、全ての領域について、その領域に含まれる全ての画素を露光中にさせる制御を行う。第2の期間においては、上記の第1分割期間のうち、測定対象物60を検出した区間の近傍のみを測定時間範囲(第2測定時間範囲)と規定して測定を行う。第2測定時間範囲をL個(L:1以上の自然数)の区間に分割し、発光部101の出射光を発する時間および測定時間範囲を含む繰り返し期間をL回繰り返す。制御部103は、当該繰り返し期間の開始時刻ごとに、出射光を発光部101に発せさせ、繰り返し期間のL個の区間それぞれにおいて、複数の領域の一を露光中にさせる制御を行う。特に、制御部103は、複数の領域のそれぞれについて、異なる前記領域を、異なる前記第2分割区間において露光中にさせる制御を行う。換言すると、制御部103は、複数の領域のそれぞれについて異なる領域を、繰り返し期間のK個の区間のうちの異なる区間において露光中にさせる制御を行う。
 なお、制御部103は、第1の期間において、受光部102が反射光を複数受光することにより複数の測定対象物である物体41、42、43があり、かつ、K個の区間のうちの異なる区間に存在することを確認したとする。この場合、制御部103は、第2の期間において、複数の領域のそれぞれについて異なる測定距離範囲を設定し、設定した異なる測定距離範囲に応じて第2の測定時間範囲をK’個の区間に分割すればよい。これにより、複数の画素(領域)それぞれに対する測定範囲を決めて距離測定することができる。
 以下では、実際の画素及び画素回路の構成を具体的に説明する。
 一般的なイメージセンサでは、受光部102に露光をさせる駆動回路は全ての画素で共通であるが、本実施例では、複数の駆動回路により、画素ごとに露光のタイミングを異ならせる。図15、図16および図17Aは、本実施例に係る受光部102の構成するイメージセンサの一例を示す図である。図17Bは、図17Aのイメージセンサの制御回路の一例を示す図である。
 図15のように、イメージセンサの画素アレイ102aを縦N行、横M列(N,Mは自然数)の小領域に分割する方法が考えられる。この小区画領域それぞれには一つまたは複数の画素が含まれている。小区画領域の行および列それぞれには、対応する露光用ゲートドライバが設けられており、独立に動作する。換言すると、小区画領域における縦のN行、横のM列それぞれに対応して、露光用の行パルス電源をN個、列パルス電源をM個接続し、それぞれ独立に動作できるようにする。行パルス電源がONになると行選択トランジスタ1301がONとなり、列パルス電源がONになると列選択トランジスタ1302がONになるので、行選択トランジスタ1301、列選択トランジスタ1302の両方がONになった小領域のみ、行選択トランジスタ1301、列選択トランジスタ1302を介して電源電圧1303が画素回路に印加される。
 ここで、前記小領域に含まれる画素の回路は例えば図20や、図11に示す構成が考えられる。この場合、リセットトランジスタ207のトリガ電源として電源電圧1303を用いる回路構成とすることで、露光を行う画素回路を図15の方式で決定することができ、イメージセンサの前記小領域ごとに露光を独立化できる。
 画素アレイの内、独立に露光を行う領域の決め方として、たとえば、図16のように、画素アレイ102bの中央部と外周部の二区画に分割する、同心円状に分割する、など分割の方法は問わない。当然、全画素独立に露光を行ってもよい。また、分割した小領域各々で、測定条件を変えてもよい。例えば、図16の場合、外周部では画面外からの物体(測定対象物60)の侵入を早く捉えることができるよう、測定距離範囲を広く、低分解能で測定するよう、露光時間幅を長く取り、中央部では画面内の測定対象物60を高い分解能で距離測定を行うよう、露光時間幅を狭く取ってもよい。
 また、図17Aに示すように、受光部102は、異なる2以上の露光用電源に接続された画素を交互に配列してもよい。
 この場合、画素Aのみ、あるいは画素Bのみで、もとの画像と同じ撮像範囲の距離画像を出画することができる利点がある。当然、画素A、画素Bで得た距離画像を合成してから、最終的な画像を出力してもよい。
 ここで、図17Aに示す画素アレイ102cを制御する制御回路は、例えば図17Bのように構成される。図17Bに示す制御回路では、パルス電源AがONすると、画素回路Aにのみ接続されているトランジスタがONし、画素Aにのみ電源電圧1701が印加され、画素Aのみ露光が行われる。また、パルス電源BがONすると、画素回路Bに接続したトランジスタがONし、画素Bにのみ電源電圧1701が印加され、画素Bのみ露光が行われる。
 図15に示す画素アレイ102aと比較すると、図17Aに示す画素アレイ102cでは、用意する電源が2つで、トランジスタ数も各画素1つでよいため、回路構成が容易で、小型化しやすい利点がある。また、図15に示す画素アレイ102aでは、画面内での測定対象物60の位置によって、各画素領域の露光タイミングを選択する必要があるが、図17Aの方法では選択の必要は無い。
 また、解像度を犠牲にしても、測定時間を短くしたい場合には、図14A(b)に示した第1の期間において、1番目の繰り返し期間中に、例えば、画素Aで区間11の露光を行い、画素Bで区間12の露光を行うなどの方法を用いることで、1つの繰り返し期間中に、二つの分割区間の測定を実施でき、測定時間を最大半減できる。
 3以上の露光用電源を用いる場合には、測定時間を露光用電源数分の1倍にまで短縮できる。
 なお、図17Aでは、露光用電源Aに接続された画素Aと露光用電源Bに接続された画素Bを市松模様状に配列しているが、配列の種類はこれに限らない。例えば、露光用電源を3つ用意し、露光用電源Aに接続された画素A、露光用電源Bに接続された画素B、露光用電源Cに接続された画素Cを交互に繰り返してもよいし、露光用電源を更に増やし、繰り返し数を増やしてもよい。また、繰り返しの様式として、市松模様以外にも、行ごとに画素A、画素B、・・・を繰り返す配列、列ごとに画素A、画素B、・・・を繰り返す配列、ランダムな配列、など、どのような配列でも、露光用電源をいくつ用いてもよい。
 (実施例2)
 実施例1のように、受光部102の露光回路の電源を複数設ける方法のほかに、外部的に露光可能な領域を制御する素子を導入してもよい。
 具体的には、受光部102は受光素子の前面に、反射光の透過、遮断を制御できるシャッター機構を内蔵してもよい。より具体的には、距離測定装置10は、前記受光部102としてシャッター機構を備え、前記シャッターは、機械的、あるいは電気的などの方法で、光を透過できる開状態と、光を遮断できる閉状態を切り替え可能である。
 この場合について、図18を用いて説明する。図18は、本実施例に係る受光部102を構成するイメージセンサ102dおよびシャッターアレイ102eの一例を示す図である。
 すなわち、本実施例では、イメージセンサ102dの上面に部分的な開閉を自由に行うことができるシャッターアレイ102eを導入する。図18の例では、シャッターアレイ102eの独立に開閉可能な領域は、アレイ状に配列され、イメージセンサの画素ごとにシャッターの開状態および閉状態を独立に制御できる構成としている。開状態と閉状態の制御が独立なシャッターの配列方法は、上記のアレイ状配列に限定されるものではなく、自由な配列を用いてよい。例えば、行ごとに独立に制御可能な配列、行ごとに独立に制御可能な配列などが挙げられる。
 シャッターアレイ102eは、10nsから1μs程度の高速な動作が必要とされるので、電子的な駆動が望ましく、液晶シャッターがその1例として挙げられる。ただし、用いるシャッターの種類に限定はなく、その他の例として、遮光体を物理的に移動させるような機構的シャッターなどが挙げられる。
 本実施例では、シャッターの内、開状態と閉状態を独立に制御できる領域を、イメージセンサ102dの1つの画素、あるいは複数の画素に対応させて、二次元に配列する。液晶シャッターの例では、例えば、電圧印加時のみ液晶体が光を透過する構成とすれば、電圧印加時がシャッターの開状態となる。
 下記では、シャッターアレイ102eとイメージセンサ102dの駆動について、図23Aおよび図23Bを用いて説明する。図23A,図23Bでは、距離z1,z2,z3に測定対象である物体41,42,43がある場合を示しており、この時、発光から反射光が戻ってくるまでの時間はτ1,τ2,τ3(τi=2zi/c)となる。また、測定対象の物体41を検出する画素を画素1、測定対象の物体42を検出する画素を画素2、測定対象の物体43を検出する画素を画素3とする。
 図23A,図23Bでは、物体対象の物体41からの反射光の帰還タイミングをReflected light1、物体対象の物体42からの反射光の帰還タイミングをReflected light2、物体対象の物体43からの反射光の帰還タイミングをReflected light3、画素1の露光タイミングをExposure1、画素2の露光タイミングをExposure2、画素3の露光タイミングをExposure3、画素1全面のシャッターの開閉をShutter1、画素2全面のシャッターの開閉をShutter2、画素3全面のシャッターの開閉をShutter3で示している。
 本実施例の制御部103は、第1の期間において、常にシャッターアレイ102eの全領域を開状態にする。イメージセンサ102dは図2(b)と同じ露光を行うので、詳細は省略する。第2の期間においては、時刻τiを含む期間には、シャッターiのみを開状態とし、その他の期間では、シャッターは閉状態とする。露光について、第1の期間でK個に分割した区間を更に、L個に分割する。図23Aに示す例の場合は、K=3、L=3なので、区間は区間21,区間22,区間23,区間24,区間25,区間26,区間27,区間28,区間29の9つに分割される。
 第2の繰り返し期間1では、L個に分割した区間の内、最初の区間を全て露光する、つまり、図23Bでの区間21、区間24、区間27を露光中にする。第2の繰り返し期間2では、L個に分割した区間の内、2番目の区間を全て露光する、つまり、図23Bでの区間22、区間25、区間28を露光中にする。第2の繰り返し期間3では、L個に分割した区間の内、3番目の区間を全て露光する、つまり、図23Bでの区間23、区間26、区間29を露光中にする。この操作をL回繰り返し、全ての区間が少なくとも一回露光中になるようにする。
 上記の動作の内、反射光を検出できるのは、シャッターが開状態かつ画素が露光中の場合に限られるので、第2の繰り返し期間中に複数回の露光が行われていても、光検出のタイミングは一意に決定できる。
 (実施例3)
 上記の実施例では、露光のタイミングを制御したが、読み出しの範囲を制御する方法も考えられる。例えば、前記受光部102にイメージセンサを用い、前記第1の期間に距離画像の測定を行い、測定対象物を認識し、第2の期間では、認識した測定対象の近傍のみ読出しを行うとしてもよい。また、当然、認識した測定対象の近傍のみの読出しを行う期間を複数回繰り返した、第3の期間、第4の期間、・・・・を追加してもよいし、測定対象物を認識せずにあらかじめ規定した領域のみを読み出すとしてもよい。
 この場合について、図19を用いて説明する。図19は、上記の読み出し範囲を制御する方法を用いて、画像を出力した際の画像シーケンスの一例である。まず、第1の期間に画面全体を読み出す。その後、第2の期間、第3の期間、・・・、第Nの期間(N:2以上の整数)には、画面内の一部の領域のみを読み出す。図19の例では、測定対象1901の周囲のみを読み出している。読出し領域の決定の仕方は、使用者が任意に決定してもよいし、アルゴリズムで規定してもよく、この際には、画像の認識処理等を含めてもよい。
 信号を読み出す領域を限定することで、信号読み出し、および出画にかかる時間を短縮できる。これにより、例えば、測定対象の運動を高いフレームレートで動画撮影することができる。
 特に、実施の形態3に記載の、次の画像を予測しながら距離測定を行う方法と組み合わせることで、効果が期待できる。
 実施の形態3での、第Qの期間での測定(Q:4以上の整数)では、対象の距離をあらかじめ予測するが、この時、予測される結果と異なる結果が得られる場合がある。その時、予測外の結果が得られた画素のみで読出しを行う距離測定を設けることで、急なデータの変化に高速に対応できる。例えば、人や動物などの画面内への急な侵入を高速に検出でき、例えば、車載用途の事故防止対策に利用できる。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
 したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 例えば、上記の実施の形態では、測距動作の測定条件を、フレーム期間ごとに変更するとして説明したが、それに限らない。測定距離時間範囲の分割区間すなわち測定距離範囲の分割距離区間ごとに、発光部の光源パラメータの条件などの測定条件を変更するとしてもよい。たとえば、距離測定装置は、当該距離測定装置を起点とする測定距離範囲を距離範囲の異なる複数の区間である分割距離区間に分割してもよい。そして、当該距離測定装置は、分割距離区間の距離範囲に応じて、発光部の光源パラメータである光パルスの発光強度、発光回数およびパルス幅の積が、当該分割距離区間の最大測定距離の二乗に比例するように、光源パラメータを異ならせて、発光部に分割距離区間ごとに少なくとも1回発光させる制御を行い、分割距離区間ごとに測距動作を行ってもよい。
 つまり、当該距離測定装置では、ユーザーにより設定された測定距離範囲を、1つ以上の区間(分割距離区間)に分割し、分割した分割距離区間(に対応する測定距離)に応じた測距動作を行う。分割数及び分割幅は、ユーザーにより都度決定されても良いし、事前に設定しておいても良い。
 図25は、測定距離範囲の分割距離区間と、分割距離区間ごとの光源パラメータの変動を説明するための図である。ここで、図25を用いて、測定距離範囲を、対応する測定距離が0~2のrange 1と,対応する測定距離2~4のrange 2,対応する測定距離が4~8のrange 3の各区間(分割距離区間)に分割する場合について説明する。なお、分割距離区間の数Kは自然数の中で自由にとることが出来る。また、分割距離区間の幅は均等でも良いし、図25に示すように分割距離区間に対応する測定距離に比例させても良い。また、ユーザーが特に着目する測定距離に対応する分割距離区間ではその幅を細かくしても良いし、測定距離と分割距離区間幅とが予め設定されているテーブルに従って定めても良い。
 図25に示される一点鎖線の曲線Pは、各分割距離区間における発光部の光源パラメータである光パルスの発光強度I、発光回数Nおよびパルス幅Wの積Pが従う条件(測定条件)を示している。制御回路103Aは、各分割距離区間においてこの曲線に従う測定条件の下、発光部のレーザ光源を制御する。図25では、発光部の光源パラメータである光パルスの発光強度I、発光回数N、およびパルス幅Wの積Pが各分割距離区間の最大測定距離の二乗に比例するように制御されることが示されている。ここで、比例定数をA(Aは正の数)とすると、積Pの値は、各分割距離区間の最大測定距離の二乗に比例定数A掛けた値より大きい値に設定にしても良い。
 したがって、例えば図25に示すように、例えばrange 1の第1の期間と例えばrange2の第2の期間とでは、出射光であるパルス光の発光強度、発光回数および光パルス幅のうちの少なくとも一つの測定条件が異なっていてもよい。この場合、第1の測定距離範囲および第2の測定距離範囲の中点の位置のうち遠い方の測定距離範囲において、近い方の測定距離範囲と比べて、光パルスの発光強度、発光回数および光パルス幅の積の値が大きくなるように設定すればよい。
 また、上述の実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の測距撮像装置を内蔵した各種機器も本発明に含まれる。
 なお、本発明は、上述した特徴的な構成を備える距離測定装置として実現することができるだけでなく、当該距離測定装置の測距方法として実現することができる。
 本開示は、距離測定装置に利用でき、特には、衝突防止または自動運転のための自動車用機器、距離測定装置又はその測定方法を用いる機器に適用可能である。
  10 距離測定装置
  31、102d イメージセンサ
  32 レンズ
  33 対象物
  41、42、43 物体
  60 測定対象物
  101 発光部
  102 受光部
  102a、102b、102c 画素アレイ
  102e シャッターアレイ
  103 制御部
  104 出力部
  105 距離算出部
  201 受光回路(フォトダイオード)
  202 カウンタ回路
  203 比較回路
  204 記憶回路
  205 受光素子
  206 トランスファトランジスタ
  207 リセットトランジスタ
  208 電荷蓄積コンデンサ(電荷蓄積容量)
  209 カウンタトランジスタ
  210 カウンタ容量
  211 直流カットコンデンサ
  212 クランプトランジスタ
  213 インバータ
  214 入力トランジスタ
  215 記憶コンデンサ
  216 記憶ノードリセットトランジスタ
  217 増幅トランジスタ
  218 選択トランジスタ
  219 輝度画像用増幅トランジスタ
  220 輝度画像用選択トランジスタ
  221 輝度画像用回路
  1301 行選択トランジスタ
  1302 列選択トランジスタ
  1303、1701 電源電圧

Claims (17)

  1.  距離測定装置であって、
     出射光を発する発光部と、
     前記出射光が測定対象物で反射した反射光を露光中に受光可能な受光部と、
     前記発光部および前記受光部の制御を行う制御部と、
     前記発光部が出射光を発してから前記受光部が反射光を受光するまでの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する距離算出部と、
     算出された前記距離を出力する出力部とを備え、
     前記制御部は、
     第1の期間中において、第1の測定距離範囲に対応する時間範囲である第1の測定時間範囲を設定し、
     前記第1の測定時間範囲において、前記発光部に出射光を発せさせ、前記受光部を露光中にし、
     さらに前記制御部は、第2の期間中において、第2の測定距離範囲に対応する時間範囲である第2の測定時間範囲を設定し、
     前記第2の測定時間範囲において、前記発光部に出射光を発せさせ、前記受光部を露光中にし、
     前記第1の期間と前記第2の期間では、少なくとも一つの測定条件が異なっており、
     前記距離算出部は、前記第1の期間または前記第2の期間の少なくとも一方の期間における前記発光部の出射光を発する時刻から前記受光部が前記反射光を受光した時刻までの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する、
     距離測定装置。
  2.  前記測定条件は、測定距離範囲に対応する時間範囲、測定距離範囲に対応する時間範囲を複数の区間に分割するときの分割数、前記出射光であるパルス光のパルス幅、前記パルス光のパルス数、前記パルス光の強度、露光時間、露光周期、露光回数、前記受光部の画像読み出し範囲、および、前記受光部の駆動回路の制御のうちの少なくともいずれか一つである、
     請求項1に記載の距離測定装置。
  3.  前記第1の期間と前記第2の期間とでは、前記出射光であるパルス光の発光強度、発光回数および光パルス幅のうちの少なくとも一つの測定条件が異なっており、
     前記第1の測定距離範囲および第2の測定距離範囲の中点の位置のうち遠い方の測定距離範囲において、近い方の測定距離範囲と比べて、前記光パルスの発光強度、発光回数および光パルス幅の積の値が大きくなるように設定する、
     請求項1に記載の距離測定装置。
  4.  距離測定装置であって、
     出射光を発する発光部と、
     前記出射光が測定対象物で反射した反射光を露光中に受光可能な受光部と、
     前記発光部および前記受光部の制御を行う制御部と、
     発光部の出射光を発してから前記受光部が反射光を受光するまでの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する距離算出部と、
     算出された前記距離を出力する出力部とを備え、
     前記制御部は、
     第1の期間中において、第1の測定距離範囲に対応する時間範囲である第1の測定時間範囲を設定し、
     前記第1の測定時間範囲において、前記発光部から出射光を発せさせ、前記受光部を露光中にさせ、
     さらに、前記制御部は、
     第2の期間中において、第2の測定距離範囲に対応する時間範囲である第2の測定時間範囲をK’個(K’:2以上の自然数)の区間に分割し、
     前記発光部の出射光を発する時間および前記第2の測定時間範囲を含む繰り返し期間を繰り返し、かつ、少なくとも一つの前記繰り返し期間において、前記K’個の区間の少なくとも一の区間に前記受光部を露光状態とし、
     前記距離算出部は、前記第1の期間または前記第2の期間の少なくとも一方の期間における前記発光部の出射光を発する時刻から前記受光部が前記反射光を受光した時刻までの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する、
     距離測定装置。
  5.  前記制御部は、
     前記第1の期間中において、前記第1の測定時間範囲をK個(K:2以上の自然数)の区間に分割し、
     前記発光部の出射光を発する時間および前記第1の測定時間範囲を含む繰り返し期間をK回繰り返し、かつ、前記繰り返し期間ごとに前記発光部に出射光を発せさせ、前記繰り返し期間ごとに前記K個の区間の少なくとも一の区間に前記受光部を露光中にさせ、
     前記第1の期間と前記第2の期間とは、測定条件を異ならせる制御を行い、
     前記距離算出部は、前記第1の期間および前記第2の期間における前記発光部の出射光を発する時刻から前記受光部が受光した時刻までの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する、
     請求項4に記載の距離測定装置。
  6.  前記制御部は、さらに、
     前記第1の期間において算出された前記距離測定装置から前記測定対象物までの距離に基づいて、前記第2の期間における測定条件を決定する、
     請求項4に記載の距離測定装置。
  7.  前記制御部は、
     前記第1の期間において、前記受光部が前記反射光を受光せず前記測定対象物が第1の測定距離範囲に存在しないことを確認した場合、前記第2の期間における前記第2の測定距離範囲を変更する、
     請求項6に記載の距離測定装置。
  8.  前記制御部は、
     前記第1の期間において、
     前記受光部が前記反射光を受光し前記測定対象物が前記K個の区間のうち第L区間(L:K以下の自然数)に存在することを確認したとき、
     前記第2の期間において、
     前記第L区間を含み且つ前記第1の期間で用いた前記第1の測定時間範囲よりも短い前記第2の測定時間範囲をK’個(K’:2以上の自然数)の区間に分割し、前記発光部の出射光を発する時間および前記第2の測定時間範囲を含む第2繰り返し期間をK’回繰り返し、かつ、前記第2繰り返し期間ごとに前記K’個の区間の少なくとも一の区間に前記受光部を露光中にさせる制御を行い、
     前記距離算出部は、前記第2の期間における前記発光部の出射光を発する時刻から前記受光部が受光した時刻までの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する、
     請求項6に記載の距離測定装置。
  9.  前記制御部は、
     前記第2の期間において、
     前記受光部が前記反射光を受光し前記測定対象物が前記K’個の区間のうち第N区間(N:K’以下の自然数)に存在することを確認した場合に、
     さらに、前記第2の期間に続く第3の期間において、
     前記第N区間を含み且つ前記第2の期間で用いた前記第2の測定時間範囲以下の第3の測定時間範囲をO個(O:2以上の自然数)の区間に分割し、前記発光部の出射光を発する時間および前記第3の測定時間範囲を含む第3繰り返し期間をO回繰り返し、かつ、前記第3繰り返し期間ごとに前記O個の区間の少なくとも一の区間に前記受光部を露光中にさせる制御を行い、
     前記距離算出部は、前記第3の期間における前記発光部の出射光を発する時刻から前記受光部が受光した時刻までの時間に基づいて、前記距離測定装置から前記測定対象物までの距離を算出する、
     請求項8に記載の距離測定装置。
  10.  前記距離算出部は、
     前記制御部により、前記受光部が前記反射光を受光し前記測定対象物が前記O個の区間のうち第P区間(P:O以下の自然数)に存在することを確認されたとき、
     前記第3の期間において算出した距離と前記第2の期間において算出した距離との差分である差分距離を求め、
     前記差分距離と、前記第2の期間の前記第N区間の開始時刻から前記第3の期間の前記第P区間の開始時刻までの時間との比を計算することで、前記距離測定装置の前記出射光の進行方向における速度を求める、
     請求項9に記載の距離測定装置。
  11.  前記制御部は、さらに、
     前記第3の期間の開始時刻から前記第3の期間に続く第4の期間の開始時刻までの時間と前記速度とを乗算した値を、前記第3の期間において算出した距離に足すことで、前記第4の期間における前記測定対象物が存在する距離範囲を予測し、
     前記第4の期間において、
     予測した前記距離範囲に対応する時間範囲を含み、且つ、前記第3の測定時間範囲よりも短い第4の測定時間範囲を複数の区間に分割し、前記発光部の出射光を発する時間および前記第4の測定時間範囲を含む第4繰り返し期間を前記複数回繰り返し、かつ、前記第4繰り返し期間ごとに前記複数の区間の少なくとも一の区間に前記受光部を露光中にさせる制御を行う、
     請求項10に記載の距離測定装置。
  12.  前記受光部は、それぞれ受光可能である二次元的に配列された複数の画素を有し、
     前記受光部は、複数の領域に分割され、前記複数の画素は、前記複数の領域のいずれかに属しており、
     前記制御部は、
     前記第1の期間および前記第2の期間のうち少なくとも前記第1の期間において、
     前記第1の測定時間範囲をK個(K:2以上の自然数)の区間に分割し、前記発光部の出射光を発する時間および前記第1の測定時間範囲を含む繰り返し期間をK回繰り返し、
     前記繰り返し期間の開始時刻ごとに、前記区間の半分より短い時間である狭パルス幅で出射光を前記発光部に発せさせ、
     前記繰り返し期間の前記K個の区間それぞれにおいて、前記複数の領域の一を露光中にさせる制御を行う、
     請求項4に記載の距離測定装置。
  13.  前記制御部は、
     前記複数の領域のそれぞれについて異なる領域を、前記繰り返し期間の前記K個の区間のうちの異なる区間において露光中にさせる制御を行う、
     請求項12に記載の距離測定装置。
  14.  前記制御部は、前記第1の期間において、前記受光部が前記反射光を複数受光することにより前記測定対象物が複数あり、かつ、前記K個の区間のうちの異なる区間に存在することを確認した場合、
     前記第2の期間において、前記複数の領域のそれぞれについて異なる測定距離範囲を設定し、設定した前記異なる測定距離範囲に応じて前記第2の測定時間範囲を前記K’個の区間に分割する、
     請求項12に記載の距離測定装置。
  15.  前記複数の領域の行および列それぞれには、対応する露光用ゲートドライバが設けられており、前記露光用ゲートドライバのそれぞれは、独立に動作する、
     請求項12に記載の距離測定装置。
  16.  前記制御部は、
     前記第1の測定時間範囲と前記第2の測定時間範囲とにおいて、前記発光部の出射光を発する周期を異ならせる、
     請求項4に記載の距離測定装置。
  17.  前記受光部は、それぞれ受光可能である二次元的に配列された複数の画素を有し、
     前記制御部は、さらに、
     前記第1の期間および前記第2の期間のうちの少なくとも前記第1の期間において前記複数の画素が受光した反射光から前記測定対象物の距離に関する画像である距離画像を得、
     前記第2の期間において前記複数の画素が受光した反射光の輝度を取得して前記測定対象物に関する輝度の画像である輝度画像を得、
     前記距離画像と前記輝度画像とに基づいて前記測定対象物を認識する、
     請求項4に記載の距離測定装置。
PCT/JP2017/005503 2016-02-17 2017-02-15 距離測定装置 Ceased WO2017141957A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780007142.2A CN108474849B (zh) 2016-02-17 2017-02-15 距离测量装置
JP2018500150A JP6910010B2 (ja) 2016-02-17 2017-02-15 距離測定装置
EP17753213.2A EP3418772A4 (en) 2016-02-17 2017-02-15 DISTANCE MEASURING DEVICE
US16/040,624 US11204421B2 (en) 2016-02-17 2018-07-20 Distance measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016028436 2016-02-17
JP2016-028436 2016-02-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/040,624 Continuation US11204421B2 (en) 2016-02-17 2018-07-20 Distance measuring device

Publications (1)

Publication Number Publication Date
WO2017141957A1 true WO2017141957A1 (ja) 2017-08-24

Family

ID=59625177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005503 Ceased WO2017141957A1 (ja) 2016-02-17 2017-02-15 距離測定装置

Country Status (5)

Country Link
US (1) US11204421B2 (ja)
EP (1) EP3418772A4 (ja)
JP (1) JP6910010B2 (ja)
CN (1) CN108474849B (ja)
WO (1) WO2017141957A1 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019050024A1 (ja) * 2017-09-11 2019-03-14 パナソニックIpマネジメント株式会社 距離測定方法および距離測定装置
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
JP2019095446A (ja) * 2017-11-21 2019-06-20 アナログ・ディヴァイシス・グローバル・アンリミテッド・カンパニー ライダーシステムにおける飛行時間を測定するためのシステムおよび方法
WO2020014902A1 (zh) * 2018-07-18 2020-01-23 深圳市汇顶科技股份有限公司 飞时测距系统及校正方法
CN110850441A (zh) * 2017-08-15 2020-02-28 黑芝麻智能科技(上海)有限公司 使用全局快门图像传感器进行障碍物检测
WO2020130440A1 (ko) * 2018-12-20 2020-06-25 ㈜미래컴퍼니 3차원 거리측정 카메라
WO2020196378A1 (ja) * 2019-03-26 2020-10-01 パナソニックIpマネジメント株式会社 距離画像の取得方法、及び、距離検出装置
CN111751807A (zh) * 2019-03-27 2020-10-09 先进科技新加坡有限公司 用于校准或测试成像装置的设备和方法
JPWO2019058678A1 (ja) * 2017-09-25 2020-10-22 日本電産株式会社 距離測定装置及びそれを備えた移動体
JPWO2019123831A1 (ja) * 2017-12-22 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 パルス生成器および信号生成装置
WO2020246264A1 (ja) * 2019-06-05 2020-12-10 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
JP2021012091A (ja) * 2019-07-05 2021-02-04 株式会社日立エルジーデータストレージ 3次元距離測定装置
WO2021065138A1 (ja) * 2019-10-01 2021-04-08 パナソニックIpマネジメント株式会社 測距装置および制御方法
WO2021085612A1 (ja) * 2019-11-01 2021-05-06 ヌヴォトンテクノロジージャパン株式会社 測距装置及び測距方法
JPWO2021095382A1 (ja) * 2019-11-15 2021-05-20
JPWO2019225224A1 (ja) * 2018-05-24 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 時間計測装置
JP2021092554A (ja) * 2019-12-09 2021-06-17 エスケーハイニックス株式会社SK hynix Inc. 飛行時間距離測定方式のセンシングシステム及びイメージセンサ
JP2021148608A (ja) * 2020-03-19 2021-09-27 株式会社リコー 撮像装置、測距装置及び撮像プログラム
JPWO2021192770A1 (ja) * 2020-03-24 2021-09-30
JPWO2022137685A1 (ja) * 2020-12-23 2022-06-30
JP2022551427A (ja) * 2019-09-25 2022-12-09 ゼノマティクス・ナムローゼ・フエンノートシャップ シーンまでの距離を決定するための方法および装置
WO2023135943A1 (ja) * 2022-01-17 2023-07-20 株式会社小糸製作所 測定装置
JP2023147558A (ja) * 2022-03-30 2023-10-13 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2023174180A (ja) * 2022-05-27 2023-12-07 キヤノン株式会社 距離画像生成装置及び距離画像生成方法
US20240036170A1 (en) * 2020-08-04 2024-02-01 Korea Institute Of Machinery & Materials Distance measurement head and multi-target distance measurement system including the same
US12013459B2 (en) 2018-03-20 2024-06-18 Panasonic Intellectual Property Management Co., Ltd. Distance measuring device, distance measuring system, distance measuring method, and program
US12146955B2 (en) 2018-12-06 2024-11-19 Panasonic Intellectual Property Management Co., Ltd. Range-information acquiring apparatus, range-information acquiring method, and non-transitory computer-readable medium
US12222421B2 (en) 2018-12-06 2025-02-11 Panasonic Intellectual Property Management Co., Ltd. Object recognition apparatus, object recognition method, and non-transitory computer readable medium

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
WO2017208673A1 (ja) * 2016-06-02 2017-12-07 シャープ株式会社 光センサ、電子機器
EP3499867B1 (en) * 2016-08-10 2021-01-06 Panasonic Intellectual Property Management Co., Ltd. Projection image pickup device and projection image pickup method
US10585176B2 (en) 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10663565B2 (en) * 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
CN112687713B (zh) * 2017-09-29 2025-01-14 索尼半导体解决方案公司 光检测器件
US11366225B2 (en) * 2017-12-29 2022-06-21 NewSight Imaging Ltd. Active-pixel sensor array
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US11054515B2 (en) 2018-06-26 2021-07-06 Zoox, Inc. Radar clustering and velocity disambiguation
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
JP7117646B2 (ja) * 2018-09-03 2022-08-15 パナソニックIpマネジメント株式会社 距離測定装置
US10789506B2 (en) * 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN109444826B (zh) * 2018-11-15 2024-11-19 深圳市速腾聚创科技有限公司 接收器件、接收系统及激光雷达
US10830894B2 (en) * 2018-11-21 2020-11-10 Zoox, Inc. Intensity and depth measurements in time-of-flight sensors
CN113614566B (zh) * 2019-03-27 2024-09-10 松下知识产权经营株式会社 测距方法、测距装置以及程序记录介质
JP7115390B2 (ja) * 2019-03-28 2022-08-09 株式会社デンソー 測距装置
US11639989B2 (en) * 2019-05-13 2023-05-02 Analog Devices International Unlimited Company Time of flight transmitter with self-stabilized optical output phase
WO2021010372A1 (ja) * 2019-07-18 2021-01-21 株式会社デンソー 発光素子駆動装置および光測距装置
JP7511562B2 (ja) * 2019-07-26 2024-07-05 ソニーセミコンダクタソリューションズ株式会社 受光装置及び受光装置の制御方法、並びに、測距装置
WO2021035689A1 (zh) 2019-08-30 2021-03-04 上海禾赛光电科技有限公司 用于激光雷达的接收系统、激光雷达和抑制鬼线的方法
CN120143184A (zh) 2019-09-30 2025-06-13 富士胶片株式会社 处理装置、电子设备、处理方法及计算机程序产品
CN110780284B (zh) * 2019-11-22 2020-12-29 上海禾赛光电科技有限公司 接收系统、包括其的激光雷达、以及回波接收处理的方法
CN114846355B (zh) * 2020-01-17 2025-04-22 松下知识产权经营株式会社 测距装置
JP7241710B2 (ja) * 2020-02-03 2023-03-17 株式会社ソニー・インタラクティブエンタテインメント 位相差算出装置、位相差算出方法およびプログラム
CN113514851B (zh) * 2020-03-25 2024-06-04 深圳市光鉴科技有限公司 深度相机
EP4162290A4 (en) * 2020-08-03 2024-07-10 Sense Photonics, Inc. Methods and systems for power-efficient subsampled 3d imaging
WO2022080014A1 (ja) * 2020-10-13 2022-04-21 ソニーセミコンダクタソリューションズ株式会社 センサ制御システム及びセンサ
JP7721260B2 (ja) * 2020-10-21 2025-08-12 キヤノン株式会社 光電変換装置、光電変換システム
US20240027616A1 (en) * 2020-11-27 2024-01-25 Ningbo ABAX Sensing Electronic Technology Co., Ltd. Distance information acquisition system
CN114594449B (zh) * 2020-12-04 2025-09-30 上海禾赛科技有限公司 探测装置、探测方法和激光雷达
JP7739719B2 (ja) * 2021-01-25 2025-09-17 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
CN118160320A (zh) * 2021-11-02 2024-06-07 松下知识产权经营株式会社 成像元件及测距装置
CN116256741A (zh) * 2021-12-10 2023-06-13 杭州海康威视数字技术股份有限公司 一种测距方法及电子设备
JP2023132668A (ja) * 2022-03-11 2023-09-22 オムロン株式会社 光干渉測距センサ
CN114814857B (zh) * 2022-03-30 2025-08-12 森思泰克河北科技有限公司 固态激光雷达控制方法、控制单元及固态激光雷达
US20260016595A1 (en) * 2022-07-17 2026-01-15 NewSight Imaging Ltd. Method and apparatus for multi-range time of flight detection
TWI830306B (zh) * 2022-07-27 2024-01-21 茂達電子股份有限公司 具有感測順序調變機制的光感測方法
US20240036209A1 (en) * 2022-08-01 2024-02-01 Pixart Imaging Inc. Optical sensor capable of cancelling interference
CN117381860A (zh) * 2023-09-04 2024-01-12 深圳市欢创科技股份有限公司 控制方法、激光雷达及机器人
US20250164614A1 (en) * 2023-11-17 2025-05-22 Samsung Electronics Co., Ltd. PROGRESSIVE TRANSMIT DELAYS FOR SYSTEMATIC TIME-DEPENDENT ERROR ELIMINATION IN LiDAR

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260937A (ja) * 1994-03-22 1995-10-13 Nikon Corp 距離測定装置
JP2000506971A (ja) * 1996-03-07 2000-06-06 スペクトラ プレシジョン アーベー 電子距離測定器具
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
JP2009537832A (ja) * 2006-05-23 2009-10-29 ライカ ジオシステムズ アクチェンゲゼルシャフト 標的の空間次元を決定するための距離測定方法及び距離計
WO2010013779A1 (ja) 2008-07-30 2010-02-04 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP2010156711A (ja) * 2002-07-19 2010-07-15 Robert Bosch Gmbh 距離測定装置および距離測定方法
JP2012215481A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム
US20130003041A1 (en) * 2011-06-28 2013-01-03 Sick Ag Optoelectric sensor and a method for the detection and distance determination of objects
JP2013096941A (ja) * 2011-11-04 2013-05-20 Sony Corp 撮像装置、撮像方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1126412B1 (en) * 2000-02-16 2013-01-30 FUJIFILM Corporation Image capturing apparatus and distance measuring method
JP4040825B2 (ja) * 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
EP1191306B1 (en) * 2000-09-26 2006-11-22 Fuji Photo Film Co., Ltd. Distance information obtaining apparatus and distance information obtaining method
JP4488170B2 (ja) 2001-08-06 2010-06-23 シーメンス アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置
JP2007170856A (ja) * 2005-12-19 2007-07-05 Denso Corp 距離データ生成方法、距離画像生成装置、光電センサ
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP6435513B2 (ja) * 2013-06-26 2018-12-12 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
JP6424338B2 (ja) * 2014-06-09 2018-11-21 パナソニックIpマネジメント株式会社 測距装置
DE102014117097B3 (de) * 2014-11-21 2016-01-21 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
CN104730535A (zh) * 2015-03-20 2015-06-24 武汉科技大学 一种车载多普勒激光雷达距离测量方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260937A (ja) * 1994-03-22 1995-10-13 Nikon Corp 距離測定装置
JP2000506971A (ja) * 1996-03-07 2000-06-06 スペクトラ プレシジョン アーベー 電子距離測定器具
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
JP2010156711A (ja) * 2002-07-19 2010-07-15 Robert Bosch Gmbh 距離測定装置および距離測定方法
JP2009537832A (ja) * 2006-05-23 2009-10-29 ライカ ジオシステムズ アクチェンゲゼルシャフト 標的の空間次元を決定するための距離測定方法及び距離計
WO2010013779A1 (ja) 2008-07-30 2010-02-04 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP2012215481A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム
US20130003041A1 (en) * 2011-06-28 2013-01-03 Sick Ag Optoelectric sensor and a method for the detection and distance determination of objects
JP2013096941A (ja) * 2011-11-04 2013-05-20 Sony Corp 撮像装置、撮像方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3418772A4

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11280908B2 (en) 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
CN110850441A (zh) * 2017-08-15 2020-02-28 黑芝麻智能科技(上海)有限公司 使用全局快门图像传感器进行障碍物检测
JPWO2019050024A1 (ja) * 2017-09-11 2020-10-22 パナソニックIpマネジメント株式会社 距離測定方法および距離測定装置
WO2019050024A1 (ja) * 2017-09-11 2019-03-14 パナソニックIpマネジメント株式会社 距離測定方法および距離測定装置
JPWO2019058678A1 (ja) * 2017-09-25 2020-10-22 日本電産株式会社 距離測定装置及びそれを備えた移動体
US11405577B2 (en) 2017-10-20 2022-08-02 National University Corporation Shizuoka University Distance image measurement device and distance image measurement method
JPWO2019078366A1 (ja) * 2017-10-20 2020-12-03 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
JP7194443B2 (ja) 2017-10-20 2022-12-22 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
CN111226434A (zh) * 2017-10-20 2020-06-02 国立大学法人静冈大学 距离图像测定装置以及距离图像测定方法
CN111226434B (zh) * 2017-10-20 2022-05-31 国立大学法人静冈大学 距离图像测定装置以及距离图像测定方法
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
US10914824B2 (en) 2017-11-21 2021-02-09 Analog Devices International Unlimited Company Systems and methods for measuring a time of flight in a lidar system
JP2019095446A (ja) * 2017-11-21 2019-06-20 アナログ・ディヴァイシス・グローバル・アンリミテッド・カンパニー ライダーシステムにおける飛行時間を測定するためのシステムおよび方法
US11867842B2 (en) 2017-12-22 2024-01-09 Sony Semiconductor Solutions Corporation Pulse generator and signal generation apparatus
JPWO2019123831A1 (ja) * 2017-12-22 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 パルス生成器および信号生成装置
US12013459B2 (en) 2018-03-20 2024-06-18 Panasonic Intellectual Property Management Co., Ltd. Distance measuring device, distance measuring system, distance measuring method, and program
US12405379B2 (en) 2018-05-24 2025-09-02 Sony Semiconductor Solutions Corporation Time measurement apparatus
JPWO2019225224A1 (ja) * 2018-05-24 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 時間計測装置
JP7290632B2 (ja) 2018-05-24 2023-06-13 ソニーセミコンダクタソリューションズ株式会社 時間計測装置
WO2020014902A1 (zh) * 2018-07-18 2020-01-23 深圳市汇顶科技股份有限公司 飞时测距系统及校正方法
US12222421B2 (en) 2018-12-06 2025-02-11 Panasonic Intellectual Property Management Co., Ltd. Object recognition apparatus, object recognition method, and non-transitory computer readable medium
US12146955B2 (en) 2018-12-06 2024-11-19 Panasonic Intellectual Property Management Co., Ltd. Range-information acquiring apparatus, range-information acquiring method, and non-transitory computer-readable medium
KR20200077208A (ko) * 2018-12-20 2020-06-30 (주)미래컴퍼니 3차원 거리측정 카메라
WO2020130440A1 (ko) * 2018-12-20 2020-06-25 ㈜미래컴퍼니 3차원 거리측정 카메라
KR102165091B1 (ko) 2018-12-20 2020-10-13 (주)미래컴퍼니 3차원 거리측정 카메라
WO2020196378A1 (ja) * 2019-03-26 2020-10-01 パナソニックIpマネジメント株式会社 距離画像の取得方法、及び、距離検出装置
JPWO2020196378A1 (ja) * 2019-03-26 2021-11-18 パナソニックIpマネジメント株式会社 距離画像の取得方法、及び、距離検出装置
US20220003876A1 (en) * 2019-03-26 2022-01-06 Panasonic Intellectual Property Management Co., Ltd. Distance image obtaining method and distance detection device
CN111751807A (zh) * 2019-03-27 2020-10-09 先进科技新加坡有限公司 用于校准或测试成像装置的设备和方法
CN111751807B (zh) * 2019-03-27 2023-05-23 先进科技新加坡有限公司 用于校准或测试成像装置的设备和方法
WO2020246264A1 (ja) * 2019-06-05 2020-12-10 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
US12449516B2 (en) 2019-06-05 2025-10-21 Sony Semiconductor Solutions Corporation Distance measuring sensor, signal processing method, and distance measuring module
JP7257275B2 (ja) 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ 3次元距離測定装置
JP2021012091A (ja) * 2019-07-05 2021-02-04 株式会社日立エルジーデータストレージ 3次元距離測定装置
JP2022551427A (ja) * 2019-09-25 2022-12-09 ゼノマティクス・ナムローゼ・フエンノートシャップ シーンまでの距離を決定するための方法および装置
JPWO2021065138A1 (ja) * 2019-10-01 2021-04-08
WO2021065138A1 (ja) * 2019-10-01 2021-04-08 パナソニックIpマネジメント株式会社 測距装置および制御方法
CN114341672A (zh) * 2019-10-01 2022-04-12 松下知识产权经营株式会社 测距装置及控制方法
JPWO2021085612A1 (ja) * 2019-11-01 2021-05-06
WO2021085612A1 (ja) * 2019-11-01 2021-05-06 ヌヴォトンテクノロジージャパン株式会社 測距装置及び測距方法
CN114641707A (zh) * 2019-11-01 2022-06-17 衛來科技公司 测距装置以及测距方法
JP7603016B2 (ja) 2019-11-01 2024-12-19 ミラクシアエッジテクノロジー株式会社 測距装置
US12422530B2 (en) 2019-11-01 2025-09-23 Miraxia Edge Technology Corporation Ranging device and ranging method
JP2025111604A (ja) * 2019-11-15 2025-07-30 パナソニックIpマネジメント株式会社 センシングデバイス
JP7678513B2 (ja) 2019-11-15 2025-05-16 パナソニックIpマネジメント株式会社 センシングデバイスおよび情報処理装置
JPWO2021095382A1 (ja) * 2019-11-15 2021-05-20
JP7550382B2 (ja) 2019-11-15 2024-09-13 パナソニックIpマネジメント株式会社 センシングデバイスおよび情報処理装置
JP7840023B2 (ja) 2019-11-15 2026-04-03 パナソニックIpマネジメント株式会社 センシングデバイス
JP2024164123A (ja) * 2019-11-15 2024-11-26 パナソニックIpマネジメント株式会社 センシングデバイスおよび情報処理装置
JP7765174B2 (ja) 2019-12-09 2025-11-06 エスケーハイニックス株式会社 飛行時間距離測定方式のセンシングシステム及びイメージセンサ
JP2021092554A (ja) * 2019-12-09 2021-06-17 エスケーハイニックス株式会社SK hynix Inc. 飛行時間距離測定方式のセンシングシステム及びイメージセンサ
JP2021148608A (ja) * 2020-03-19 2021-09-27 株式会社リコー 撮像装置、測距装置及び撮像プログラム
JP7673049B2 (ja) 2020-03-24 2025-05-08 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
US12247872B2 (en) 2020-03-24 2025-03-11 Sony Semiconductor Solutions Corporation Light receiving device and distance measuring device including resistor and transistors between light receiving element and readout circuit
US11725983B2 (en) 2020-03-24 2023-08-15 Sony Semiconductor Solutions Corporation Light receiving device and distance measuring device comprising a circuit to protect a circuit element of a readout circuit from overvoltage
JPWO2021192770A1 (ja) * 2020-03-24 2021-09-30
WO2021192770A1 (ja) * 2020-03-24 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
US20240036170A1 (en) * 2020-08-04 2024-02-01 Korea Institute Of Machinery & Materials Distance measurement head and multi-target distance measurement system including the same
WO2022137685A1 (ja) * 2020-12-23 2022-06-30 パナソニックIpマネジメント株式会社 測距装置、測距方法および位相検出装置
JPWO2022137685A1 (ja) * 2020-12-23 2022-06-30
WO2023135943A1 (ja) * 2022-01-17 2023-07-20 株式会社小糸製作所 測定装置
JP2023147558A (ja) * 2022-03-30 2023-10-13 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2023174180A (ja) * 2022-05-27 2023-12-07 キヤノン株式会社 距離画像生成装置及び距離画像生成方法

Also Published As

Publication number Publication date
JP6910010B2 (ja) 2021-07-28
US11204421B2 (en) 2021-12-21
EP3418772A4 (en) 2019-03-13
CN108474849A (zh) 2018-08-31
EP3418772A1 (en) 2018-12-26
CN108474849B (zh) 2021-12-21
US20180329063A1 (en) 2018-11-15
JPWO2017141957A1 (ja) 2018-12-06

Similar Documents

Publication Publication Date Title
JP6910010B2 (ja) 距離測定装置
US10838066B2 (en) Solid-state imaging device, distance measurement device, and distance measurement method
CN106896369B (zh) 测距装置
US10764518B2 (en) Pixel structure
US10261175B2 (en) Ranging apparatus
JP7541030B2 (ja) Lidarシステムにおける時間的ジッタ
EP3625589B1 (en) System and method for determining a distance to an object
JP6633197B2 (ja) 光検出装置、及び電子機器
US8610043B2 (en) Proximity sensor having an array of single photon avalanche diodes and circuitry for switching off illumination source and associated method, computer readable medium and firmware
CN107615093B (zh) 测距摄像装置、其测距方法以及固体摄像装置
US12211881B2 (en) Pixel circuit and method of operating the same in an always-on mode
JPWO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
KR102952247B1 (ko) 다중 리턴 기능을 가진 픽셀을 구비한 가이거 모드 애벌랜치 포토다이어드 기반의 수신기를 포함하는 lidar 시스템
JP6735515B2 (ja) 固体撮像装置
WO2019050024A1 (ja) 距離測定方法および距離測定装置
US20230221439A1 (en) Addressing redundant memory for lidar pixels
WO2023189910A1 (ja) 距離測定システム
CN114846355B (zh) 测距装置
CN114814878B (zh) 深度数据测量头、测量设备、控制系统及对应方法
JP2025166561A (ja) 処理装置、撮像装置、処理方法、及びプログラム
CN121878656A (zh) 图像感测装置
KR20260053413A (ko) 다중 리턴 기능을 가진 픽셀을 구비한 가이거 모드 애벌랜치 포토다이어드 기반의 수신기를 포함하는 lidar 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17753213

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018500150

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017753213

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017753213

Country of ref document: EP

Effective date: 20180917