WO2023120012A1 - 測定装置 - Google Patents

測定装置 Download PDF

Info

Publication number
WO2023120012A1
WO2023120012A1 PCT/JP2022/043362 JP2022043362W WO2023120012A1 WO 2023120012 A1 WO2023120012 A1 WO 2023120012A1 JP 2022043362 W JP2022043362 W JP 2022043362W WO 2023120012 A1 WO2023120012 A1 WO 2023120012A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
light
measuring device
pulse width
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/043362
Other languages
English (en)
French (fr)
Inventor
昌之 ▲高▼橋
安男 中村
健一 星
大騎 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to US18/722,939 priority Critical patent/US20250052902A1/en
Priority to EP22910730.5A priority patent/EP4455731A4/en
Priority to CN202280085641.4A priority patent/CN118451343A/zh
Priority to JP2023569193A priority patent/JPWO2023120012A1/ja
Publication of WO2023120012A1 publication Critical patent/WO2023120012A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves

Definitions

  • This disclosure relates to a measuring device.
  • Patent Document 1 there is an indirect ToF (Time of Flight) measuring device that measures the distance to an object based on irradiating laser light (pulse light) and exposing the reflected and returned light. disclosed.
  • ToF Time of Flight
  • An object of the present disclosure is to provide a measuring device that can improve measurement accuracy.
  • the main disclosure for achieving the above object is set according to a light emitting unit that emits pulsed light, an imaging sensor that outputs a signal value according to the exposure amount of each pixel, and a region to be measured, a timing control unit that exposes the pixels of the imaging sensor to the reflected light during an exposure period with an exposure width shorter than the pulse width of the pulsed light; and a calculator that calculates the arrival time of the reflected light based on the signal value.
  • FIG. 1A is an explanatory view of the configuration of the measuring device 1.
  • FIG. 1B is an explanatory diagram of light emission timing and exposure timing.
  • FIG. 2 is an explanatory diagram of image creation by indirect ToF.
  • FIG. 3 is a diagram showing a configuration example of the imaging sensor 22.
  • FIG. 4 is an explanatory diagram of the relationship between light emission and exposure in the measuring device 1 of this embodiment.
  • FIG. 5 is an overall flow chart of the operation of the measuring device 1 of this embodiment.
  • FIG. 6 is an explanatory diagram of image acquisition.
  • FIG. 7 is a flow chart of distance calculation processing.
  • FIG. 8 is a conceptual explanatory diagram of distance calculation processing.
  • FIG. 9 is a conceptual explanatory diagram of distance calculation processing.
  • FIG. 10 is an explanatory diagram of the relationship between light emission and exposure in a comparative example.
  • FIG. 1A is an explanatory view of the configuration of the measuring device 1.
  • the measuring device 1 shown in FIG. 1A is a ToF (Time of Flight) type device that measures the distance to an object in front.
  • an indirect ToF camera is used. With such a measuring device 1, the effects of fog and rain can be removed, and photography and measurement are possible even in bad weather.
  • the measuring device 1 is provided, for example, in a vehicle.
  • the measuring device 1 includes a light emitting section 10, an imaging section 20, and a control section 30.
  • the light emitting unit 10 irradiates (projects) light onto the space to be photographed.
  • the light emitting unit 10 controls light irradiation according to instructions from the control unit 30 .
  • the light emitting unit 10 has a light source 12 and a light projecting optical system (not shown) that emits the light generated by the light source 12 .
  • the light source 12 has a light emitting element.
  • the light source 12 emits pulsed laser light under the control of the controller 30 .
  • this pulsed light (pulsed light) is also referred to as light emission pulse.
  • the imaging unit 20 (indirect ToF camera) performs imaging based on exposing the light reflected by the object for distance measurement.
  • the imaging unit 20 has an imaging sensor 22 and an exposure optical system (not shown) that guides incident (exposed) light to the imaging sensor 22 .
  • the imaging sensor 22 captures an image of an object to be captured according to an instruction from the control unit 30 and outputs image data obtained by the capturing to the image acquisition unit 34 of the control unit 30 .
  • the value of each pixel (pixel data) that constitutes this image data indicates a signal value corresponding to the amount of exposure. Details of the imaging sensor 22 will be described later.
  • the control unit 30 controls the measurement device 1 .
  • the control unit 30 is realized by a hardware configuration such as elements and circuits such as a memory and a CPU.
  • the control unit 30 implements a predetermined function by having the CPU execute a program stored in the memory.
  • FIG. 1A Various functions realized by the control unit 30 are shown in FIG. 1A.
  • the control section 30 includes a timing control section 32 , an image acquisition section 34 , a time calculation section 36 and a distance calculation section 38 .
  • the timing control section 32 controls the light emission timing of the light emitting section 10 and the exposure timing of the imaging section 20 . Light emission timing and exposure timing will be described later.
  • the image acquisition unit 34 acquires image data from the imaging sensor 22 of the imaging unit 20 .
  • the image acquisition unit 34 has a memory (not shown) that stores acquired image data.
  • the time calculation unit 36 calculates the arrival time (time of flight of light: ToF) from when the light emitting unit 10 emits light until the reflected light reaches the imaging unit 20 .
  • the time calculator 36 corresponds to a "calculator".
  • the distance calculation unit 38 calculates the distance based on the light arrival time. As will be described later, a distance image can be acquired by calculating the distance for each pixel.
  • FIG. 1B is an explanatory diagram of light emission timing and exposure timing.
  • FIG. 2 is an explanatory diagram of distance image creation by indirect ToF.
  • the control unit 30 causes the light emitting unit 10 to emit light pulses.
  • the width of this light emission pulse (hereinafter referred to as pulse width) is Lw.
  • control unit 30 exposes the imaging sensor 22 of the imaging unit 20 to reflected light after a time Tdelay has passed since the irradiation of the light emission pulse.
  • the exposure period is set by the delay time Tdelay and the exposure width Gw.
  • the time Tdelay is the time (delay time) from the irradiation of the light emission pulse to the start of the exposure period.
  • the delay time Tdelay is set according to the distance to the area to be measured. That is, by setting a short time from when the light emitting unit 10 irradiates the light emitting pulse to when the imaging sensor 22 starts exposure, it is possible to obtain an image of an object (an object that reflects light) in a short range. Conversely, if the time from when the light emitting unit 10 irradiates the light emitting pulse to when the imaging sensor 22 starts exposure is set longer, an image of an object in a long distance area can be obtained.
  • the exposure width Gw is the width of the exposure period (that is, the period from the start of exposure to the end of exposure).
  • the width of the exposure period defines the length of the area to be measured in the measurement direction. Therefore, the shorter the exposure width Gw, the higher the distance resolution.
  • different exposure periods are set according to the distance to the area to be measured. Although four regions are shown in FIG. 2 for simplification, the number N of regions is actually more than four.
  • Light emission and exposure are repeated multiple times at a period Tp shown in FIG. 1B. This is due to charge accumulation in the imaging sensor 22, which will be described later. Also, the farther the area i is, the larger the number of repetitions ni is set. This is because the farther the region i, the weaker the reflected light.
  • the object object that reflects light
  • the image for each region is sometimes called a "range image”. It should be noted that the value (image data) of each pixel forming an image indicates a signal value corresponding to the amount of exposure.
  • the measuring device 1 of the present embodiment acquires image data of a plurality of regions at different distances, and acquires a distance image showing the distance to the object based on the acquired plurality of image data. can.
  • This distance image is sometimes called a "frame”.
  • the measurable area for one light emission is one, it takes time to acquire image data of many areas, so the measurement time is long (It is difficult to speed up FPS (Flame Per Seconds)). . Therefore, in this embodiment, a plurality of exposure periods are set for one light emission, and a plurality of regions are measured for one light emission. Therefore, in this embodiment, a multi-tap CMOS image sensor is used as the imaging sensor 22 .
  • the imaging sensor 22 is not limited to a multi-tap CMOS image sensor. Also, the number of measurable regions for one light emission may be one.
  • FIG. 3 is a diagram showing a configuration example of the imaging sensor 22.
  • the imaging sensor 22 has a plurality of pixels 221 arranged two-dimensionally (for example, 640 ⁇ 480).
  • each pixel 221 one light receiving element PD and a plurality (here, four) of signal readout units RU1 to RU4 corresponding to this one light receiving element PD are provided.
  • the signal readout units RU1 to RU4 have the same configuration (only the numerals of the symbols of the constituent elements are different). In the following description, the signal readout unit will be mainly described using the signal readout unit RU1.
  • the light-receiving element PD is an element (for example, a photodiode) that generates electric charge according to the amount of exposure.
  • the signal readout unit RU1 has a storage unit CS1, a transistor G1, a reset transistor RT1, a source follower transistor SF1, and a selection transistor SL1.
  • the storage section CS1 is configured to store charges generated in the light receiving element PD, and has a storage capacitor C1 and a floating diffusion FD1.
  • the transistor G1 is provided between the light receiving element PD and the storage section CS1.
  • the transistor G1 is turned on during a predetermined exposure period (for example, an exposure period A to be described later) based on an instruction from the timing control section 32 of the control section 30, and supplies charges generated by the light receiving element PD to the storage section CS1.
  • the transistors G2 to G4 supply charges generated by the light receiving element PD to the storage units CS2 to CS4 based on instructions from the timing control unit 32, respectively.
  • the transistors G1 to G4 correspond to a "drive circuit" that distributes charges generated in the light receiving element PD to the storage units CS1 to CS4 according to the exposure period.
  • the image sensor 22 of the present embodiment can store the charges generated in the four exposure periods by dividing them into the storage units (CS1 to CS4) corresponding to each exposure period. Charges are repeatedly accumulated in each accumulation unit in accordance with the number of repetitions n. The charge accumulated in each accumulation unit corresponds to the amount of exposure light received by the light receiving element PD during each exposure period. A signal value is output based on the charge accumulated in the accumulation unit. A signal value based on the charge accumulated in the accumulation unit is a signal value corresponding to the exposure amount of each exposure period.
  • four areas can be measured in one shot.
  • four range images are obtained in one shot.
  • the number (here, four) of range images obtained in one shot is sometimes called a “subframe”.
  • a plurality of areas (here, four areas) measured in one shot may be called a "zone”.
  • FIG. 10 is an explanatory diagram of the relationship between light emission and exposure in a comparative example.
  • the pulse width of the light emission pulse is Lw.
  • the pulse width of the reflected light is also Lw.
  • exposure A and exposure B are set.
  • an exposure period (exposure period A) corresponding to the predetermined area A is set.
  • the delay time of the exposure A with respect to the light emission start (time 0) of the light emission pulse is the delay time Ta (corresponding to Tdelay in FIG. 1B).
  • the pixel 221 of the imaging sensor 22 acquires the signal value Sa according to the exposure amount of the reflected light in the exposure period A of the exposure width Gw'.
  • an exposure period (exposure period B) corresponding to area B is set.
  • Region B is the region adjacent to region A in the measurement direction.
  • the pixel 221 of the imaging sensor 22 acquires the signal value Sb corresponding to the exposure amount of the reflected light in the exposure period B.
  • Tx is the arrival time (time of flight of light: ToF) from the irradiation of light (light emission pulse) to the arrival of reflected light.
  • the exposure width Gw' is set to the same value as the pulse width Lw of the light emission pulse. Also, as described above, it is effective to narrow the pulse width in order to increase the distance resolution. However, there are cases where the pulse width Lw cannot be narrowed due to restrictions on the configuration of the light source or on the cost. Therefore, if there is a constraint that the exposure width Gw' is the same as the pulse width Lw, it is difficult to increase the distance resolution.
  • FIG. 4 is an explanatory diagram of the relationship between light emission and exposure in the measuring device 1 of this embodiment.
  • the pulse width of the light emission pulse (and the pulse width of the reflected light) is Lw, which is the same as in the comparative example.
  • exposure A, exposure B, exposure C, and exposure D are set.
  • the width of the exposure period (exposure width) of each of the exposures A to D is Gw.
  • the H/L levels of the exposures A to D indicate the ON/OFF states of the transistors G1 to G4 in FIG. For example, during the exposure period A (exposure width Gw) of the exposure A, the transistor G1 is turned on, and charges generated in the light receiving element PD are stored in the storage capacitor C1 of the storage section CS1.
  • an exposure period (exposure period A) corresponding to the area A is set.
  • the delay time of the exposure A with respect to the light emission start (time 0) of the light emission pulse is the delay time Ta (corresponding to Tdelay in FIG. 1B).
  • the exposure width Gw is shorter than the exposure width Gw' of the comparative example. That is, the exposure period of the exposure A is set shorter than the pulse width Lw of the light emission pulse. Since the exposure period is short in this way, it is possible to improve the measurement accuracy compared to the comparative example.
  • the exposure width Gw of the exposure period A is set to 1/integer of the pulse width Lw of the light emission pulse.
  • the exposure width Gw is set to 1/3 of the pulse width Lw of the light emission pulse.
  • the exposure width Gw is not limited to one third of the pulse width Lw of the light emission pulse.
  • the pixel 221 of the imaging sensor 22 acquires the signal value Sa according to the exposure amount of the reflected light in the exposure period A of the exposure width Gw.
  • This signal value Sa corresponds to the value of a pixel (pixel data) forming the image data of the image of area A (range image).
  • the explanation is based on the charge in one exposure, but in reality, the signal value S (here, the signal value Sa) is accumulated by repeating the exposure n times. A signal value corresponding to the electric charge (corresponding to the amount of exposure) is obtained.
  • Exposure periods B to D corresponding to areas B to D are set for exposures B to D, respectively.
  • Region B is a region adjacent to region A in the measurement direction
  • region C is a region adjacent to region B in the measurement direction
  • region D is a region adjacent to region C in the measurement direction.
  • the pixels 221 of the imaging sensor 22 acquire signal values Sb to Sd corresponding to the exposure amount of the reflected light during the exposure periods B to D of the exposures B to D, respectively.
  • the signal values Sb to Sd correspond to the pixel values (pixel data) constituting the image data of the images (range images) of the areas B to D, respectively.
  • Regions A to D correspond to "three or more continuous exposure periods that can include the pulse width", and correspond to four exposure periods here.
  • the control unit 30 calculates the arrival time Tx of the reflected light based on signal values corresponding to three or more consecutive exposure periods that can include the pulse width Lw. . Specifically, the control unit 30 determines the total St of the signal values corresponding to the three or more consecutive exposure periods that can include the pulse width Lw, the total St of any two of the three or more exposure periods The arrival time Tx of the reflected light is calculated based on the ratio (Sx/St) of the signal value Sx corresponding to the exposure amount before the boundary timing.
  • the three or more continuous exposure periods that can include the pulse width Lw are the exposure periods A to D (exposure periods A to D).
  • the reason why the number is set to 3 or more is to ensure a period in which the reflected light of the pulse width Lw can be exposed in a situation where the exposure period width (exposure width) Gw is set shorter than the pulse width Lw.
  • the signal values corresponding to three or more consecutive exposure periods that can include the pulse width Lw are the signal values Sa, Sb, Sc, and Sd.
  • the boundary timing is now Tb, Tc, or Td in FIG.
  • Tx Tb ⁇ Lw ⁇ Sa/St (3).
  • the boundary timing Ts is desirably the boundary between the second and subsequent two exposure periods among the three or more exposure periods that can include the pulse width Lw.
  • the boundary timing Ts is preferably Tc or Td.
  • control unit 30 calculates the arrival time Tx as the second (formula (4)) or the third (formula (5)) of the above three calculation formulas. Calculated according to the formula. Thereby, the influence of the error of the signal value Sa can be reduced.
  • FIG. 5 is an overall flow chart explaining the operation of the measuring device 1 (mainly the control section 30) of this embodiment.
  • the control unit 30 executes each process in the figure by the CPU executing a program stored in the memory.
  • FIG. 6 is an explanatory diagram of image acquisition.
  • FIG. 6 shows the timing of acquiring the images of regions 1 to 8 out of the plurality of regions 1 to N.
  • the regions 1 to 4 and the regions 5 to 8 have different delay times of the exposure timing with respect to the light emission timing. Specifically, in regions 5 to 8, the exposure timing (timing corresponding to Tdelay in FIG. 1B) relative to the light emission timing is later than in regions 1 to 4, respectively.
  • the lower diagram of FIG. 6 is an explanatory diagram of the exposure timing of the regions 1 to 8 when the light emission pulse is used as a reference. Originally, as shown in the upper diagram of FIG. 6, the areas 1 to 4 emit light and the areas 5 to 8 emit light separately. It shows the exposure timing. As described above, the light emission timings of the regions 4 and 5 are different, but the exposure periods of the regions 4 and 5 are continuous with respect to the light emission pulse.
  • the above-mentioned "three or more continuous exposure periods that can include the pulse width Lw" is not limited to exposure periods having the same light emission timing (for example, exposure periods corresponding to regions 1 to 4). , exposure periods with different emission timings (for example, exposure periods corresponding to regions 4 and 5) may be included.
  • the timing control unit 32 of the control unit 30 causes the light emitting unit 10 to emit light at the period Tp, and controls the exposure timing of the imaging unit 20 according to the light emission timing.
  • the image acquiring section 34 acquires an image captured by the imaging section 20 at each exposure timing (S10).
  • images of regions 1-4 are acquired. In other words, each pixel of the image is exposed by the imaging sensor 22 of the imaging unit 20 in the exposure periods A to D delayed from the light emission timing.
  • the control unit 30 causes the exposure to be repeated every period Tp, accumulates charges in the accumulation units CS1 to CS4, and acquires the accumulated charges (signal values Sa to Sd).
  • the image data of the range images (subframes) of the acquired areas 1 to 4 are written in the image memory of the image acquisition unit 34 (S11).
  • the control unit 30 acquires images of areas 5 to 8.
  • the delay times (delay times of exposures A to D) with respect to the light emission timing in regions 5-8 are set longer than in regions 1-4.
  • the number of repetitions (the number of charge accumulations) is set to increase as the area to be measured becomes farther.
  • the image data of the range images (subframes) of areas 5 to 8 are written in the image memory of the image acquisition section 34 .
  • control unit 30 determines whether or not the image up to the area N (the image of the entire area) has been acquired (S12). If the image of all regions up to region N has not been acquired (NO in S12), the control unit 30 returns to step S10 and further acquires the image. When the image of the entire area up to the area N has been acquired (YES in S12), the control unit 30 (more specifically, the time calculation unit 36 and the distance calculation unit 38) performs distance calculation processing to acquire a distance image (S13). .
  • FIG. 7 is a flow chart of distance calculation processing.
  • 8 is a conceptual explanatory diagram of the distance calculation process
  • FIG. 9 is a conceptual explanatory diagram of the distance calculation process. Note that FIG. 9 is an explanatory diagram substantially equivalent to FIG.
  • control unit 30 identifies the coordinates of pixels to be calculated (S131). That is, the coordinates of the pixel in two dimensions are specified.
  • control unit 30 acquires values (signal values) of pixels at specific coordinates from the images of regions 1 to N (S132). In other words, as shown in FIG. 8, the control unit 30 acquires values of pixels at the same coordinates (specific coordinates) from the images of the regions 1 to N.
  • the control unit 30 extracts four pixels in continuous areas exposed to the reflected light (S133). For example, the control unit 30 extracts four pixels in a continuous area exposed to the reflected light by extracting four pixels with the highest sum of gradation values. Alternatively, the control unit 30 may, for example, extract four pixels positioned before and after the pixel with the maximum gradation value (a value indicating a large amount of exposure). In FIG. 8, four pixels (pixels at the same coordinates) are extracted from continuous areas A to D exposed to reflected light, and the respective gradation values are Sa, Sb, Sc, and Sd. . The extracted gradation values Sa, Sb, Sc, and Sd correspond to "signal values corresponding to three or more continuous exposure periods that can include the pulse width Lw".
  • the time calculation unit 36 of the control unit 30 calculates the arrival time Tx using the four gradation values (Sa, Sb, Sc, Sd) according to Equation (4) or Equation (5) described above (S134). . Further, the distance calculation unit 38 of the control unit 30 uses the arrival time Tx calculated by the time calculation unit 36 and the speed of light Co to obtain the distance L by Equation (2) (S135). If the calculation for all pixels has not been completed (No in S136), the control unit 30 returns to step S131 and performs the same calculation for the next pixel (pixel at another coordinate). When calculations for all pixels have been completed (YES in S136), control unit 30 ends the distance calculation process. Note that the control unit 30 can obtain a distance image (frame: see FIG. 2) by performing distance calculation processing on all pixels.
  • the control unit 30 After the distance calculation process (S13), the control unit 30 writes the distance image into the memory (S14). Further, the control unit 30 performs color conversion processing on the distance image (S15).
  • the color conversion process is a process of classifying the color of each pixel according to the distance. This makes it easier to understand the existence of the object and the distance to the object.
  • the control unit 30 performs display processing (S16). This display processing is processing for displaying a color-coded distance image on a display. Note that the color conversion process (S15) and the display process (S16) may not be performed.
  • control unit 30 does not end the process (NO in S17), it returns to step S10 and repeats image acquisition of the regions 1 to N again. If the process is finished (YES in S17), the control section 30 finishes the measurement operation.
  • the measuring device 1 of the present embodiment has been described above.
  • the measurement apparatus 1 includes a light emitting unit 10 that emits a light emission pulse, an imaging sensor 22 that outputs a signal value corresponding to the exposure amount of each pixel 221, and a pulse width of the light emission pulse that is set according to the area to be measured.
  • a timing control unit 32 that exposes the pixels 221 of the imaging sensor 22 to reflected light during an exposure period with an exposure width Gw shorter than Lw, and a signal value (Sa ⁇ Sd) to calculate the arrival time Tx of the reflected light.
  • the time calculator 36 calculates the signal value Sx corresponding to the exposure amount before the boundary timing (for example, Tc and Td) of any two exposure periods (for example, the exposure periods C and D) out of the exposure periods A to D.
  • the arrival time Tx of the reflected light is calculated based on the ratio of .
  • the two exposure periods may be exposure periods B and C, in which case the boundary timings may be Tb and Tc.
  • the two exposure periods may be exposure periods B and D, in which case the boundary timings may be Tb and Td.
  • the boundary timings are preferably two boundary timings (boundary timings Tc and Td) of exposure periods B to D that are the second and subsequent exposure periods A to D that can include the pulse width Lw. Thereby, the influence of the error of the signal value Sa can be reduced.
  • the time calculation unit 36 calculates the arrival time Tx by setting the number of consecutive exposure periods that can include the pulse width Lw to 4, which is 1 more than the integer part 3 of Lw/Gw. This allows setting the minimum number of exposure periods.
  • the timing control unit 32 sets the width Gw of the exposure period to 1/integer (1/3 in this embodiment) of the pulse width Lw of the light emission pulse. Thereby, measurement accuracy can be improved.
  • the imaging sensor 22 includes, for each pixel 221, a light-receiving element PD that generates a charge corresponding to the exposure amount, four accumulation units CS1 to CS4 that accumulate the charge, and charges corresponding to the exposure periods A to D, respectively.
  • a driver circuit (transistors G1 to G4) is provided for allocating and accumulating electric charges in the units CS1 to CS4, and electric charges generated by one light emission pulse are allocated to the respective accumulating units CS1 to CS4 according to the exposure periods A to D for accumulation. Let Thereby, a plurality of exposure periods can be set for one light emission, and a plurality of regions can be measured for one light emission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測定装置（１）は、パルス光を発光する発光部（１０）と、画素（２２１）ごとの露光量に応じた信号値を出力する撮像センサ（２２）と、測定対象となる領域に応じて設定され、前記パルス光のパルス幅（Ｌｗ）よりも短い露光幅（Ｇｗ）の露光期間に前記撮像センサ（２２）の前記画素（２２１）に反射光を露光させるタイミング制御部（３２）と、前記パルス幅（Ｌｗ）を包含可能な連続する３以上の前記露光期間（Ａ～Ｄ）に対応する前記信号値（Ｓａ～Ｓｄ）に基づいて、前記反射光の到達時間（Ｔｘ）を算出する算出部（３６）と、を備える。

Description

測定装置
　本開示は、測定装置に関する。
　特許文献１には、レーザー光（パルス光）を照射し、反射して戻ってきた光を露光することに基づいて対象物までの距離を測定する間接ＴｏＦ（Time of Flight）方式の測定装置が開示されている。
日本国特開２０２１－２５８３３号公報
　特許文献１の測定装置では、出射光のパルス幅と同じ幅で露光している。距離分解能を高めるにはパルス幅を狭めることが有効であるが、光源の構造上及びコスト上の制約により出射光のパルス幅を狭めるには限界がある。このため、露光の幅を出射光のパルス幅と同じにするという制約があると、距離分解能を高め難い。これにより、測定精度が悪化するおそれがある。
　本開示は、測定精度を高めることのできる測定装置を提供することを目的とする。
　上記目的を達成するための主たる本開示は、パルス光を発光する発光部と、画素ごとの露光量に応じた信号値を出力する撮像センサと、測定対象となる領域に応じて設定され、前記パルス光のパルス幅よりも短い露光幅の露光期間に前記撮像センサの前記画素に反射光を露光させるタイミング制御部と、前記パルス幅を包含可能な連続する３以上の前記露光期間に対応する前記信号値に基づいて、前記反射光の到達時間を算出する算出部と、を備える測定装置である。
　本開示によれば、測定精度を高めることのできる測定装置を提供することができる。
図１Ａは、測定装置１の構成説明図である。 図１Ｂは、発光タイミングと露光タイミングの説明図である。 図２は、間接ＴｏＦによる画像作成の説明図である。 図３は、撮像センサ２２の構成例を示す図である。 図４は、本実施形態の測定装置１における発光と露光の関係の説明図である。 図５は、本実施形態の測定装置１の動作の全体フロー図である。 図６は、画像取得についての説明図である。 図７は、距離演算処理のフロー図である。 図８は、距離演算処理の概念説明図である。 図９は、距離演算処理の概念説明図である。 図１０は、比較例における発光と露光の関係の説明図である。
　以下、本開示を実施するための形態について図面を参照しつつ説明する。
＝＝＝＝＝実施形態＝＝＝＝＝
＜＜測定装置の概略＞＞
　図１Ａは、測定装置１の構成説明図である。
　図１Ａに示す測定装置１は、前方の物体との距離を測定するＴｏＦ（Time of Flight）方式の装置である。本実施形態では、間接ＴｏＦ方式のカメラが用いられている。このような測定装置１では、霧や雨の影響を除去可能であり、悪天候の場合でも撮影や測定が可能である。測定装置１は、例えば車両に設けられる。
　図１Ａに示すように、測定装置１は、発光部１０、撮像部２０、及び制御部３０を備えている。
　発光部１０は、撮影対象の空間に光を照射（投光）する。発光部１０は、制御部３０からの指示に従って、光の照射を制御する。発光部１０は、光源１２と、光源１２が発生した光を照射する投光光学系（不図示）を有している。
　光源１２は、発光素子を有する。光源１２は、制御部３０の制御によってパルス状のレーザー光を発光する。以下、このパルス状の光（パルス光）のことを発光パルスともいう。
　撮像部２０（間接ＴｏＦカメラ）は、距離測定の対象物によって反射された光を露光することに基づいて撮像を行う。撮像部２０は、撮像センサ２２と、入射（露光）した光を撮像センサ２２に導く露光光学系（不図示）とを有している。
　撮像センサ２２は、制御部３０の指示に応じて撮影対象の撮像を行うとともに、撮像により得られた画像データを、制御部３０の画像取得部３４に出力する。この画像データを構成する各画素の値（画素データ）は、露光量に応じた信号値を示す。撮像センサ２２の詳細については後述する。
　制御部３０は、測定装置１の制御を司る。制御部３０は、例えばメモリやＣＰＵなどの素子や回路などのハードウェア構成で実現される。制御部３０は、メモリに記憶されたプログラムをＣＰＵが実行することにより、所定の機能を実現する。図１Ａには、制御部３０によって実現される各種機能が示されている。制御部３０は、タイミング制御部３２、画像取得部３４、時間算出部３６、及び距離算出部３８を備えている。
　タイミング制御部３２は、発光部１０の発光タイミング、及び撮像部２０の露光タイミングを制御する。発光タイミングや露光タイミングについては後述する。
　画像取得部３４は、撮像部２０の撮像センサ２２から画像データを取得する。画像取得部３４は、取得した画像データを記憶するメモリ（不図示）を有している。
　時間算出部３６は、発光部１０が光を照射してから、撮像部２０に反射光が到達するまでの到達時間（光の飛行時間：ＴｏＦ）を算出する。本実施形態において、時間算出部３６は、「算出部」に相当する。
　距離算出部３８は、光の到達時間に基づいて、距離を算出する。後述するように、画素ごとに距離を算出することによって、距離画像を取得することができる。
＜＜間接ＴｏＦについて＞＞
　図１Ｂは、発光タイミングと露光タイミングの説明図である。図２は、間接ＴｏＦによる距離画像作成の説明図である。
　まず、図１Ｂに示すように、制御部３０（タイミング制御部３２）は、発光部１０から発光パルスを照射させる。この発光パルスの幅（以下、パルス幅）はＬｗである。
　また、制御部３０（タイミング制御部３２）は、発光パルスの照射から時間Ｔdelay後に、撮像部２０の撮像センサ２２に反射光を露光させる。露光期間は、遅延時間Ｔdelayと露光幅Ｇｗによって設定される。
　時間Ｔdelayは、発光パルスの照射から露光期間開始までの時間（遅延時間）である。遅延時間Ｔdelayは、測定対象となる領域までの距離に応じて設定される。すなわち、発光部１０が発光パルスを照射してから撮像センサ２２で露光を開始するまでの時間を短く設定すれば、近距離の領域の対象物（光を反射する物体）の画像を取得できる。逆に、発光部１０が発光パルスを照射してから撮像センサ２２で露光を開始するまでの時間を長く設定すれば、遠距離の領域の対象物の画像を取得できる。
　露光幅Ｇｗは、露光期間の幅（すなわち、露光開始から露光終了までの期間）である。露光期間の幅は、測定対象となる領域の測定方向の長さを規定する。よって、露光幅Ｇｗが短いほど、距離分解能が高くなる。
　本実施形態では、図２に示すように、測定対象となる領域までの距離に応じて、異なる露光期間を設定する。なお、図２では、簡略化のため４つの領域が示されているが、実際には領域の数Ｎは４よりも多い。
　発光及び露光は、図１Ｂに示す周期Ｔｐで複数回繰り返される。これは、後述する撮像センサ２２における電荷の蓄積のためである。また、領域ｉが遠いほど、繰り返し回数ｎｉが多く設定される。これは、領域ｉが遠いほど、反射光が弱くなるためである。
　領域ごとに得られる画像には、その領域に存在する対象物（光を反射した物体）が撮影されている。この領域ごとの画像のことを「レンジ画像」と呼ぶことがある。なお、画像を構成する各画素の値（画像データ）は、露光量に応じた信号値を示している。
　本実施形態の測定装置１は、図２に示すように、異なる距離の複数の領域の画像データを取得し、取得した複数の画像データに基づいて、対象物までの距離を示す距離画像を取得できる。この距離画像のことを「フレーム」と呼ぶことがある。
　なお、１回の発光に対して測定可能な領域が１つの場合、多数の領域の画像データの取得に時間がかかるため、測定時間が長くなる（ＦＰＳ（Flame Per Seconds）の高速化が難しい）。そこで、本実施形態では、１回の発光に対して、複数の露光期間を設定し、１回の発光に対して、複数の領域を測定する。このため、本実施形態では、撮像センサ２２として、マルチタップのＣＭＯＳイメージセンサを用いている。但し、撮像センサ２２は、マルチタップのＣＭＯＳイメージセンサに限られるものではない。また、１回の発光に対して測定可能な領域が１つであっても良い。
＜＜撮像センサ２２について＞＞
　図３は、撮像センサ２２の構成例を示す図である。
　図３に示すように、撮像センサ２２には複数の画素２２１が２次元配置（例えば６４０×４８０）されている。それぞれの画素２２１の中に、１つの受光素子ＰＤと、この１つの受光素子ＰＤに対応する複数（ここでは４つ）の信号読み出し部ＲＵ１～ＲＵ４が設けられている。信号読み出し部ＲＵ１～ＲＵ４はそれぞれ同じ構成である（構成要素の符号の数字のみ異なる）。以下の説明において、信号読み出し部については、主に信号読み出し部ＲＵ１を用いて説明する。
　受光素子ＰＤは、露光量に応じた電荷を発生する素子（例えばフォトダイオード）である。
　信号読み出し部ＲＵ１は、蓄積部ＣＳ１、トランジスタＧ１、リセットトランジスタＲＴ１、ソースフォロアトランジスタＳＦ１、選択トランジスタＳＬ１を有している。
　蓄積部ＣＳ１は、受光素子ＰＤで発生した電荷を蓄積するように構成されており、蓄積容量Ｃ１とフローティングディフュージョンＦＤ１とを有している。
　トランジスタＧ１は、受光素子ＰＤと蓄積部ＣＳ１の間に設けられている。トランジスタＧ１は、制御部３０のタイミング制御部３２の指示に基づいて所定の露光期間（例えば、後述する露光期間Ａ）にオンし、受光素子ＰＤが発生した電荷を蓄積部ＣＳ１に供給する。同様に、トランジスタＧ２～Ｇ４は、それぞれ、タイミング制御部３２の指示に基づいて、受光素子ＰＤが発生した電荷を蓄積部ＣＳ２～ＣＳ４に供給する。すなわち、トランジスタＧ１～Ｇ４は、受光素子ＰＤで発生した電荷を露光期間に応じて蓄積部ＣＳ１～ＣＳ４に振り分ける「駆動回路」に相当する。
　このように、本実施形態の撮像センサ２２は、４つの露光期間に発生した電荷を、それぞれ、露光期間ごとに対応する蓄積部（ＣＳ１～ＣＳ４）に分けて蓄積することができる。各蓄積部には、繰り返し回数ｎに応じて、繰り返し電荷が蓄積される。各蓄積部に蓄積された電荷は、それぞれの露光期間に受光素子ＰＤが露光した露光量に相当する。蓄積部に蓄積された電荷に基づいて信号値が出力される。蓄積部に蓄積された電荷に基づく信号値は、それぞれの露光期間の露光量に応じた信号値となる。
　このような撮像センサ２２によって、１回の撮影で４つの領域を測定することができる。つまり、１回の撮影で４枚のレンジ画像が得られる。この１回の撮影で得られる枚数（ここでは４枚）のレンジ画像のことを「サブフレーム」と呼ぶことがある。また、この１回の撮影で測定される複数の領域（ここでは４つの領域）のことを「ゾーン」と呼ぶことがある。
＜＜距離の演算について＞＞
　本実施形態の距離の演算について説明する前にまず、比較例について説明する。
＜比較例＞
　図１０は、比較例における発光と露光の関係の説明図である。
　図１０において、発光パルスのパルス幅はＬｗである。また、反射光のパルス幅もＬｗとする。比較例では、露光Ａと露光Ｂが設定されている。
　露光Ａには、所定の領域Ａに対応する露光期間（露光期間Ａ）が設定されている。発光パルスの発光開始（時間０）に対する露光Ａの遅延時間は遅延時間Ｔａ（図１ＢのＴdelayに相当）である。また、露光Ａにおける露光幅はＧｗ’（＝Ｌｗ）である。撮像センサ２２の画素２２１は、この露光幅Ｇｗ’の露光期間Ａにおける反射光の露光量に応じた信号値Ｓａを取得する。
　露光Ｂには、領域Ｂに対応する露光期間（露光期間Ｂ）が設定されている。領域Ｂは、測定方向において領域Ａに隣接する領域である。発光パルスの発光開始（時間０）に対する露光Ｂの遅延時間は遅延時間Ｔｂ（図１ＢのＴdelayに相当：Ｔｂ＝Ｔａ＋Ｌｗに相当）である。また、露光Ｂにおける露光幅もＧｗ’（＝Ｌｗ）である。撮像センサ２２の画素２２１は、露光期間Ｂにおける反射光の露光量に応じた信号値Ｓｂを取得する。
　Ｔｘは、光（発光パルス）を照射してから、反射光が到達するまでの到達時間（光の飛行時間：ＴｏＦ）である。比較例では、到達時間Ｔｘは、
　Ｔｘ＝Ｔｂ－Ｌｗ×Ｓａ／（Ｓａ＋Ｓｂ）・・・・・（１）で求められる。
　なお、対象物までの距離をＬとすると、対象物までの距離Ｌは、到達時間Ｔｘに基づいて算出される。すなわち、光は、到達時間Ｔｘの間に、距離Ｌの２倍の距離を進むことになるので、光の速度をＣｏとすると、
　Ｌ＝（Ｃｏ×Ｔｘ）／２・・・・・・・（２）となる。
　比較例では、露光幅Ｇｗ’は、発光パルスのパルス幅Ｌｗと同じ値に設定されている。また、前述したように、距離分解能を高めるためには、パルス幅を狭めることが有効である。但し、光源の構成上又はコスト上の制約によりパルス幅Ｌｗを狭められないことがある。このため、露光幅Ｇｗ’をパルス幅Ｌｗと同じにするという制約があると、距離分解能を高め難い。
＜本実施形態＞
　図４は、本実施形態の測定装置１における発光と露光の関係の説明図である。
　図４において、発光パルスのパルス幅（及び反射光のパルス幅）は、比較例と同じＬｗである。但し、本実施形態では、露光Ａ、露光Ｂ、露光Ｃ、及び露光Ｄが設定されている。また、露光Ａ～Ｄの露光期間の幅（露光幅）は、それぞれＧｗである。なお、露光Ａ～ＤのＨ／Ｌのレベルは、図３のトランジスタＧ１～Ｇ４のオンオフを示している。例えば、露光Ａの露光期間Ａ（露光幅Ｇｗ）で、トランジスタＧ１がオンになり、受光素子ＰＤで発生した電荷が蓄積部ＣＳ１の蓄積容量Ｃ１に蓄積される。
　露光Ａには、領域Ａに対応する露光期間（露光期間Ａ）が設定されている。発光パルスの発光開始（時間０）に対する露光Ａの遅延時間は遅延時間Ｔａ（図１ＢのＴdelayに相当）である。
　露光幅Ｇｗは、比較例の露光幅Ｇｗ’よりも短い。すなわち、露光Ａの露光期間は、発光パルスのパルス幅Ｌｗよりも短く設定されている。このように露光期間が短いことにより、比較例と比べて測定精度を高めることができる。なお、露光期間Ａの露光幅Ｇｗは、発光パルスのパルス幅Ｌｗの整数分の１に設定されている。ここでは、露光幅Ｇｗは、発光パルスのパルス幅Ｌｗの３分の１に設定されている。ただし、露光幅Ｇｗは、発光パルスのパルス幅Ｌｗの３分の１に限られるものではない。
　撮像センサ２２の画素２２１は、露光幅Ｇｗの露光期間Ａにおける反射光の露光量に応じた信号値Ｓａを取得する。この信号値Ｓａは、領域Ａの画像（レンジ画像）の画像データを構成する画素の値（画素データ）に相当する。図４では、説明のため、１回の露光での電荷に基づいて説明しているが、実際には、信号値Ｓ（ここでは信号値Ｓａ）は、繰り返し回数ｎで露光を繰り返して蓄積した電荷（露光量に相当）に応じた信号値になる。
　露光Ｂ～Ｄには、それぞれ、領域Ｂ～Ｄに対応する露光期間（露光期間Ｂ～Ｄ）が設定されている。なお、領域Ｂは、測定方向において領域Ａに隣接する領域であり、領域Ｃは、測定方向において領域Ｂに隣接する領域であり、領域Ｄは、測定方向において領域Ｃに隣接する領域である。
　発光パルスの発光開始（時間０）に対する露光Ｂの遅延時間は、遅延時間Ｔｂ（図１ＢのＴdelayに相当：Ｔｂ＝Ｔａ＋Ｌｗに相当）である。
　露光Ｂ～Ｄにおける露光幅は、露光Ａにおける露光幅と同様に、Ｇｗ（＝Ｌｗ）である。撮像センサ２２の画素２２１は、露光Ｂ～Ｄのそれぞれの露光期間Ｂ～Ｄにおいて、反射光の露光量に応じた信号値Ｓｂ～Ｓｄを取得する。信号値Ｓｂ～Ｓｄは、それぞれ、領域Ｂ～Ｄの画像（レンジ画像）の画像データを構成する画素の値（画素データ）に相当する。
　領域Ａ～Ｄは、「パルス幅を包含可能な連続する３以上の露光期間」に相当し、ここでは４つ分の露光期間に相当する。また、「パルス幅を包含可能な連続する露光期間の数」は、「Ｌｗ／Ｇｗの整数部分よりも１多い数」である。本実施形態の場合、Ｌｗ／Ｇｗ＝３であり、露光期間の数は４（露光Ａ～Ｄ）に設定されている。これにより、最小限の露光期間の数を設定できる。
　次に、到達時間Ｔｘの算出方法について説明する。
　本実施形態では、制御部３０（詳しくは時間算出部３６）は、パルス幅Ｌｗを包含可能な連続する３以上の露光期間に対応する信号値に基づいて、反射光の到達時間Ｔｘを算出する。具体的には、制御部３０は、パルス幅Ｌｗを包含可能な連続する３以上の露光期間に対応する信号値の合計Ｓｔに対する、当該３以上の露光期間のうちのいずれか２つの露光期間の境界タイミングよりも前の露光量に相当する信号値Ｓｘの割合（Ｓｘ／Ｓｔ）に基づいて、反射光の到達時間Ｔｘを算出する。
　なお、パルス幅Ｌｗを包含可能な連続する３以上の露光期間は、ここでは露光Ａ～Ｄの各期間（露光期間Ａ～Ｄ）である。ここで、３以上としている理由は、露光期間の幅（露光幅）Ｇｗがパルス幅Ｌｗよりも短く設定されている状況で、パルス幅Ｌｗの反射光を露光できる期間を確保するためである。ここでは、パルス幅Ｌｗを包含可能な連続する３以上の露光期間に対応する信号値は、信号値Ｓａ、Ｓｂ、Ｓｃ、及びＳｄである。
　また、信号値の合計Ｓｔは、ここでは、信号値Ｓａ、Ｓｂ、Ｓｃ、及びＳｄの合計である（Ｓｔ＝Ｓａ＋Ｓｂ＋Ｓｃ＋Ｓｄ）。境界タイミングは、ここでは、図４のＴｂ、Ｔｃ、又はＴｄである。
　境界タイミングよりも前の露光量に相当する信号値をＳｘとすると、境界タイミングがＴｂの場合は、Ｓｘ＝Ｓａ、境界タイミングがＴｃの場合は、Ｓｘ＝Ｓａ＋Ｓｂ、境界タイミングがＴｄの場合は、Ｓｘ＝Ｓａ＋Ｓｂ＋Ｓｃとなる。
　ここで、到達時間Ｔｘは、例えば、境界タイミングＴｂに着目した場合、信号値の合計Ｓｔを用いて、
　Ｔｘ＝Ｔｂ－Ｌｗ×Ｓａ／Ｓｔ・・・・・・・・・（３）となる。
　同様に、境界タイミングＴｃに着目した場合、及び境界タイミングＴｄに着目した場合は、それぞれ、
　Ｔｘ＝Ｔｃ－Ｌｗ×（Ｓａ＋Ｓｂ）／Ｓｔ・・・・・・・（４）
　Ｔｘ＝Ｔｄ－Ｌｗ×（Ｓａ＋Ｓｂ＋Ｓｃ）／Ｓｔ・・・・・・（５）となる。すなわち、到達時間Ｔｘは、算出された信号値の割合（＝Ｓｘ／Ｓｔ）とパルス幅Ｌｗとの積の値を境界タイミングＴｓから引いた時間（Ｔｘ＝Ｔｓ－Ｌｗ×Ｓｘ／Ｓｔ）に相当する。
　光は、到達時間Ｔｘの間に、距離Ｌの２倍の距離を進むことになる。このため、制御部３０（詳しくは距離算出部３８）は、距離Ｌを、比較例と同様に、式（２）のＬ＝（Ｃｏ×Ｔｘ）／２に従って算出することができる。
　ところで、露光期間Ａにおける信号値Ｓａが小さい場合がある。この場合、信号値Ｓａの誤差が大きくなる（信号値ＳａのＳ／Ｎ比が大きいおそれがある）。つまり、上記の算出式のうち式（３）に基づいて到達時間Ｔｘや距離Ｌが算出されると、誤差が大きくなるおそれがある。このため、境界タイミングＴｓは、パルス幅Ｌｗを包含可能な３以上の露光期間のうちの２番目以降の２つの露光期間の境界であることが望ましい。ここでは、境界タイミングＴｓは、Ｔｃ又はＴｄであることが望ましい。つまり、本実施形態では、制御部３０（詳しくは時間算出部３６）は、到達時間Ｔｘを、上記３つの算出式のうち２番目（式（４））又は３番目（式（５））の算出式に従って算出する。これにより、信号値Ｓａの誤差の影響を軽減できる。
＜測定装置１の動作について＞
　図５は、本実施形態の測定装置１（主に制御部３０）の動作を説明する全体フロー図である。制御部３０は、メモリに記憶されたプログラムをＣＰＵが実行することにより、図中の各処理を実行する。図６は、画像取得についての説明図である。図６では、複数の領域１～Ｎのうちの領域１～８の画像を取得するタイミングが示されている。図６のタイミングを示す図のうち、上図の左側は、ゾーン１（領域１～４）の画像を取得するタイミングを示し、右側は、ゾーン２（領域５～８）の画像を取得するタイミングを示している。
　領域１～４と、領域５～８とでは、発光タイミングに対する露光タイミングの遅延時間がそれぞれ異なっている。具体的には、領域５～８は、領域１～４と比べて、それぞれ、発光タイミングに対する露光タイミング（図１ＢのＴdelayに相当するタイミング）が遅くなっている。図６の下図は、発光パルスを基準にしたときの領域１～８の露光タイミングの説明図である。本来であれば、図６の上図に示すように、領域１～４の発光と、領域５～８の発光は別々であるが、下図では、発光タイミングを基準にして、領域１～８の露光タイミングを示している。このように、領域４と領域５とでは発光タイミングは別々であるが、発光パルスを基準にすると領域４と領域５の露光期間は連続する。このため、前述の「パルス幅Ｌｗを包含可能な連続する３以上の露光期間」は、発光タイミングが同じ露光期間（例えば領域１～４に対応する露光期間）だけで構成されるものに限らず、発光タイミングが異なる露光期間（例えば領域４及び領域５に対応する露光期間）が含まれても良い。
　まず、制御部３０のタイミング制御部３２は、発光部１０を周期Ｔｐで発光させるととともに、発光タイミングに応じて撮像部２０の露光タイミングを制御する。そして、画像取得部３４は、各露光タイミングにおいて撮像部２０で撮像された画像を取得する（Ｓ１０）。最初は領域１～４の画像を取得する。つまり、画像の各画素について、発光タイミングから遅延した露光期間Ａ～Ｄにて撮像部２０の撮像センサ２２に露光を行わせる。制御部３０は、周期Ｔｐごとに露光を繰り返し行わせ、蓄積部ＣＳ１～ＣＳ４に電荷を蓄積させて、蓄積させた電荷（信号値Ｓａ～Ｓｄ）を取得する。そして、取得した領域１～４のレンジ画像（サブフレーム）の画像データを画像取得部３４の画像メモリに書き込む（Ｓ１１）。
　次に、同様にして、制御部３０は、領域５～８までの画像を取得する。図６に示すように、領域５～８における発光タイミングに対する遅延時間（露光Ａ～Ｄの遅延時間）は、領域１～４の場合よりも長く設定されている。また、前述したように、測定対象の領域が遠くなるほど、繰り返し回数（電荷の蓄積回数）が多くなるように設定されている。そして、領域５～８のレンジ画像（サブフレーム）の画像データを画像取得部３４の画像メモリに書き込む。
　そして、制御部３０は、領域Ｎまでの画像（全領域の画像）を取得したか否かの判断を行う（Ｓ１２）。領域Ｎまでの全領域の画像を取得していない場合（Ｓ１２でＮＯ）、制御部３０は、ステップＳ１０に戻り、さらに画像を取得する。領域Ｎまでの全領域の画像を取得した場合（Ｓ１２でＹＥＳ）、制御部３０（詳しくは時間算出部３６及び距離算出部３８）は、距離演算処理を行い、距離画像を取得する（Ｓ１３）。
　図７は、距離演算処理のフロー図である。また、図８は、距離演算処理の概念説明図であり、図９は、距離演算処理の概念説明図である。なお、図９は、実質的に図８と等価の説明図である。
　まず、制御部３０（時間算出部３６）は、演算対象となる画素の座標を特定する（Ｓ１３１）。すなわち、２次元における画素の座標を特定する。
　次に、制御部３０は、領域１～Ｎの画像から、特定座標の画素の値（信号値）をそれぞれ取得する（Ｓ１３２）。つまり、図８に示すように、制御部３０は、領域１～Ｎの画像から同じ座標（特定座標）の画素の値を取得する。
　次に、制御部３０は、図８に示すように、反射光を露光した連続する領域の４つの画素を抽出する（Ｓ１３３）。制御部３０は、例えば、階調値の合計が最も高くなる４つの画素を抽出することによって、反射光を露光した連続する領域の４つの画素を抽出する。若しくは、制御部３０は、例えば、最大の階調値（露光量が多いことを示す値）の画素の前後に位置する４つの画素を抽出しても良い。図８では、反射光を露光した連続する領域Ａ～Ｄの４つの画素（同じ座標の画素）を抽出しており、それぞれの階調値はＳａ、Ｓｂ、Ｓｃ、及びＳｄであるものとする。なお、抽出した階調値Ｓａ、Ｓｂ、Ｓｃ及びＳｄは、「パルス幅Ｌｗを包含可能な連続する３以上の露光期間に対応する信号値」に相当する。
　制御部３０の時間算出部３６は、前述した式（４）又は式（５）により、４つの階調値（Ｓａ、Ｓｂ、Ｓｃ、Ｓｄ）を用いて、到達時間Ｔｘを算出する（Ｓ１３４）。また、制御部３０の距離算出部３８は、時間算出部３６で算出された到達時間Ｔｘと、光の速度Ｃｏを用いて、式（２）により距離Ｌを求める（Ｓ１３５）。全ての画素の演算が終了していない場合（Ｓ１３６でＮｏ）には、制御部３０は、ステップＳ１３１に戻り、次の画素（別の座標の画素）について同様の演算を行う。全ての画素についての演算が終了した場合（Ｓ１３６でＹＥＳ）には、制御部３０は、距離演算処理を終了する。なお、制御部３０は、全ての画素に対して距離演算処理を行うことによって、距離画像（フレーム：図２参照）を取得できる。
　距離演算処理（Ｓ１３）の後、制御部３０は、距離画像をメモリに書き込む（Ｓ１４）。また、制御部３０は、距離画像に対して色変換処理を行う（Ｓ１５）。色変換処理とは、距離に応じて、各画素の色を色分けする処理である。これにより、物体の存在や物体までの距離が分かりやすくなる。そして、制御部３０は、表示処理を行う（Ｓ１６）。この表示処理は、色分けされた距離画像を、ディスプレイに表示する処理である。なお、色変換処理（Ｓ１５）及び表示処理（Ｓ１６）は行わなくても良い。
　制御部３０は、処理終了しない場合（Ｓ１７でＮＯ）、ステップＳ１０に戻り、再び領域１～Ｎの画像取得を繰り返す。処理終了の場合（Ｓ１７でＹＥＳ）、制御部３０は測定動作を終了する。
＝＝＝＝＝まとめ＝＝＝＝＝
　以上、本実施形態の測定装置１について説明した。測定装置１は、発光パルスを発光する発光部１０と、画素２２１ごとの露光量に応じた信号値を出力する撮像センサ２２と、測定対象となる領域に応じて設定され、発光パルスのパルス幅Ｌｗよりも短い露光幅Ｇｗの露光期間に撮像センサ２２の画素２２１に反射光を露光させるタイミング制御部３２と、パルス幅Ｌｗを包含可能な連続する露光期間Ａ～Ｄに対応する信号値（Ｓａ～Ｓｄ）に基づいて、反射光の到達時間Ｔｘを算出する時間算出部３６を備えている。これにより、距離分解能を高めることができ、測定精度を高めることができる。
　時間算出部３６は、露光期間Ａ～Ｄのうちのいずれかの２つの露光期間（例えば露光期間Ｃ及びＤ）の境界タイミング（例えばＴｃ及びＴｄ）よりも前の露光量に相当する信号値Ｓｘの割合に基づいて、反射光の到達時間Ｔｘを算出する。２つの露光期間は露光期間Ｂ及びＣでもよく、この場合境界タイミングはＴｂ及びＴｃであってもよい。２つの露光期間は露光期間Ｂ及びＤでもよく、この場合境界タイミングはＴｂ及びＴｄであってもよい。
　より具体的には、露光期間Ａ～Ｄに対応する信号値（Ｓａ～Ｓｄ）の合計をＳｔとし、発光パルスの発光から境界タイミングまでの時間をＴｓとしたとき、時間算出部３６は、到達時間Ｔｘを、
　Ｔｘ＝Ｔｓ－Ｌｗ×（Ｓｘ／Ｓｔ）として算出する。これにより、到達時間Ｔｘの測定精度を高めることができる。
　境界タイミングは、パルス幅Ｌｗを包含可能な露光期間Ａ～Ｄのうちの２番目以降の露光期間Ｂ～Ｄの２つの境界のタイミング（境界タイミングＴｃ及びＴｄ）が望ましい。これにより、信号値Ｓａの誤差の影響を軽減できる。
　時間算出部３６は、パルス幅Ｌｗを包含可能な連続する露光期間の数を、Ｌｗ／Ｇｗの整数部の３より１多い４として、到達時間Ｔｘを算出する。これにより、最小限の露光期間の数を設定できる。
　タイミング制御部３２は、露光期間の幅Ｇｗを、発光パルスのパルス幅Ｌｗの整数分の１（本実施形態では３分の１）に設定する。これにより、測定精度を高めることができる。
　撮像センサ２２は、画素２２１ごとに、露光量に応じた電荷を発生する受光素子ＰＤと、電荷を蓄積する４つの蓄積部ＣＳ１～ＣＳ４と、露光期間Ａ～Ｄに応じて電荷をそれぞれの蓄積部ＣＳ１～ＣＳ４に振り分けて蓄積させる駆動回路（トランジスタＧ１～Ｇ４）とを有し、１つの発光パルスによって発生した電荷を露光期間Ａ～Ｄに応じてそれぞれの蓄積部ＣＳ１～ＣＳ４に振り分けて蓄積させる。これにより、１回の発光に対して、複数の露光期間を設定でき、１回の発光に対して、複数の領域を測定することができる。
　上記の実施形態は、本開示の理解を容易にするためのものであり、本開示を限定して解釈するためのものではない。また、本開示は、その趣旨を逸脱することなく、変更や改良され得るとともに、本開示にはその等価物が含まれるのはいうまでもない。
　本出願は、２０２１年１２月２４日出願の日本出願第２０２１－２１１０６９号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。

Claims (7)

  1. 　パルス光を発光する発光部と、
    　画素ごとの露光量に応じた信号値を出力する撮像センサと、
    　測定対象となる領域に応じて設定され、前記パルス光のパルス幅よりも短い露光幅の露光期間に前記撮像センサの前記画素に反射光を露光させるタイミング制御部と、
    　前記パルス幅を包含可能な連続する３以上の前記露光期間に対応する前記信号値に基づいて、前記反射光の到達時間を算出する算出部と、を備える測定装置。
  2. 　請求項１に記載の測定装置であって、
    　前記算出部は、前記パルス幅を包含可能な３以上の前記露光期間のうちのいずれかの２つの前記露光期間の境界タイミングよりも前の前記露光量に相当する信号値の割合に基づいて、前記反射光の到達時間を算出する測定装置。
  3. 　請求項２に記載の測定装置であって、
    　前記パルス光の前記パルス幅をＬｗとし、
    　前記パルス幅を包含可能な連続する３以上の前記露光期間に対応する前記信号値の合計をＳｔとし、
    　前記境界タイミングよりも前の前記露光量に相当する前記信号値をＳｘとし、
    　前記パルス光の発光から前記境界タイミングまでの時間をＴｓとしたとき、
    　前記算出部は、前記到達時間Ｔｘを、
    　Ｔｘ＝Ｔｓ－Ｌｗ×（Ｓｘ／Ｓｔ）として算出する測定装置。
  4. 　請求項２又は３に記載の測定装置であって、
    　前記境界タイミングは、前記パルス幅を包含可能な３以上の前記露光期間のうちの２番目以降の前記露光期間の２つの境界のタイミングである測定装置。
  5. 　請求項１～４の何れか一項に記載の測定装置であって、
    　前記パルス光の前記パルス幅をＬｗとし、
    　前記露光期間の幅をＧｗとしたとき、
    　前記算出部は、前記パルス幅を包含可能な連続する前記露光期間の数を、Ｌｗ／Ｇｗの整数部より１多い数として、前記到達時間を算出する、
    　測定装置。
  6. 　請求項１～５の何れか一項に記載の測定装置であって、
    　前記タイミング制御部は、
    　前記露光期間の幅を、前記パルス光の前記パルス幅の整数分の１に設定する、
    　測定装置。
  7. 　請求項１～６の何れか一項に記載の測定装置であって、
    　前記撮像センサは、
    　　　　前記画素ごとに、露光量に応じた電荷を発生する受光素子と、前記電荷を蓄積する複数の蓄積部と、前記露光期間に応じて前記電荷をそれぞれの前記蓄積部に振り分けて蓄積させる駆動回路とを有し、
    　　　　１つの前記パルス光によって発生した前記電荷を前記露光期間に応じてそれぞれの前記蓄積部に振り分けて蓄積させる、
    　測定装置。
PCT/JP2022/043362 2021-12-24 2022-11-24 測定装置 Ceased WO2023120012A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/722,939 US20250052902A1 (en) 2021-12-24 2022-11-24 Measurement device
EP22910730.5A EP4455731A4 (en) 2021-12-24 2022-11-24 MEASURING DEVICE
CN202280085641.4A CN118451343A (zh) 2021-12-24 2022-11-24 测定装置
JP2023569193A JPWO2023120012A1 (ja) 2021-12-24 2022-11-24

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021211069 2021-12-24
JP2021-211069 2021-12-24

Publications (1)

Publication Number Publication Date
WO2023120012A1 true WO2023120012A1 (ja) 2023-06-29

Family

ID=86902252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043362 Ceased WO2023120012A1 (ja) 2021-12-24 2022-11-24 測定装置

Country Status (5)

Country Link
US (1) US20250052902A1 (ja)
EP (1) EP4455731A4 (ja)
JP (1) JPWO2023120012A1 (ja)
CN (1) CN118451343A (ja)
WO (1) WO2023120012A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
JP2017530344A (ja) * 2014-09-03 2017-10-12 バスラー アーゲーＢａｓｌｅｒ Ａｇ 深度画像の単純化された検出のための方法およびデバイス
US20200158838A1 (en) * 2018-11-20 2020-05-21 The University Court Of The University Of Edinburgh Methods and systems for spatially distributed strobing
JP2021025833A (ja) 2019-08-01 2021-02-22 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法
WO2021201269A1 (ja) * 2020-04-02 2021-10-07 株式会社小糸製作所 ゲーティングカメラ、車両用センシングシステム、車両用灯具

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP5675468B2 (ja) * 2011-03-31 2015-02-25 本田技研工業株式会社 測距システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017530344A (ja) * 2014-09-03 2017-10-12 バスラー アーゲーＢａｓｌｅｒ Ａｇ 深度画像の単純化された検出のための方法およびデバイス
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
US20200158838A1 (en) * 2018-11-20 2020-05-21 The University Court Of The University Of Edinburgh Methods and systems for spatially distributed strobing
JP2021025833A (ja) 2019-08-01 2021-02-22 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法
WO2021201269A1 (ja) * 2020-04-02 2021-10-07 株式会社小糸製作所 ゲーティングカメラ、車両用センシングシステム、車両用灯具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4455731A4

Also Published As

Publication number Publication date
EP4455731A4 (en) 2025-03-26
EP4455731A1 (en) 2024-10-30
CN118451343A (zh) 2024-08-06
JPWO2023120012A1 (ja) 2023-06-29
US20250052902A1 (en) 2025-02-13

Similar Documents

Publication Publication Date Title
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
US11448757B2 (en) Distance measuring device
JPWO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6480712B2 (ja) 撮像装置及びその制御方法
US20110304696A1 (en) Time-of-flight imager
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP5675468B2 (ja) 測距システム
JP5675469B2 (ja) 測距システム
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
US10282036B2 (en) Optical touch system and image processing method thereof
CN114600150A (zh) 图像处理装置、图像处理方法、图像处理程序以及图像处理系统
JP7828371B2 (ja) 測定装置
WO2023120012A1 (ja) 測定装置
WO2023139916A1 (ja) 測定装置
JP7275941B2 (ja) ３次元情報取得装置及び３次元情報取得方法
US11768277B2 (en) Time-of-flight sensor and control method thereof
WO2023166988A1 (ja) 測定装置
JP2014021100A (ja) ３次元情報検出装置および３次元情報検出方法
WO2023135943A1 (ja) 測定装置
WO2021130221A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, and time-of-flight imaging method
EP4492811A1 (en) Photoelectric conversion circuit, and photoelectric conversion device
US20250088756A1 (en) Image sensing device, image processing device, and imaging device including the image sensing device and the image processing device
JP6366325B2 (ja) 撮像システム
JP2013174446A (ja) ３次元情報検出装置および３次元情報検出方法
JP2025166561A (ja) 処理装置、撮像装置、処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910730

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023569193

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18722939

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280085641.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022910730

Country of ref document: EP

Effective date: 20240724