WO2021020496A1 - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

距離画像撮像装置、及び距離画像撮像方法 Download PDF

Info

Publication number
WO2021020496A1
WO2021020496A1 PCT/JP2020/029199 JP2020029199W WO2021020496A1 WO 2021020496 A1 WO2021020496 A1 WO 2021020496A1 JP 2020029199 W JP2020029199 W JP 2020029199W WO 2021020496 A1 WO2021020496 A1 WO 2021020496A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
charge
light
charge storage
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/029199
Other languages
English (en)
French (fr)
Inventor
知行 赤堀
優 大久保
邦広 畠山
高橋 聡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Brookman Technology Inc
Original Assignee
Toppan Printing Co Ltd
Brookman Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd, Brookman Technology Inc filed Critical Toppan Printing Co Ltd
Priority to CN202080054290.1A priority Critical patent/CN114175618B/zh
Priority to EP20847013.8A priority patent/EP4009073A4/en
Publication of WO2021020496A1 publication Critical patent/WO2021020496A1/ja
Priority to US17/586,447 priority patent/US11982750B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Definitions

  • the present invention relates to a distance image imaging device and a distance image imaging method.
  • the present application claims priority with respect to Japanese Patent Application No. 2019-142536 filed in Japan on August 1, 2019, the contents of which are incorporated herein by reference.
  • a time-of-flight (Time of Flight, hereinafter referred to as "TOF") distance image that measures the distance to a subject based on the flight time of light by utilizing the known speed of light.
  • Imaging devices are known.
  • the distance image imaging device similarly to the imaging device, a plurality of pixels for detecting light for measuring the distance are arranged in a two-dimensional matrix, and information on the two-dimensional distance to the subject and an image of the subject are provided. Can be acquired (imaging).
  • Patent Document 1 discloses a technique for removing a light receiving component due to a flare phenomenon by using a database of reference charge amount ratios.
  • the reference charge amount ratio is the ratio of the charge amount for each distance obtained by measuring the object in an ideal environment when flare does not occur.
  • Patent Document 1 it is necessary to create a database of the reference charge amount ratio. In order to accurately remove the light-receiving component due to the flare phenomenon, it is necessary to create an ideal environment in which flare does not occur, and then create a detailed database sampled at fine distances. Therefore, there is a problem that it takes time and effort to create a database.
  • the present invention has been made based on the above problems, and has created a database showing the relationship between the distance and the charge amount ratio in an ideal environment without changing the optical configuration in the device. It is an object of the present invention to provide a distance image imaging device and a distance image imaging method capable of suppressing the influence of a flare phenomenon without doing so.
  • the distance image imaging apparatus of the present invention includes a light source unit that irradiates a measurement space, which is a measurement target space, with an electric charge, a photoelectric conversion element that generates an electric charge according to the incident light, and a plurality of electric charges that accumulate the electric charges.
  • a light receiving unit having a pixel having a storage unit and a pixel drive circuit for distributing and accumulating the electric charge to each of the electric charge storage units in the pixel at a predetermined storage timing synchronized with the irradiation of the light pulse, and the above.
  • a distance image processing unit that measures the distance to a subject existing in the measurement space based on the amount of electric charge accumulated in each of the charge storage units is provided, and the distance image processing unit is the distance to be measured. It has a timing control unit that controls the accumulation timing according to a measurement mode predetermined according to the range.
  • the plurality of charge storage units in the pixel include a first charge storage unit, a second charge storage unit, and a third charge storage unit
  • the timing control unit is the measurement mode.
  • the charge is accumulated in the first charge storage unit during the external light storage period in which the light pulse is not irradiated, and at least the flare light receiving period is set to any of the charge storage units.
  • the non-accumulation period in which the charge is not accumulated is set, and after the elapse of the non-accumulation period, the charge corresponding to the amount of light incident on the light receiving portion during the reflected light receiving period is charged to the second charge accumulating portion and the third charge accumulation.
  • the flare light receiving period is a period delayed by a predetermined pulse light delay time from the irradiation period which is the period during which the light pulse is irradiated, and the reflected light receiving period is the above-mentioned.
  • the reflected light delay time and the delayed period are larger than the pulsed light delay time from the irradiation period, and the flare light receiving period and the reflected light receiving period are periods that do not overlap with each other.
  • the plurality of charge storage units in the pixel include a first charge storage unit, a second charge storage unit, and a third charge storage unit
  • the timing control unit is the measurement mode.
  • charges corresponding to the amount of light incident on the light receiving portion during the flare light receiving period are distributed and accumulated in the first charge accumulating portion and the second charge accumulating portion, and the reflected light receiving period.
  • the electric charge corresponding to the amount of light incident on the light receiving unit is distributed and accumulated in the second charge storage unit and the third charge storage unit, and the flare light light receiving period is the period during which the light pulse is irradiated.
  • the flare light receiving period and the reflected light receiving period are periods in which at least a part thereof overlaps with each other, and the distance image processing unit determines the amount of electric charge accumulated in each of the charge storage units in the medium distance mode. Based on this, a flare light component caused by flare light is extracted from the charge amount, and the distance to the subject is measured based on a value obtained by removing the extracted flare light component from the charge amount.
  • the timing control unit performs measurement in the medium-distance mode and the medium-distance external light mode as the measurement mode, and when the measurement mode is the medium-distance external light mode, The charge was accumulated in the first charge storage unit during the off-state in which the light pulse was not irradiated, and the distance image processing unit was accumulated in each of the charge storage units in the medium distance mode.
  • the flare light component caused by flare light is extracted based on the amount of electric charge
  • the external light component caused by external light is extracted based on the amount of electric charge accumulated in each of the charge storage units in the medium-range external light mode.
  • the distance to the subject is measured by using the flare light component extracted and the extracted flare light component and the external light component.
  • the timing control unit is connected to the first charge storage unit during the external light storage period when the light pulse is in the off state.
  • the charge is accumulated, the flare light receiving period is set to a non-accumulation period in which the charge is not accumulated in any of the charge accumulating parts, and the charge corresponding to the amount of light incident on the light receiving part during the reflected light receiving period is the first.
  • the two charge storage units and the third charge storage unit are distributed and stored, and the distance image processing unit has the amount of charge accumulated in each of the charge storage units in the medium distance mode and the medium distance external light mode.
  • the distance to the subject existing in the measurement space is measured by synthesizing the amount of charge accumulated in each of the charge storage units.
  • the distance image processing unit stores a value obtained by multiplying the amount of charges accumulated in the first charge storage unit by a constant in the second charge storage unit. It is extracted as a flare light component due to flare light contained in the amount of electric charge.
  • the plurality of charge storage units in the pixel include a first charge storage unit, a second charge storage unit, a third charge storage unit, and a fourth charge storage unit, and the timing control
  • the unit accumulates the electric charge in the first charge accumulating portion during the off-state in which the light pulse is not irradiated, and charges the electric charge corresponding to the amount of light incident on the light receiving portion during the flare light receiving period. Charges corresponding to the amount of light incident on the light receiving unit during the reflected light receiving period are stored in the second charge storage unit and the third charge storage unit separately and accumulated in the third charge storage unit and the fourth charge storage unit.
  • the flare light receiving period is a period delayed by a predetermined pulse light delay time from the irradiation period which is the period during which the light pulse is irradiated, and the reflected light receiving period is the above-mentioned. From the irradiation period, the reflected light delay time, which is larger than the pulsed light delay time, is a delayed period.
  • the distance image imaging apparatus of the present invention further includes a measurement control unit that controls measurement, and the measurement control unit measures the distance to the subject with the measurement mode as the first normal mode, and in the first normal mode. Based on the amount of electric charge accumulated in each of the charge storage units, it is determined whether or not a short-distance object existing at a shorter distance than the subject exists in the measurement space, and the short-distance object makes the measurement. When present in space, the measurement mode is changed and the measurement is performed again, and the plurality of charge storage units in the pixel are from the first charge storage unit, the second charge storage unit, and the third charge storage unit.
  • the timing control unit accumulates the electric charge in the first electric charge accumulating unit during the external light accumulating period in which the optical pulse is not irradiated.
  • the accumulation cycle for accumulating the charges in the second charge storage unit and the third charge storage unit in order is a predetermined number of integrations. repeat.
  • the short-distance object in the first normal mode, when the amount of charge accumulated in the second charge storage unit is equal to or greater than a predetermined threshold, the short-distance object is said to be the short-range object. Determined to exist in the measurement space.
  • a light source unit that irradiates a measurement space, which is a measurement target space, with an electric charge, a photoelectric conversion element that generates an electric charge according to the incident light, and a plurality of electric charges that accumulate the electric charges.
  • a light receiving unit having a pixel having a storage unit and a pixel drive circuit for distributing and accumulating the electric charge to each of the electric charge storage units in the pixel at a predetermined storage timing synchronized with the irradiation of the light pulse, and the above.
  • Distance image imaging including a distance image processing unit that measures the distance to a subject existing in the measurement space based on the amount of charge accumulated in each of the charge storage units, and a timing control unit that controls the storage timing.
  • the timing control unit includes a step of controlling the accumulation timing according to a predetermined measurement mode according to a range of distances to be measured.
  • the present invention it is possible to suppress the influence of the flare phenomenon without changing the optical configuration in the apparatus and without using a database.
  • Timing chart which shows the timing which drives a pixel in the middle distance mode of 1st Embodiment. It is a timing chart which shows the timing which drives a pixel in the medium-distance external light mode of 1st Embodiment. It is a figure explaining the frame composition of the medium-distance mode and the medium-distance external light mode of the first embodiment. It is a figure explaining the modification of the medium-distance mode of 1st Embodiment. It is a figure explaining the modification of the medium-distance mode of 1st Embodiment. It is a figure explaining the effect in the middle distance mode of 1st Embodiment. It is a figure explaining the effect in the middle distance mode of 1st Embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image imaging device according to a first embodiment of the present invention.
  • the distance image imaging device 1 having the configuration shown in FIG. 1 includes a light source unit 2, a light receiving unit 3, and a distance image processing unit 4.
  • FIG. 1 also shows a subject S, which is an object for measuring a distance in the distance image capturing apparatus 1.
  • the light source unit 2 irradiates the space of the photographing target in which the subject S whose distance is to be measured in the distance image imaging device 1 exists with the light pulse PO according to the control from the distance image processing unit 4.
  • the light source unit 2 is, for example, a surface emitting type semiconductor laser module such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser).
  • the light source unit 2 includes a light source device 21 and a diffuser plate 22.
  • the light source device 21 is a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band having a wavelength of 850 nm to 940 nm) that serves as an optical pulse PO to irradiate the subject S.
  • the light source device 21 is, for example, a semiconductor laser light emitting element.
  • the light source device 21 emits a pulsed laser beam according to the control from the timing control unit 41.
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 over the area of the surface that irradiates the subject S.
  • the pulsed laser beam diffused by the diffuser plate 22 is emitted as an optical pulse PO and irradiates the subject S.
  • the light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the subject S whose distance is to be measured in the distance image imaging device 1, and outputs a pixel signal corresponding to the received reflected light RL.
  • the light receiving unit 3 includes a lens 31 and a distance image sensor 32.
  • the lens 31 is an optical lens that guides the incident reflected light RL to the distance image sensor 32.
  • the lens 31 emits the incident reflected light RL to the distance image sensor 32 side, and receives (incidents) the light on the pixels provided in the light receiving region of the distance image sensor 32.
  • the distance image sensor 32 is an image pickup device used in the distance image image pickup device 1.
  • the distance image sensor 32 includes a plurality of pixels in a two-dimensional light receiving region.
  • one photoelectric conversion element In each pixel of the distance image sensor 32, one photoelectric conversion element, a plurality of charge storage units corresponding to the one photoelectric conversion element, and a component for distributing charges to each charge storage unit are provided. .. That is, the pixel is an image sensor having a distribution configuration in which charges are distributed and stored in a plurality of charge storage units.
  • the distance image sensor 32 distributes the charges generated by the photoelectric conversion element to the respective charge storage units according to the control from the timing control unit 41. Further, the distance image sensor 32 outputs a pixel signal according to the amount of electric charge distributed to the electric charge storage unit. A plurality of pixels are arranged in a two-dimensional matrix in the distance image sensor 32, and a pixel signal for one frame corresponding to each pixel is output.
  • the distance image processing unit 4 controls the distance image imaging device 1 and calculates the distance to the subject S.
  • the distance image processing unit 4 includes a timing control unit 41, a distance calculation unit 42, and a measurement control unit 43.
  • the timing control unit 41 controls the timing of outputting various control signals required for measurement according to the control of the measurement control unit 43.
  • the various control signals here include, for example, a signal for controlling the irradiation of the optical pulse PO, a signal for distributing the reflected light RL to a plurality of charge storage units, a signal for controlling the number of distributions per frame, and the like.
  • the number of distributions is the number of times the process of distributing charges to the charge storage unit CS (see FIG. 3) is repeated.
  • the distance calculation unit 42 outputs distance information obtained by calculating the distance to the subject S based on the pixel signal output from the distance image sensor 32.
  • the distance calculation unit 42 calculates the delay time Td (see FIG. 12A) from irradiating the light pulse PO to receiving the reflected light RL based on the amount of electric charge accumulated in the plurality of charge storage units.
  • the distance calculation unit 42 calculates the distance to the subject S according to the calculated delay time Td.
  • the measurement control unit 43 selects one measurement mode from a plurality of measurement modes according to the measurement environment.
  • the measurement mode is provided for each measurement environment, and the timing of irradiating the optical pulse PO and the timing of distributing the reflected light RL to a plurality of charge storage units are defined in a mutually different relationship.
  • the measurement environment is classified according to the range of the distance to be measured and whether or not flare light, which causes deterioration of the measurement accuracy, is taken into consideration. The details of the measurement mode will be described in detail later.
  • the light receiving unit 3 receives the reflected light RL reflected by the subject S from the light pulse PO in the near infrared wavelength band irradiated by the light source unit 2 to the subject S.
  • the distance image processing unit 4 outputs distance information obtained by measuring the distance to the subject S.
  • FIG. 1 shows a distance image imaging device 1 having a distance image processing unit 4 inside, but the distance image processing unit 4 may be a component provided outside the distance image imaging device 1. Good.
  • FIG. 2 is a block diagram showing a schematic configuration of an image pickup device (distance image sensor 32) used in the distance image image pickup device 1 according to the first embodiment of the present invention.
  • the distance image sensor 32 includes, for example, a light receiving region 320 in which a plurality of pixels 321 are arranged, a control circuit 322, a vertical scanning circuit 323 having a sorting operation, and a horizontal scanning circuit 324. It includes a pixel signal processing circuit 325.
  • the light receiving area 320 is an area in which a plurality of pixels 321 are arranged, and FIG. 2 shows an example in which the light receiving area 320 is arranged in a two-dimensional matrix in 8 rows and 8 columns.
  • Pixel 321 accumulates an electric charge corresponding to the amount of received light.
  • the control circuit 322 comprehensively controls the distance image sensor 32.
  • the control circuit 322 controls the operation of the components of the distance image sensor 32 in response to an instruction from the timing control unit 41 of the distance image processing unit 4, for example.
  • the component elements provided in the distance image sensor 32 may be controlled directly by the timing control unit 41. In this case, the control circuit 322 may be omitted.
  • the vertical scanning circuit 323 is a circuit that controls the pixels 321 arranged in the light receiving region 320 line by line in response to the control from the control circuit 322.
  • the vertical scanning circuit 323 causes the pixel signal processing circuit 325 to output a voltage signal corresponding to the amount of electric charge stored in each of the charge storage units CS of the pixel 321.
  • the vertical scanning circuit 323 distributes the charge converted by the photoelectric conversion element to each of the charge storage units of the pixel 321. That is, the vertical scanning circuit 323 is an example of a "pixel drive circuit".
  • the pixel signal processing circuit 325 receives predetermined signal processing (for example, noise suppression processing) for the voltage signals output from the pixels 321 of each row to the corresponding vertical signal lines in response to the control from the control circuit 322. And A / D conversion processing).
  • predetermined signal processing for example, noise suppression processing
  • the horizontal scanning circuit 324 is a circuit that sequentially outputs signals output from the pixel signal processing circuit 325 to the horizontal signal line in response to control from the control circuit 322. As a result, the pixel signals corresponding to the amount of electric charge accumulated for one frame are sequentially output to the distance image processing unit 4 via the horizontal signal line.
  • the pixel signal processing circuit 325 performs A / D conversion processing, and the pixel signal will be described as a digital signal.
  • FIG. 3 is a circuit diagram showing an example of the configuration of pixels 321 arranged in the light receiving region 320 of the image pickup device (distance image sensor 32) used in the distance image image pickup device 1 of the first embodiment of the present invention. is there.
  • FIG. 3 shows an example of the configuration of one pixel 321 among the plurality of pixels 321 arranged in the light receiving region 320.
  • Pixel 321 is an example of a configuration including three pixel signal reading units.
  • Pixel 321 includes one photoelectric conversion element PD, a drain gate transistor GD, and three pixel signal reading units RU that output voltage signals from the corresponding output terminals O.
  • Each of the pixel signal reading units RU includes a reading gate transistor G, a floating diffusion FD, a charge storage capacity C, a reset gate transistor RT, a source follower gate transistor SF, and a selection gate transistor SL.
  • a charge storage unit CS is composed of a floating diffusion FD and a charge storage capacity C.
  • each pixel signal reading unit RU is distinguished by adding a number "1", “2" or “3” after the code "RU" of the three pixel signal reading units RU.
  • each component provided in the three pixel signal reading unit RUs also has a pixel signal reading unit corresponding to each component by indicating a number representing each pixel signal reading unit RU after the code. RU is distinguished and expressed.
  • the pixel signal reading unit RU1 that outputs a voltage signal from the output terminal O1 includes a reading gate transistor G1, a floating diffusion FD1, a charge storage capacity C1, a reset gate transistor RT1, and a source follower. It includes a gate transistor SF1 and a selective gate transistor SL1.
  • the charge storage unit CS1 is composed of the floating diffusion FD1 and the charge storage capacity C1.
  • the pixel signal reading unit RU2 and the pixel signal reading unit RU3 have the same configuration.
  • the charge storage unit CS1 is an example of the “first charge storage unit”.
  • the charge storage unit CS2 is an example of a “second charge storage unit”.
  • the charge storage unit CS3 is an example of a “third charge storage unit”.
  • the photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light to generate an electric charge and stores the generated electric charge.
  • the structure of the photoelectric conversion element PD may be arbitrarily selected.
  • the photoelectric conversion element PD may be, for example, a PN photodiode having a structure in which a P-type semiconductor and an N-type semiconductor are joined, or a structure in which an I-type semiconductor is sandwiched between the P-type semiconductor and the N-type semiconductor. It may be a PIN photodiode.
  • the photoelectric conversion element PD is not limited to a photodiode, and may be, for example, a photogate type photoelectric conversion element.
  • the charge generated by photoelectric conversion of the light incident on the photoelectric conversion element PD is distributed to each of the three charge storage units CS, and each voltage signal corresponding to the charge amount of the distributed charge is transmitted to the pixel. Output to the signal processing circuit 325.
  • the configuration of the pixels arranged in the distance image sensor 32 is not limited to the configuration including the three pixel signal reading units RU as shown in FIG. 3, and the pixels having the configuration including a plurality of pixel signal reading units RU. It should be. That is, the number of pixel signal reading units RU (charge storage unit CS) provided in the pixels arranged in the distance image sensor 32 may be two or four or more.
  • the charge storage unit CS is composed of the floating diffusion FD and the charge storage capacity C.
  • the charge storage unit CS may be configured by at least a floating diffusion FD, and the pixel 321 may not have the charge storage capacity C.
  • the drain gate transistor GD is shown, but when it is not necessary to discard the (remaining) charge accumulated in the photoelectric conversion element PD. May not include the drain gate transistor GD.
  • FIG. 12A is a timing chart showing the timing of the drive signal for driving the pixels in the conventional distance image imaging device.
  • the timing of irradiating the light pulse PO is “Light”
  • the timing of receiving the reflected light is “REFRECTION_B”
  • the timing of the drive signal TX1 is “G1”
  • the timing of the drive signal TX2 is “G2”
  • the drive signal is indicated by the item name of "G3”
  • the timing of the drive signal RSTD is indicated by the item name of "GD”.
  • a series of light receiving operation timings in the distance image imaging device are indicated by the item name of "Camera”.
  • the drive signal TX1 is a signal for driving the read-out gate transistor G1. The same applies to the drive signals TX2 and TX3.
  • the vertical scanning circuit 323 stores charges in the order of charge storage units CS1, CS2, and CS3 in synchronization with irradiation of the optical pulse PO.
  • the vertical scanning circuit 323 turns on the read gate transistor G1. As a result, the charges photoelectrically converted by the photoelectric conversion element PD are accumulated in the charge storage unit CS1 via the readout gate transistor G1. After that, the vertical scanning circuit 323 turns off the read gate transistor G1. As a result, the transfer of electric charge to the electric charge storage unit CS1 is stopped. In this way, the vertical scanning circuit 323 stores the electric charge in the electric charge storage unit CS1.
  • the vertical scanning circuit 323 turns on the read gate transistor G2 at the timing when the charge accumulation in the charge storage unit CS1 is completed, and starts the charge accumulation in the charge storage unit CS2. Since the subsequent flow of the process of accumulating the charge in the charge storage unit CS2 is the same as the flow of the process of accumulating the charge in the charge storage unit CS1, the description thereof will be omitted.
  • the light source unit 2 irradiates the optical pulse PO at the timing when the read gate transistor G1 is turned off, that is, at the timing when the read gate transistor G2 is turned on.
  • the irradiation time To in which the light source unit 2 irradiates the light pulse PO is the same length as the accumulation period Ta.
  • the period during which the read gate transistor G1 is turned on and the electric charge is accumulated in the electric charge storage unit CS1 is an example of the “external light accumulation period”.
  • the vertical scanning circuit 323 turns on the read gate transistor G3 at the timing when the charge accumulation in the charge storage unit CS2 is completed, and starts the charge accumulation in the charge storage unit CS3. Since the subsequent flow of the process of accumulating the charge in the charge storage unit CS3 is the same as the flow of the process of accumulating the charge in the charge storage unit CS1, the description thereof will be omitted.
  • the vertical scanning circuit 323 turns on the drain gate transistor GD at the timing when the charge storage in the charge storage unit CS3 is completed, and discharges the charge. As a result, the electric charge converted by photoelectric conversion element PD is discarded via the drain gate transistor GD.
  • the accumulation of electric charge in the electric charge storage unit CS by the vertical scanning circuit 323 and the discarding of the electric charge converted by the photoelectric conversion element PD are repeatedly performed over one frame.
  • charges corresponding to the amount of light received by the distance image imaging device 1 in a predetermined time interval are accumulated in each of the charge storage units CS.
  • the horizontal scanning circuit 324 outputs an electric signal corresponding to the amount of charge for one frame accumulated in each of the charge storage units CS to the distance calculation unit 42.
  • the charge storage unit CS1 corresponds to an external light component such as background light before irradiating the light pulse PO.
  • the amount of charge to be charged is retained. Further, the amount of charge corresponding to the reflected light RL and the external light component is distributed and held in the charge storage units CS2 and CS3.
  • the distribution (distribution ratio) of the amount of charge distributed to the charge storage units CS2 and CS3 is a ratio according to the delay time Td until the light pulse PO is reflected by the subject S and is incident on the distance image imaging device 1. ..
  • the distance calculation unit 42 uses this principle to calculate the delay time Td by the following equation (1).
  • Td To ⁇ (Q3-Q1) / (Q2 + Q3-2 ⁇ Q1) ... (1)
  • Q1 is the amount of charge stored in the charge storage unit CS1
  • Q2 is the amount of charge stored in the charge storage unit CS2
  • Q3 is stored in the charge storage unit CS3.
  • the component corresponding to the external light component is the same amount as the amount of charge accumulated in the charge storage unit CS1. To do.
  • the distance calculation unit 42 calculates the round-trip distance to the subject S by multiplying the delay time obtained by the equation (1) by the speed of light (velocity). Then, the distance calculation unit 42 obtains the distance to the subject S by halving the round-trip distance calculated above.
  • FIG. 12B is a diagram illustrating the concept of flare light. As shown in FIG. 12B, it is described that the measurement space E to be measured, which can be irradiated with the optical pulse PO, is located at a relatively long distance from the distance image imaging device 1 (hereinafter, exists at a long distance, etc.). ) Is the subject.
  • the amount of reflected light RL is reduced as compared with the case of measuring an object existing at a position where the distance from the distance image imaging device 1 is relatively short.
  • the amount of reflected light RL decreases, it becomes a factor that the accuracy of the measured distance deteriorates. Therefore, when the distance to the subject is a long distance, it is conceivable to increase the number of distributions to increase the exposure amount (the amount of light received by the distance image sensor 32) and improve the measurement accuracy.
  • the received light when a part of the received light reaches the distance image sensor 32 via the lens 31, it may be multiple-reflected in the distance image imaging device 1. ..
  • the light is received at a position different from the position where the reflected light from the object is originally formed.
  • flare light can be a factor that deteriorates the accuracy of measurement.
  • the object A when the object A is located at a position relatively close to the distance image imaging device 1 (hereinafter referred to as a short distance) in addition to the subject (object B) existing at a long distance, increasing the exposure amount can be used.
  • the amount of reflected light RL from the object A increases.
  • the amount of flare light derived from the reflected light RL from the object A becomes large, which causes a great deterioration in the accuracy of measurement.
  • FIG. 12C is a diagram illustrating a case where flare light is received in the conventional measurement.
  • “FLARE_A” in FIG. 12C indicates flare light derived from reflected light or the like from object A (an object existing at a short distance).
  • “REFRECTION_B” indicates the reflected light from the object B (subject existing at a long distance).
  • Other items such as “Light” are the same as those in FIG. 12A, and thus the description thereof will be omitted.
  • the light pulse PO is irradiated with the irradiation time To, the flare light with the delay time Tb delayed, and the reflected light RL with the delay time Td delayed are received by the distance image sensor 32.
  • the amount of charge corresponding to flare light is accumulated in the charge storage units CS2 and CS3. Even if the equation (1) is applied to the amount of electric charge in which flare light is mixed, it is difficult to calculate the distance accurately.
  • a plurality of measurement modes are defined in this embodiment.
  • the timing of distributing the electric charge to the charge storage unit is different from the irradiation timing of the optical pulse PO.
  • the measurement mode is defined according to the range of the distance to be measured.
  • the range of the distance to be measured is divided according to the distance calculated according to the delay time Td from the irradiation of the light pulse PO to the reception of the reflected light RL.
  • the range of the distance is, for example, three ranges of a long distance, a medium distance, and a short distance, which are classified according to the distance from the distance image capturing apparatus 1.
  • the irradiation time To of the optical pulse PO is 10 ns
  • the short distance is about 0 to 75 cm
  • the medium distance is about 75 cm to 2.25 m
  • the long distance is about 2.25 m or more.
  • the measurement mode is defined depending on whether or not measures are taken to suppress the generation of flare light (hereinafter referred to as measures against flare light). If an object different from the subject exists at a short distance, take measures to suppress the generation of flare light. On the other hand, if an object different from the subject does not exist at a short distance, no measures are taken against flare light.
  • a long-distance mode for example, a long-distance mode, a medium-distance mode, a medium-distance external light mode, a normal mode 1 (first normal mode), and a normal mode 2 (second normal mode) are defined as measurement modes.
  • the long-distance mode is a mode for accurately measuring the distance to a subject existing at a long distance in a situation where an object different from the subject may exist at a short distance. That is, the long-distance mode is a mode in which a subject existing at a long distance is measured by taking measures against flare light.
  • the medium-distance mode is a mode for accurately measuring the distance to a subject existing at a medium distance in a situation where an object other than the subject may exist at a short distance. That is, the medium-distance mode is a mode in which a subject existing at a medium distance is measured by taking measures against flare light.
  • the medium-distance external light mode is a mode for measuring the amount of electric charge corresponding to the external light when measuring in the medium-distance mode.
  • the medium-distance external light mode is a mode used when external light is taken into consideration when measuring in the medium-distance mode.
  • Normal mode 1 is a mode for measuring the distance to a subject existing at a long distance in a situation where it is assumed that an object other than the subject does not exist at a short distance. That is, the normal mode 1 is a mode in which a subject existing at a long distance is measured without taking measures against flare light. The normal mode 1 is a mode for performing conventional measurement.
  • the normal mode 2 is a mode for measuring the distance to an object existing at a short distance.
  • the normal mode 2 is a mode for performing conventional measurement, and is a mode in which the exposure amount is suppressed (that is, the number of times of distribution is small) as compared with the normal mode 1.
  • the long-distance mode, the medium-distance mode, and the medium-distance external light mode will be described in order.
  • FIG. 4 is a timing chart showing the timing of driving the pixel 321 in the long-distance mode of the first embodiment.
  • the timing at which the drain gate transistor GD is turned on is indicated by "GD2" between “G1” and “G2”.
  • Other items such as “Light” are the same as those in FIG. 12C, and thus the description thereof will be omitted.
  • the light pulse PO is irradiated with the irradiation time To, the flare light with the delay time Tb delayed, and the reflected light RL with the delay time Td delayed are received by the distance image sensor 32, respectively. ..
  • the long-distance mode is used in a situation where it is assumed that the object B, which is the subject, and the object A, which causes flare light, are far from the distance image imaging device 1. That is, the long-distance mode is used in a situation where the delay time Td is larger than the delay time Tb and the flare light and the reflected light RL are not received at the same time.
  • the timing of irradiating the optical pulse PO and the timing of accumulating the electric charge in the charge accumulating portion CS are adjusted so as not to accumulate the electric charge derived from the flare light.
  • the vertical scanning circuit 323 turns on the read gate transistor G1 during the storage period Ta prior to the timing at which the optical pulse PO is irradiated, and the charge storage unit CS1 corresponds to external light. Accumulates electric charge.
  • the vertical scanning circuit 323 turns on the drain gate transistor GD.
  • the electric charge converted by photoelectric conversion element PD is discarded (discharged). Therefore, the charge obtained by photoelectrically converting the flare light received while the drain gate transistor GD is turned on is not accumulated in the charge storage unit CS.
  • the period during which flare light is received is defined as the period during which the photoelectrically converted charge is discarded (discharged), that is, the "non-accumulation period” during which the charge is not accumulated.
  • the "flare light receiving period” and the “reflected light receiving period” are periods that do not overlap each other.
  • the “flare light receiving period” is a period from the time when the irradiation of the light pulse PO is started to the time delayed by the delay time Tb until the light pulse irradiation time To (irradiation period) elapses.
  • the "flare light receiving period” is a period delayed by a delay time Tb from the irradiation time To of the optical pulse PO.
  • the delay time Tb is an example of the “pulse light delay time”.
  • the "reflected light receiving period” is a period starting from a time delayed by a delay time Td from the time when the irradiation of the light pulse PO is started and ending with the light pulse irradiation time To (irradiation period). That is, the "reflected light receiving period” is a period delayed by a delay time Td from the irradiation time To of the optical pulse PO.
  • the delay time Td is an example of the “reflected light delay time”.
  • the read gate transistors G2 and G3 are sequentially turned on for the storage period Ta, and the reflected light RL is set to the charge storage unit. It is distributed to CS2 and CS3 and accumulated. As a result, the charge corresponding to the external light is accumulated in the charge storage unit CS1, and the reflected light RL and the charge corresponding to the external light are accumulated in the charge storage units CS2 and CS3. Therefore, in the long-distance mode, by applying the equation (1) to the electric signal corresponding to the amount of charge accumulated by the charge storage units CS1 to CS3, the distance can be calculated without being affected by the flare light. it can.
  • the vertical scanning circuit 323 turns on the drain gate transistor GD from the time when the read gate transistor G1 is turned off until the period TX elapses from the time when the irradiation of the optical pulse PO is started. And.
  • the period TX is a period of not more than the total value of the irradiation time To and the delay time Tb and not more than or equal to the delay time Td ((To + Tb) ⁇ TX ⁇ Td.
  • the accumulation timing is controlled so that the electric charge is not accumulated during the period when the flare light is received and the electric charge is accumulated during the period when the reflected light is received.
  • FIGS. 5A and 5B are timing charts showing the timing of driving the pixel 321 in the medium-distance mode of the first embodiment. Items such as "Light" in FIGS. 5A and 5B are the same as those in FIG. 12C, and thus the description thereof will be omitted.
  • the medium-range mode does not have a charge storage unit CS that stores charges corresponding only to external light, as will be described later. That is, it is not possible to extract the external light component included in the amount of electric charge accumulated in each of the charge storage units CS, remove the external light component, and then calculate the distance. Therefore, in an environment in which the influence of the external light component on the result of calculating the distance is relatively small, for example, in an environment where the amount of external light is small, it is possible to perform the measurement in the medium distance mode alone. In an environment where the amount of external light is large and the calculation accuracy of the distance deteriorates unless the external light component is removed, the external light is received in the medium-distance external light mode described later or by any method. It is necessary to calculate the distance after separately obtaining the amount of charge corresponding to the outside light for one frame.
  • the light pulse PO is irradiated with the irradiation time To, the flare light with the delay time Tb delayed, and the reflected light RL with the delay time Td delayed are received by the distance image sensor 32, respectively. ..
  • the medium-distance mode is used in a situation where it is assumed that the object B, which is the subject, and the object A, which causes flare light, are closer to each other than the long-distance mode. Be done. That is, the difference between the delay time Tb and the delay time Td is a small value as compared with the difference assumed in the long-distance mode, and there is a period during which the flare light and the reflected light RL are simultaneously received.
  • the medium range mode is used in situations where this is the premise. In the medium-range mode, on the premise of the above, the timing of irradiating the optical pulse PO and the timing of accumulating charges in the charge storage unit CS are adjusted so that the amount of charges derived from flare light can be extracted. ..
  • the charge corresponding to the flare light is distributed (straddled) to the charge storage units CS1 and CS2 and stored. Further, in the vertical scanning circuit 323, the electric charge corresponding to the reflected light RL is distributed and accumulated in the charge storage units CS2 and CS3. That is, the vertical scanning circuit 323 distributes and stores the charges corresponding to the amount of light incident on the light receiving unit 3 during the "flare light receiving period" to the charge storage units CS1 and CS2. In addition, the vertical scanning circuit 323 distributes and stores charges corresponding to the amount of light incident on the light receiving unit 3 during the “reflected light receiving period” in the charge storage units CS2 and CS3.
  • the "flare light receiving period” is a period from the time when the irradiation of the light pulse PO is started to the time delayed by the delay time Tb until the light pulse irradiation time To (irradiation period) elapses. That is, the "flare light receiving period” is a period delayed by a delay time Tb from the irradiation time To of the optical pulse PO.
  • the delay time Tb is an example of the “pulse light delay time”.
  • the "reflected light receiving period” is a period starting from a time delayed by a delay time Td from the time when the irradiation of the light pulse PO is started and ending with the light pulse irradiation time To (irradiation period). That is, the "reflected light receiving period” is a period delayed by a delay time Td from the irradiation time To of the optical pulse PO.
  • the delay time Td is an example of the “reflected light delay time”.
  • the vertical scanning circuit 323 first turns on the read gate transistor G1 and stores the electric charge in the electric charge storage unit CS1.
  • the light source unit 2 starts irradiating the optical pulse PO when the period TY elapses from the time when the read gate transistor G1 changes to the ON state.
  • the delay time Tb elapses from the time when the irradiation of the optical pulse PO is started (at the time of starting the irradiation)
  • the flare light reaches the distance image imaging device 1 and the flare light starts to be received.
  • the vertical scanning circuit 323 turns on the read gate transistor G1 from the time when the irradiation of the optical pulse PO is started until the period TZ elapses, and accumulates the charge in the charge storage unit CS1.
  • the total value of the period TY and the period TZ is the period corresponding to the accumulation period Ta.
  • the vertical scanning circuit 323 adjusts the period TZ so that the delay time Tb or more (TZ ⁇ Tb).
  • the accumulation period Ta of the charge storage unit CS1 can include "at the start of receiving flare light" at which the reception of flare light is started, and the charge corresponding to the flare light can be accumulated in the charge storage unit CS1. it can.
  • the vertical scanning circuit 323 turns on the read gate transistors G2 and G3 in order for the storage period Ta at the timing when the charge storage in the charge storage unit CS1 is completed, and charges the charge storage unit CS1. Accumulate in CS2 and CS3. As a result, charges corresponding to flare light and external light are distributed and accumulated in the charge storage units CS1 and CS2. Further, the electric charges corresponding to the reflected light RL and the external light are distributed and accumulated in the charge storage units CS2 and CS3.
  • the distance calculation unit 42 extracts the flare light component caused by the flare light from the charge amount stored in the charge storage unit CS2 based on the charge amount corresponding to the flare light stored in the charge storage unit CS1. ..
  • the distance calculation unit 42 calculates the flare light component Q2f of the amount of charge stored in the charge storage unit CS2 by the following equation (2).
  • Q2f indicates the amount of charge corresponding to the flare light component among the amount of charge accumulated in the charge storage unit CS2
  • Q1 indicates the amount of charge accumulated in the charge storage unit CS1
  • K indicates a constant.
  • the constant K is a constant uniquely determined according to the temporal relationship between the timing at which the accumulation period Ta of the charge storage unit CS1 ends and the timing at which the reception of flare light starts.
  • FIG. 5B shows an example in which the accumulation period Ta and the irradiation time To are both configured by 13 clocks (13 ck). Further, FIG. 5B shows an example in which the irradiation of the optical pulse PO is started 10 clocks (10 ck) after the read gate transistor G1 is turned on in the medium distance mode.
  • the charge storage unit CS1 receives the flare light for 13 clocks. Of these, charges corresponding to the amount of light received for two clocks are accumulated. In addition, the charge storage unit CS2 stores charges corresponding to the amount of light received for 11 clocks out of the flare light for 13 clocks. In this case, the following equation (3) holds.
  • Q2f is the amount of charge of the flare light component included in the amount of charge accumulated in the charge storage unit CS2.
  • Q1f is the amount of charge of the flare light component contained in the amount of charge accumulated in the charge storage unit CS1.
  • the charge amount Q1f is the amount of charge stored in the charge storage unit CS1, that is, ( It can be regarded as the charge amount Q1 in Eq. 2).
  • "11/2" in Eq. (3) corresponds to the constant K in Eq. (2).
  • the constant K is determined by the temporal relationship between the timing at which the accumulation period Ta of the charge storage unit CS1 ends and the timing at which the reception of flare light starts.
  • the timing at which the reception of flare light is started is determined according to the distance to the object A (short-distance object) that causes flare light existing at a short distance. That is, the constant K is a constant determined according to the distance to a short-distance object.
  • the distance image imaging device 1 measures the distance to a short-range object, for example, in the normal mode 2.
  • the distance image capturing apparatus 1 measures the distance to a short-distance object in the normal mode 2 before or after the measurement in the medium-distance mode. Further, in this case, the distance image imaging device 1 stores in advance a table in which the distance to the short-range object and the constant K are associated with each other.
  • the distance calculation unit 42 refers to the table based on the distance to the short-distance object measured in the normal mode 2, and acquires the constant K corresponding to the measured distance to the short-distance object.
  • the distance calculation unit 42 applies the acquired constant K and the charge amounts of the charge storage units CS1 and CS2 acquired in the medium distance mode to the equation (2).
  • the distance calculation unit 42 can extract the flare light component contained in the amount of charge accumulated by the charge storage unit CS2.
  • the distance calculation unit 42 calculates the amount of charge corresponding to the reflected light RL accumulated by the charge storage unit CS2 by subtracting the extracted flare light component from the amount of charge accumulated by the charge storage unit CS2.
  • the distance calculation unit 42 can calculate the delay time Td by applying the calculated charge amount to the charge amount Q2 of the equation (1), and calculate the distance to the object B using the calculated delay time Td. Is. At this time, the amount of charge corresponding to the external light (the amount of charge corresponding to the amount of charge Q1 in equation (1)) is 0 (zero). Since the influence of the flare light component is removed from the distance to the object B thus obtained, it is possible to suppress the deterioration of the accuracy of the distance due to the flare light.
  • FIG. 6 is a timing chart showing the timing of driving the pixel 321 in the medium-distance mode of the first embodiment. Items such as "Light" in FIG. 6 are the same as those in FIG. 12C, and thus the description thereof will be omitted. Further, since the timing relationship between the irradiation of the optical pulse PO, the flare light, and the reception of the reflected light RL in FIG. 6 is the same as that in FIG. 5A, the description thereof will be omitted.
  • the medium-range external light mode differs from the medium-range mode in that the timing at which the charge storage unit CS1 is turned on is advanced by the storage period Ta.
  • the timing of irradiating the optical pulse PO and the timing of turning on the charge storage units CS2 and CS3 are the same timings as in the medium-distance mode.
  • the charge storage unit CS1 By advancing the timing for turning on the charge storage unit CS1 by the storage period Ta, in the medium-distance external light mode, the charge storage unit CS1 accumulates the amount of charge corresponding to the external light. Further, the timing of irradiating the optical pulse PO and the timing of turning on the charge storage units CS2 and CS3 are set to the same timings as in the medium distance mode. As a result, at the same distribution ratio as in the medium-distance mode, the charge storage unit CS2 stores the charge corresponding to the flare light and the reflected light RL, and the charge storage unit CS3 stores the charge corresponding to the reflected light RL.
  • FIG. 7 is a diagram illustrating a process in which the distance image capturing apparatus 1 of the first embodiment calculates a distance using the measurement results of the medium distance mode and the medium distance external light mode.
  • the distance image capturing apparatus 1 alternately repeats the measurement for one frame in the medium distance mode (processing F1) and the measurement for one frame in the medium distance external light mode (processing F2).
  • the range image capturing apparatus 1 stores at least the charge amount Q1gf among the processing results by the processing F1 in the frame memory, and temporarily holds the measurement results in the medium distance mode (processing F4).
  • the processing result by the processing F1 corresponds to the flare light corresponding to the distribution ratio for one frame and the amount of charge Q1 gf corresponding to the external light, and the flare light and the reflected light RL corresponding to the distribution ratio for one frame and the external light.
  • the charge amount Q2grf, the reflected light RL according to the distribution ratio for one frame, and the charge amount Q3gr corresponding to the external light are included.
  • the distance image imaging device 1 stores at least the charge amount Q1g of the processing results by the processing F2 in the frame memory, and temporarily holds the measurement results in the medium-distance external light mode (processing F3).
  • the processing result by the processing F2 includes the amount of charge Q1g corresponding to the outside light for one frame, the flare light and the reflected light RL corresponding to the distribution ratio for one frame, the amount of charge Q2grf corresponding to the outside light, and the amount for one frame.
  • the reflected light RL according to the distribution ratio of the light and the charge amount Q3gr corresponding to the external light are included.
  • the range image capturing apparatus 1 synthesizes two measurement results of the medium-distance mode and the medium-distance external light mode by using the processing result by the processing F3 and the processing result by the processing F1 (processing F5).
  • processing F5 processing result by the processing F5
  • the electric charge amount Q1g in the medium-distance external light mode is stored in the frame memory among the processing results by the processing F3, the electric charge amount Q1g and the electric charge amount Q1gf in the medium-distance mode as the processing result by the processing F1.
  • Synthesis is performed using the amount of charge Q2grf and the amount of electric charge Q3gr.
  • the charge amounts Q1g, Q2grf, and the charge amount Q3gr in the medium-distance external light mode are stored in the frame memory
  • the charge amounts Q1g, Q2grf, Q3gr, and the charge amount Q1gf in the medium-range mode Is used for synthesis.
  • the electric charge amount Q1g, the electric charge amount Q2grf, and the electric charge amount Q3gr in the medium-distance external light mode are stored in the frame memory
  • the electric charge amount Q1gf, the electric charge Q2grf, and the electric charge amount Q3gr in the medium-distance mode are stored. It may be used for synthesis.
  • the synthesis result by the processing F5 corresponds to the amount of charge Q1g corresponding to one frame of external light in the medium-distance external light mode, and flare light and external light according to the distribution ratio of one frame in the medium-distance mode.
  • the distance image imaging device 1 synthesizes two measurement results of the medium-distance mode and the medium-distance external light mode by using the processing result by the processing F4 and the processing result by the processing F2 (processing F6).
  • the synthesis result by the process F6 includes the same result as the synthesis result by the process F5.
  • the distance image imaging device 1 reflects the light pulse PO on the object B and incidents on the distance image imaging device 1 by applying the following equation (4) to the synthesis result calculated by the processing F5 (or processing F6).
  • the delay time Td until it is completed is calculated.
  • Td To ⁇ Q3r / (Q2r + Q3r) ... (4)
  • Q3r is the reflected light component of the amount of charge Q3 stored in the charge storage unit CS3
  • Q2r is the amount of charge stored in the charge storage unit CS2.
  • the reflected light component of Q2 is shown.
  • the charge amount Q3r is represented by the following equation (5), where Q3g is the charge amount of the external light component in the charge amount Q3 stored in the charge storage unit CS3.
  • the charge amount Q2r is expressed by the following equation (6), where Q2g is the charge amount of the external light component and Q2f is the flare light component of the charge amount Q2 stored in the charge storage unit CS2.
  • the amount of electric charge Q2g and the amount of electric charge Q3g are the same as the amount of electric charge accumulated in the electric charge storage unit CS1 in the medium-distance external light mode. Further, the charge amount Q2f is a constant K times the flare light component of the charge amount stored in the charge storage unit CS1 extracted in the medium distance mode.
  • FIGS. 8A and 8B (Modified example of the calculation method of the constant K)
  • a modified example of the method for calculating the constant K will be described with reference to FIGS. 8A and 8B (hereinafter referred to as FIG. 8A and the like).
  • the constant K is calculated using the result measured in advance.
  • FIG. 8A and the like are diagrams for explaining a modified example of the method for calculating the constant K.
  • the measurement result (distance) for each pixel is shown as a histogram.
  • the horizontal axis of FIG. 8A and the like shows the distance (Distance [m]), and the vertical axis shows the number of pixels (Count).
  • the object B is a wall, and the distance to the wall is measured.
  • the distance to the object B (described as Wall) is measured both when the short-range object A (described as Object) exists in the measurement area (Wall + Object) and when it does not exist (Wall). The result is shown.
  • FIG. 8A shows the measurement result before removing the flare light (without correction)
  • FIG. 8B shows the measurement result after removing the flare light (flare correction).
  • the peak of the histogram appears at a distance of about 1.2 m. That is, the distance to the object B is around 1.2 m.
  • a peak indicating the distance (0.3 m to 0.4 m) to the short-distance object A and a peak having a distance of about 1.0 m appear.
  • the peak at a distance of about 1.0 m indicates that the distance to the object B is measured shorter than the actual distance because the reflected light of the object B is mixed with the flare light derived from the short-distance object A. ..
  • FIG. 8B a constant K is searched so that the peak near 1.0 m in FIG. 8A shifts to around 1.2 m, the flare light component is removed using the searched constant K, and then the distance is calculated. The result is shown.
  • FIGS. 9A to 9F are diagrams illustrating the effect of measurement in the medium distance mode.
  • 9A and 9B are images (differences) in which the distance image obtained by photographing only the object B and the distance image obtained by photographing the object B and the short-range object A are used and the difference in the distance for each pixel is used as the pixel value. Image) is shown.
  • FIG. 9A is a difference image before removing the flare light component (without correction)
  • FIG. 9B is a difference image after removing the flare light component (flare correction).
  • 9A and 9B is the horizontal pixel (Pixel (H)), the vertical axis is the vertical pixel (Pixel (V)), and the index of the difference value is shown in grayscale on the right side of the difference image. , Indicates that the difference increases as the gray becomes brighter.
  • Reference numerals D1 and D2 will be described later with reference to the drawings.
  • the entire object B becomes light gray, indicating that there is a difference in distance.
  • the area around the short-range object A (left-right direction and lower side of the short-range object A) is lighter gray, and the difference in distance in this area is calculated to be large.
  • the entire object B (wall) becomes dark gray, and the difference in distance is approaching zero as a whole.
  • FIGS. 9C and 9D show the relationship between the pixels and the distance in the vertical cross section (reference numeral D1) of FIGS. 9A and 9B.
  • FIG. 9C shows the results using a distance image before removing the flare light component (without correction)
  • FIG. 9D shows the result after removing the flare light component (flare correction).
  • the horizontal axis of FIGS. 9C and 9D indicates a pixel (Pixel), and the vertical axis indicates a distance (Distance [m]).
  • FIGS. 9E and 9F show the relationship between the pixels and the distance in the vertical cross section (reference numeral D2) of FIGS. 9A and 9B.
  • FIG. 9E shows the results using a distance image before removing the flare light component (without correction)
  • FIG. 9F shows the result after removing the flare light component (flare correction).
  • the horizontal axis of FIGS. 9E and 9F indicates a pixel
  • the vertical axis indicates a distance (Distance [m]).
  • Step S100 The distance image imaging device 1 first performs measurement in the normal mode 1.
  • the distance image imaging device 1 stores the measurement result (distance DB to the object B which is the subject, the amount of charge accumulated in the charge storage unit CS, and the like).
  • Step S101 From the measurement result of the normal mode 1, the distance image imaging device 1 determines whether or not the charge amount Q2 stored in the charge storage unit CS2 has a flare light component. When the charge amount Q2 (for example, the average value of the charge amount Q2 in all pixels) is equal to or more than a predetermined threshold value, the distance image imaging device 1 determines that the charge amount Q2 has a flare light component.
  • the charge amount Q2 for example, the average value of the charge amount Q2 in all pixels
  • step S102 When the distance image imaging device 1 determines that the charge amount Q2 has a flare light component, the process of step S102 is performed. On the other hand, when the distance image imaging device 1 determines that the charge amount Q2 has no flare light component, the process returns to step S100 and continues the measurement in the normal mode 1.
  • Step S102 The distance image imaging device 1 performs measurement in the normal mode 2. In the normal mode 2, the number of distributions is reduced and the exposure amount is suppressed as compared with the normal mode 1, so that the distance of a long-distance subject cannot be measured (cannot be measured), and the distance to the short-distance object A. Only measured.
  • the distance image imaging device 1 stores the measurement result (distance DA to the short-distance object A, etc.).
  • Step S103 The range image imaging device 1 determines whether to perform the measurement again for removing the flare light component in the long range mode or the medium range mode.
  • the distance image imaging device 1 sets the measurement again in the long distance mode.
  • the distance image imaging device 1 sets the measurement again in the medium distance mode.
  • the distance image imaging device 1 performs the process shown in step S104 when the measurement is set to the long distance mode again.
  • the range image capturing apparatus 1 performs the process shown in step S106 when the measurement is set to the medium range mode again.
  • Step S104 The distance image imaging device 1 performs measurement in a long distance mode.
  • the measurement in the long-distance mode is performed, for example, at the same number of distributions as in the normal mode 1.
  • Step S105 The distance image imaging device 1 determines whether or not the short-distance object A continues to exist after repeating the long-distance mode for a predetermined number of frames (for example, 30 frames). This is a process of returning from the long-distance mode to the normal mode 1 when the relationship between the short-distance object A and the subject changes, such as when the short-distance object A is a moving body.
  • the distance image imaging device 1 determines whether or not the charge amount Q2 stored in the charge storage unit CS2 has a flare light component.
  • the determination of whether or not there is a flare light component may be the same method as the process shown in step S101.
  • the distance image imaging device 1 determines that the charge amount Q2 has a flare light component, it returns to the process of step S104 and continues the measurement in the long distance mode.
  • the process returns to step S100 and returns to the measurement in the normal mode 1.
  • Step S106 The range image imaging device 1 performs measurement in the medium range mode.
  • the measurement in the medium-distance mode is performed, for example, at the same number of distributions as in the normal mode 1.
  • the range image imaging device 1 stores the amount of charge accumulated in the charge storage units CS1 to CS3, and performs the process shown in step S107.
  • Step S107 The range image imaging device 1 determines whether or not the charge amount Q2 stored in the charge storage unit CS2 has a flare light component from the measurement result of the medium distance mode. This is because even if it is determined in step S101 that there is a flare light component, the short-distance object A is a moving object and temporarily crosses the measurement area, and the measurement is performed again in the medium-distance mode. This is a process corresponding to the case where the flare light component has disappeared when the above is performed.
  • the method for determining whether or not the charge amount Q2 has a flare light component is the same as in step S101.
  • the process of step S107 is performed.
  • the process of step S108 is performed.
  • Step S108 The range image imaging device 1 removes the flare light component contained in the charge amount Q2 by using the measurement result of the medium distance mode (the amount of charge accumulated in the charge storage units CS1 to CS3), and determines the distance to the object B. calculate. Although the description is omitted in this flowchart, the distance image imaging device 1 calculates the distance to the object B by using the external light component measured in the medium distance external light mode as the measurement result in the medium distance mode. .. The range image imaging device 1 returns to the process of step S106 and continues the measurement in the medium range mode.
  • Step S109 The range image imaging device 1 uses the measurement result of the medium distance mode (the amount of charge accumulated in the charge storage units CS1 to CS3) to reach the object B without removing the flare light component of the charge amount Q2 of the flare light. Calculate the distance of.
  • the method of calculating the distance in this case is the same as the conventional calculation method.
  • the distance image imaging device 1 returns to step S100 and returns to the measurement in the normal mode 1.
  • one measurement in each measurement mode may be the measurement result for one frame, or the measurement results for a plurality of frames may be averaged (for example, moving average).
  • the distance image imaging device 1 includes a light source unit 2, a light receiving unit 3, and a distance image processing unit 4.
  • the light source unit 2 irradiates the measurement space E with the light pulse PO.
  • the light receiving unit 3 includes a photoelectric conversion element PD that generates an electric charge according to the incident light, a pixel having a plurality of electric charges accumulating units CS that accumulate the electric charges, and a predetermined accumulation synchronized with the irradiation of the optical pulse PO. It has a vertical scanning circuit 323 (pixel drive circuit) that distributes and stores charges to each of the charge storage units CS at the timing.
  • the distance image processing unit 4 measures the distance to the subject S existing in the measurement space E based on the amount of electric charge accumulated in each of the charge storage units CS.
  • the distance image processing unit 4 has a timing control unit 41.
  • the timing control unit 41 controls the accumulation timing according to a measurement mode predetermined according to the range of the distance to be measured.
  • the measurement mode can be selected according to the range of the distance to be measured. Therefore, when there is an influence of flare light when measuring an object existing at a long distance, it is possible to reduce the influence of flare light by changing the accumulation timing. Therefore, the influence of the flare phenomenon can be suppressed without changing the optical configuration in the apparatus and without using a database.
  • the timing control unit 41 when the measurement mode is the long-distance mode, the timing control unit 41 does not receive flare light and does not accumulate charges corresponding to the amount of flare light. In addition, adjust the accumulation timing. As a result, the flare light component can be eliminated, and the same effect as described above can be obtained.
  • the timing control unit 41 distributes and stores the charge corresponding to the flare light to the charge storage units CS1 and CS2.
  • the accumulation timing is adjusted so as to be.
  • the flare light component can be removed, and the same effect as described above can be obtained.
  • the timing control unit 41 removes the external light component by using the amount of electric charge corresponding to the external light measured separately. Do. As a result, the flare light component can be removed and the external light component can be removed, and the same effect as described above can be obtained.
  • the timing control unit 41 charges the charge storage unit CS with the charge corresponding to the external light in the medium distance external light mode. Adjust the accumulation timing so that it is accumulated. As a result, the flare light component and the external light component can be easily removed by performing so-called frame synthesis, and the same effect as the above-mentioned effect can be obtained.
  • the distance calculation unit 42 calculates the value obtained by multiplying the amount of charge stored in the charge storage unit CS1 by the constant K. It is a flare light component contained in the amount of charge accumulated in the charge storage unit CS2. As a result, the flare light component can be removed, and the same effect as described above can be obtained.
  • measurement is performed while dynamically changing the measurement mode according to the result of determining the presence or absence of flare light.
  • the measurement mode can be switched and the measurement can be performed again, and the same effect as described above can be obtained.
  • FIG. 11 is a timing chart showing the timing of driving the pixel 321 in the second embodiment. Items such as "Light" in FIG. 11 are the same as those in FIG. 12C, and thus the description thereof will be omitted. Further, since the timing relationship between the irradiation of the light pulse PO, the flare light, and the reception of the reflected light RL in FIG. 11 is the same as that in FIG. 5A, the description thereof will be omitted.
  • the operations corresponding to the medium-distance mode and the medium-distance external light mode are simultaneously performed.
  • the amount of charge for one frame corresponding to the amount of external light is accumulated in the charge storage unit CS1.
  • the charge storage units CS2 and CS3 the amount of charge for one frame corresponding to the amount of flare light is accumulated according to the distribution ratio, respectively.
  • the charge storage units CS3 and CS4 the amount of charge for one frame corresponding to the amount of reflected light RL is accumulated according to the distribution ratio, respectively.
  • the distance calculation unit 42 determines the constant K based on the amount of charge stored in the charge storage unit CS2 and the distance to the short-distance object A.
  • the distance calculation unit 42 uses the constant K to extract the flare light component of the amount of charge stored in the charge storage unit CS3.
  • the distance calculation unit 42 calculates the amount of charge corresponding to the reflected light RL stored in the charge storage unit CS3 by removing the extracted flare light component from the charge storage unit CS3.
  • the distance calculation unit 42 calculates the distance to the object by using the amount of charge corresponding to the reflected light RL stored in the charge storage unit CS3 and the amount of charge stored in the charge storage units CS1 and CS4.
  • the pixel 321 includes four charge storage units CS.
  • the measurement in the medium-distance mode and the medium-distance external light mode can be performed at the same time, and the distance can be calculated accurately without performing complicated processing such as so-called frame composition.
  • the whole or part of the distance image imaging device 1 in the above-described embodiment may be realized by a computer.
  • the program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.
  • the "computer system” referred to here is a system including hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a medium, such as a volatile memory inside a computer system serving as a server or a client in that case, which holds a program for a certain period of time. Further, the above program may be for realizing a part of the above-mentioned functions, and further, the above-mentioned functions may be realized in combination with a program already recorded in the computer system, and programmable logic such as FPGA. It may be realized by using a device.
  • the present invention it is possible to suppress the influence of the flare phenomenon without changing the optical configuration in the apparatus and without using a database.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、を備え、前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有する。

Description

距離画像撮像装置、及び距離画像撮像方法
 本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
 本願は、2019年8月1日に日本に出願された特願2019-142536号について優先権を主張し、その内容をここに援用する。
 従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像撮像装置が知られている。距離画像撮像装置では、撮像装置と同様に、距離を測定するための光を検出する画素が二次元の行列状に複数配置され、被写体との間の2次元の距離の情報や、被写体の画像を取得(撮像)することができる。
 このような距離画像撮像装置を用いて、遠距離に存在する物体までの距離を精度良く測定しようとする場合、振り分け回数(露光量)を増やす方法がある。しかし、遠距離に存在する物体とは別に、近距離にも別の物体が存在する場合がある。このような状況において、遠距離、及び近距離に存在する両方の物体に、同時に光を照射させると、近距離に存在する物体からの反射光が、遠距離に存在する物体からの反射光よりも大きな強度で受光される。このような大きな強度の反射光が受光されると、距離画像撮像装置内のレンズなどの光学系において、フレア現象と称される多重反射が発生する。このフレア現象が、遠距離に存在する物体の距離を測定するための光を検出する画素の受光量に影響を与え、測定する距離に誤差が生じる要因となっている。
 多重反射の発生を抑制して測定距離の誤差を低減する対策として、距離画像撮像装置内の光学設計と光学素材、測定環境を作り込むことにより、フレア現象を低減させ、或いは回避することが可能である。しかし、その一方で、レンズに特殊な加工が必要となり、コストが上昇したり、測定環境が制限されたりする問題がある。
 上記の対策とは別の対策として、画素の受光量から、フレア現象による受光成分を除去する処理を行うことが考えられる。特許文献1では、基準電荷量比のデータベースを用いて、フレア現象による受光成分を取り除く技術が開示されている。基準電荷量比は、フレアが発生していない場合の理想的な環境で対象物を測定して得た、距離毎の電荷量の比である。
日本国特許第6298236号公報
 しかしながら、特許文献1の技術では、基準電荷量比のデータベースを作成する必要がある。フレア現象による受光成分を精度よく除去するためには、フレアが発生しない理想的な環境を構築した上で、細かく距離を刻んでサンプリングした詳細なデータベースを作成しなければならない。このため、データベースを作成する手間がかかるという問題がある。
 本発明は、上記の課題に基づいてなされたものであり、装置内の光学的な構成を変えることなく、また、理想的な環境での距離と電荷量の比との関係を示すデータベースを作成することなく、フレア現象による影響を抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的としている。
 本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、を備え、前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有する。
 本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが遠距離モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、少なくともフレア光受光期間を、前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記非蓄積期間の経過後、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、互いに重複しない期間である。
 本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第1電荷蓄積部、及び第2電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、少なくとも一部が互いに重複する期間であり、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記被写体までの距離を測定する。
 本発明の距離画像撮像装置では、前記タイミング制御部は、前記測定モードとして、前記中距離モード、及び中距離外光モードにて測定を行い、前記測定モードが中距離外光モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、フレア光に起因するフレア光成分を抽出し、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、外光に起因する外光成分を抽出し、抽出した前記フレア光成分、及び前記外光成分を用いて、前記被写体までの距離を測定する。
 本発明の距離画像撮像装置では、前記タイミング制御部は、前記測定モードが前記中距離外光モードである場合、前記光パルスが前記オフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間を前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量と、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量とを合成することにより、前記測定空間に存在する被写体までの距離を測定する。
 本発明の距離画像撮像装置では、前記距離画像処理部は、前記中距離モードにおいて、前記第1電荷蓄積部に蓄積された電荷量を定数倍した値を、前記第2電荷蓄積部に蓄積された電荷量に含まれる、フレア光に起因するフレア光成分として抽出する。
 本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部からなり、前記タイミング制御部は、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第3電荷蓄積部、及び第4電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間である。
 本発明の距離画像撮像装置では、測定を制御する測定制御部を更に備え、前記測定制御部は、前記測定モードを第1通常モードとして前記被写体までの距離を測定させ、前記第1通常モードにおいて、電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体よりも近距離に存在する近距離物体が、前記測定空間に存在するか否かを判定し、前記近距離物体が前記測定空間に存在する場合、前記測定モードを変更して、再度の測定を行い、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが前記第1通常モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されるオン状態となった後の所定の反射光受光期間に、前記第2電荷蓄積部、及び第3電荷蓄積部に、順に前記電荷を蓄積させる蓄積周期を、所定の積算回数繰り返す。
 本発明の距離画像撮像装置では、前記測定制御部は、前記第1通常モードにおいて、前記第2電荷蓄積部に蓄積された電荷量が所定の閾値以上である場合、前記近距離物体が、前記測定空間に存在すると判定する。
 本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、前記蓄積タイミングを制御するタイミング制御部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記タイミング制御部が、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて前記蓄積タイミングを制御する工程、を有する。
 本発明によれば、装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる。
第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 第1の実施形態の距離画像撮像装置に用いられる撮像素子の概略構成を示したブロック図である。 第1の実施形態の距離画像撮像装置に用いられる撮像素子の受光領域に配置された画素の構成の一例を示した回路図である。 第1の実施形態の遠距離モードにおける画素を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離モードにおける画素を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離モードにおける画素を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離外光モードにおける画素を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離モードと中距離外光モードのフレーム合成を説明する図である。 第1の実施形態の中距離モードの変形例を説明する図である。 第1の実施形態の中距離モードの変形例を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の距離画像撮像装置1における処理の流れを示すフローチャートである。 第2の実施形態の距離画像撮像装置1における画素を駆動するタイミングを示すタイミングチャートである。 従来の測定における画素を駆動するタイミングを示すタイミングチャートである。 実施形態におけるフレア光の概念を説明する図である。 従来の測定においてフレア光が受光された場合の精度の劣化を説明する図である。
 以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
<第1の実施形態>
 まず、第1の実施形態について説明する。
 図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。
 光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
 光源装置21は、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
 拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体Sに照射される。
 受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
 レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
 距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備える。距離画像センサ32のそれぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
 距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
 距離画像処理部4は、距離画像撮像装置1を制御し、被写体Sまでの距離を演算する。距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43とを備える。
 タイミング制御部41は、測定制御部43の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号や、反射光RLを複数の電荷蓄積部に振り分ける信号、1フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部CS(図3参照)に電荷を振り分ける処理を繰返す回数である。
 距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、被写体Sまでの距離を演算した距離情報を出力する。距離演算部42は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Td(図12A参照)を算出する。距離演算部42は、算出した遅延時間Tdに応じて被写体Sまでの距離を演算する。
 測定制御部43は、測定環境に応じて、複数の測定モードから1つの測定モードを選択する。測定モードは、測定する環境毎に設けられ、光パルスPOを照射するタイミングと、反射光RLを複数の電荷蓄積部に振り分けるタイミングとが互いに異なる関係で規定される。測定する環境は、測定の対象とする距離の範囲、及び測定の精度が劣化する要因となるフレア光を考慮するか否か等に応じて区分される。測定モードの詳細については、後で詳しく説明する。
 このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を出力する。
 図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
 次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。
 図2に示すように、距離画像センサ32は、例えば、複数の画素321が配置された受光領域320と、制御回路322と、振り分け動作を有した垂直走査回路323と、水平走査回路324と、画素信号処理回路325とを備える。
 受光領域320は、複数の画素321が配置された領域であって、図2では、8行8列に二次元の行列状に配置された例を示している。画素321は、受光した光量に相当する電荷を蓄積する。制御回路322は、距離画像センサ32を統括的に制御する。制御回路322は、例えば、距離画像処理部4のタイミング制御部41からの指示に応じて、距離画像センサ32の構成要素の動作を制御する。距離画像センサ32に備えた構成要素の制御は、タイミング制御部41が直接行う構成であってもよく、この場合、制御回路322を省略することも可能である。
 垂直走査回路323は、制御回路322からの制御に応じて、受光領域320に配置された画素321を行ごとに制御する回路である。垂直走査回路323は、画素321の電荷蓄積部CSそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路325に出力させる。この場合、垂直走査回路323は、光電変換素子により変換された電荷を画素321の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路323は、「画素駆動回路」の一例である。
 画素信号処理回路325は、制御回路322からの制御に応じて、それぞれの列の画素321から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理(例えば、ノイズ抑圧処理やA/D変換処理など)を行う回路である。
 水平走査回路324は、制御回路322からの制御に応じて、画素信号処理回路325から出力される信号を、水平信号線に順次出力させる回路である。これにより、1フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部4に順次出力される。
 以下の説明においては、画素信号処理回路325がA/D変換処理を行い、画素信号がデジタル信号として説明する。
 ここで、距離画像センサ32に備える受光領域320内に配置された画素321の構成について説明する。図3は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光領域320内に配置された画素321の構成の一例を示した回路図である。図3には、受光領域320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。画素321は、3つの画素信号読み出し部を備えた構成の一例である。
 画素321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備える。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備える。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。
 図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。
 図3に示した画素321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も同様の構成である。電荷蓄積部CS1は「第1電荷蓄積部」の一例である。電荷蓄積部CS2は「第2電荷蓄積部」の一例である。電荷蓄積部CS3は「第3電荷蓄積部」の一例である。
 光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子PDの構造は任意に選択されてよい。光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、光電変換素子PDは、フォトダイオードに限定されず、例えば、フォトゲート方式の光電変換素子であってもよい。
 画素321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
 距離画像センサ32に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されず、複数の画素信号読み出し部RUを備えた構成の画素であればよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
 また、図3に示した構成の画素321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよく、画素321が電荷蓄積容量Cを備えない構成であってもよい。
 また、図3に示した構成の画素321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、ドレインゲートトランジスタGDを備えない構成であってもよい。
 次に、距離画像撮像装置1における画素321の駆動(制御)方法について図12Aを用いて説明する。図12Aは、従来の距離画像撮像装置における画素を駆動する駆動信号のタイミングを示したタイミングチャートである。
 図12Aでは、光パルスPOを照射するタイミングを「Light」、反射光が受光されるタイミングを「REFRECTION_B」、駆動信号TX1のタイミングを「G1」、駆動信号TX2のタイミングを「G2」、駆動信号TX3のタイミングを「G3」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。また、距離画像撮像装置における一連の受光動作タイミングを「Camera」の項目名で示している。「Camera」では、読み出しゲートトランジスタG1、G2、G3、及びドレインゲートトランジスタGDがオン状態となるタイミングを、それぞれ、「G1」、「G2」、「G3」、及び「GD」で示している。駆動信号TX1は、読み出しゲートトランジスタG1を駆動させる信号である。駆動信号TX2、TX3についても同様である。
 図12Aに示すように、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ32に受光されるとする。垂直走査回路323は、光パルスPOの照射に同期させて、電荷蓄積部CS1、CS2、及びCS3の順に、電荷を蓄積させる。
 まず、垂直走査回路323は、読み出しゲートトランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、垂直走査回路323は、読み出しゲートトランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。このようにして、垂直走査回路323は、電荷蓄積部CS1に電荷を蓄積させる。
 次に、垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG2をオン状態とし、電荷蓄積部CS2への電荷の蓄積を開始させる。以降の電荷蓄積部CS2に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
 一方、光源部2は、読み出しゲートトランジスタG1がオフ状態となったタイミング、つまり読み出しゲートトランジスタG2がオン状態となったタイミングで、光パルスPOを照射する。光源部2が光パルスPOを照射する照射時間Toは、蓄積期間Taと同じ長さである。ここで、読み出しゲートトランジスタG1がオン状態となり、電荷蓄積部CS1に電荷が蓄積された期間(蓄積期間Ta)は、「外光蓄積期間」の一例である。
 次に、垂直走査回路323は、電荷蓄積部CS2への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG3をオン状態とし、電荷蓄積部CS3への電荷の蓄積を開始させる。以降の電荷蓄積部CS3に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
 次に、垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態にし、電荷の排出を行う。これにより、光電変換素子PDにより光電変換された電荷がドレインゲートトランジスタGDを介して破棄される。
 上述したような、垂直走査回路323による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に相当する電荷が、電荷蓄積部CSのそれぞれに蓄積される。水平走査回路324は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号を、距離演算部42に出力する。
 光パルスPOを照射するタイミングと、電荷蓄積部CSのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、及びCS3には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部CS2、及びCS3に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
 距離演算部42は、この原理を利用して、以下の(1)式により、遅延時間Tdを算出する。
 Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) …(1)
 ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、を示す。(1)式では、電荷蓄積部CS2、及びCS3に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部CS1に蓄積された電荷量と同量であることを前提とする。
 距離演算部42は、(1)式で求めた遅延時間に、光速(速度)を乗算させることにより、被写体Sまでの往復の距離を算出する。そして、距離演算部42は、上記で算出した往復の距離を1/2とすることにより、被写体Sまでの距離を求める。
 ここで、フレア光について図12B、図12Cを用いて説明する。
 図12Bは、フレア光の概念を説明する図である。
 図12Bに示すように、光パルスPOを照射し得る測定対象とする測定空間Eのうち、距離画像撮像装置1からの距離が比較的遠い位置(以下、遠距離に存在する、などと記載する)に存在する物体Bが被写体である場合を考える。
 被写体までの距離が遠距離である場合、距離画像撮像装置1からの距離が比較的近い位置に存在する物体を測定する場合と比較して反射光RLの光量が低下する。反射光RLの光量が低下すると、測定する距離の精度が劣化する要因となる。このため、被写体までの距離が遠距離である場合には、振り分け回数を増やして露光量(距離画像センサ32が受光する光量)を増加させ、測定の精度を向上させることが考えられる。
 しかしながら、図12Bの断面拡大図に示すように、受光された光の一部が、レンズ31を介して距離画像センサ32に到達する際に、距離画像撮像装置1内で多重反射する場合がある。この場合、物体からの反射光が本来の結像する位置とは異なる位置に光(フレア光)が受光されてしまう。このようなフレア光が、測定の精度を劣化させる要因となり得る。
 特に、遠距離に存在する被写体(物体B)とは別に、距離画像撮像装置1との距離が比較的近い位置(以下、近距離などという)に物体Aがある場合、露光量を増やすと、物体Aからの反射光RLの光量が増大する。この場合、物体Aからの反射光RLに由来するフレア光の光量が大きくなり、測定の精度を大きく劣化させる要因となってしまう。
 図12Cは、従来の測定においてフレア光が受光された場合を説明する図である。図12Cにおける「FLARE_A」は、物体A(近距離に存在する物体)からの反射光等に由来するフレア光を示す。「REFRECTION_B」は、物体B(遠距離に存在する被写体)からの反射光を示す。その他、「Light」等の項目は、図12Aと同様であるためその説明を省略する。
 図12Cに示すように、光パルスPOが照射時間Toで照射され、遅延時間Tb遅れてフレア光が、遅延時間Td遅れて反射光RLが、それぞれ距離画像センサ32に受光されるとする。この場合、電荷蓄積部CS2、及びCS3には、反射光RL、及び外光成分に相当する電荷量に加え、フレア光に相当する電荷量が蓄積される。このような、フレア光が混在する電荷量に(1)式を適用させたとしても、精度よく距離を演算することは困難である。
 このような問題点を解決する対策として、本実施形態では、複数の測定モードを規定する。測定モードのそれぞれは、光パルスPOの照射タイミングに対し、電荷を電荷蓄積部に振り分けるタイミングを互いに異なるタイミングとする。
 例えば、測定モードは、測定対象とする距離の範囲に応じて規定される。測定対象とする距離の範囲とは、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Tdに応じて演算される距離に応じて区分される。距離の範囲は、例えば、距離画像撮像装置1からの距離に応じて区分される、遠距離と中距離と近距離との3つの範囲である。例えば、光パルスPOの照射時間Toが10nsである場合、近距離は概ね0~75cm、中距離は概ね75cm~2.25m、遠距離は概ね2.25m以上となる範囲である。
 また、測定モードは、フレア光の発生を抑制する対策(以下、フレア光に対する対策と称する)を講じるか否かに応じて規定される。被写体とは異なる物体が近距離に存在する場合、フレア光の発生を抑制する対策を講じる。一方、被写体とは異なる物体が近距離に存在しない場合、フレア光に対する対策を講じない。
 本実施形態では、測定モードとして、例えば、遠距離モード、中距離モード、中距離外光モード、通常モード1(第1通常モード)、通常モード2(第2通常モード)、をそれぞれ規定する。
 遠距離モードは、近距離に被写体とは別の物体が存在し得る状況において、遠距離に存在する被写体までの距離を精度よく測定するモードである。すなわち、遠距離モードは、遠距離に存在する被写体に対し、フレア光に対する対策を講じて測定を行うモードである。
 中距離モードは、近距離に被写体とは別の物体が存在し得る状況において、中距離に存在する被写体までの距離を精度よく測定するモードである。すなわち、中距離モードは、中距離に存在する被写体に対し、フレア光に対する対策を講じて測定を行うモードである。
 中距離外光モードは、中距離モードにおいて測定を行う際の、外光に相当する電荷量を測定するモードである。中距離外光モードは、中距離モードで測定する際、外光を考慮する場合に用いられるモードである。
 通常モード1は、近距離に被写体とは別の物体が存在しないと想定される状況において、遠距離に存在する被写体までの距離を測定するモードである。すなわち、通常モード1は、遠距離に存在する被写体に対し、フレア光に対する対策を講じないで測定を行うモードである。通常モード1は、従来の測定を行うモードである。
 通常モード2は、近距離に存在する物体までの距離を測定するモードである。通常モード2は、従来の測定を行うモードであり、通常モード1よりも露光量を抑えた(すなわち、振り分け回数が少ない)モードである。
 以下、遠距離モード、中距離モード、及び中距離外光モードについて順に説明する。
(遠距離モード)
 まず、遠距離モードについて図4を用いて説明する。図4は、第1の実施形態の遠距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図4における「Camera」の項目では、「G1」から「G2」に至る間において、ドレインゲートトランジスタGDがオン状態となるタイミングを「GD2」で示している。その他の「Light」等の項目については、図12Cと同様であるため、その説明を省略する。
 図4の例に示すように、光パルスPOが照射時間Toで照射され、遅延時間Tb遅れてフレア光が、遅延時間Td遅れて反射光RLが、それぞれ距離画像センサ32に受光されるとする。
 遠距離モードは、被写体である物体Bとフレア光が生じる要因となる物体Aとで、距離画像撮像装置1からの距離が離れていることが想定された状況において用いられる。すなわち、遅延時間Tbと比較して遅延時間Tdが大きく、フレア光と反射光RLとが同時に受光されることがないことを前提とした状況において、遠距離モードが用いられる。遠距離モードでは、上記を前提とした上で、フレア光に由来する電荷を蓄積しないように、光パルスPOが照射されるタイミングと、電荷蓄積部CSに電荷を蓄積するタイミングとを調整する。
 具体的に、まず、垂直走査回路323は、光パルスPOが照射されるタイミングに先んじて、蓄積期間Taの間、読み出しゲートトランジスタG1をオン状態にし、電荷蓄積部CS1に、外光に相当する電荷を蓄積させる。
 次に、垂直走査回路323は、ドレインゲートトランジスタGDをオン状態にする。これにより、光電変換素子PDによって光電変換された電荷が破棄(排出)される。したがって、ドレインゲートトランジスタGDがオン状態とされる間に受光されたフレア光が光電変換された電荷は、電荷蓄積部CSに蓄積されない。
 垂直走査回路323は、少なくともフレア光が受光される期間(フレア光受光期間)を、光電変換された電荷が破棄(排出)される期間、つまり電荷が蓄積されない「非蓄積期間」とする。
 遠距離モードにおいて、「フレア光受光期間」と、「反射光受光期間」は、互いに重複しない期間である。
 「フレア光受光期間」とは、光パルスPOの照射が開始された時間から遅延時間Tbだけ遅れた時間から始まり、光パルス照射時間To(照射期間)経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスPOの照射時間Toから遅延時間Tb、遅れた期間である。ここで、遅延時間Tbは「パルス光遅延時間」の一例である。
 「反射光受光期間」は、光パルスPOの照射が開始された時間から遅延時間Tdだけ遅れた時間から始まり、光パルス照射時間To(照射期間)までの期間である。つまり、「反射光受光期間」は、光パルスPOの照射時間Toから遅延時間Td、遅れた期間である。ここで、遅延時間Tdは「反射光遅延時間」の一例である。
 次に、垂直走査回路323は、ドレインゲートトランジスタGDをオフ状態に戻したタイミングで、読み出しゲートトランジスタG2、及びG3を、順に、蓄積期間Taの間、オン状態とし、反射光RLを電荷蓄積部CS2、CS3に振り分けて蓄積させる。これにより、電荷蓄積部CS1には外光に相当する電荷が蓄積され、電荷蓄積部CS2、CS3には反射光RLと外光に相当する電荷が蓄積される。したがって、遠距離モードにおいては、電荷蓄積部CS1~CS3が蓄積した電荷量に相当する電気信号に(1)式を適用することで、フレア光に影響されることなく、距離を演算することができる。
 図4の例では、垂直走査回路323は、読み出しゲートトランジスタG1をオフ状態とした時点から、光パルスPOの照射が開始された時点より期間TX経過するまでの間、ドレインゲートトランジスタGDをオン状態とする。期間TXは、照射時間Toと遅延時間Tbの合計の値以上、且つ遅延時間Td以下((To+Tb)≦TX≦Tdの期間である。
 このように、遠距離モードでは、フレア光が受光される期間に電荷が蓄積されないように、且つ、反射光が受光される期間に電荷が蓄積されるように蓄積タイミングを制御する。これにより、近距離に被写体とは異なる別の物体Aが存在し得る状況であっても、遠距離に存在する物体Bまでの距離を精度よく測定することが可能となる。
(中距離モード)
 次に、中距離モードについて図5A、及び図5Bを用いて説明する。図5A、図5Bは、第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図5A、図5Bにおける「Light」等の項目については、図12Cと同様であるため、その説明を省略する。
 中距離モードは、後述するように、外光のみに相当する電荷を蓄積させる電荷蓄積部CSを有していない。つまり、電荷蓄積部CSのそれぞれに蓄積された電荷量に含まれる外光成分を抽出し、外光成分を除去した上で距離を算出することができない。このため、外光成分が距離を演算した結果に与える影響が比較的小さい環境、例えば外光の光量が小さい環境において、中距離モード単独で測定を行うことが可能となる。外光の光量が大きく、外光成分を除去しなければ、距離の演算精度が劣化してしまう環境では、後述する中距離外光モードにて、或いは任意の方法にて外光を受光し、1フレーム分の外光に相当する電荷量を別途求めた上で距離を算出する必要がある。
 図5Aの例に示すように、光パルスPOが照射時間Toで照射され、遅延時間Tb遅れてフレア光が、遅延時間Td遅れて反射光RLが、それぞれ距離画像センサ32に受光されるとする。
 中距離モードは、遠距離モードと比較して、被写体である物体Bと、フレア光が生じる要因となる物体Aとで、距離画像撮像装置1からの距離が近いことが想定された状況において用いられる。すなわち、遅延時間Tbと、遅延時間Tdとの差が、遠距離モードにおいて想定されている差と比較して小さい値であり、フレア光と反射光RLとが、同時に受光される期間が存在することを前提とした状況において、中距離モードが用いられる。中距離モードでは、上記を前提とした上で、フレア光に由来する電荷量を抽出できるように、光パルスPOが照射されるタイミングと、電荷蓄積部CSに電荷を蓄積するタイミングとを調整する。
 垂直走査回路323において、フレア光に相当する電荷が、電荷蓄積部CS1、及びCS2に振り分けられて(跨って)蓄積される。また、垂直走査回路323において、反射光RLに相当する電荷が、電荷蓄積部CS2、及びCS3に振り分けられて蓄積される。つまり、垂直走査回路323は、「フレア光受光期間」に受光部3に入射された光量に相当する電荷を、電荷蓄積部CS1、及びCS2に振り分けて蓄積させる。また、垂直走査回路323は、「反射光受光期間」に受光部3に入射された光量に相当する電荷を、電荷蓄積部CS2、及びCS3に振り分けて蓄積させる。
 中距離モードにおいて、「フレア光受光期間」と「反射光受光期間」とは、少なくとも一部が互いに重複する。
 「フレア光受光期間」とは、光パルスPOの照射が開始された時間から遅延時間Tbだけ遅れた時間から始まり、光パルス照射時間To(照射期間)経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスPOの照射時間Toから遅延時間Tb、遅れた期間である。ここで、遅延時間Tbは「パルス光遅延時間」の一例である。
 「反射光受光期間」は、光パルスPOの照射が開始された時間から遅延時間Tdだけ遅れた時間から始まり、光パルス照射時間To(照射期間)までの期間である。つまり、「反射光受光期間」は、光パルスPOの照射時間Toから遅延時間Td、遅れた期間である。ここで、遅延時間Tdは「反射光遅延時間」の一例である。
 具体的に、垂直走査回路323は、まず、読み出しゲートトランジスタG1をオン状態にして、電荷蓄積部CS1への電荷の蓄積を行う。
 光源部2は、読み出しゲートトランジスタG1がオン状態に変化した時点から、期間TY経過した時点で、光パルスPOの照射を開始する。光パルスPOの照射が開始された時点(照射開始時)から遅延時間Tb経過した時点で、フレア光が距離画像撮像装置1に到達し、フレア光が受光され始める。
 垂直走査回路323は、光パルスPOの照射が開始された時点から期間TZ経過するまで、読み出しゲートトランジスタG1をオン状態にして、電荷蓄積部CS1への電荷の蓄積を行う。ここで、期間TYと期間TZを合計した値は、蓄積期間Taに相当する期間である。垂直走査回路323は、期間TZが、遅延時間Tb以上(TZ≧Tb)となるように調整する。これにより、電荷蓄積部CS1の蓄積期間Taに、フレア光の受光が開始される「フレア光受光開始時」を含めることができ、電荷蓄積部CS1にフレア光に相当する電荷を蓄積させることができる。
 次に、垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG2、G3を、順に、蓄積期間Taの間、オン状態とし、電荷を電荷蓄積部CS2、CS3に蓄積させる。これにより、電荷蓄積部CS1、CS2にはフレア光と外光に相当する電荷が、振り分けられて蓄積される。また、電荷蓄積部CS2、CS3には反射光RLと外光に相当する電荷が振り分けられて蓄積される。
 距離演算部42は、電荷蓄積部CS1に蓄積された、フレア光に相当する電荷量に基づいて、電荷蓄積部CS2に蓄積された電荷量のうち、フレア光に起因するフレア光成分を抽出する。距離演算部42は、以下の(2)式により、電荷蓄積部CS2に蓄積された電荷量のフレア光成分Q2fを算出する。
 Q2f=K×Q1 …(2)
 ここで、Q2fは電荷蓄積部CS2に蓄積された電荷量のうちフレア光成分に相当する電荷量、Q1は電荷蓄積部CS1に蓄積された電荷量、Kは定数、を示す。定数Kは、電荷蓄積部CS1の蓄積期間Taが終了したタイミングと、フレア光の受光が開始されたタイミングとの時期的な関係に応じて一意に決定される定数である。
 ここで、定数Kを決定する方法について、図5Bを用いて説明する。図5Bでは、蓄積期間Ta、及び照射時間Toが、共に、13クロック(13ck)で構成されている場合の例が示されている。また、図5Bでは、中距離モードにおいて、読み出しゲートトランジスタG1がオン状態となった時点から、10クロック(10ck)後に光パルスPOの照射が開始される例を示している。
 図5Bに示すように、光パルスPOの照射が開始された時点から1クロック(Tb;1ck)後にフレア光の受光が開始された場合、電荷蓄積部CS1には、13クロック分のフレア光のうち2クロック分の受光量に相当する電荷が蓄積される。また、電荷蓄積部CS2には、13クロック分のフレア光のうち11クロック分の受光量に相当する電荷が蓄積される。この場合、以下の(3)式が成立する。
 Q2f=11/2×Q1f …(3)
 ここで、Q2fは電荷蓄積部CS2に蓄積された電荷量に含まれるフレア光成分の電荷量である。Q1fは、電荷蓄積部CS1に蓄積された電荷量に含まれるフレア光成分の電荷量である。外光が所望の距離の演算結果に影響を与えないような環境(例えば、外光の光量が小さい環境)であれば、電荷量Q1fは、電荷蓄積部CS1に蓄積された電荷量、つまり(2)式の電荷量Q1であると見なすことが可能である。また、(3)式の「11/2」は、(2)式の定数Kに相当する。
 このように、定数Kは、電荷蓄積部CS1の蓄積期間Taが終了するタイミングと、フレア光の受光が開始されるタイミングとの時間的な関係により決定される。フレア光の受光が開始されるタイミングは、近距離に存在するフレア光が生じる要因となる物体A(近距離物体)までの距離に応じて決まる。つまり、定数Kは、近距離物体までの距離に応じて決定される定数である。
 距離画像撮像装置1は、近距離物体までの距離を、例えば、通常モード2にて測定する。この場合、距離画像撮像装置1は、中距離モードによる測定の前又は後に、通常モード2にて近距離物体までの距離を測定する。また、この場合、距離画像撮像装置1は、予め、近距離物体までの距離と定数Kとを対応づけたテーブルを記憶しておく。
 そして、距離演算部42は、通常モード2にて測定した近距離物体までの距離に基づいてテーブルを参照し、測定した近距離物体までの距離に対応する定数Kを取得する。距離演算部42は、取得した定数K、及び中距離モードで取得した電荷蓄積部CS1、CS2の電荷量を(2)式に適用させる。これにより、距離演算部42は、電荷蓄積部CS2が蓄積した電荷量に含まれるフレア光成分を抽出することができる。
 距離演算部42は、抽出したフレア光成分を、電荷蓄積部CS2が蓄積した電荷量から差し引くことにより、電荷蓄積部CS2が蓄積した反射光RLに相当する電荷量を算出する。距離演算部42は、算出した電荷量を(1)式の電荷量Q2に適用することにより遅延時間Tdを算出し、算出した遅延時間Tdを用いて物体Bまでの距離を演算することが可能である。このとき、外光に相当する電荷量((1)式の電荷量Q1に相当する電荷量)は0(ゼロ)である。このようにして求めた物体Bまでの距離には、フレア光成分の影響が除去されているため、フレア光に由来する距離の精度劣化を抑制することが可能である。上述したように、外光の光量が大きい環境では外光に相当する電荷量を除外して距離の演算を行う必要があるため、後述する中距離外光モードにて、或いは任意の方法にて外光を受光し、1フレーム分の外光に相当する電荷量を別途求める必要がある。
(中距離外光モード)
 次に、中距離外光モードについて、図6を用いて説明する。図6は、第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図6における「Light」等の項目については、図12Cと同様であるため、その説明を省略する。また、図6における光パルスPOの照射、フレア光、及び反射光RLの受光のそれぞれのタイミング関係は、図5Aと同様であるため、その説明を省略する。
 中距離外光モードでは、電荷蓄積部CS1をオン状態とするタイミングを、蓄積期間Ta早める点において中距離モードと相違する。一方、中距離外光モードでは、光パルスPOを照射するタイミング、及び電荷蓄積部CS2、CS3をオン状態とするタイミングを、中距離モードと同じタイミングとする。
 電荷蓄積部CS1をオン状態とするタイミングを蓄積期間Ta早めることにより、中距離外光モードでは、電荷蓄積部CS1に外光に相当する電荷量を蓄積させる。また、光パルスPOを照射するタイミング、及び電荷蓄積部CS2、CS3をオン状態とするタイミングを、中距離モードと同じタイミングとする。これにより、中距離モードと同様の振り分け比率にて、電荷蓄積部CS2にフレア光と反射光RLに相当する電荷を蓄積させると共に、電荷蓄積部CS3に反射光RLに相当する電荷を蓄積させる。
(中距離モードによる距離算出方法)
 ここで、中距離モード、及び中距離外光モードの測定結果を用いて、中距離に存在する被写体としての物体Bまでの距離を算出する方法について、図7を用いて説明する。図7は、第1の実施形態の距離画像撮像装置1が、中距離モード、及び中距離外光モードの測定結果を用いて距離を算出する処理を説明する図である。
 図7に示すように、距離画像撮像装置1は、中距離モードによる1フレーム分の測定(処理F1)、及び中距離外光モードによる1フレーム分の測定(処理F2)を交互に繰り返す。
 距離画像撮像装置1は、処理F1による処理結果のうち少なくとも電荷量Q1gfをフレームメモリに記憶させ、中距離モードによる測定結果を一時的に保持する(処理F4)。処理F1による処理結果には、1フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Q1gf、1フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量Q2grf、及び1フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量Q3grが含まれる。
 距離画像撮像装置1は、処理F2による処理結果のうち少なくとも電荷量Q1gをフレームメモリに記憶させ、中距離外光モードによる測定結果を一時的に保持する(処理F3)。処理F2による処理結果には、1フレーム分の外光に相当する電荷量Q1g、1フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量Q2grf、及び1フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量Q3grが含まれる。
 距離画像撮像装置1は、処理F3による処理結果と、処理F1による処理結果とを用いて、中距離モードと中距離外光モードとの二つの測定結果を合成する(処理F5)。
 フレームメモリに、処理F3による処理結果のうち、中距離外光モードの電荷量Q1gのみが記憶されている場合、当該電荷量Q1gと、処理F1による処理結果としての中距離モードの電荷量Q1gf、電荷量Q2grf、及び、電荷量Q3grとを用いて合成を行う。
 フレームメモリに、中距離外光モードの電荷量Q1g、電荷量Q2grf、及び、電荷量Q3grが記憶されている場合には、当該電荷量Q1g、Q2grf、Q3gr、及び、中距離モードの電荷量Q1gfを用いて合成を行う。
 或いは、フレームメモリに、中距離外光モードの電荷量Q1g、電荷量Q2grf、及び、電荷量Q3grが記憶されている場合において、中距離モードの電荷量Q1gf、電荷Q2grf、及び、電荷量Q3grを用いて合成を行ってもよい。この場合、処理F5による合成結果には、中距離外光モードによる1フレーム分の外光に相当する電荷量Q1g、中距離モードによる1フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Q1gf、中距離モードと中距離外光モードによる2フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量を合成(例えば、平均)した値、及び、中距離モードと中距離外光モード2フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量を合成(例えば、平均)した値が含まれる。
 距離画像撮像装置1は、処理F4による処理結果と、処理F2による処理結果とを用いて、中距離モードと中距離外光モードとの二つの測定結果を合成する(処理F6)。処理F6による合成結果には、処理F5による合成結果と同様の結果が含まれる。
 距離画像撮像装置1は、処理F5(又は処理F6)により算出した合成結果を、以下の(4)式を適用することにより、光パルスPOが物体Bに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdを算出する。
  Td=To×Q3r/(Q2r+Q3r) …(4)
 ここで、Toは光パルスPOが照射された期間、Q3rは、電荷蓄積部CS3に蓄積された電荷量Q3のうちの反射光成分であり、Q2rは、電荷蓄積部CS2に蓄積された電荷量Q2のうちの反射光成分を示す。
 電荷量Q3rは、電荷蓄積部CS3に蓄積された電荷量Q3のうちの外光成分の電荷量をQ3gとすると、以下の(5)式により示される。
  Q3r=Q3-Q3g …(5)
 電荷量Q2rは、電荷蓄積部CS2に蓄積された電荷量Q2のうちの外光成分の電荷量をQ2g、フレア光成分をQ2fとすると、以下の(6)式により示される。
  Q2r=Q2-Q2g-Q2f …(6)
 電荷量Q2g、及び電荷量Q3gは、中距離外光モードにて電荷蓄積部CS1に蓄積された電荷量と同量である。また、電荷量Q2fは、中距離モードにて抽出された電荷蓄積部CS1に蓄積された電荷量のうちのフレア光成分の定数K倍である。
 (中距離外光モードの変形例)
 ここで、中距離外光モードの変形例について説明する。本変形例では、図12Aに示すような従来の測定タイミングにて、光パルスPOを照射させずに測定を行う。これにより、電荷蓄積部CS1~CS3のそれぞれに、外光の光量に相当する1フレーム分の電荷を蓄積させることができる。室内など、屋外と比較して外光の光量の変化が少ない環境で測定を行う場合に、本変形例による測定が行われることが望ましい。また、本変形例による測定を定期的に繰り返し行い、外光の光量が更新されることが望ましい。
(定数Kの算出方法の変形例)
 ここで、定数Kの算出方法の変形例について、図8A、及び図8B(以下図8A等という)を用いて説明する。本変形例では、予め測定した結果を用いて、定数Kを算出する。 図8A等は、定数Kの算出方法の変形例について説明する図である。図8A等には、画素ごとの測定結果(距離)をヒストグラムにて示している。図8A等の横軸は距離(Distance[m])、縦軸は画素の数(Count)を示している。図8A等では、物体Bを壁とし、壁までの距離を測定している。
 図8A等には、物体B(Wallと記載)までの距離を、近距離物体A(Objectと記載)が測定領域に存在する場合(Wall+Object)と、存在しない場合(Wall)との両方で測定した結果が示されている。図8Aにはフレア光を除去する前(補正なし)の測定結果、図8Bにはフレア光を除去した後(フレア補正)の測定結果がそれぞれ示されている。
 図8Aに示すように、物体Bのみ(Wall)の測定では、距離1.2m付近に、ヒストグラムのピークが現れる。すなわち、物体Bまでの距離は、1.2m付近である。
 一方、物体Bと近距離物体A(Wall+Object)の測定では、近距離物体Aまでの距離(0.3m~0.4m)を示すピークと、距離1.0m付近のピークが現れる。距離1.0m付近のピークは、物体Bの反射光に近距離物体Aに由来するフレア光が混じることで、物体Bまでの距離が実際の距離よりも短く計測されてしまうことを示している。
 図8Bでは、図8Aの1.0m付近のピークが、1.2m付近にシフトするような、定数Kを探索し、探索した定数Kを用いてフレア光成分を除去した後、距離を演算した結果を示している。このように統計的な手法を用いて定数Kを算出することにより、より精度よく距離を演算することが可能となる。
 ここで、本変形例による効果を、図9A~図9Fを用いて説明する。図9A~図9Fは、中距離モードによる測定の効果を説明する図である。
 図9A、図9Bには、物体Bのみを撮影した距離画像と、物体Bと近距離物体Aとを撮影した距離画像とを用いて、画素ごとの距離の差分を画素値とした画像(差分画像)が示されている。図9Aはフレア光成分を除去する前(補正なし)、図9Bはフレア光成分を除去した後(フレア補正)の差分画像である。図9A、図9Bの横軸は水平方向の画素(Pixel(H))、縦軸は垂直方向の画素(Pixel(V))、差分画像の右側には差分値の指標がグレースケールで示され、グレーが明るくなるにしたがい、差分が大きくなることを示している。
 符号D1、D2については、後述する図で説明する。
 図9Aに示すように、補正を行わない場合、物体B(壁)全体が明るいグレーとなり、距離に差分があることが示されている。特に、近距離物体Aの周辺(近距離物体Aの左右方向、及び下側)の領域において、より明るいグレーとなっており、この領域における距離の差分が大きく算出されている。一方、図9Bに示すように、フレア補正を行った場合、物体B(壁)全体が暗いグレーとなり、距離の差分が全体的にゼロに近づいている。
 図9C、図9Dには、図9A、図9Bの垂直方向断面(符号D1)の画素と距離との関係を示している。図9Cはフレア光成分を除去する前(補正なし)、図9Dはフレア光成分を除去した後(フレア補正)の距離画像を用いた結果を示している。図9C、図9Dの横軸は画素(Pixel)、縦軸は距離(Distance[m])を示している。
 図9Cに示すように、補正を行わない場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とで30cm~40cmの差分が発生している。一方、図9Dに示すように、フレア補正を行った場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とが近距離物体Aが存在しない領域においてほとんど重なり、差分が低減されている。
 図9E、図9Fには、図9A、図9Bの垂直方向断面(符号D2)の画素と距離との関係を示している。図9Eはフレア光成分を除去する前(補正なし)、図9Fはフレア光成分を除去した後(フレア補正)の距離画像を用いた結果を示している。図9E、図9Fの横軸は画素(Pixel)、縦軸は距離(Distance[m])を示している。
 図9Eに示すように、補正を行わない場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とで30cm~40cmの差分が発生し、特に、近距離物体Aの位置(60Pixel近傍)に近づくにつれ、差分が大きくなっている。一方、図9Fに示すように、フレア補正を行った場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とがほとんど重なり、近距離物体Aに近い領域であっても差分大きくなることがない。
 ここで、第1の実施形態の距離画像撮像装置1における処理の流れを、図10を用いて説明する。
 ステップS100:
 距離画像撮像装置1は、まず、通常モード1にて測定を行う。距離画像撮像装置1は、測定結果(被写体である物体Bまでの距離DB、及び電荷蓄積部CSに蓄積された電荷量など)を記憶する。
 ステップS101:
 距離画像撮像装置1は、通常モード1の測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。距離画像撮像装置1は、電荷量Q2(例えば、全画素における電荷量Q2の平均値)が予め定めた所定の閾値以上である場合、電荷量Q2にフレア光成分が有ると判定する。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS102の処理を行う。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS100に戻り、通常モード1による測定を継続する。
 ステップS102:
 距離画像撮像装置1は、通常モード2にて測定を行う。通常モード2では、通常モード1と比較して振り分け回数を減らし、露光量を抑えているため遠距離の被写体の距離は測定されず(測定することができず)、近距離物体Aまでの距離のみが測定される。距離画像撮像装置1は、測定結果(近距離物体Aまでの距離DAなど)を記憶させる。
 ステップS103:
 距離画像撮像装置1は、フレア光成分を除去するための再度の測定を、遠距離モードにて行うか、中距離モードにて行うか判定する。距離画像撮像装置1は、距離DAと距離DBとの距離の差分(絶対値)が、所定の閾値以上である場合、再度の測定を遠距離モードとする。一方、距離画像撮像装置1は、距離DAと距離DBとの距離の差分(絶対値)が、所定の閾値未満である場合、再度の測定を中距離モードとする。距離画像撮像装置1は、再度の測定を遠距離モードとする場合、ステップS104に示す処理を行う。距離画像撮像装置1は、再度の測定を中距離モードとする場合、ステップS106に示す処理を行う。
 ステップS104:
 距離画像撮像装置1は、遠距離モードにて測定を行う。遠距離モードでの測定は、例えば、通常モード1の振り分け回数と同じ振り分け回数にて行う。
 ステップS105:
 距離画像撮像装置1は、遠距離モードを所定のフレーム数(例えば、30フレーム分)繰り返した後、近距離物体Aが存在し続けているか否か判定する。これは、近距離物体Aが移動体である場合など、近距離物体Aと被写体との関係が変化した場合に、遠距離モードから、通常モード1に戻す処理である。距離画像撮像装置1は、通常モード1の測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。フレア光成分が有るか否かの判定は、ステップS101に示す処理と同様の方法であってよい。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS104の処理に戻り、遠距離モードによる測定を継続する。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS100に戻り、通常モード1による測定に回帰する。
 ステップS106:
 距離画像撮像装置1は、中距離モードにて測定を行う。中距離モードでの測定は、例えば、通常モード1の振り分け回数と同じ振り分け回数にて行う。距離画像撮像装置1は、電荷蓄積部CS1~CS3に蓄積された電荷量を記憶し、ステップS107に示す処理を行う。
 ステップS107:
 距離画像撮像装置1は、中距離モードの測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。これは、ステップS101にてフレア光成分が有ると判定された場合であっても、近距離物体Aが移動体であり、一時的に測定領域を横切った場合など、中距離モードで再度の測定を行った際にフレア光成分がなくなっていた場合に対応する処理である。電荷量Q2にフレア光成分が有るか否かを判定する方法は、ステップS101と同様である。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS107の処理を行う。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS108の処理を行う。
 ステップS108:
 距離画像撮像装置1は、中距離モードの測定結果(電荷蓄積部CS1~CS3に蓄積された電荷量)を用いて、電荷量Q2に含まれるフレア光成分を除去し、物体Bまでの距離を算出する。本フローチャートでは記載を省略しているが、距離画像撮像装置1は、中距離モードの測定結果に、中距離外光モードにて測定した外光成分を用いて、物体Bまでの距離を算出する。距離画像撮像装置1は、ステップS106の処理に戻り、中距離モードによる測定を継続する。
 ステップS109:
 距離画像撮像装置1は、中距離モードの測定結果(電荷蓄積部CS1~CS3に蓄積された電荷量)を用いて、フレア光の電荷量Q2のフレア光成分を除去することなく、物体Bまでの距離を算出する。この場合の距離の算出方法は、従来の算出方法と同様である。距離画像撮像装置1は、ステップS100に戻り、通常モード1による測定に回帰する。
 上述したフローチャートでは、それぞれの測定モードにおける1回の測定が、1フレーム分の測定結果であってもよいし、複数フレーム分の測定結果を平均(例えば、移動平均)してもよい。
 以上説明したように、第1の実施形態に係る距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。光源部2は、測定空間Eに光パルスPOを照射する。受光部3は、入射した光に応じた電荷を発生する光電変換素子PD、及び前記電荷を蓄積する複数の電荷蓄積部CSを具備する画素と、光パルスPOの照射に同期させた所定の蓄積タイミングで、電荷蓄積部CSのそれぞれに電荷を振り分けて蓄積させる垂直走査回路323(画素駆動回路)と、を有する。距離画像処理部4は、電荷蓄積部CSのそれぞれに蓄積された電荷量に基づいて、測定空間Eに存在する被写体Sまでの距離を測定する。距離画像処理部4は、タイミング制御部41を有する。タイミング制御部41は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、蓄積タイミングを制御する。これにより、第1の実施形態の距離画像撮像装置1では、測定対象とする距離の範囲に応じて測定モードを選択することができる。このため、遠距離に存在する物体を測定する際にフレア光の影響がある場合に、蓄積タイミングを変更させてフレア光の影響を低減させることが可能である。したがって、装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる。
 また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが遠距離モードである場合、フレア光を受光せず、フレア光の光量に相当する電荷を蓄積しないように、蓄積タイミングを調整する。これにより、フレア光成分の排除を行うことができ、上述した効果と同様の効果を奏する。
 また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが中距離モードである場合、フレア光に相当する電荷が電荷蓄積部CS1とCS2とに振り分けて蓄積されるように、蓄積タイミングを調整する。これにより、フレア光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
 また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが中距離モードである場合、別途測定した外光に相当する電荷量を用いて外光成分の除去を行う。これにより、フレア光成分の除去及び外光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
 また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが中距離モードである場合、中距離外光モードにて外光に相当する電荷が電荷蓄積部CSに蓄積されるように、蓄積タイミングを調整する。これにより、所謂フレーム合成を行うことにより、容易にフレア光成分の除去及び外光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
 また、第1の実施形態の距離画像撮像装置1では、距離演算部42は、測定モードが中距離モードである場合、電荷蓄積部CS1に蓄積された電荷量に定数Kを乗算した値を、電荷蓄積部CS2に蓄積された電荷量に含まれるフレア光成分とする。これにより、フレア光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
 また、第1の実施形態の距離画像撮像装置1では、例えば、図10のフローに示すように、フレア光の有無を判定した結果に応じて、測定モードを動的に変化させながら測定する。これにより、近距離物体が一時的に測定空間Eを横切った場合であっても、測定モードを切り替えて再度の測定を行うことができ、上述した効果と同様の効果を奏する。
(第2の実施形態)
 次に、第2の実施形態について説明する。本実施形態では、画素が4つの電荷蓄積部CS1~CS4を備える点において、上述した実施形態と相違する。
 図11は、第2の実施形態における画素321を駆動するタイミングを示すタイミングチャートである。図11における「Light」等の項目については、図12Cと同様であるため、その説明を省略する。また、図11における光パルスPOの照射、フレア光、及び反射光RLの受光のそれぞれのタイミング関係は、図5Aと同様であるため、その説明を省略する。
 図11に示すように、本実施形態では、電荷蓄積部CS1~CS4を順にオン状態とすることにより、中距離モードと中距離外光モードとに対応する動作を同時に行う。これにより、電荷蓄積部CS1には外光の光量に相当する1フレーム分の電荷量が蓄積される。電荷蓄積部CS2、CS3には、フレア光の光量に相当する1フレーム分の電荷量が、振り分け比率に応じてそれぞれ蓄積される。電荷蓄積部CS3、CS4には、反射光RLの光量に相当する1フレーム分の電荷量が、振り分け比率に応じてそれぞれ蓄積される。
 距離演算部42は、電荷蓄積部CS2に蓄積された電荷量、及び近距離物体Aまでの距離に基づいて定数Kを決定する。距離演算部42は、定数Kを用いて、電荷蓄積部CS3に蓄積された電荷量のうちのフレア光成分を抽出する。距離演算部42は、抽出したフレア光成分を、電荷蓄積部CS3から除去することにより、電荷蓄積部CS3に蓄積された反射光RLに相当する電荷量を算出する。距離演算部42は、電荷蓄積部CS3に蓄積された反射光RLに相当する電荷量、及び、電荷蓄積部CS1、CS4に蓄積された電荷量を用いて、物体までの距離を演算する。
 以上説明したように、第2の実施形態に係る距離画像撮像装置1では、画素321が4つの電荷蓄積部CSを備える。これにより、中距離モード、及び中距離外光モードによる測定を同時に行うことができ、所謂フレーム合成などの複雑な処理を行わずに、精度よく距離を算出することが可能である。
 上述した実施形態における距離画像撮像装置1の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むシステムとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持する媒体、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持している媒体も含んでもよい。また上記プログラムは、前述した機能の一部を実現するためであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できてもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されてもよい。
 以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 本発明によれば、装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる。
 1…距離画像撮像装置
 2…光源部
 3…受光部
 32…距離画像センサ
 321…画素
 323…垂直走査回路
 4…距離画像処理部
 41…タイミング制御部
 42…距離演算部
 43…測定制御部
 CS…電荷蓄積部
 PO…光パルス

Claims (10)

  1.  測定対象の空間である測定空間に光パルスを照射する光源部と、
     入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
     前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
     を備え、
     前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有する、
     距離画像撮像装置。
  2.  前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
     前記タイミング制御部は、前記測定モードが遠距離モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、少なくともフレア光受光期間を、前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記非蓄積期間の経過後、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
     前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
     前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
     前記フレア光受光期間と前記反射光受光期間とは、互いに重複しない期間である、
     請求項1に記載の距離画像撮像装置。
  3.  前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
     前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第1電荷蓄積部、及び第2電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
     前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
     前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
     前記フレア光受光期間と前記反射光受光期間とは、少なくとも一部が互いに重複する期間であり、
     前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記被写体までの距離を測定する、
     請求項1に記載の距離画像撮像装置。
  4.  前記タイミング制御部は、前記測定モードとして、前記中距離モード、及び中距離外光モードにて測定を行い、前記測定モードが中距離外光モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、
     前記距離画像処理部は、
      前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、フレア光に起因するフレア光成分を抽出し、
      前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、外光に起因する外光成分を抽出し、
      抽出した前記フレア光成分、及び前記外光成分を用いて、前記被写体までの距離を測定する、
     請求項3に記載の距離画像撮像装置。
  5.  前記タイミング制御部は、前記測定モードが前記中距離外光モードである場合、前記光パルスが前記オフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間を前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
     前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量と、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量とを合成することにより、前記測定空間に存在する被写体までの距離を測定する、
     請求項4に記載の距離画像撮像装置。
  6.  前記距離画像処理部は、前記中距離モードにおいて、前記第1電荷蓄積部に蓄積された電荷量を定数倍した値を、前記第2電荷蓄積部に蓄積された電荷量に含まれる、フレア光に起因するフレア光成分として抽出する、
     請求項3から請求項5のいずれか一項に記載の距離画像撮像装置。
  7.  前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部からなり、
     前記タイミング制御部は、
      前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、
      フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第3電荷蓄積部、及び第4電荷蓄積部に振り分けて蓄積させ、
     前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
     前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間である、
     請求項1に記載の距離画像撮像装置。
  8.  測定を制御する測定制御部を更に備え、
     前記測定制御部は、
      前記測定モードを第1通常モードとして前記被写体までの距離を測定させ、
      前記第1通常モードにおいて、電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体よりも近距離に存在する近距離物体が、前記測定空間に存在するか否かを判定し、
     前記近距離物体が前記測定空間に存在する場合、前記測定モードを変更して、再度の測定を行い、
     前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
     前記タイミング制御部は、
     前記測定モードが前記第1通常モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されるオン状態となった後の所定の反射光受光期間に、前記第2電荷蓄積部、及び第3電荷蓄積部に、順に前記電荷を蓄積させる蓄積周期を、所定の積算回数繰り返す、
     請求項1に記載の距離画像撮像装置。
  9.  前記測定制御部は、前記第1通常モードにおいて、前記第2電荷蓄積部に蓄積された電荷量が所定の閾値以上である場合、前記近距離物体が、前記測定空間に存在すると判定する、
     請求項8に記載の距離画像撮像装置。
  10.  測定対象の空間である測定空間に光パルスを照射する光源部と、
     入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
     前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
     前記蓄積タイミングを制御するタイミング制御部と、
     を備える距離画像撮像装置による距離画像撮像方法であって、
     前記タイミング制御部が、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて前記蓄積タイミングを制御する工程、
     を有する距離画像撮像方法。
PCT/JP2020/029199 2019-08-01 2020-07-30 距離画像撮像装置、及び距離画像撮像方法 Ceased WO2021020496A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080054290.1A CN114175618B (zh) 2019-08-01 2020-07-30 距离图像摄像装置以及距离图像摄像方法
EP20847013.8A EP4009073A4 (en) 2019-08-01 2020-07-30 Distance-image capturing apparatus and distance-image capturing method
US17/586,447 US11982750B2 (en) 2019-08-01 2022-01-27 Distance-image capturing apparatus and distance-image capturing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-142536 2019-08-01
JP2019142536A JP7463671B2 (ja) 2019-08-01 2019-08-01 距離画像撮像装置、及び距離画像撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/586,447 Continuation US11982750B2 (en) 2019-08-01 2022-01-27 Distance-image capturing apparatus and distance-image capturing method

Publications (1)

Publication Number Publication Date
WO2021020496A1 true WO2021020496A1 (ja) 2021-02-04

Family

ID=74230355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029199 Ceased WO2021020496A1 (ja) 2019-08-01 2020-07-30 距離画像撮像装置、及び距離画像撮像方法

Country Status (6)

Country Link
US (1) US11982750B2 (ja)
EP (1) EP4009073A4 (ja)
JP (1) JP7463671B2 (ja)
CN (1) CN114175618B (ja)
TW (1) TWI780462B (ja)
WO (1) WO2021020496A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259640A1 (ja) * 2021-06-10 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法
WO2023171345A1 (ja) * 2022-03-11 2023-09-14 株式会社小糸製作所 光電変換回路、及び光電変換装置
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2024011621A (ja) * 2022-07-15 2024-01-25 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4303533A4 (en) * 2021-03-05 2024-08-14 Toppan Inc. DISTANCE IMAGE CAPTURE DEVICE AND DISTANCE IMAGE CAPTURE METHOD
JP7721926B2 (ja) * 2021-03-05 2025-08-13 Toppanホールディングス株式会社 距離画像撮像装置及び距離画像撮像方法
JP7635618B2 (ja) * 2021-04-12 2025-02-26 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7753670B2 (ja) * 2021-05-17 2025-10-15 Toppanホールディングス株式会社 距離画像撮像装置及び距離画像撮像方法
JP7652897B2 (ja) * 2021-05-31 2025-03-27 日立Astemo株式会社 画像処理装置、および、画像処理方法
JP7707659B2 (ja) * 2021-05-31 2025-07-15 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
DE102021123254B4 (de) * 2021-09-08 2025-03-06 Infineon Technologies Ag Vorrichtung und Verfahren zum Erfassen einer Szene
JPWO2023120012A1 (ja) 2021-12-24 2023-06-29
CN118575098A (zh) 2022-01-21 2024-08-30 株式会社小糸制作所 测量装置
US20250123374A1 (en) 2022-02-01 2025-04-17 Koito Manufacturing Co., Ltd. Measurement device
JP2023172742A (ja) * 2022-05-24 2023-12-06 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2024060330A (ja) * 2022-10-19 2024-05-02 キヤノン株式会社 測距装置及び測距装置の駆動方法
WO2025094648A1 (ja) * 2023-10-30 2025-05-08 ソニーセミコンダクタソリューションズ株式会社 測距システム、測距装置、測距方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116516A (ja) * 1999-08-11 2001-04-27 Asahi Optical Co Ltd 3次元画像検出装置
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
WO2010098454A1 (ja) * 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法
JP2017133853A (ja) * 2016-01-25 2017-08-03 株式会社リコー 測距装置
WO2017170568A1 (ja) * 2016-03-30 2017-10-05 国立大学法人静岡大学 画素回路及び撮像素子
JP6298236B2 (ja) 2013-02-22 2018-03-20 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
JP2019142536A (ja) 2018-02-20 2019-08-29 レンゴー株式会社 トレイ

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5705807A (en) * 1994-10-24 1998-01-06 Nissan Motor Co., Ltd. Photo detecting apparatus for detecting reflected light from an object and excluding an external light componet from the reflected light
EP1152261A1 (en) * 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP5343055B2 (ja) * 2010-09-13 2013-11-13 本田技研工業株式会社 撮像装置および撮像方法
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックIpマネジメント株式会社 測距システム及び信号発生装置
US9900485B2 (en) * 2014-01-08 2018-02-20 Mitsubishi Electric Corporation Image generation device
JP2016189557A (ja) * 2015-03-30 2016-11-04 ソニー株式会社 撮像素子およびその駆動方法、並びに電子機器
US10250833B2 (en) * 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
CN106257915B (zh) * 2015-06-17 2021-02-26 松下知识产权经营株式会社 摄像装置
JP6799538B2 (ja) * 2015-08-04 2020-12-16 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置の駆動方法
KR102796731B1 (ko) * 2016-02-19 2025-04-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
EP3467765B1 (en) * 2016-05-23 2024-10-23 Sony Group Corporation Electronic device, control method for electronic device, and program
JP6834211B2 (ja) * 2016-07-15 2021-02-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置及び測距方法
KR101832364B1 (ko) * 2017-02-22 2018-04-04 경희대학교 산학협력단 재귀 반사 필름을 이용한 거리 측정 장치 및 방법
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
JP7194443B2 (ja) * 2017-10-20 2022-12-22 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
WO2019123825A1 (ja) * 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 信号生成装置
EP3572832B1 (en) * 2017-12-22 2025-02-12 Sony Semiconductor Solutions Corporation Pulse generator and signal generating device
WO2020178920A1 (ja) * 2019-03-01 2020-09-10 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
US11598860B2 (en) * 2019-03-20 2023-03-07 Brookman Technology, Inc. Distance image capturing device, distance image capturing system, and distance image capturing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116516A (ja) * 1999-08-11 2001-04-27 Asahi Optical Co Ltd 3次元画像検出装置
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
WO2010098454A1 (ja) * 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
JP6298236B2 (ja) 2013-02-22 2018-03-20 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法
JP2017133853A (ja) * 2016-01-25 2017-08-03 株式会社リコー 測距装置
WO2017170568A1 (ja) * 2016-03-30 2017-10-05 国立大学法人静岡大学 画素回路及び撮像素子
JP2019142536A (ja) 2018-02-20 2019-08-29 レンゴー株式会社 トレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4009073A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259640A1 (ja) * 2021-06-10 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法
WO2023171345A1 (ja) * 2022-03-11 2023-09-14 株式会社小糸製作所 光電変換回路、及び光電変換装置
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2024011621A (ja) * 2022-07-15 2024-01-25 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7848620B2 (ja) 2022-07-15 2026-04-21 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
US20220146684A1 (en) 2022-05-12
TWI780462B (zh) 2022-10-11
JP7463671B2 (ja) 2024-04-09
TW202112122A (zh) 2021-03-16
CN114175618A (zh) 2022-03-11
CN114175618B (zh) 2024-06-14
US11982750B2 (en) 2024-05-14
EP4009073A4 (en) 2023-07-12
EP4009073A1 (en) 2022-06-08
JP2021025833A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
WO2021020496A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
JP4981780B2 (ja) 測距システム及び測距方法
US20200137330A1 (en) A pixel structure
JPWO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
US20230358863A1 (en) Range imaging device and range imaging method
CN114026460B (zh) 距离图像摄像装置和距离图像摄像方法
WO2021070320A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
US20250085404A1 (en) Range imaging apparatus and range imaging method
CN116710803A (zh) 距离图像摄像装置以及距离图像摄像方法
JP2024082236A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7790260B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7739709B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024078837A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN121049921A (zh) 距离图像摄像装置及距离图像摄像方法
US20260029535A1 (en) Distance image capturing device and distance image capturing method
US20250247636A1 (en) Distance image capturing device and distance image capturing method
WO2025033347A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2025089961A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN119968578A (zh) 距离图像摄像装置以及距离图像摄像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
CN120201275A (zh) 距离图像摄像装置以及距离图像摄像方法
CN119233113A (zh) 距离图像摄像装置及距离图像摄像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20847013

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020847013

Country of ref document: EP

Effective date: 20220301