WO2020026615A1 - 光源装置、撮像装置、センシングモジュール - Google Patents
光源装置、撮像装置、センシングモジュール Download PDFInfo
- Publication number
- WO2020026615A1 WO2020026615A1 PCT/JP2019/023866 JP2019023866W WO2020026615A1 WO 2020026615 A1 WO2020026615 A1 WO 2020026615A1 JP 2019023866 W JP2019023866 W JP 2019023866W WO 2020026615 A1 WO2020026615 A1 WO 2020026615A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light emitting
- light emission
- image sensor
- emitting element
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
- H01S5/42—Arrays of surface emitting lasers
- H01S5/423—Arrays of surface emitting lasers having a vertical cavity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/0011—Arrangements for eliminating or compensation of measuring errors due to temperature or weight
- G01B5/0014—Arrangements for eliminating or compensation of measuring errors due to temperature or weight due to temperature
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/04—Processes or apparatus for excitation, e.g. pumping, e.g. by electron beams
- H01S5/042—Electrical excitation ; Circuits therefor
- H01S5/0428—Electrical excitation ; Circuits therefor for applying pulses to the laser
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/06—Arrangements for controlling the laser output parameters, e.g. by operating on the active medium
- H01S5/068—Stabilisation of laser output parameters
- H01S5/0683—Stabilisation of laser output parameters by monitoring the optical output parameters
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/02—Structural details or components not essential to laser action
- H01S5/022—Mountings; Housings
- H01S5/0233—Mounting configuration of laser chips
- H01S5/0234—Up-side down mountings, e.g. Flip-chip, epi-side down mountings or junction down mountings
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/06—Arrangements for controlling the laser output parameters, e.g. by operating on the active medium
- H01S5/062—Arrangements for controlling the laser output parameters, e.g. by operating on the active medium by varying the potential of the electrodes
- H01S5/06209—Arrangements for controlling the laser output parameters, e.g. by operating on the active medium by varying the potential of the electrodes in single-section lasers
- H01S5/06216—Pulse modulation or generation
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/10—Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
- H01S5/18—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
- H01S5/183—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/10—Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
- H01S5/18—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
- H01S5/183—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
- H01S5/18305—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL] with emission through the substrate, i.e. bottom emission
Definitions
- the present technology relates to a light source device, an imaging device, and a sensing module, and particularly relates to a technical field in which reflected light of light emitted from the light source device is imaged by an imaging device and sensing of distance, shape, and the like is performed.
- a light source device as a multi-light laser in which a plurality of laser light emitting elements are arranged emits light, and reflected light from an object to be detected is imaged by an imaging device.
- Patent Document 1 listed below discloses a technique relating to current amount control of a plurality of light emitting elements.
- Patent Literature 2 below discloses a technique for correcting a change in light amount due to a temperature of a plurality of light emitting elements.
- the brightness of the bright spot on the image obtained on the imaging device side is not uniform due to the manufacturing variation of the laser light emitting element, the fluctuation of the temperature, the characteristics of the optical system, and the like. Therefore, if the exposure (gain / exposure time) is adjusted in accordance with the dark point, the bright point is saturated, and accurate coordinates cannot be obtained. Similarly, if the exposure is adjusted in accordance with the bright point, the dark point will not be captured and accurate coordinates cannot be obtained.
- an object of the present technology is to obtain appropriate imaging data for sensing when a laser light is emitted from a light source device and reflected light from an object is received and imaged by an imaging device. .
- a light source device includes a plurality of laser light emitting elements, and the laser light emitting elements set based on image data obtained by an image sensor that receives light emitted from the laser light emitting elements and reflected by a subject to capture an image. And a driving unit for driving each laser light emitting element in accordance with a light emission parameter defining a light emission operation for each predetermined unit. For example, it is assumed that distance measurement, object recognition, and the like are performed by reflecting light emitted from a light source device to a subject and receiving and imaging the reflected light with an image sensor.
- the laser irradiation drive is performed with a uniform parameter from a plurality of laser light emitting elements
- the laser light is received by the image sensor, it is not necessarily uniform due to the characteristic variation of each laser light emitting element and the circumstances of the optical path.
- Light level is not high.
- the predetermined unit is a unit of one laser light emitting element or a unit of a plurality of laser light emitting elements that are divided into blocks.
- the driving unit is configured to emit each laser light in accordance with the light emission parameter for each of the predetermined units variably set using the brightness of the image of the reflected light in the image data obtained by the image sensor. It is conceivable to drive the element. In other words, the system is to feed back to the light emission parameter based on the luminance of the image of the light reflected by the object of the light source, which is reflected in the image captured by the image sensor.
- the driving unit is configured to be variably set in a direction in which the luminance variation of each pixel of the image data captured by the image sensor is suppressed, according to the light emission parameter for each of the predetermined units. It is conceivable to drive the laser light emitting element. That is, the light emission parameters of the laser light emitting element are individually set for each predetermined unit (for example, individually), and it is assumed that the light emission parameters are set so as to suppress the luminance variation of each pixel of the imaging data obtained on the image sensor side.
- the parameter setting is changed in a direction to suppress the power of the laser light emitting element corresponding to the pixel with high luminance or in a direction to increase the power of the laser light emitting element corresponding to the pixel with low luminance.
- the laser light emitting element may be a vertical cavity surface emitting laser. That is, a light source device called VCSEL (Vertical Cavity Surface Emitting LASER) is assumed.
- VCSEL Vertical Cavity Surface Emitting LASER
- the light source device may include a control unit that generates a light emission parameter corresponding to each of the predetermined units based on image data obtained by the image sensor. That is, in the light source device (for example, in a chip serving as the light source device), a control unit that analyzes imaging data on the image sensor side and generates light emission parameters corresponding to the laser light emitting elements for each predetermined unit is provided.
- the control unit generates a sensor parameter that defines a sensing operation of the image sensor based on imaging data obtained by the image sensor and supplies the sensor parameter to the image sensor.
- the control unit generates a sensor parameter that defines a sensing operation of the image sensor based on imaging data obtained by the image sensor and supplies the sensor parameter to the image sensor.
- the light emission parameters of the laser light emitting element and the sensor parameters of the image sensor are generated based on the image data obtained by the image sensor.
- the drive unit controls the drive timing of the laser light emitting element for each of the predetermined units according to a light emission parameter.
- the drive unit variably controls the time or time when light is emitted for each predetermined unit of laser light emitting elements.
- the driving unit may control the drive timing for each of the predetermined units so that the emission period length of the laser light emitting element is variably controlled for each of the predetermined units. That is, the drive unit variably controls the laser emission elements of a predetermined unit so that the emission period length is not always uniform.
- the drive unit controls the drive timing for each of the predetermined units so that the emission start timing of the laser light emitting element is variably controlled for each of the predetermined units. That is, the driving unit variably controls the laser light emitting elements of a predetermined unit so that the light emission start timings are not always the same. Further, it is conceivable that the driving unit controls the drive timing for each of the predetermined units so that the emission end timing of the laser light emitting element is variably controlled for each of the predetermined units. That is, the drive unit variably controls the laser emission elements of a predetermined unit so that the emission end timings are not always the same.
- the driving unit controls a driving current amount of the laser light emitting element for each predetermined unit according to a light emission parameter. That is, the drive section variably controls the light emission power of the laser light emitting element. Further, in the light source device according to the above-described present technology, it is conceivable that the driving unit controls the number of times of light emission of the laser light emitting element in one frame period of the image sensor according to a light emission parameter. That is, the driving unit variably controls the number of times of emission of the laser light emitting element in one frame period.
- the light source device includes a temperature sensor that detects a temperature near the laser light emitting element, and the driving unit is configured to set a predetermined value of the laser light emitting element based on a detection value of the temperature sensor. It is conceivable to drive each laser light emitting element in accordance with a light emitting parameter that defines a light emitting operation for each unit. That is, the driving unit variably controls the light emission timing of the laser light emitting element, the amount of drive current, or the number of times of light emission in one frame, even when the temperature changes.
- An imaging device includes an image sensor that receives light emitted from a plurality of laser light emitting elements of a light source device and reflected by a subject to capture an image, and based on image data obtained by the image sensor, the laser light emitting element A control unit that generates a light emission parameter that defines a light emission operation for each predetermined unit and supplies the light emission parameter to the light source device.
- the light emitted from the light source device is reflected to a subject, and the reflected light is received and imaged by an image sensor to perform distance measurement and object recognition.
- the light emission parameter is set for each predetermined unit of the laser light emitting element so that the image sensor can receive light with little variation, for example.
- the control unit generates a sensor parameter that defines a sensing operation of the image sensor based on imaging data obtained by the image sensor, and supplies the sensor parameter to the image sensor. It is conceivable that the image sensor performs an imaging operation based on sensor parameters. That is, the light emission parameters of the laser light emitting element and the sensor parameters of the image sensor are generated based on the image data obtained by the image sensor.
- a sensing module includes a plurality of laser light emitting elements, an image sensor that receives light reflected from an object emitted from the plurality of laser light emitting elements and captures an image, based on image data obtained by the image sensor.
- a control unit configured to generate a light emission parameter defining a light emission operation of the laser light emitting element for each predetermined unit; and a drive unit configured to drive each laser light emitting element according to the light emission parameter of the predetermined unit.
- a sensing module that performs distance measurement, object recognition, and the like is configured. In this case, by setting the light emission parameter of the laser light emitting element for each predetermined unit, it becomes possible to perform appropriate exposure and imaging in the imaging data on the image sensor side.
- the control unit In the sensing module according to the present technology described above, the control unit generates a sensor parameter that defines a sensing operation of the image sensor based on imaging data obtained by the image sensor, and supplies the sensor parameter to the image sensor. It is conceivable that the image sensor performs an imaging operation based on the sensor parameters. That is, the light emission parameters of the laser light emitting element and the sensor parameters of the image sensor are generated based on the image data obtained by the image sensor. Further, in the sensing module according to the above-described present technology, the control unit is configured to control the driving unit to emit light with the same emission parameter for the plurality of laser light emitting elements, based on imaging data obtained by the image sensor.
- the control unit variably controls the light emission parameter of the laser light emitting element based on a detection result of a temperature sensor near the laser light emitting element.
- the laser light emitting element has a temperature characteristic, and the output changes depending on the temperature. Therefore, dynamic light emission parameter adjustment according to the temperature is also performed.
- the control unit may vary a light emission parameter of the laser light emitting element for each predetermined unit based on image data obtained by an image sensor during detection of an object. .
- the light receiving level on the image sensor side is also affected by the distance to the target and the reflectance of the target. Therefore, even during detection of the target object, the imaging data obtained by the image sensor is analyzed, and the light emission parameter is adjusted.
- the present technology it is possible to control the luminance on a captured image on the image sensor side to a desired value. As a result, accurate coordinate detection for sensing distance and shape can be performed, and sensing performance can be improved. Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
- FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present technology.
- FIG. 3 is an explanatory diagram of a distance measurement method using an STL (Structured @ Light) method.
- FIG. 3 is a diagram illustrating a circuit configuration example of the light source device according to the embodiment.
- FIG. 9 is a diagram illustrating a modified example of the drive circuit included in the light source device according to the embodiment.
- FIG. 9 is a diagram illustrating a circuit configuration as a modification of the light source device of the embodiment.
- FIG. 3 is a diagram illustrating a substrate configuration example of the light source device according to the embodiment.
- FIG. 4 is a diagram illustrating another example of the substrate configuration of the light source device according to the embodiment.
- FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present technology.
- FIG. 3 is an explanatory diagram of a distance measurement method using an STL (Structured
- FIG. 9 is a diagram illustrating still another example of the substrate configuration of the light source device according to the embodiment.
- FIG. 3 is a diagram illustrating an example of an arrangement of a temperature sensor included in the light source device according to the embodiment.
- FIG. 3 is a diagram illustrating a structural example of a light emitting unit included in the light source device according to the embodiment.
- FIG. 4 is a diagram illustrating another example of the structure of the light emitting unit included in the light source device according to the embodiment.
- FIG. 4 is an explanatory diagram illustrating a relationship between a light emitting period and an exposure period according to the embodiment.
- FIG. 4 is an explanatory diagram of a temperature rise due to a light emitting operation.
- FIG. 4 is an explanatory diagram of a multiple light emission operation according to the first embodiment.
- FIG. 3 is a block diagram illustrating a configuration example of an image sensor corresponding to a plurality of light emissions according to the embodiment.
- FIG. 4 is an explanatory diagram of operation timings of the image sensor corresponding to a plurality of light emission according to the embodiment.
- FIG. 9 is an explanatory diagram of a modification of the multiple light emission operation of the first embodiment.
- FIG. 10 is an explanatory diagram of an adaptive multiple light emitting operation according to a temperature according to the second embodiment.
- 13 is a flowchart of a first example of the second embodiment. It is a flowchart of the 2nd example of 2nd Embodiment, and explanatory drawing of a threshold value.
- FIG. 14 is an explanatory diagram of different numbers of exposures in a plane according to the third embodiment.
- FIG. 14 is an explanatory diagram of an example of static control according to a fourth embodiment.
- FIG. 14 is an explanatory diagram of an example of dynamic control according to a fourth embodiment.
- 14 is a flowchart of a first example of a parameter adjustment process according to the fourth embodiment.
- 15 is a flowchart of a static calibration process example I according to the fourth embodiment.
- 14 is a flowchart of a static calibration processing example II according to the fourth embodiment.
- 14 is a flowchart of a static calibration process example III according to the fourth embodiment.
- 15 is a flowchart of a second example of the parameter adjustment processing according to the fourth embodiment.
- 14 is a flowchart of a third example of the parameter adjustment processing according to the fourth embodiment.
- FIG. 1 shows a configuration example of a distance measuring apparatus 1 as an embodiment according to the present technology.
- the distance measuring device 1 has a configuration including the light source device 100 and the imaging device 101.
- the distance measuring device 1 includes a light emitting unit 2, a driving unit 3, a power supply circuit 4, a light emitting side optical system 5, and a temperature detecting unit 10 as a light source device 100, and an image capturing side optical system 6 as an image capturing device 101.
- a sensor 7 and an image processing unit 8 are provided.
- the distance measuring device 1 includes a control unit 9.
- the control unit 9 may be included in the light source device 100, may be included in the imaging device 101, or may be configured separately from the light source device 100 or the imaging device 101.
- the light emitting section 2 emits light from a plurality of light sources.
- the light emitting section 2 of the present example has a laser light emitting element 2a (hereinafter, also simply referred to as “light emitting element 2a”) by VCSEL as each light source, and the light emitting elements 2a are, for example, in a matrix shape or the like. They are arranged in a predetermined manner.
- the driving unit 3 includes an electric circuit for driving the light emitting unit 2.
- the power supply circuit 4 generates a power supply voltage (a drive voltage Vd described later) of the drive unit 3 based on an input voltage (an input voltage Vin described later) from, for example, a battery (not shown) provided in the distance measuring device 1.
- the driving unit 3 drives the light emitting unit 2 based on the power supply voltage.
- the light emitted from the light emitting unit 2 is irradiated to the subject S as a distance measurement target via the light emitting side optical system 5. Then, the reflected light of the light emitted from the subject S enters the imaging surface of the image sensor 7 via the imaging-side optical system 6.
- the image sensor 7 is, for example, an imaging element such as a charge coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor, and reflects reflected light from the subject S that enters via the imaging side optical system 6 as described above. The light is received, converted into an electric signal and output.
- the image sensor 7 performs, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, and the like on an electric signal obtained by photoelectrically converting the received light, and further performs A / D (Analog / Digital) conversion. Perform processing. Then, an image signal as digital data is output to the image processing unit 8 at the subsequent stage.
- CDS Correlated Double Sampling
- AGC Automatic Gain Control
- a / D Analog / Digital
- the image sensor 7 of the present example outputs the frame synchronization signal Fs to the drive unit 3.
- the driving unit 3 can cause the light emitting element 2a of the light emitting unit 2 to emit light at a timing corresponding to the frame period of the image sensor 7.
- the image processing unit 8 is configured as an image processor by, for example, a DSP (Digital Signal Processor) or the like.
- the image processing unit 8 performs various types of image signal processing on a digital signal (image signal) input from the image sensor 7.
- the control unit 9 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), or an information processing device such as a DSP.
- the control of the drive unit 3 for controlling the operation and the control relating to the imaging operation by the image sensor 7 are performed.
- the control unit 9 has a function as a distance measuring unit 9a.
- the distance measuring unit 9a measures a distance to the subject S based on an image signal input through the image processing unit 8 (that is, an image signal obtained by receiving light reflected from the subject S).
- the distance measuring unit 9a of this example measures the distance of each part of the subject S in order to enable the three-dimensional shape of the subject S to be specified.
- the control unit 9 may be configured to control the power supply circuit 4 in some cases.
- the temperature detector 10 detects the temperature of the light emitting unit 2.
- the temperature detection unit 10 can adopt a configuration for performing temperature detection using, for example, a diode.
- the detection signal from the temperature detection unit 10 is detected by the control unit 53 and necessary control is performed.
- a configuration in which the drive unit 3 detects the detection signal of the temperature detection unit 10 and the drive unit 3 varies the drive of the light emitting element 2a of the light emitting unit 2 is also conceivable. Note that the configuration of the temperature detection unit 10 and specific processing executed by the control unit 9 according to the temperature detection result by the temperature detection unit 10 will be described later.
- the STL method is a method of measuring a distance based on an image obtained by capturing an image of a subject S irradiated with light having a predetermined light / dark pattern such as a dot pattern or a grid pattern.
- FIG. 2 is an explanatory diagram of the STL method.
- a pattern light Lp of a dot pattern as shown in FIG. The pattern light Lp is divided into a plurality of blocks BL, and different dot patterns are assigned to the respective blocks BL (dot patterns are not overlapped between the blocks B).
- FIG. 2B is a diagram illustrating the principle of ranging in the STL method.
- the wall W and the box BX disposed in front of the wall W are the subject S, and the subject S is irradiated with the pattern light Lp.
- “G” in the figure schematically represents the angle of view of the image sensor 7.
- “BLn” in the drawing means the light of a certain block BL in the pattern light Lp
- “dn” means the dot pattern of the block BLn displayed on the image captured by the image sensor 7.
- the dot pattern of the block BLn is displayed in the position of “dn ′” in the figure in the captured image. That is, the position where the pattern of the block BLn is displayed in the captured image differs between the case where the box BX exists and the case where the box BX does not exist, and specifically, the pattern is distorted.
- the STL method is a method of obtaining the shape and depth of the subject S by utilizing the fact that the irradiated pattern is distorted by the shape of the subject S. Specifically, it is a method of obtaining the shape and depth of the subject S from the pattern distortion.
- the distance measuring unit 9a controls the driving unit 3 so that the light emitting unit 2 emits the pattern light, and detects a pattern distortion of an image signal obtained via the image processing unit 8. , The distance is calculated based on how the pattern is distorted.
- the ToF method measures the distance to the object by detecting the flight time (time difference) of the light from the light emitting unit 2 until the light is reflected by the object and reaches the image sensor 7. It is a method to do.
- a so-called direct ToF method is adopted as the ToF method, a single photon avalanche diode (SPAD) is used as the image sensor 7, and the light emitting unit 2 is pulse-driven.
- the distance measuring unit 9a calculates a time difference from light emission to light reception of light emitted from the light emitting unit 2 and received by the image sensor 7 based on the image signal input via the image processing unit 8, The distance of each part of the subject S is calculated based on the time difference and the speed of light.
- a so-called indirect ToF method phase difference method
- an IR image sensor is used as the image sensor 7.
- FIG. 3 illustrates a circuit configuration example of a light source device 100 configured including the light emitting unit 2, the driving unit 3, and the power supply circuit 4 illustrated in FIG.
- FIG. 3 shows the image sensor 7 and the control unit 9 shown in FIG. 1 together with an example of the circuit configuration of the light source device 100.
- the light emitting unit 2, the driving unit 3, and the power supply circuit 4 are formed on a common substrate (substrate B described later).
- a structural unit including at least the light emitting unit 2 and formed on a common substrate with the light emitting unit 2 is called a light source device 100.
- the light source device 100 includes a light emitting unit 2, a driving unit 3, a power supply circuit 4, and a temperature detecting unit 10.
- the light emitting section 2 includes a plurality of light emitting elements 2a as VCSELs as described above.
- the number of light emitting elements 2 a is “4” for convenience of illustration, but the number of light emitting elements 2 a in the light emitting unit 2 is not limited to this, and may be at least two.
- the power supply circuit 4 includes the DC / DC converter 40, and generates a drive voltage Vd (DC voltage) used by the drive unit 3 to drive the light emitting unit 2 based on the input voltage Vin based on the DC voltage.
- Vd DC voltage
- the drive unit 3 includes a drive circuit 30 and a drive control unit 31.
- the drive circuit 30 has a switching element Q1 and a switch SW for each light emitting element 2a, and has a switching element Q2 and a constant current source 30a.
- An FET field-effect transistor
- MOSFET P-channel type MOSFET (MOS: metal-oxide-semiconductor) is used in this example.
- Each switching element Q1 is connected in parallel with the output line of the DC / DC converter 40, that is, the supply line of the drive voltage Vd, and the switching element Q2 is connected in parallel with the switching element Q1.
- the sources of the switching elements Q1 and Q2 are connected to the output line of the DC / DC converter 40.
- the drain of each switching element Q1 is connected to the anode of one corresponding light emitting element 2a among the light emitting elements 2a in the light emitting section 2. As shown, the cathode of each light emitting element 2a is connected to ground (GND).
- the switching element Q2 has a drain connected to the ground via the constant current source 30a, and a gate connected to a connection point between the drain and the constant current source 30a.
- the gate of each switching element Q1 is connected to the gate of the switching element Q2 via one corresponding switch SW.
- the switching element Q1 whose switch SW is turned on is turned on, the driving voltage Vd is applied to the light emitting element 2a connected to the turned on switching element Q1, and the light emitting element 2a emits light. .
- the driving current Id flows through the light emitting element 2a.
- the switching element Q1 and the switching element Q2 constitute a current mirror circuit, and the current value of the driving current Id is a constant current source. A value corresponding to the current value of 30a is set.
- the drive control unit 31 controls ON / OFF of the light emitting element 2a by performing ON / OFF control of the switch SW in the drive circuit 30.
- the drive control unit 31 determines the ON / OFF control timing of the light emitting element 2a, the laser power (current value of the drive current Id), and the like based on the instruction from the control unit 9. For example, the drive control unit 31 receives values specifying these as light emission parameters from the control unit 9, and controls the drive of the light emitting element 2a accordingly.
- the drive control unit 31 is supplied with the frame synchronization signal Fs from the image sensor 7, so that the drive control unit 31 can synchronize the ON timing and the OFF timing of the light emitting element 2 a with the frame cycle of the image sensor 7. It has been.
- the drive control unit 31 may be configured to transmit a frame synchronization signal Fs or a signal indicating the exposure timing to the image sensor 7. Further, the control unit 9 may transmit the signal indicating the timing of the frame synchronization signal Fs emission and exposure to the drive control unit 31 and the image sensor 7 in some cases.
- FIG. 3 illustrates the configuration in which the switching element Q1 is provided on the anode side of the light emitting element 2a, but the switching element Q1 is provided on the cathode side of the light emitting element 2a as in the drive circuit 30A shown in FIG. It can also be configured.
- the anode of each light emitting element 2 a in the light emitting unit 2 is connected to the output line of the DC / DC converter 40.
- An N-channel MOSFET is used for the switching element Q1 and the switching element Q2 that constitute the current mirror circuit.
- the switching element Q2 has a drain and a gate connected to the output line of the DC / DC converter 40 via the constant current source 30a, and a source connected to the ground via the constant current source 30a.
- Each switching element Q1 has a drain connected to the cathode of the corresponding light emitting element 2a and a source connected to the ground.
- the gate of each switching element Q1 is connected to the gate and drain of the switching element Q2 via the corresponding
- the drive control unit 31 performs ON / OFF control of the switch SW, so that the light emitting element 2a can be turned ON / OFF.
- FIG. 5 shows a configuration example of a light source device 100A as a modification.
- a power supply circuit 4A is provided instead of the power supply circuit 4, and a drive unit 3A is provided instead of the drive unit 3.
- the power supply circuit 4A has a plurality of DC / DC converters 40 (two in the example of the figure).
- the input voltage Vin1 is supplied to one DC / DC converter 40, and the input voltage Vin2 is supplied to the other DC / DC converter 40.
- the drive section 3A includes a plurality of drive circuits 30 each of which receives a drive voltage Vd from a different DC / DC converter 40.
- a variable current source 30b is provided instead of the constant current source 30a.
- the variable current source 30b has a variable current value.
- the light-emitting elements 2a in the light-emitting unit 2 are divided into a plurality of light-emitting element groups, each of which has a different drive circuit 30 whose ON / OFF control is performed.
- the drive control unit 31 performs ON / OFF control of the switch SW in each drive circuit 30.
- the group of the DC / DC converter 40 and the drive circuit 30 is divided into a plurality of systems, so that the drive current Id of the light emitting element 2a can be different for each system. .
- the value of the drive current Id can be made different for each system.
- the DC / DC converter 40 is configured to perform constant current control on the drive current Id, the target value of the constant current control is made different between the respective DC / DC converters 40 so that the drive current Id of each system is different. The values can be different.
- the values of the drive voltage Vd and the drive current Id differ for each system according to the light emission intensity distribution, the temperature distribution, and the like in the light emitting unit 2.
- the light source device 100 can be configured as shown in FIGS. As shown in FIG. 6A, the light source device 100 includes a chip Ch2 in which a circuit as the light emitting unit 2 is formed, a chip Ch3 in which a circuit as the drive unit 3 is formed, and a chip Ch4 in which a power supply circuit 4 is formed. May be formed on the same substrate B. In addition, the driving unit 3 and the power supply circuit 4 can be formed on the same chip Ch34. In this case, the light source device 100 forms the chip Ch2 and the chip Ch34 on the same substrate B as shown in FIG. It is also possible to adopt a configuration in which:
- a configuration in which another chip Ch is mounted on the chip Ch can also be adopted.
- the light source device 100 for example, as shown in FIG. 7A, a configuration in which the chips Ch3 and Ch4 each having the chip Ch2 mounted thereon are formed on the substrate B, or a configuration in which the chips Ch2 and Ch4 are mounted as shown in FIG. 7C may be formed on the substrate B, or a chip Ch34 mounting the chip Ch2 may be formed on the substrate B as shown in FIG. 7C.
- the light source device 100 may be configured to include the image sensor 7.
- FIG. 8A illustrates the configuration of the light source device 100 in which a chip Ch7 on which a circuit as the image sensor 7 is formed on the same substrate B together with the chips Ch2, Ch3, and Ch4.
- FIG. 8B illustrates the configuration of the light source device 100 in which the chip Ch34 on which the chip Ch2 is mounted and the chip Ch7 are formed on the same substrate B.
- the light source device 100A described above can also have the same configuration as that described with reference to FIGS.
- the temperature detection element such as a diode may be, for example, the chip Ch2 on the substrate B when the chip Ch2 is formed on the substrate B as shown in FIGS. 6A, 6B, and 8A. It may be formed at a nearby position (for example, a side position of the chip Ch2 on the substrate B). Further, in a configuration in which the chip Ch2 is mounted on another chip Ch as shown in FIGS. 7A to 7C and FIG. 8B, the temperature detecting element is located in the vicinity of the chip Ch2 in the other chip Ch (for example, just below the chip Ch2. Etc.).
- the temperature detection unit 10 may be configured to include a plurality of temperature sensors 10a having a temperature detection element such as a diode.
- FIG. 9 shows an example of the arrangement of each temperature sensor 10a when the temperature detection unit 10 has a plurality of temperature sensors 10a.
- the plurality of temperature sensors 10a are not concentrated at one place, but are discretely arranged in a plane parallel to the plane on which the light emitting elements 2a are arranged.
- the temperature sensors 10a can be arranged at regular intervals in a plane parallel to the plane on which the light emitting elements 2a are arranged.
- FIG. 9 shows an example in which four temperature sensors 10a are arranged for nine light emitting elements 2a, the number of light emitting elements 2a and temperature sensors 10a is not limited to this.
- thermosensor 10a By arranging a plurality of temperature sensors 10a discretely as in the example of FIG. 9, it is possible to detect the in-plane temperature distribution of the light emitting unit 2. Further, the temperature of each area on the light emitting surface can be detected and separated, and the temperature of each light emitting element 2a can be separately detected by increasing the number of the temperature sensors 10a.
- FIG. 10 shows an example of the structure of a chip Ch2 formed on the substrate B as shown in FIGS. 6A, 6B and 8A
- FIG. 11 shows another chip as shown in FIGS. 7A to 7C and FIG. 8B
- 9 shows a structural example of a chip Ch2 when mounted on Ch.
- FIGS. 10 and 11 show a structural example corresponding to a case where the drive circuit 30 is inserted on the anode side of the light emitting element 2a (see FIG. 3), as an example.
- the chip Ch2 has a portion corresponding to each light emitting element 2a formed as a mesa M.
- the chip Ch2 uses a semiconductor substrate 20 as its substrate, and a cathode electrode Tc is formed below the semiconductor substrate 20.
- a semiconductor substrate 20 for example, a GaAs (gallium arsenide) substrate is used.
- each of the mesas M includes a first multilayer reflector layer 21, an active layer 22, a second multilayer reflector layer 25, a contact layer 26, and an anode electrode in order from the lower layer side to the upper layer side.
- Ta is formed.
- a current confinement layer 24 is formed on a part (specifically, a lower end) of the second multilayer reflector layer 25.
- a portion including the active layer 22 and sandwiched between the first multilayer reflector layer 21 and the second multilayer reflector layer 25 is a resonator 23.
- the first multilayer reflector layer 21 is formed of a compound semiconductor exhibiting N-type conductivity
- the second multilayer reflector layer 25 is formed of a compound semiconductor exhibiting P-type conductivity.
- the active layer 22 is a layer for generating a laser beam
- the current confinement layer 24 is a layer for efficiently injecting a current into the active layer 22 and providing a lens effect.
- the current confinement layer 24 is selectively oxidized in a non-oxidized state, so that a central oxidized region (or a selectively oxidized region) 24a and an unoxidized portion around the oxidized region 24a are not oxidized. And an oxidized region 24b.
- a current confinement structure is formed by the oxidized region 24a and the non-oxidized region 24b, and a current is conducted to the current confinement region as the non-oxidized region 24b.
- the contact layer 26 is provided to ensure ohmic contact with the anode Ta.
- the anode electrode Ta is formed on the contact layer 26 in a shape such as an annular (ring-shaped) opening at the center when the substrate B is viewed in a plan view.
- a portion where the anode electrode Ta is not formed on the upper portion is an opening 26a.
- the cathode electrode Tc of the chip Ch2 is connected to the ground via a ground wiring Lg formed on the wiring layer of the substrate B.
- a pad Pa represents a pad for an anode electrode formed on the substrate B. This pad Pa is connected to the drain of one of the switching elements Q1 of the drive circuit 30 via the wiring Ld formed on the wiring layer of the substrate B.
- the drawing shows that, for only one light emitting element 2a, the anode electrode Ta is connected to one pad Pa via an anode wiring La formed on the chip Ch2 and a bonding wire BW.
- B a pad Pa and a wiring Ld for each light emitting element 2a are formed, and an anode wiring La for each light emitting element 2a is formed on the chip Ch2.
- the anode electrode Ta of each light emitting element 2a is It is connected to the corresponding pad Pa via the corresponding anode wiring La and the bonding wire BW.
- a back-illuminated chip Ch2 is used as the chip Ch2. That is, a chip Ch2 of a type that emits light in the direction of the back surface of the semiconductor substrate 20 instead of emitting light in the upper layer side direction (surface direction) of the semiconductor substrate 20 as in the example of FIG. 10 is used. In this case, no opening for light emission is formed in the anode electrode Ta, and no opening 26 a is formed in the contact layer 26.
- a pad for making an electrical connection with the anode electrode Ta for each light emitting element 2a. Pa is formed.
- a wiring Ld is formed for each pad Pa.
- each of the pads Pa is connected to the drain of one corresponding switching element Q1 in the drive circuit 30 formed in the chip Ch3 by these wirings Ld.
- the cathode electrode Tc is connected to the electrodes Tc1 and Tc2 via the wiring Lc1 and the wiring Lc2, respectively.
- the electrode Tc1 and the electrode Tc2 are electrodes for connecting to the pad Pc1 and the pad Pc2 formed on the chip Ch3, respectively.
- a ground wiring Lg1 connected to the pad Pc1 and a ground wiring Lg2 connected to the pad Pc2 are formed. Although not shown, these ground lines Lg1 and Lg2 are connected to the ground.
- First Embodiment Light Emission Multiple Times> As the operation of the first embodiment, a plurality of times of light emission in the light source device 100 will be described.
- the term “multiple times” as used herein means that the light emitting unit 2 emits light a plurality of times in one frame during the period of exposure and imaging of one image in the image sensor 7, that is, one frame in the image sensor 7. is there.
- FIG. 12 shows a light emitting period Tp of the light emitting element 2a of the light emitting unit 2 and an exposure period Tr of the image sensor.
- Tp the light emitting period of the light emitting element 2a of the light emitting unit 2
- Tr the exposure period of the image sensor.
- the exposure period Tr and the light emission period Tp are controlled synchronously.
- the distance measuring device 1 only wants to capture the reflected light of the laser light from the subject S.
- the ambient light other than the laser light from the light emitting unit 2 is noise. That is, it is desired to avoid performing exposure when the light emitting period is not the light emitting period Tp. Therefore, for example, as shown in the figure, the light emission period Tp and the exposure period Tr are made to substantially match. Therefore, between the drive unit 3 and the image sensor 7, the light emission period Tp and the exposure period Tr are defined by using the synchronization signal Fs as shown in FIG.
- the exposure period Tr is slightly longer than the light emitting period Tp. This is an example in which exposure is performed so as to cover the light emission period Tp with a slight margin. Exposure is performed during the light emission period Tp, but it is desirable that exposure is not performed as much as possible during periods other than the light emission period Tp. Therefore, the margin period is shortened. In some cases, a useless laser output period during which no exposure is performed may occur. However, the exposure period Tr may be shorter than the light emission period Tp. That is, light emission is continued during the exposure period Tr. As described above, the light emitting period Tp and the exposure period Tr do not necessarily have to completely match. However, for the sake of explanation, the fact that the light emitting period Tp and the exposure period Tr are set to substantially correspond to each other is referred to as “synchronous”. ".
- FIG. 13 shows the state of exposure and charge accumulation in the image sensor 7, and the temperature of the light emitting element 2a, corresponding to the waveform of the light emitting period Tp.
- Tp the temperature of the light emitting element 2a increases, and the light emission stops and the temperature of the light emitting element 2a decreases. This indicates that the longer the light emitting period Tp, the more remarkable the temperature rise.
- the light emitting unit 2 emits light a plurality of times in one frame, and the image sensor 7 accumulates the reflected light a plurality of times to generate one piece of imaging data ( Image) to estimate the distance measurement and the 3D shape of the subject S.
- Image imaging data
- the light emission is divided into a plurality of light emission in order to suppress heat generation of the light source, and the obtained images are made equal by synchronizing the exposure timing.
- FIG. 14 shows an operation of emitting light a plurality of times.
- FIG. 14 illustrates an example in which the light-emitting element 2a emits light twice during one frame period Tf as the light-emitting periods Tp1 and Tp2.
- the total length of the light emitting periods Tp1 and Tp2 is substantially equal to the light emitting period Tp in FIG.
- exposure periods Tr1 and Tr2 are set in synchronization with the light emission periods Tp1 and Tp2, and exposure and charge accumulation are performed.
- the accumulation of electric charges is shown by a solid line.
- the temperature of the light emitting element 2a rises during light emission and decreases as light emission stops.
- the image sensor 7 may be configured as shown in FIG. 15, for example.
- the image sensor 7 includes a photoelectric conversion unit 51, a charge holding unit 52, a read control unit 53, a read amplifier 54, initialization gates 55 and 56, a transfer gate 57, a read gate 58, and an A / D converter 59. .
- the photoelectric conversion unit 51 photoelectric conversion elements that expose light reflected from a subject are arranged.
- the initialization is performed by controlling on / off of the supply of the voltage VDD by the initialization gate 55.
- the charge (photoelectron) read from the photoelectric conversion unit 51 is supplied to the charge holding unit 52 via the transfer gate 57.
- the charge holding unit 52 temporarily holds the charge of each photoelectric conversion element (each pixel) of the photoelectric conversion unit 51.
- the charge holding unit 52 is configured so that the initialization gate 56 controls on / off of the supply of the voltage VDD to perform initialization.
- the charge of each pixel held by the charge holding unit 52 is read out via a readout gate 58, subjected to amplification (gain control) processing by a readout amplifier 54, and then converted to digital data by an A / D converter 59.
- the image data is converted and output to the image processing unit 8 in FIG. 1 as one frame of imaging data DT.
- the reading control unit 53 controls each gate as shown in FIG. 16 so that exposure corresponding to a plurality of times of light emission as shown in FIG. 14 is realized.
- the read control unit 53 initializes the photoelectric conversion unit 51 and the charge holding unit 52 by the initialization gates 55 and 56. After the initialization, exposure is performed in the photoelectric conversion unit 51 as an exposure period Tr1.
- the read control unit 53 controls the transfer gate 57 to cause the photoelectric conversion unit 51 to transfer the charge of each pixel accumulated during the exposure period Tr1 to the charge holding unit 52.
- the read control unit 53 does not open the read gate 58, so that the charges transferred from the photoelectric conversion unit 51 are held in the charge holding unit 52.
- the read control unit 53 controls the initialization gate 55 to initialize the photoelectric conversion unit 51. At this time, the charge holding unit 52 is not initialized.
- the read control unit 53 controls the transfer gate 57 to cause the photoelectric conversion unit 51 to transfer the charge of each pixel accumulated during the exposure period Tr2 to the charge holding unit 52.
- the charge holding unit 52 holds the charges in the exposure period Tr2 in addition to the exposure period Tr1.
- the read control unit 53 controls the read gate 58 at time t4 to output the charge of each pixel held in the charge holding unit 52 to the read amplifier 54.
- the photoelectrons generated between the exposure period Tr1 and the exposure period Tr2 do not accumulate in the charge holding unit 52 but release to the voltage VDD line by releasing the initialization gate 55 at time t2. throw away.
- the charges accumulated in the charge holding unit 52 are only photoelectrons generated during the light emission periods Tp1 and Tp2, and the obtained image is equivalent to the case where the light emission periods Tp1 and Tp2 are continued.
- the light emission duration of the light emitting element 2a is shortened by being divided by the light emission periods Tp1 and Tp2, the peak of the temperature rise due to heat generation decreases, and the light emission efficiency improves.
- FIG. 14 shows an example in which light emission and exposure are performed twice in one frame period Tf, but the present invention is not limited to two times.
- FIG. 17 shows a case where light emission is performed three times in one frame period Tf. That is, the light emitting element 2a emits light during the light emission periods Tp1, Tp2, and Tp3, and the image sensor 7 performs exposure during the exposure periods Tr1, Tr2, and Tr3.
- the temperature of the light emitting element 2a since the light emission periods Tp1, Tp2, and Tp3 are relatively short, the temperature rise ends relatively quickly, and the temperature drops. Therefore, the temperature rise is more effectively suppressed.
- the total light emitting period length in one frame period Tf (Tp1 + Tp2 + Tp3 in FIG. 17) is equal to the total light emitting period length in FIG.
- This can be suppressed as compared with the case of 14 double emission.
- the shorter the one light emission period and the more the number of light emission in one frame period Tf the more advantageous in suppressing the temperature rise. Therefore, it is conceivable that light emission and exposure are performed four times, five times, or even more times in one frame period Tf.
- the number of times such as 50 times, 100 times, or more is also assumed.
- the number of times may be switched. For example, in the case where light emission and exposure are performed multiple times in one frame period Tf as described above, or in the case where light emission and exposure are performed multiple times by switching from single light emission and exposure in one frame period Tf, as described above.
- the operation is such that, for example, switching between light emission / exposure twice and light emission / exposure three times is performed in accordance with the above.
- the exposure time is set to a value within a certain threshold value
- light emission and exposure are performed twice
- the exposure time is desired to be longer than the threshold value
- light emission and exposure are performed three times.
- two or three times is an example, and more times may be executed.
- switching control since the light emission / exposure a plurality of times in one frame period Tf particularly suppresses a temperature rise, switching control may be performed according to a temperature condition as described below.
- the emission interval may be controlled so that the temperature is surely decreased.
- a light emission interval non-light emission period
- a minimum length is ensured, or a temperature detection signal from the temperature detection unit 10 is checked, and the next light emission period is set on condition that the temperature falls below a predetermined temperature.
- the control of the non-light emitting period is also possible by parameter control that defines each timing of the light emitting periods Tp1, Tp2,.
- Second embodiment adaptive multiple emission according to temperature>
- a second embodiment an example in which light emission and exposure are adaptively controlled a plurality of times according to a temperature will be described.
- a first example of adaptive multiple emission according to temperature will be described.
- FIG. 18A shows a case where one light emission / exposure is performed in one frame period Tf as shown in FIG. That is, continuous light emission / exposure is performed during one frame period Tf as a light emission period Tp and an exposure period Tr.
- the temperature rise of the light emitting element 2a is relatively high.
- FIG. 18B shows a state in which the temperature rise of the light emitting element 2a is suppressed by suspending and resuming the light emission / exposure according to the temperature. That is, in FIG. 18B, in one frame period Tf, three divided light emission / exposures are performed as the light emission periods Tp1, Tp2, Tp3 and the exposure periods Tr1, Tr2, Tr3.
- the drive unit 3 or the control unit 9 monitors the temperature of the temperature detection unit 10 during the light emission period Tp1, and controls the drive of the light emitting element 2a. For example, when the temperature of the light emitting element 2a reaches the temperature threshold th1, the light emission of the light emitting element 2a by the driving unit 3 is stopped. Thereafter, when it is detected that the temperature of the light emitting element 2a has dropped to the temperature threshold th2, the light emission of the light emitting element 2a by the driving unit 3 is restarted. That is, the light emission period Tp2 is started. Similarly, the light emission period Tp2 is stopped when the temperature of the light emitting element 2a reaches the temperature threshold th1. After that, when it is detected that the temperature of the light emitting element 2a has dropped to the temperature threshold th2, the light emission is restarted. That is, the light emission period Tp3 starts.
- the exposure periods Tr1, Tr2, Tr3 in the image sensor 7 are controlled in synchronization with the respective light emission periods Tp1, Tp2, Tp3.
- the light emission / exposure is performed three times.
- the light emission is interrupted and restarted and the light emission period length TpG is managed according to the temperature condition, the light emission / exposure is not limited to three times. It is conceivable that the number of times of light emission / exposure may fluctuate depending on the temperature condition.
- the control of the interruption / resumption of the light emission is performed, for example, by a logic circuit or the like in the drive unit 3 in accordance with a detection signal from the temperature detection unit 10, and the timing is transmitted to the image sensor 7.
- the control unit 9 may monitor the temperature detection signal from the temperature detection unit 10 and control the drive unit 3 and the image sensor 7 synchronously.
- FIG. 19 shows an example of processing in the case where the control unit 9 performs timing control of interruption, restart, and termination of light emission within one frame period Tf.
- the driving unit 3 may perform the same processing.
- step S101 of FIG. 19 the control unit 9 first sets a light emitting period length TpG that is a total light emitting time in one frame period Tf. Then, every time the control unit 9 detects the start timing of one frame from the frame synchronization signal, the process proceeds from step S102 to S103.
- step S103 the control unit 9 instructs the driving unit 3 to start the light emission of the light emitting unit 2.
- the control unit 9 starts counting the light emission time in step S104.
- step S105 the control unit 9 checks whether or not the value of the counted light emission time has reached the light emission period length TpG. If the value of the counted light emission time has not reached the light emission period length TpG, the control unit 9 checks the temperature detection signal from the temperature detection unit 10 in step S106, and determines the current temperature (the temperature of the light emitting element 2a). It is checked whether TMP has become equal to or higher than the temperature threshold th1. If the current temperature TMP has not reached the temperature threshold th1, the control unit 9 continues to monitor steps S105 and S106.
- control unit 9 detects that the current temperature TMP has become equal to or higher than the temperature threshold th1, the control unit 9 proceeds from step S106 to S107, and performs light emission interruption control. That is, the driving unit 3 interrupts the light emission of the light emitting unit 2 and instructs the image sensor 7 to interrupt the exposure.
- step S108 the control unit 9 checks the temperature detection signal from the temperature detection unit 10 and checks whether the current temperature TMP is equal to or lower than the temperature threshold th2. Until the current temperature TMP falls below the temperature threshold th2, the interrupted state is continued as it is. When detecting that the current temperature TMP has become equal to or lower than the temperature threshold th2, the control unit 9 proceeds from step S108 to S109 and performs light emission restart control. That is, the driving unit 3 restarts the light emission of the light emitting unit 2 and instructs the image sensor 7 to restart the exposure. Then, the control unit 9 returns to the monitoring of steps S105 and S106.
- step S105 When detecting that the value of the light emission time counted in step S105 has reached the light emission period length TpG, the control unit 9 proceeds to step S110 to terminate the light emission / exposure in the current frame period Tf. It instructs the drive unit 3 and the image sensor 7. Then, the control unit 9 resets the light emission time counter, returns to step S102, and waits for the start timing of the next frame.
- the control in FIG. 19 is ended at that time. Further, for example, when a situation such as a longer exposure time is desired due to insufficient luminance or some other condition, the controller 9 changes the light emission period length TpG accordingly.
- the process returns from step S113 to S101, and changes the setting of the light emitting period length TpG.
- one light emission continuation time is controlled according to the temperature condition, thereby performing a plurality of light emission / exposures in one frame period Tf. Is performed.
- the temperature thresholds th1 and th2 be appropriately set so that such a case does not occur.
- the one-frame period Tf of imaging need not always be fixed as the distance measuring device 1
- the one-frame period Tf is changed so as to change the one-frame period Tf according to the current temperature TMP in FIG. Control may be given priority.
- FIG. 20A illustrates an example of control by the control unit 9.
- the control unit 9 starts light emission and exposure as one light emission in one frame period Tf. For example, an operation as shown in FIG. 13 is executed. At such a start point, flags FT1 and FT2 described later are turned off.
- the flag FT1 is a flag indicating a state in which light emission is performed twice
- the flag FT2 is a flag indicating a state in which light emission is performed three times.
- the control unit 9 monitors the end of the sensing in step S151.
- the control unit 9 checks the current temperature TMP (the temperature of the light emitting element 2a) based on the temperature detection signal from the temperature detection unit 10. Then, in steps S153, S154, S155, and S156, the control unit 9 performs a process of monitoring the current temperature or the flag status.
- TMP the temperature of the light emitting element 2a
- step S153 when the flag FT2 is off, it is confirmed whether or not the current temperature TMP is equal to or higher than a certain temperature threshold th20.
- step S154 it is determined whether the flag FT2 is on.
- step S155 when the flag FT1 is off, it is confirmed whether or not the current temperature TMP is equal to or higher than a certain temperature threshold th10.
- step S156 it is checked whether the flag FT1 is on.
- step S155 the control unit 9 proceeds from step S155 to S164, and performs control to switch to an operation of emitting light twice in one frame period Tf. That is, the control unit 9 instructs the driving unit 3 to execute two light emission periods Tp1 and TP2 as shown in FIG. 14 from the next frame, and instructs the image sensor 7 to perform two light emission periods Tr1 and Tr2. Instruct to perform multiple exposure. Then, in step S165, the control unit 9 turns on the flag FT1.
- the control unit 9 While the flag FT1 is on, the control unit 9 performs monitoring in step S153 or S156. Since the temperature rise is suppressed by switching to the double emission, the current temperature TMP may decrease. Therefore, when the flag FT1 is on, the control unit 9 proceeds from step S156 to S166, and determines whether or not the current temperature TMP has become equal to or lower than the temperature threshold th10u.
- the temperature threshold th10u is, as shown in FIG. 20B, a temperature slightly lower than the temperature threshold th10 for transition to twice emission. If the current temperature TMP is equal to or lower than the temperature threshold th10u, the control unit 9 proceeds to step S167 and performs control to switch to one light emission in one frame period Tf.
- the control unit 9 instructs the driving unit 3 to execute one light emission during the light emission period Tp as shown in FIG. 13, and instructs the image sensor 7 to perform exposure during the exposure period Tr. To instruct. Then, in step S168, the control unit 9 turns off the flag FT1. Since the temperature threshold th10u is set to a temperature slightly lower than the temperature threshold th10, it is possible to prevent a situation in which the double emission and the single emission are frequently switched.
- step S153 the control unit 9 monitors whether the current temperature TMP has become equal to or higher than the temperature threshold th20.
- the temperature threshold th20 is a temperature higher than the temperature threshold th10, as shown in FIG. 20B.
- the control unit 9 proceeds from step S153 to S160, and performs control to switch to light emission three times in one frame period Tf. That is, the control unit 9 instructs the driving unit 3 to execute three light emission periods Tp1, Tp2, and Tp3 as shown in FIG. 17 from the next frame, and instructs the image sensor 7 to perform the exposure periods Tr1 and Tr2. , Tr3 is instructed to perform three exposures.
- step S161 the control unit 9 turns on the flag FT2.
- the control unit 9 While the flag FT2 is on, the control unit 9 performs monitoring in step S154. By switching to light emission three times, the temperature rise is further suppressed, so that the current temperature TMP may be reduced. Therefore, when the flag FT2 is ON, the control unit 9 proceeds from step S154 to S162, and determines whether the current temperature TMP has become equal to or lower than the temperature threshold th20u.
- the temperature threshold th20u is a temperature slightly lower than the temperature threshold th20 for shifting to three-time light emission, as shown in FIG. 20B.
- the control unit 9 turns off the flag FT2 in step S163, and further proceeds to step S164 to perform control to switch to twice emission in one frame period Tf. That is, light emission is returned from three times to two times. At this time, if the flag FT1 is off, it is turned on in step S165. Since the temperature threshold th20u is set to a temperature slightly lower than the temperature threshold th20, it is possible to prevent a situation in which light emission is frequently switched between three times and twice.
- the control unit 9 ends the process of FIG. 20A from step S151. By doing so, the suppression of the temperature rise due to the multiple light emission is effectively executed. When the temperature rise is not large, the light emission / exposure is performed once, so that the control of the sensing operation is simplified.
- the distance measuring apparatus 1 the light emission interval, the light emission continuation time per light emission, and the light emission frequency of the timing of performing a plurality of light emission or exposure performed to obtain one image , Heat generation of the light source can be suppressed, and power efficiency can be improved.
- FIG. 21A shows an example in which the light emitting section 2 emits light four times (light emitting periods Tp1, Tp2, Tp3, and Tp4) in one frame period Tf, as shown as an optical waveform.
- a state in which the charge accumulation amount increases as the exposure operation of the pixels G1 and G2 is shown in synchronization with the light emission operation.
- the pixel G1 performs exposure for the exposure periods Tr1 and Tr2 in synchronization with the light emission periods Tp1 and Tp2. However, no exposure is performed during the light emitting periods Tp3 and Tp4.
- the exposure periods Tr1, Tr2, Tr3, Tr4 are exposed in synchronization with the light emission periods Tp1, Tp2, Tp3, Tp4.
- the pixel G1 is a pixel having a relatively high sensitivity near the center of the imaging surface of the image sensor 7 (the photoelectric conversion unit 51) as shown in FIG. 21B, for example.
- the pixel G2 is a pixel having a relatively low sensitivity, for example, near the end of the screen of the imaging surface.
- the pixel G1 with high sensitivity if the exposure time is saturated when the exposure time is lengthened, if the exposure time is shortened uniformly, the pixel G2 may have insufficient luminance. Therefore, it is possible to set the number of times of exposure for a plurality of times of light emission according to the pixel. Thus, even when there is a difference in the sensitivity of the pixels, it is possible to obtain imaging data having a good luminance range in any pixel.
- the sensitivity of the pixel is affected not only by the characteristics of the pixel but also by the characteristics of the light emitting element 2a.
- the degree of temperature rise near the center of the light emitting unit 2 is larger than that at the end.
- a laser light emitting element as a VCSEL has a characteristic that the power decreases as the temperature increases. Therefore, the light amount may decrease as the light emitting element 2a is disposed at the center.
- the brightness may decrease near the center of the imaging surface of the image sensor 7. In such a case, the number of exposures may be increased for the pixel G1 near the center.
- FIG. 21A also shows an example of the pixel G3.
- the exposure period Tr3 the exposure is completed in the middle of the light emission period Tp3.
- control for achieving uniform luminance can be performed by terminating the exposure in the middle of a certain light emission period.
- the exposure continuation time and the number of times of each exposure are individually set in the imaging surface of the image sensor 7 for each pixel.
- each block including several pixels it is possible to control the luminance of the image of the light reflected by the subject S of the light source on the image captured by the image sensor 7. it can.
- FIG. 22A it is assumed that the light-emitting elements X and Y emit light during a light-emitting period Tp defined by a start timing Tst and an end timing Ted. On the image sensor 7 side, exposure is performed in an exposure period Tr synchronized with the exposure. In this case, the meaning of “synchronization” is as described above.
- the light emitting elements X and Y are samples of a certain two light emitting elements 2a referred to in the description among the many light emitting elements 2a.
- FIG. 22A shows that the light emission intensity PW1 and PW2 cannot be equalized due to manufacturing variations, temperature distribution, parasitic resistance, etc., even though the light emitting elements X and Y are drive-controlled with the same parameters. .
- FIG. 22B schematically illustrates a state in which the reflected light of the subject S illuminated in such a situation is captured by the image sensor 7. As shown in the drawing, each pixel (or each pixel block) appears as a variation in brightness.
- the lighting start time, the lighting end time, or the current amount is controlled so as to be different depending on the situation for each of the multiple light sources or for each of a plurality of blocks.
- the brightness of the reflected light on the captured image is adjusted to a desired amount.
- a two-dimensionally distributed light source is imaged by the image sensor 7 as a two-dimensional image, and the brightness in the image is changed to a desired state.
- the current and / or the light emission time for each block of each light source is controlled so as to be controlled.
- the light emitting side optical system 5, the subject S, and the image pickup side optical system 6 enter the optical path of the image sensor 7 from the light emitting unit 2, not only the manufacturing variation of the multi-light source but also each component on the optical path. It is possible to perform control in consideration of the resulting fluctuation.
- the idea of the present embodiment is not to aim at illuminating at a desired brightness in the light emitting unit 2, but to control at the image sensor 7 side to obtain a desired image.
- FIG. 22C shows an example in which the light emission timings of the light emitting elements X and Y are individually controlled.
- the light emission of the light emitting element X is controlled by a start timing Tst1 and an end timing Ted1.
- the light emission of the light emitting element Y is controlled by the start timing Tst2 and the end timing Ted2.
- the lengths of the light emitting periods TpX and TpY of the light emitting elements X and Y are different.
- the length of the light emitting period Tp for each light emitting element 2a or for each predetermined block
- Between pixel blocks to prevent variations in luminance.
- the light emission timing of the light emitting elements X and Y is controlled so that the luminance variation between the pixels of the imaging data does not occur.
- FIG. 24 shows various control examples.
- FIG. 24A is shown for comparison, and is an example in which the light emitting elements X and Y emit light at the same start timing Tst and end timing Ted.
- FIG. 24B is an example in which the start timings Tst1 and Tst2 of the light emitting elements X and Y are shifted, and the end timings Ted1 and Ted2 are shifted.
- the light emitting periods TpX and TpY of the light emitting elements X and Y can be made different depending on the amount by which the timing is shifted. If there is no problem with the luminance variation in the image data, the emission timings TpX and TpY can be made equal by shifting the start timing Tst2 and the end timing Ted2 by the same amount with respect to the start timing Tst1 and the end timing Ted1. .
- FIG. 24C is an example in which the start timing Tst is common to the light emitting elements X and Y, but the end timings Ted1 and Ted2 are different timings as necessary.
- the start timing Tst is common to the light emitting elements X and Y, but the end timings Ted1 and Ted2 are different timings as necessary.
- the end timing Ted By making the light emission periods TpX and TpY different, it is possible to reduce the variation in luminance on the image sensor 7 side.
- by adjusting the end timing Ted in this way it is possible to perform emission that cancels out the spatial distribution of the transmittance of the optical system (5, 6). Further, it is possible to perform an emission that cancels out the spatial distribution of the reflectance of the subject S. Further, it is possible to perform an injection that cancels a difference in distance between the distance measuring device 1 and the subject S.
- FIG. 24D is an example in which the start timings Tst1 and Tst2 of the light emitting elements X and Y are fixedly shifted, and the end timings Ted1 and Ted2 are set to different timings as needed. With this, the effects described with reference to FIGS. 24C and 24B can be obtained.
- control may be considered in which the end timing Ted is common and the start timings Tst1 and Tst2 are varied as necessary.
- light emission and exposure may be performed a plurality of times in one frame period Tf as described in the first to third embodiments.
- the timing control based on the light emission parameter a timing setting for light emission for a plurality of times is also assumed.
- the parameters given to the drive unit 3 for laser emission are variably controlled in accordance with the image data on the image sensor 7 side.
- static parameter control and dynamic parameter control can be considered.
- the static parameter control calibration is performed according to a fixed situation, and parameter setting is performed.
- the light emitting elements X and Y emit light with the same parameters. That is, light emission is driven by the same value (the same light emission period Tp) as the laser power, the start timing Tst, and the end timing Ted. Even in this case, variations in the luminance of the imaged data occur due to individual variations of the light emitting elements 2a, optical systems, and subjects. Therefore, the parameters of the light emitting elements X and Y are individually set so as to eliminate the luminance variation. For example, the light emission periods TpX and TpY are made different by changing the current value or changing the timing parameter.
- the dynamic parameter control is to adaptively perform variable parameter setting according to a situation that changes during sensing. For example, as shown in FIG. 26, first, the parameters of the light emitting elements X and Y are determined according to the initial temperature distribution of the light emitting section 2 to emit light. If the static parameter control is performed, it can be considered that the parameter setting according to the initial temperature distribution is included in the parameter setting. After that, when a luminance variation occurs due to a temperature change during sensing, the parameters of the light emitting elements X and Y are individually set so as to eliminate the luminance variation. For example, the light emission periods TpX and TpY are made different by changing the current value or changing the timing parameter.
- the exposure period Tr is also individually set accordingly. Is assumed to be different. However, if the image sensor 7 cannot variably control the exposure period for each individual pixel (or block pixel), the earliest start timing Tst to the latest end timing Ted of the parameters for the plurality of light emitting elements 2a which is the earliest. It is conceivable to set the exposure period so that the period up to is exposed.
- Example of parameter setting processing> Hereinafter, an example of a parameter setting process according to the fourth embodiment will be described. It is assumed that the processing example described below is processing performed by the control unit 9. As described above, the control unit 9 may be separate from the drive unit 3 or may be provided in the drive unit 3.
- control unit 9 performs the above-described static parameter control as static calibration in step S10. Then, in step S11, the control unit 9 controls the driving unit 3 and the image sensor 7 such that the light emission of the light emitting unit 2 and the imaging by the image sensor 7 are started based on the parameters adjusted by the static calibration. At the end of the sensing, the control unit 9 ends the processing from step S12. That is, the process of FIG. 27 is a process example of performing only static parameter control.
- step S200 the control unit 9 sets initial parameters for the driving unit 3 and the image sensor 7. This is a parameter that specifies the laser power and the light emission period Tp that are common to all of the plurality of light emitting elements 2a. Note that, as long as the initial parameters have the same length of the light emitting period Tp, the parameters may be shifted from the start timing Tst and the end timing Ted. Further, as initial parameters, there are a gain to be applied to an image pickup signal of the image sensor 7 and an exposure period Tr. As described above, the exposure period Tr is synchronized with the light emission period Tp.
- control part 9 performs light emission control in step S201. That is, the control unit 9 causes the drive unit 3 to start emitting light and causes the image sensor 7 to start exposure in synchronization with the emission. As a result, imaging data is obtained on the imaging device 101 side, and the control unit 9 is in a state where information on the imaging data, that is, luminance data for each pixel or pixel block can be confirmed. Therefore, in step S202, the control unit 9 acquires the value of the luminance of each pixel of the imaging data.
- step S203 the control unit 9 confirms whether or not a pixel value (luminance value) can be detected in all pixels necessary for distance measurement sensing.
- all the pixels necessary for sensing mean all the pixels that should receive the reflected light by laser emission, and do not necessarily indicate all the pixels physically provided in the image sensor 7.
- the control unit 9 confirms whether or not all the pixels have at least received light within the dynamic range of the image sensor 7. That is, as long as the pixel value is not saturated and is not buried in noise and an appropriate pixel value is obtained, at least the sensing operation is possible, so that the pixel value may be within the dynamic range. .
- step S ⁇ b> 203 it may be stricter, and the condition may be that all the pixels are within a predetermined luminance value range.
- control unit 9 stores the current parameters as step S207, Finish static calibration. For example, if there is no problem with the initial parameters, the static calibration ends with the initial parameters.
- the control unit 9 proceeds to step S204. Then, it is determined whether or not the sensor parameters can be adjusted.
- the sensor parameters can be adjusted.
- the exposure time Tr may be adjusted.
- the light emission period Tp is also changed at the same time.
- the control of the light emission time Tp in this case is not performed for the individual light emitting elements 2a but is performed in common for all the light emitting elements 2a.
- step S205 the processing of steps S201, S202, and S203 is performed to determine whether or not proper pixel detection has been realized.
- step S207 the control unit 9 stores the parameters in the state after the sensor parameter adjustment as the parameters after the static calibration.
- step S203 If it is not determined in step S203 that all pixels can be detected, the change of sensor parameters may be disabled in step S204. For example, there is a case where the gain or the exposure time has reached an upper limit or a lower limit predetermined as a variable range.
- the control unit 9 proceeds to step S206 and performs individual light emission parameter adjustment. That is, the control unit 9 varies the light emission parameter as shown in FIG. 22C and FIG.
- the light emission parameter is set according to the variation in the brightness of the image data. For example, for the light emitting element 2a corresponding to a pixel (or a pixel block) having insufficient luminance, the light emitting period Tp is set to be long, and the light emitting element 2a corresponds to a pixel (or a pixel block) having too high luminance (or saturation).
- the light emission parameter is set so that the light emission period Tp is shortened. It is also assumed that parameters are set such that light emission (and exposure) is performed a plurality of times in one frame period Tf. In the case of a configuration in which the laser power can be controlled individually, the parameters of the laser power may be set individually.
- steps S201, S202, and S203 is performed using the set parameters, and it is determined whether or not appropriate pixel detection has been realized.
- individual parameter setting may be performed again as steps S203 ⁇ S204 ⁇ S206. In that case, individual emission parameter setting and confirmation of imaging data are repeated.
- the control unit 9 proceeds to step S207, and stores the emission parameter and the sensor parameter at that time as parameters of the static calibration result.
- step S203 If it is determined in step S203 that the brightness values of all the pixels cannot be properly detected, the control unit 9 checks in step S210 whether the light emission parameter can be adjusted. If it is possible, the process proceeds to step S211 to perform overall adjustment or individual adjustment of the light emission parameter. Then, the processing of steps S201, S202, and S203 is performed.
- step S210 If the light emission parameter cannot be adjusted already (adjustment limit is reached) at the time of proceeding to step S210, the control unit 9 proceeds to step S212 and performs sensor parameter adjustment. In this case, gain adjustment in the image sensor 7 is performed. Other processes are the same as those in the processing example I.
- step S203A conditions are stricter than in step S203. That is, the condition is that the brightness values of all the pixels are within a predetermined range, instead of simply detecting all the pixels properly. This means that parameter adjustment is performed until the variation becomes smaller.
- the parameters of the static calibration result are stored in step S207, the parameters for the laser power setting are further adjusted in steps S220 to S223.
- step S220 the control unit 9 changes the light emission parameters of all the light emitting elements 2a so that the laser power is reduced by one step.
- one step means a one-step reduction width set in the process of step S220, and is not necessarily limited to a variable width in terms of a settable resolution of laser power (drive current value).
- step S221 the control unit 9 controls the driving unit 3 so that the light emitting element 2a emits light according to the changed light emission parameter.
- step S222 the luminance value of each pixel of the image data captured corresponding to the light emission To get.
- step S223 the control unit 9 determines whether or not all pixels have been detected with a luminance value equal to or greater than a predetermined value.
- the predetermined value is a luminance value at a level that does not cause any problem in image detection and ranging sensing.
- step S220 the control unit 9 further reduces the laser power by one step, and performs the processing in steps S221, S222, and S223. That is, the laser power is reduced as long as a luminance value equal to or higher than a predetermined value is detected in all pixels in step S223. If the luminance value of some of the pixels is less than the predetermined value in step S223, the process ends at that point.
- the parameters stored at this time are parameters immediately before the luminance value of some of the pixels becomes lower than the predetermined value and the luminance values of all the pixels are higher than the predetermined value. That is, the parameter indicates a state where the laser power is reduced as much as possible. Therefore, in the process of FIG. 30, as static calibration, the variation in the luminance of each pixel of the imaging data is suppressed as much as possible (to a range appropriate in step S203A), and the laser power is reduced as much as possible. It is to let.
- the predetermined value used as the threshold value in step S223 is desirably set with a certain margin from a value that cannot be detected. By such a process, it is possible to reduce the laser power as much as possible within a range in which appropriate sensing can be performed, thereby reducing power consumption and improving luminous efficiency.
- steps S220 to S223 are added based on the processing in FIG. 28.
- steps S220 to S223 are added based on the processing in FIG. 29 may be considered.
- FIG. 31 shows a second example of the parameter setting process.
- the control unit 9 measures the temperature in step S21. That is, the control unit 9 confirms the current temperature TMP based on the temperature detection signal from the temperature detection unit 10. Then, temperature-dependent calibration is performed in step S22. After that, in step S23, the driving unit 3 and the image sensor 7 are controlled so that the light emission of the light emitting unit 2 and the imaging by the image sensor 7 are started based on the parameters adjusted by the static calibration and the temperature corresponding calibration. Control.
- steps S21, S22, and S23 are continuously performed, and when sensing is completed, the control unit 9 ends the process from step S12. That is, the process of FIG. 31 is an example in which temperature calibration is performed as dynamic parameter control in addition to static parameter control.
- the laser power (drive current amount) is controlled according to the current temperature TMP.
- the driving current amount may be changed as a whole control for all the light emitting elements 2a, but the driving current amount may be individually (for each block) controlled according to the temperature distribution. Good.
- a parameter may be set so that light emission is performed a plurality of times in one frame as described above.
- the light emission / exposure is performed a plurality of times in one frame period Tf in order to avoid a further temperature rise as much as possible. This is preferable in that respect.
- Steps S10, S21, S22, and S23 are the same as those in FIG.
- the control unit 9 adjusts one or both of the light emission parameter and the sensor parameter in step S24 according to the brightness reflected in the image data.
- steps S21, S22, S23, and S24 are continuously executed, and at the end of sensing, the control unit 9 ends the process from step S12. That is, the processing in FIG. 32 is an example in which temperature calibration and calibration according to the reflectance of the subject S are performed as dynamic parameter control in addition to static parameter control.
- the light emission parameter adjustment the light emission period and the laser power are controlled in a range that does not saturate according to the change in the reflectance and the distance of the subject S. This can be adjusted for the entire light emitting element 2a or individually. For example, when the reflectance of a part of the subject S is high, the light emitting period Tp of the corresponding light emitting element 2a is shortened.
- gain adjustment and exposure period adjustment are performed in a range that does not saturate according to changes in the reflectance and the distance of the subject S.
- the laser light emitting elements 2a are set based on image data obtained by the image sensor 7 that receives light emitted from the laser light emitting elements 2a and reflected by the subject S to capture an image.
- a drive unit 3 is provided for driving each laser light emitting element 2a in accordance with a light emitting parameter that defines a light emitting operation of the laser light emitting element 2a for each predetermined unit. That is, the light source device 100 of the present embodiment does not adjust the emission parameters so as to equalize the emission laser power of the individual laser light emitting elements, but receives light at each pixel of the image sensor 7 as a result of laser irradiation.
- the light emission parameters of the plurality of laser light emitting elements are controlled for each predetermined unit (for example, for each individual or for each block). Therefore, the output laser power of each laser light emitting element is not necessarily made uniform, but the brightness of the captured image on the image sensor side can be controlled to a desired value.
- the image sensor 7 can be adjusted to appropriately perform imaging for necessary detection. For example, it is possible to accurately perform imaging for distance measurement, 3D shape estimation of an object, and the like, thereby improving the performance of the distance measurement sensor.
- the driving unit 3 can be driven by the light emission parameters set for each of the predetermined units of the light emitting elements 2a, so that the laser control can be flexibly performed according to the circumstances of the image sensor. .
- the drive unit 3 drives each laser light emitting element according to a light emission parameter for each predetermined unit variably set using the brightness of the image of the reflected light in the image data captured by the image sensor 7. . That is, the system is configured to feed back to the light emission parameter based on the luminance of the image of the light reflected by the target object (subject S) in the image captured by the image sensor 7.
- the drive unit 3 of the embodiment drives each laser light emitting element according to a light emission parameter for each predetermined unit, which is variably set in a direction to suppress a luminance variation of each pixel of image data by the image sensor 7. It is.
- the parameter setting is changed in a direction to suppress the power of the laser light emitting element 2a corresponding to a pixel with high luminance or in a direction to increase the power of the laser light emitting element 2a corresponding to a pixel with low luminance.
- the image sensor 7 having the dynamic range described above imaging for detection can be appropriately performed. Therefore, for example, even if the exposure is set to a dark point or to a bright point, it is not possible to take a picture correctly and to overcome a situation in which accurate coordinates cannot be obtained. . In particular, it is possible to achieve uniformity within the dynamic range of the image sensor 7 and even more accurate uniformity of the brightness of the pixels of the image data obtained by the image sensor 7, which can be detected as a distance measurement sensor. This leads to improved accuracy. In addition, as a result of applying this technology, the output of the light source corresponding to "bright spots that were dark in the conventional method" will be relatively increased, and the S / N ratio (signal-noise ratio) will be improved. Can be.
- the exposure setting can be changed to a high gain. That is, it is easy to set the exposure time to be short, so that the laser emission time can also be shortened, and there is also an effect that low power consumption can be promoted as a whole.
- the laser light emitting element 2a of the embodiment is a VCSEL (vertical cavity surface emitting laser).
- the drive unit 3 is formed so as to realize driving of the laser light emitting element 2a as a VCSEL in predetermined units.
- the light source device 100 included in the distance measuring device 1 realizes flexible light emission, and particularly in the case of the present embodiment, control according to the circumstances of the image sensor 7 becomes possible.
- the technology of the present disclosure is not limited to the VCSEL, and can be applied to a light source device including another type of laser light emitting element.
- a control unit 9 that generates a light emission parameter corresponding to each predetermined unit based on image data obtained by the image sensor 7 may be provided.
- the control unit 9 is provided in the light source device 100 (for example, in a chip as the light source device 100).
- the control unit 9 integrated with the light emitting unit 2 and the driving unit 3 as the light source device 100 (for example, in the same chip)
- a configuration advantageous for setting and transferring the light emission parameter for each predetermined unit is obtained. be able to.
- the control unit 9 also performs a process of generating a sensor parameter that defines a sensing operation of the image sensor 7 based on the image data obtained by the image sensor 7 and supplying the sensor parameter to the image sensor 7 (FIGS. 27, 28, and 28). 29, 30, 30, 31, and 32). That is, both the light emission parameter of the light emitting element 2a and the sensor parameter of the image sensor 7 are adjusted based on the image data obtained by the image sensor 7. As a result, not only the control of the laser light emitting element 2a but also the control of the image sensor 7, for example, the effect of adjusting the gain and the exposure time can be added, and the variation of the image data in each pixel can be effectively reduced. Data can be obtained.
- the light emitting period Tp of the laser light emitting element 2a is synchronized with the exposure period Tr, even when the light emitting period Tp is changed, the synchronization of the light emission and the exposure is appropriately performed by similarly controlling the exposure period Tr. Can be taken.
- the drive unit 3 of the embodiment controls the drive timing of the laser light emitting element for each predetermined unit according to the light emission parameter (see FIGS. 22, 24, and 25).
- the light receiving luminance on the image sensor 7 side can be variably adjusted for each predetermined unit of the laser light emitting element 2a. Therefore, the light receiving state suitable for detection can be controlled.
- the drive unit 3 of the embodiment controls the drive timing for each predetermined unit so that the emission period length of the laser light emitting element 2a is variably controlled for each predetermined unit. That is, the drive unit 3 variably controls the laser emission elements 2a in a predetermined unit so that the emission period length is not always uniform. Depending on the length of the light emitting period of the laser light emitting element, the light receiving luminance on the image sensor 7 side can be adjusted. Therefore, the light receiving state suitable for detection can be controlled. In particular, even when the optical power cannot be made uniform for each predetermined unit, the optical energy can be made uniform by the length of one light emission period.
- emission that cancels out the spatial distribution of the transmittance of the optical system can be realized depending on the length of the light emitting period. In addition, it is possible to realize an emission that cancels out the difference in the reflectance of the subject, depending on the length of the light emission period. In addition, depending on the length of the light emission period, it is possible to realize an emission that offsets the difference in distance from the subject.
- the drive unit 3 of the embodiment controls the drive timing for each predetermined unit so that the light emission start timing (start timing Tst) of the laser light emitting element 2a is variably controlled for each predetermined unit. That is, the drive unit 3 variably controls the laser light emitting elements 2a in a predetermined unit so that the light emission start timings are not always the same.
- the drive unit 3 variably controls the laser light emitting elements 2a in a predetermined unit so that the light emission start timings are not always the same.
- the light emission period length can be changed.
- shifting the light emission start timing of the laser light emitting element it is possible to reduce an instantaneous increase in the amount of current in the circuit wiring in the drive unit 3, and to reduce the adverse effect due to a sudden current change in the drive unit 3. For example, it is possible to prevent the operation from becoming unstable due to a sudden power supply load fluctuation.
- the drive unit 3 of the embodiment controls the drive timing for each predetermined unit so that the emission end timing (end timing Ted) of the laser light emitting element 2a is variably controlled for each predetermined unit. . That is, the drive unit 3 variably controls the laser emission elements 2a in a predetermined unit so that the emission end timings are not always the same.
- the emission period length can also be changed by shifting the emission end timing of the laser light emitting element.
- the drive unit 3 of the embodiment controls the amount of drive current of the laser light emitting element 2a for each predetermined unit according to the light emission parameter. That is, the light emission power of the laser light emitting element 2a is variably controlled.
- the light receiving luminance on the image sensor 7 side can be variably adjusted for each predetermined unit of the laser light emitting element 2a. Therefore, the light receiving state suitable for detection can be controlled.
- the driving unit 3 controls the number of times of light emission of the laser light emitting element 2a in one frame period of the image sensor according to the light emission parameter.
- the light emission frequency control can also be used as a method for obtaining an appropriate light receiving state on the image sensor side.
- a temperature sensor 10a (temperature detecting unit 10) that detects a temperature near the laser light emitting element 2a
- the driving unit 3 is configured to detect the temperature of the laser light emitting element 2a based on the detection value of the temperature sensor 10a.
- the driving unit variably controls the light emission timing of the laser light emitting element, the amount of drive current, or the number of times of light emission in one frame even when the temperature changes (see FIG. 31). Thereby, it is possible to reduce the influence of the characteristic change (change of the laser power) according to the temperature on the image data of the image sensor.
- the imaging device 101 receives an image sensor 7 that receives light emitted from the plurality of laser light emitting elements 2a of the light source device 100 and reflected by the subject S and captures an image.
- the example includes a control unit 9 that generates a light emission parameter that defines a light emission operation of the laser light emitting element 2a for each predetermined unit and supplies the light emission parameter to the light source device 100 (drive unit 3).
- the control unit 9 is provided in the imaging device 101. This makes it possible to control the brightness of the captured image on the image sensor 7 side to a desired value, and to provide the imaging apparatus 101 that can accurately perform, for example, distance measurement or 3D shape estimation of an object.
- the ranging device 1 of the embodiment can be configured as a sensing module.
- the sensing module includes: a plurality of laser light emitting elements 2a; an image sensor 7 that receives light emitted from the plurality of laser light emitting elements 2a and reflected by the subject S to capture an image;
- the control unit 9 includes a control unit 9 that generates a light emission parameter that defines a light emitting operation of the laser light emitting element 2a for each predetermined unit, and a drive unit 2 that drives each laser light emitting element 2a according to the light emitting parameter for each predetermined unit.
- This realizes a sensing module that performs, for example, distance measurement and object recognition.
- by setting the light emission parameter of the laser light emitting element for each predetermined unit it is possible to perform appropriate exposure / exposure in image data on the image sensor side. Imaging becomes possible.
- the control unit 9 in the distance measuring apparatus 1 controls the laser emission based on the imaging data obtained by the image sensor 7 in a state where the driving unit 3 drives the plurality of laser light emitting elements 2a to emit light with the same emission parameter.
- the static parameter control is as shown in FIGS.
- light emission parameter setting as static calibration can be executed. That is, static characteristics such as characteristic variations of each laser light emitting element, optical characteristics of the emission-side optical system 5 (for example, spatial distribution of transmittance), and optical characteristics of the image-sensor-side optical system 6 (for example, spatial distribution of transmittance). It is possible to realize the generation of the light emission parameter that reduces the variation in the luminance of each pixel of the imaging data caused by various conditions.
- control unit 9 variably controls the light emission parameter of the laser light emitting element based on the detection result of the temperature sensor 10a near the laser light emitting element 2a (see FIG. 31).
- light emission parameter setting as dynamic calibration corresponding to a temperature change during the light emission operation can be executed.
- the output laser power decreases due to a rise in temperature. Therefore, the light emission parameter is controlled in accordance with the temperature rise, so that the pixel variation of the image data obtained by the image sensor 7 is prevented from spreading.
- a temperature distribution often occurs in the surface direction defined as the emission surface of the laser light emitting element 2a.
- the temperature tends to be higher near the center of the surface.
- Such a temperature distribution in the plane direction also causes a decrease in luminance of a pixel near the center on the image sensor side. Therefore, if the laser output power can be adjusted by controlling the amount of current and the length of the light emission period for each predetermined unit of laser light emitting elements in accordance with the temperature, the appropriate imaging state of the image sensor 7 can be adjusted regardless of the temperature change. It can be maintained.
- control unit 9 changes the light emission parameter of the laser light emitting element 2a for each predetermined unit based on the image data obtained by the image sensor 7 during the detection of the object (subject S) has been described (see FIG. 32).
- This also enables the setting of the light emission parameter as dynamic calibration. That is, it is possible to variably set the light emission parameter so as to reduce the variation in the brightness of each pixel of the imaging data caused by the distance to the detection target, the reflectance of the target, the reflectance distribution, and the like.
- a plurality of laser light emitting elements In accordance with a light emission parameter that defines a light emitting operation of the laser light emitting element for each predetermined unit, which is set based on image data obtained by an image sensor that receives light reflected by a subject emitted from the laser light emitting element and captures light. And a drive unit for driving each laser light emitting element.
- the said drive part drives each laser light emitting element according to the light emission parameter for every said predetermined unit variably set using the brightness
- the driving unit drives each laser light emitting element according to a light emitting parameter for each of the predetermined units, which is variably set in a direction to suppress a luminance variation of each pixel of image data obtained by the image sensor.
- the light source device according to (2) The light source device according to (2).
- the control unit includes: The light source device according to (5), wherein a sensor parameter that defines a sensing operation of the image sensor is generated based on image data obtained by the image sensor and supplied to the image sensor. (7) The light source device according to any one of (1) to (6), wherein the driving unit controls a drive timing of the laser light emitting element for each of the predetermined units according to a light emission parameter. (8) The light source device according to (7), wherein the driving unit controls the drive timing for each of the predetermined units so that the emission period length of the laser light emitting element is variably controlled for each of the predetermined units.
- the drive unit controls the drive timing for each of the predetermined units so that the light emission start timing of the laser light emitting element is variably controlled for each of the predetermined units.
- Light source device The drive unit controls the drive timing for each of the predetermined units so that the emission end timing of the laser light emitting element is variably controlled for each of the predetermined units.
- the light source device according to item 1.
- (11) The light source device according to any one of (1) to (10), wherein the drive unit controls a drive current amount of the laser light emitting element for each predetermined unit according to a light emission parameter.
- the light source device according to any one of (1) to (11), wherein the driving unit controls the number of times of light emission of the laser light emitting element in one frame period of the image sensor according to a light emission parameter.
- the driving unit controls the number of times of light emission of the laser light emitting element in one frame period of the image sensor according to a light emission parameter.
- a temperature sensor that detects a temperature near the laser light emitting element, The drive unit drives each laser light emitting element according to a light emission parameter which is set based on a detection value of the temperature sensor and defines a light emitting operation of the laser light emitting element for each predetermined unit.
- the light source device according to any of (12).
- An image sensor that receives light emitted from the plurality of laser light emitting elements of the light source device and reflected by the subject to capture an image
- a control unit configured to generate a light emission parameter that defines a light emission operation of the laser light emitting element for each predetermined unit based on data captured by the image sensor, and to supply the light emission parameter to the light source device.
- the control unit includes: Based on image data obtained by the image sensor, generates a sensor parameter that defines a sensing operation of the image sensor, and supplies the sensor parameter to the image sensor.
- the imaging device according to (14), wherein the image sensor performs an imaging operation based on a sensor parameter.
- a plurality of laser light emitting elements An image sensor that receives and reflects light emitted from a plurality of the laser light emitting elements and reflected by a subject, and A control unit configured to generate a light emission parameter that defines a light emission operation of the laser light emitting element for each predetermined unit based on imaging data obtained by the image sensor; A drive unit for driving each laser light emitting element according to the light emission parameter for each of the predetermined units.
- the control unit includes: Based on image data obtained by the image sensor, generates a sensor parameter that defines a sensing operation of the image sensor, and supplies the sensor parameter to the image sensor.
- the sensing module according to (16), wherein the image sensor performs an imaging operation based on a sensor parameter.
- the control unit includes: In a state where the driving unit drives the plurality of laser light emitting elements to emit light with the same light emitting parameter, based on imaging data obtained by the image sensor, a light emitting parameter for defining a light emitting operation of the laser light emitting element for each predetermined unit.
- the sensing module according to the above (16) or (17).
- the control unit includes: The sensing module according to any one of (16) to (18), wherein a light emission parameter of the laser light emitting element is variably controlled based on a detection result of a temperature sensor near the laser light emitting element.
- the control unit includes: The sensing module according to any one of (16) to (19), wherein a light emission parameter for each predetermined unit of the laser light emitting element is varied based on image data obtained by an image sensor during detection of an object.
- SYMBOLS 1 ... Distance measuring device, 2 ... Light emitting part, 2a ... Light emitting element, 3 ... Drive part, 4 ... Power supply circuit, 5 ... Light emitting side optical system, 6 ... Imaging side optical system, 7 ... Image sensor, 8 ... Image processing part , 9 ... Control unit, 9a ... Distance measuring unit, 10 ... Temperature detecting unit, 10a ... Temperature sensor, 100 ... Light source device, 101 ... Imaging device
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Semiconductor Lasers (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
レーザ光を対象物に照射して測距や物体認識等を行う場合にイメージセンサ側で検出に適した撮像が行われるようにする。このため光源装置は、複数のレーザ発光素子と、駆動部を備える。駆動部は、レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する。
Description
本技術は光源装置、撮像装置、センシングモジュールに関し、特に光源装置から出射する光の反射光を撮像装置で撮像し、距離や形状などのセンシングを行う技術分野に関する。
複数のレーザ発光素子を配置した多灯レーザとしての光源装置を発光させ、検出の対象物による反射光を撮像装置で撮像することにより、対象物までの距離や対象物の3D(three-dimensional:3次元)形状推定を行う距離計測装置の技術が知られている。
下記特許文献1には、複数の発光素子の電流量制御に関する技術が開示されている。
下記特許文献2には、複数の発光素子の温度による光量変化を補正する技術が開示されている。
下記特許文献2には、複数の発光素子の温度による光量変化を補正する技術が開示されている。
ところで、上記のような距離計測装置において、レーザ発光素子の製造ばらつき、温度の変動、光学系の特性などにより、撮像装置側で得られる画像上の輝点の輝度が均一にならない。
そのため、暗い点に併せて露出(ゲイン・露光時間)を調整すると、明るい点が飽和してしまい、正確な座標を得ることができない。
同様に、明るい点に併せて露出を調整すると、暗い点が写らず、同じく正確な座標を得ることができない。
そのため、暗い点に併せて露出(ゲイン・露光時間)を調整すると、明るい点が飽和してしまい、正確な座標を得ることができない。
同様に、明るい点に併せて露出を調整すると、暗い点が写らず、同じく正確な座標を得ることができない。
また、多灯光源を均一に光らせるために、発光素子の電流量・タイミングを制御する技術は存在するが、これらは光路上の光学素子は対象物の反射率を考慮することができず、結果として得られる画像上の輝度において、ばらつきの成分の影響を排除することができない。
そこで本技術は、光源装置からレーザ光を出射し、対象物からの反射光を撮像装置で受光・撮像する場合に、センシングのための適切な撮像データが得られるようにすることを目的とする。
そこで本技術は、光源装置からレーザ光を出射し、対象物からの反射光を撮像装置で受光・撮像する場合に、センシングのための適切な撮像データが得られるようにすることを目的とする。
本技術に係る光源装置は、複数のレーザ発光素子と、前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する駆動部とを備える。
例えば光源装置から出射した光を被写体に反射させ、反射光をイメージセンサで受光・撮像することで、測距や物体認識等を行うことを想定する。このような場合において、複数のレーザ発光素子から均一なパラメータでレーザ照射駆動を行っても、イメージセンサに受光される際には、各レーザ発光素子の特性ばらつきや光経路の事情により、必ずしも均一な受光レベルとはならない。あくまでも、イメージセンサ側で、各種検出に適した状態で受光ができるようにしたい。そこでイメージセンサによる撮像データに基づいて発光パラメータが設定されるようにする。
なお所定単位とは、1つのレーザ発光素子の単位であったり、ブロック化された複数のレーザ発光素子の単位などである。
例えば光源装置から出射した光を被写体に反射させ、反射光をイメージセンサで受光・撮像することで、測距や物体認識等を行うことを想定する。このような場合において、複数のレーザ発光素子から均一なパラメータでレーザ照射駆動を行っても、イメージセンサに受光される際には、各レーザ発光素子の特性ばらつきや光経路の事情により、必ずしも均一な受光レベルとはならない。あくまでも、イメージセンサ側で、各種検出に適した状態で受光ができるようにしたい。そこでイメージセンサによる撮像データに基づいて発光パラメータが設定されるようにする。
なお所定単位とは、1つのレーザ発光素子の単位であったり、ブロック化された複数のレーザ発光素子の単位などである。
上記した本技術に係る光源装置においては、前記駆動部は、前記イメージセンサによる撮像データにおける反射光の像の輝度を用いて可変設定された前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動することが考えられる。
即ちイメージセンサで撮像された画像に写る、光源の対象物による反射光の像の輝度を基準として、発光パラメータへフィードバックするシステムとする。
即ちイメージセンサで撮像された画像に写る、光源の対象物による反射光の像の輝度を基準として、発光パラメータへフィードバックするシステムとする。
上記した本技術に係る光源装置においては、前記駆動部は、前記イメージセンサによる撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動することが考えられる。
即ち所定単位毎(例えば個々)のレーザ発光素子の発光パラメータを個別に設定するが、それは、イメージセンサ側で得られる撮像データの各画素の輝度ばらつきを抑制する方向に設定されたものとする。
例えば撮像データにおいて輝度が高い画素に対応するレーザ発光素子のパワーを抑える方向であったり、輝度が低い画素に対応するレーザ発光素子のパワーを上げる方向でのパラメータ設定変更が行われる。
即ち所定単位毎(例えば個々)のレーザ発光素子の発光パラメータを個別に設定するが、それは、イメージセンサ側で得られる撮像データの各画素の輝度ばらつきを抑制する方向に設定されたものとする。
例えば撮像データにおいて輝度が高い画素に対応するレーザ発光素子のパワーを抑える方向であったり、輝度が低い画素に対応するレーザ発光素子のパワーを上げる方向でのパラメータ設定変更が行われる。
上記した本技術に係る光源装置においては、前記レーザ発光素子は、垂直共振器面発光レーザであることが考えられる。
即ちVCSEL(Vertical Cavity Surface Emitting LASER)と呼ばれる光源装置を想定する。
即ちVCSEL(Vertical Cavity Surface Emitting LASER)と呼ばれる光源装置を想定する。
上記した本技術に係る光源装置においては、前記イメージセンサによる撮像データに基づいて、前記所定単位毎に対応する発光パラメータを生成する制御部を備えることが考えられる。
即ち光源装置内(例えば光源装置としてのチップ内)において、イメージセンサ側の撮像データを解析して、所定単位毎のレーザ発光素子に対応する発光パラメータを生成する制御部を設けるようにする。
即ち光源装置内(例えば光源装置としてのチップ内)において、イメージセンサ側の撮像データを解析して、所定単位毎のレーザ発光素子に対応する発光パラメータを生成する制御部を設けるようにする。
上記した本技術に係る光源装置においては、前記制御部は、前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給することが考えられる。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
上記した本技術に係る光源装置においては、前記駆動部は、発光パラメータに応じて、前記所定単位毎にレーザ発光素子の駆動タイミングを制御することが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光を行う時点又は時間を可変制御する。
この場合、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光期間長が必ずしも均一でないように可変制御する。
また、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光開始タイミングが必ずしも同じタイミングでないように可変制御する。
また、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光終了タイミングが必ずしも同じタイミングでないように可変制御する。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光を行う時点又は時間を可変制御する。
この場合、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光期間長が必ずしも均一でないように可変制御する。
また、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光開始タイミングが必ずしも同じタイミングでないように可変制御する。
また、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光終了タイミングが必ずしも同じタイミングでないように可変制御する。
上記した本技術に係る光源装置においては、前記駆動部は、発光パラメータに応じて、前記レーザ発光素子の所定単位毎の駆動電流量を制御することが考えられる。
即ち駆動部はレーザ発光素子の発光パワーを可変制御する。
また上記した本技術に係る光源装置においては、前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御することが考えられる。
即ち駆動部は1フレーム期間でのレーザ発光素子の発光回数を可変制御する。
即ち駆動部はレーザ発光素子の発光パワーを可変制御する。
また上記した本技術に係る光源装置においては、前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御することが考えられる。
即ち駆動部は1フレーム期間でのレーザ発光素子の発光回数を可変制御する。
上記した本技術に係る光源装置においては、前記レーザ発光素子の近傍温度を検出する温度センサを備え、前記駆動部は、前記温度センサの検出値に基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動することが考えられる。
即ち駆動部は温度変化に応じても、レーザ発光素子の発光タイミング、駆動電流量、或いは1フレーム内の発光回数を可変制御するようにする。
即ち駆動部は温度変化に応じても、レーザ発光素子の発光タイミング、駆動電流量、或いは1フレーム内の発光回数を可変制御するようにする。
本技術に係る撮像装置は、光源装置の複数のレーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成し、前記光源装置に供給する制御部とを備える。
光源装置から出射した光を被写体に反射させ、反射光をイメージセンサで受光・撮像することで測距や物体認識を行う。このときにイメージセンサ側で例えばばらつきの少ない受光ができるようにレーザ発光素子の所定単位毎に発光パラメータを設定する。
また上記した本技術に係る撮像装置においては、前記制御部は、前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、前記イメージセンサは、センサパラメータに基づいて撮像動作を行うことが考えられる。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
光源装置から出射した光を被写体に反射させ、反射光をイメージセンサで受光・撮像することで測距や物体認識を行う。このときにイメージセンサ側で例えばばらつきの少ない受光ができるようにレーザ発光素子の所定単位毎に発光パラメータを設定する。
また上記した本技術に係る撮像装置においては、前記制御部は、前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、前記イメージセンサは、センサパラメータに基づいて撮像動作を行うことが考えられる。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
本技術に係るセンシングモジュールは、複数のレーザ発光素子と、複数の前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する制御部と、前記所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動する駆動部とを備える。
例えば測距や物体認識等を行うセンシングモジュールを構成する。この場合において、所定単位毎にレーザ発光素子の発光パラメータを設定することで、イメージセンサ側の撮像データにおいて適切な露光・撮像ができるようになる。
例えば測距や物体認識等を行うセンシングモジュールを構成する。この場合において、所定単位毎にレーザ発光素子の発光パラメータを設定することで、イメージセンサ側の撮像データにおいて適切な露光・撮像ができるようになる。
上記した本技術に係るセンシングモジュールにおいては、前記制御部は、前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、前記イメージセンサは、センサパラメータに基づいて撮像動作を行うことが考えられる。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
また上記した本技術に係るセンシングモジュールにおいては、前記制御部は、前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で、前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成することが考えられる。
つまり全レーザ発光素子を同じ状態で発光駆動させて、その際におけるイメージセンサによる撮像画像を解析して、所定単位のレーザ発光素子毎の発光パラメータを生成する。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
また上記した本技術に係るセンシングモジュールにおいては、前記制御部は、前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で、前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成することが考えられる。
つまり全レーザ発光素子を同じ状態で発光駆動させて、その際におけるイメージセンサによる撮像画像を解析して、所定単位のレーザ発光素子毎の発光パラメータを生成する。
上記した本技術に係るセンシングモジュールにおいては、前記制御部は、前記レーザ発光素子の近傍の温度センサの検出結果に基づいて、前記レーザ発光素子の発光パラメータを可変制御することが考えられる。
レーザ発光素子は温度特性を有し、温度によって出力が変化する。そこで温度に応じた動的な発光パラメータ調整も行う。
また上記した本技術に係るセンシングモジュールにおいては、前記制御部は、対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変することが考えられる。
イメージセンサ側での受光レベルには対象物との距離や対象物の反射率も影響する。そこで、対象物に対する検出中もイメージセンサで得られる撮像データを解析し、発光パラメータ調整を行う。
レーザ発光素子は温度特性を有し、温度によって出力が変化する。そこで温度に応じた動的な発光パラメータ調整も行う。
また上記した本技術に係るセンシングモジュールにおいては、前記制御部は、対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変することが考えられる。
イメージセンサ側での受光レベルには対象物との距離や対象物の反射率も影響する。そこで、対象物に対する検出中もイメージセンサで得られる撮像データを解析し、発光パラメータ調整を行う。
本技術によれば、イメージセンサ側での撮像画像上の輝度を所望の値に制御することができるようになる。これにより距離や形状のセンシングのための正確な座標検出ができ、センシング性能を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、実施の形態を次の順序で説明する。
<1.測距装置の全体構成>
<2.測距手法について>
<3.発光駆動に係る回路構成>
<4.基板構成のバリエーション>
<5.VCSELの構造例>
<6.第1の実施の形態:複数回発光>
<7.第2の実施の形態:温度に応じた適応的な複数回発光>
<8.第3の実施の形態:面内で異なる回数露光>
<9.第4の実施の形態:発光パラメータの個別設定>
<10.パラメータ設定処理例>
<11.まとめ及び変形例>
<1.測距装置の全体構成>
<2.測距手法について>
<3.発光駆動に係る回路構成>
<4.基板構成のバリエーション>
<5.VCSELの構造例>
<6.第1の実施の形態:複数回発光>
<7.第2の実施の形態:温度に応じた適応的な複数回発光>
<8.第3の実施の形態:面内で異なる回数露光>
<9.第4の実施の形態:発光パラメータの個別設定>
<10.パラメータ設定処理例>
<11.まとめ及び変形例>
<1.測距装置の全体構成>
図1は本技術に係る実施の形態としての測距装置1の構成例を示している。
なお、この例では、測距装置1は、光源装置100と撮像装置101を有する構成としている。
図示のように測距装置1は、光源装置100として発光部2、駆動部3、電源回路4、発光側光学系5、温度検出部10を備え、撮像装置101として撮像側光学系6、イメージセンサ7、画像処理部8を備えている。また測距装置1は制御部9を備えている。
制御部9は光源装置100に含まれる場合、撮像装置101に含まれる場合、或いは、光源装置100や撮像装置101とは別体に構成される場合がある。
図1は本技術に係る実施の形態としての測距装置1の構成例を示している。
なお、この例では、測距装置1は、光源装置100と撮像装置101を有する構成としている。
図示のように測距装置1は、光源装置100として発光部2、駆動部3、電源回路4、発光側光学系5、温度検出部10を備え、撮像装置101として撮像側光学系6、イメージセンサ7、画像処理部8を備えている。また測距装置1は制御部9を備えている。
制御部9は光源装置100に含まれる場合、撮像装置101に含まれる場合、或いは、光源装置100や撮像装置101とは別体に構成される場合がある。
発光部2は、複数の光源により光を発する。後述するように、本例の発光部2は、各光源としてVCSELによるレーザ発光素子2a(以下、単に「発光素子2a」ともいう)を有しており、それら発光素子2aが例えばマトリクス状等の所定態様により配列されて構成されている。
駆動部3は、発光部2を駆動するための電気回路を有して構成される。
電源回路4は、例えば測距装置1に設けられた不図示のバッテリ等からの入力電圧(後述する入力電圧Vin)に基づき、駆動部3の電源電圧(後述する駆動電圧Vd)を生成する。駆動部3は、該電源電圧に基づいて発光部2を駆動する。
電源回路4は、例えば測距装置1に設けられた不図示のバッテリ等からの入力電圧(後述する入力電圧Vin)に基づき、駆動部3の電源電圧(後述する駆動電圧Vd)を生成する。駆動部3は、該電源電圧に基づいて発光部2を駆動する。
発光部2より発せられた光は、発光側光学系5を介して測距対象としての被写体Sに照射される。そして、このように照射された光の被写体Sからの反射光は、撮像側光学系6を介してイメージセンサ7の撮像面に入射する。
イメージセンサ7は、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子とされ、上記のように撮像側光学系6を介して入射する被写体Sからの反射光を受光し、電気信号に変換して出力する。
イメージセンサ7は、受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像信号を、後段の画像処理部8に出力する。
また、本例のイメージセンサ7は、フレーム同期信号Fsを駆動部3に出力する。これにより駆動部3は、発光部2における発光素子2aをイメージセンサ7のフレーム周期に応じたタイミングで発光させることが可能とされる。
イメージセンサ7は、受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像信号を、後段の画像処理部8に出力する。
また、本例のイメージセンサ7は、フレーム同期信号Fsを駆動部3に出力する。これにより駆動部3は、発光部2における発光素子2aをイメージセンサ7のフレーム周期に応じたタイミングで発光させることが可能とされる。
画像処理部8は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。画像処理部8は、イメージセンサ7から入力されるデジタル信号(画像信号)に対して、各種の画像信号処理を施す。
制御部9は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータ、或いはDSP等の情報処理装置を備えて構成され、発光部2による発光動作を制御するための駆動部3の制御や、イメージセンサ7による撮像動作に係る制御を行う。
制御部9は、測距部9aとしての機能を有する。測距部9aは、画像処理部8を介して入力される画像信号(つまり被写体Sからの反射光を受光して得られる画像信号)に基づき、被写体Sまでの距離を測定する。本例の測距部9aは、被写体Sの三次元形状の特定を可能とするために、被写体Sの各部について距離の測定を行う。
ここで、測距装置1における具体的な測距の手法については後に改めて説明する。
また、制御部9は、電源回路4に対する制御を行う構成とされる場合もある。
ここで、測距装置1における具体的な測距の手法については後に改めて説明する。
また、制御部9は、電源回路4に対する制御を行う構成とされる場合もある。
温度検出部10は、発光部2の温度を検出する。温度検出部10としては、例えばダイオードを用いて温度検出を行う構成を採ることができる。
温度検出部10による検出信号は、制御部53によって検知されて必要な制御が行われる。但し破線で示すように、温度検出部10の検出信号を駆動部3が検知して、駆動部3が発光部2の発光素子2aの駆動を可変する構成も考えられる。
なお、温度検出部10の構成、及び温度検出部10による温度検出結果に応じて制御部9が実行する具体的な処理については後に改めて説明する。
温度検出部10による検出信号は、制御部53によって検知されて必要な制御が行われる。但し破線で示すように、温度検出部10の検出信号を駆動部3が検知して、駆動部3が発光部2の発光素子2aの駆動を可変する構成も考えられる。
なお、温度検出部10の構成、及び温度検出部10による温度検出結果に応じて制御部9が実行する具体的な処理については後に改めて説明する。
<2.測距手法について>
測距装置1における測距手法としては、例えばSTL(Structured Light:構造化光)方式やToF(Time of Flight:光飛行時間)方式による測距手法を採用することができる。
STL方式は、例えばドットパターンや格子パターン等の所定の明/暗パターンを有する光を照射された被写体Sを撮像して得られる画像に基づいて距離を測定する方式である。
測距装置1における測距手法としては、例えばSTL(Structured Light:構造化光)方式やToF(Time of Flight:光飛行時間)方式による測距手法を採用することができる。
STL方式は、例えばドットパターンや格子パターン等の所定の明/暗パターンを有する光を照射された被写体Sを撮像して得られる画像に基づいて距離を測定する方式である。
図2は、STL方式の説明図である。
STL方式では、例えば図2Aに示すようなドットパターンによるパターン光Lpを被写体Sに照射する。パターン光Lpは、複数のブロックBLに分割されており、各ブロックBLにはそれぞれ異なるドットパターンが割当てられている(ブロックB間でドットパターンが重複しないようにされている)。
STL方式では、例えば図2Aに示すようなドットパターンによるパターン光Lpを被写体Sに照射する。パターン光Lpは、複数のブロックBLに分割されており、各ブロックBLにはそれぞれ異なるドットパターンが割当てられている(ブロックB間でドットパターンが重複しないようにされている)。
図2Bは、STL方式の測距原理についての説明図である。
ここでは、壁Wとその前に配置された箱BXとが被写体Sとされ、該被写体Sに対してパターン光Lpが照射された例としている。図中の「G」はイメージセンサ7による画角を模式的に表している。
また、図中の「BLn」はパターン光Lpにおける或るブロックBLの光を意味し、「dn」はイメージセンサ7による撮像画像に映し出されるブロックBLnのドットパターンを意味している。
ここで、壁Wの前の箱BXが存在しない場合、撮像画像においてブロックBLnのドットパターンは図中の「dn’」の位置に映し出される。すなわち、箱BXが存在する場合と箱BXが存在しない場合とで、撮像画像においてブロックBLnのパターンが映し出される位置が異なるものであり、具体的には、パターンの歪みが生じる。
ここでは、壁Wとその前に配置された箱BXとが被写体Sとされ、該被写体Sに対してパターン光Lpが照射された例としている。図中の「G」はイメージセンサ7による画角を模式的に表している。
また、図中の「BLn」はパターン光Lpにおける或るブロックBLの光を意味し、「dn」はイメージセンサ7による撮像画像に映し出されるブロックBLnのドットパターンを意味している。
ここで、壁Wの前の箱BXが存在しない場合、撮像画像においてブロックBLnのドットパターンは図中の「dn’」の位置に映し出される。すなわち、箱BXが存在する場合と箱BXが存在しない場合とで、撮像画像においてブロックBLnのパターンが映し出される位置が異なるものであり、具体的には、パターンの歪みが生じる。
STL方式は、このように照射したパターンが被写体Sの物体形状によって歪むことを利用して被写体Sの形状や奥行きを求める方式となる。具体的には、パターンの歪み方から被写体Sの形状や奥行きを求める方式である。
STL方式を採用する場合、イメージセンサ7としては、例えばグローバルシャッタ方式によるIR(Infrared:赤外線)イメージセンサが用いられる。そして、STL方式の場合、測距部9aは、発光部2がパターン光を発光するように駆動部3を制御すると共に、画像処理部8を介して得られる画像信号についてパターンの歪みを検出し、パターンの歪み方に基づいて距離を計算する。
続いて、ToF方式は、発光部2より発された光が対象物で反射されてイメージセンサ7に到達するまでの光の飛行時間(時間差)を検出することで、対象物までの距離を測定する方式である。
ToF方式として、いわゆるダイレクトToF方式を採用する場合、イメージセンサ7としてはSPAD(Single Photon Avalanche Diode)を用い、また発光部2はパルス駆動する。この場合、測距部9aは、画像処理部8を介して入力される画像信号に基づき、発光部2より発せられイメージセンサ7により受光される光について発光から受光までの時間差を計算し、該時間差と光の速度とに基づいて被写体Sの各部の距離を計算する。
なお、ToF方式として、いわゆるインダイレクトToF方式(位相差法)を採用する場合、イメージセンサ7としては例えばIRイメージセンサが用いられる。
ToF方式として、いわゆるダイレクトToF方式を採用する場合、イメージセンサ7としてはSPAD(Single Photon Avalanche Diode)を用い、また発光部2はパルス駆動する。この場合、測距部9aは、画像処理部8を介して入力される画像信号に基づき、発光部2より発せられイメージセンサ7により受光される光について発光から受光までの時間差を計算し、該時間差と光の速度とに基づいて被写体Sの各部の距離を計算する。
なお、ToF方式として、いわゆるインダイレクトToF方式(位相差法)を採用する場合、イメージセンサ7としては例えばIRイメージセンサが用いられる。
<3.発光駆動に係る回路構成>
図3は、図1に示した発光部2と駆動部3と電源回路4とを有して構成された光源装置100の回路構成例を示している。なお、図3では光源装置100の回路構成例と共に、図1に示したイメージセンサ7と制御部9を併せて示している。
本例では、発光部2と駆動部3と電源回路4は共通の基板(後述する基板B)上に形成されている。ここでは、少なくとも発光部2を含み、発光部2と共通の基板上に形成される構成単位を光源装置100と呼んでいる。
図3は、図1に示した発光部2と駆動部3と電源回路4とを有して構成された光源装置100の回路構成例を示している。なお、図3では光源装置100の回路構成例と共に、図1に示したイメージセンサ7と制御部9を併せて示している。
本例では、発光部2と駆動部3と電源回路4は共通の基板(後述する基板B)上に形成されている。ここでは、少なくとも発光部2を含み、発光部2と共通の基板上に形成される構成単位を光源装置100と呼んでいる。
図示のように光源装置100は、発光部2と駆動部3と電源回路4と共に温度検出部10を備えている。
発光部2は、前述したようにVCSELとしての発光素子2aを複数備えている。図3では図示の都合から発光素子2aの数を「4」としているが、発光部2における発光素子2aの数はこれに限らず、少なくとも2以上とされればよい。
発光部2は、前述したようにVCSELとしての発光素子2aを複数備えている。図3では図示の都合から発光素子2aの数を「4」としているが、発光部2における発光素子2aの数はこれに限らず、少なくとも2以上とされればよい。
電源回路4は、DC/DCコンバータ40を備え、直流電圧による入力電圧Vinに基づき、駆動部3が発光部2の駆動に用いる駆動電圧Vd(直流電圧)を生成する。
駆動部3は、駆動回路30と駆動制御部31とを備えている。
駆動回路30は、発光素子2aごとにスイッチング素子Q1及びスイッチSWを有すると共に、スイッチング素子Q2と定電流源30aとを有している。
スイッチング素子Q1及びスイッチング素子Q2にはFET(field-effect transistor)が用いられ、本例ではPチャンネル型のMOSFET(MOS:metal-oxide-semiconductor)が用いられている。
駆動回路30は、発光素子2aごとにスイッチング素子Q1及びスイッチSWを有すると共に、スイッチング素子Q2と定電流源30aとを有している。
スイッチング素子Q1及びスイッチング素子Q2にはFET(field-effect transistor)が用いられ、本例ではPチャンネル型のMOSFET(MOS:metal-oxide-semiconductor)が用いられている。
各スイッチング素子Q1は、DC/DCコンバータ40の出力ライン、すなわち駆動電圧Vdの供給ラインに対して並列の関係に接続され、スイッチング素子Q2は、スイッチング素子Q1に対して並列接続されている。
具体的に、各スイッチング素子Q1及びスイッチング素子Q2は、ソースがDC/DCコンバータ40の出力ラインに接続されている。各スイッチング素子Q1のドレインは、発光部2における発光素子2aのうちそれぞれ対応する一つの発光素子2aのアノードと接続されている。
図示のように各発光素子2aのカソードはグランド(GND)に接続されている。
具体的に、各スイッチング素子Q1及びスイッチング素子Q2は、ソースがDC/DCコンバータ40の出力ラインに接続されている。各スイッチング素子Q1のドレインは、発光部2における発光素子2aのうちそれぞれ対応する一つの発光素子2aのアノードと接続されている。
図示のように各発光素子2aのカソードはグランド(GND)に接続されている。
スイッチング素子Q2は、ドレインが定電流源30aを介してグランドに接続され、ゲートがドレインと定電流源30aとの接続点に接続されている。
各スイッチング素子Q1のゲートは、それぞれ対応する一つのスイッチSWを介してスイッチング素子Q2のゲートに接続されている。
各スイッチング素子Q1のゲートは、それぞれ対応する一つのスイッチSWを介してスイッチング素子Q2のゲートに接続されている。
上記構成による駆動回路30においては、スイッチSWがONとされたスイッチング素子Q1が導通し、導通したスイッチング素子Q1に接続された発光素子2aに駆動電圧Vdが印加され、該発光素子2aが発光する。
このとき、発光素子2aには駆動電流Idが流れるが、上記構成による駆動回路30においてはスイッチング素子Q1とスイッチング素子Q2がカレントミラー回路を構成しており、駆動電流Idの電流値は定電流源30aの電流値に応じた値とされる。
駆動制御部31は、駆動回路30におけるスイッチSWのON/OFF制御を行うことで、発光素子2aのON/OFFを制御する。
駆動制御部31は、発光素子2aのON/OFF制御のタイミングやレーザパワー(駆動電流Idの電流値)等を制御部9からの指示に基づき決定する。例えば駆動制御部31は発光パラメータとしてこれらを指定する値を制御部9から受信し、それに応じて発光素子2aの駆動制御を行う。
また駆動制御部31にはイメージセンサ7よりフレーム同期信号Fsが供給されており、これにより駆動制御部31は発光素子2aのONタイミングやOFFタイミングをイメージセンサ7のフレーム周期に同期させることが可能とされている。
なお駆動制御部31がフレーム同期信号Fsや露光タイミングを示す信号をイメージセンサ7に送信する構成とされる場合もある。
さらに、制御部9がフレーム同期信号Fs発光と露光のタイミングを示す信号を駆動制御部31及びイメージセンサ7に送信する構成とされる場合もある。
駆動制御部31は、発光素子2aのON/OFF制御のタイミングやレーザパワー(駆動電流Idの電流値)等を制御部9からの指示に基づき決定する。例えば駆動制御部31は発光パラメータとしてこれらを指定する値を制御部9から受信し、それに応じて発光素子2aの駆動制御を行う。
また駆動制御部31にはイメージセンサ7よりフレーム同期信号Fsが供給されており、これにより駆動制御部31は発光素子2aのONタイミングやOFFタイミングをイメージセンサ7のフレーム周期に同期させることが可能とされている。
なお駆動制御部31がフレーム同期信号Fsや露光タイミングを示す信号をイメージセンサ7に送信する構成とされる場合もある。
さらに、制御部9がフレーム同期信号Fs発光と露光のタイミングを示す信号を駆動制御部31及びイメージセンサ7に送信する構成とされる場合もある。
ここで、図3では、スイッチング素子Q1を発光素子2aのアノード側に設けた構成を例示したが、図4に示す駆動回路30Aのように、スイッチング素子Q1を発光素子2aのカソード側に設けた構成とすることもできる。
この場合、発光部2における各発光素子2aは、アノードがDC/DCコンバータ40の出力ラインに接続されている。
カレントミラー回路を構成するスイッチング素子Q1及びスイッチング素子Q2には、Nチャンネル型のMOSFETが用いられる。スイッチング素子Q2は、ドレイン及びゲートが定電流源30aを介してDC/DCコンバータ40の出力ラインに接続され、ソースは定電流源30aを介してグランドに接続される。
各スイッチング素子Q1は、ドレインが対応する発光素子2aのカソードに接続され、ソースがグランドに接続される。各スイッチング素子Q1のゲートは、それぞれ対応するスイッチSWを介してスイッチング素子Q2のゲートとドレインに接続される。
この場合、発光部2における各発光素子2aは、アノードがDC/DCコンバータ40の出力ラインに接続されている。
カレントミラー回路を構成するスイッチング素子Q1及びスイッチング素子Q2には、Nチャンネル型のMOSFETが用いられる。スイッチング素子Q2は、ドレイン及びゲートが定電流源30aを介してDC/DCコンバータ40の出力ラインに接続され、ソースは定電流源30aを介してグランドに接続される。
各スイッチング素子Q1は、ドレインが対応する発光素子2aのカソードに接続され、ソースがグランドに接続される。各スイッチング素子Q1のゲートは、それぞれ対応するスイッチSWを介してスイッチング素子Q2のゲートとドレインに接続される。
この場合も駆動制御部31がスイッチSWのON/OFF制御を行うことで、発光素子2aをON/OFFさせることができる。
図5は、変形例としての光源装置100Aの構成例を示している。
光源装置100Aは、電源回路4に代えて電源回路4Aが設けられ、また駆動部3に代えて駆動部3Aが設けられている。
電源回路4Aは、複数のDC/DCコンバータ40を有する(図の例では二つ)。一方のDC/DCコンバータ40には入力電圧Vin1が、他方のDC/DCコンバータ40には入力電圧Vin2が供給される。駆動部3Aは、それぞれが異なるDC/DCコンバータ40から駆動電圧Vdを入力する複数の駆動回路30を備えている。図示のように各駆動回路30においては、定電流源30aに代えて可変電流源30bが設けられている。可変電流源30bは、電流値が可変の電流源とされる。
この場合、発光部2における発光素子2aは、それぞれON/OFF制御される駆動回路30が異なる複数の発光素子群に分けられる。
この場合の駆動制御部31は、各駆動回路30におけるスイッチSWのON/OFF制御を行う。
光源装置100Aは、電源回路4に代えて電源回路4Aが設けられ、また駆動部3に代えて駆動部3Aが設けられている。
電源回路4Aは、複数のDC/DCコンバータ40を有する(図の例では二つ)。一方のDC/DCコンバータ40には入力電圧Vin1が、他方のDC/DCコンバータ40には入力電圧Vin2が供給される。駆動部3Aは、それぞれが異なるDC/DCコンバータ40から駆動電圧Vdを入力する複数の駆動回路30を備えている。図示のように各駆動回路30においては、定電流源30aに代えて可変電流源30bが設けられている。可変電流源30bは、電流値が可変の電流源とされる。
この場合、発光部2における発光素子2aは、それぞれON/OFF制御される駆動回路30が異なる複数の発光素子群に分けられる。
この場合の駆動制御部31は、各駆動回路30におけるスイッチSWのON/OFF制御を行う。
この光源装置100Aのように、少なくともDC/DCコンバータ40と駆動回路30の組を複数系統に分けた構成とすることで、系統ごとに発光素子2aの駆動電流Idを異なる値とすることができる。例えば、系統ごとに駆動電圧Vdの電圧値、及び可変電流源30bの電流値を異ならせることで、系統ごとに駆動電流Idの値を異ならせることができる。また、DC/DCコンバータ40が駆動電流Idについて定電流制御を行う構成であれば、各DC/DCコンバータ40間でそれぞれ定電流制御の目標値を異ならせることで、系統ごとに駆動電流Idの値を異ならせることもできる。
図5のような構成を採る場合には、発光部2における発光強度分布や温度分布等に応じて系統ごとに駆動電圧Vdや駆動電流Idの値を異ならせることが考えられる。例えば、発光部2における温度が高い箇所に対応した系統について駆動電流Idを増やし且つ駆動電圧Vdを上げる等が考えられる。
<4.基板構成のバリエーション>
ここで、光源装置100としては、図6乃至図8に示す構成とすることができる。
光源装置100としては、図6Aに示すように、発光部2としての回路が形成されたチップCh2と、駆動部3としての回路が形成されたチップCh3と、電源回路4が形成されたチップCh4とを同一の基板B上に形成した構成とすることができる。
また、駆動部3と電源回路4は、同一のチップCh34に形成することもでき、その場合、光源装置100は、図6Bに示すようにチップCh2とチップCh34とを同一の基板B上に形成した構成とすることもできる。
ここで、光源装置100としては、図6乃至図8に示す構成とすることができる。
光源装置100としては、図6Aに示すように、発光部2としての回路が形成されたチップCh2と、駆動部3としての回路が形成されたチップCh3と、電源回路4が形成されたチップCh4とを同一の基板B上に形成した構成とすることができる。
また、駆動部3と電源回路4は、同一のチップCh34に形成することもでき、その場合、光源装置100は、図6Bに示すようにチップCh2とチップCh34とを同一の基板B上に形成した構成とすることもできる。
また、チップChに対して他のチップChを搭載した構成とすることもできる。
その場合、光源装置100としては、例えば図7Aのように、チップCh2を搭載したチップCh3とチップCh4とを基板B上に形成した構成や、図7BのようにチップCh2とチップCh4とを搭載したチップCh3を基板B上に形成した構成、或いは、図7CのようにチップCh2を搭載したチップCh34を基板B上に形成した構成とすることができる。
その場合、光源装置100としては、例えば図7Aのように、チップCh2を搭載したチップCh3とチップCh4とを基板B上に形成した構成や、図7BのようにチップCh2とチップCh4とを搭載したチップCh3を基板B上に形成した構成、或いは、図7CのようにチップCh2を搭載したチップCh34を基板B上に形成した構成とすることができる。
また、光源装置100は、イメージセンサ7を含む構成とすることもできる。
例えば、図8Aでは、チップCh2、チップCh3、チップCh4と共に、イメージセンサ7としての回路が形成されたチップCh7を同一の基板B上に形成した光源装置100の構成を例示している。
また、図8Bでは、チップCh2を搭載したチップCh34とチップCh7とを同一の基板B上に形成した光源装置100の構成を例示している。
例えば、図8Aでは、チップCh2、チップCh3、チップCh4と共に、イメージセンサ7としての回路が形成されたチップCh7を同一の基板B上に形成した光源装置100の構成を例示している。
また、図8Bでは、チップCh2を搭載したチップCh34とチップCh7とを同一の基板B上に形成した光源装置100の構成を例示している。
なお、前述した光源装置100Aについても、図6乃至図8で説明したものと同様の構成を採ることが可能である。
ここで、温度検出部10について、ダイオード等の温度検出素子は、例えば図6A、図6B、図8AのようにチップCh2が基板B上に形成されている場合には、基板BにおけるチップCh2の近傍位置(例えば基板B上におけるチップCh2の側方位置等)に形成すればよい。
また、図7A乃至図7Cや図8BのようにチップCh2が他のチップChに搭載された構成においては、温度検出素子は該他のチップChにおけるチップCh2の近傍位置(例えばチップCh2の真下となる位置等)に形成すればよい。
また、図7A乃至図7Cや図8BのようにチップCh2が他のチップChに搭載された構成においては、温度検出素子は該他のチップChにおけるチップCh2の近傍位置(例えばチップCh2の真下となる位置等)に形成すればよい。
温度検出部10は、ダイオード等の温度検出素子を有する温度センサ10aを複数有する構成とすることもできる。
図9は、温度検出部10が複数の温度センサ10aを有する場合における各温度センサ10aの配置例を示している。
この図9の例では、複数の温度センサ10aを一箇所に集中して位置させず、発光素子2aが配列される面に平行な面内において離散的に配置している。具体的に、複数の温度センサ10aは、例えば縦2×横2=4個等の所定個数の発光素子2aで成る発光ブロックごとに一つずつ配置することができる。このとき、各温度センサ10aは、発光素子2aが配列される面に平行な面内において等間隔に配置することもできる。
なお、図9では、9個の発光素子2aに対し4個の温度センサ10aを配置した例を示しているが、発光素子2a、温度センサ10aの配置数はこれに限定されるものではない。
図9は、温度検出部10が複数の温度センサ10aを有する場合における各温度センサ10aの配置例を示している。
この図9の例では、複数の温度センサ10aを一箇所に集中して位置させず、発光素子2aが配列される面に平行な面内において離散的に配置している。具体的に、複数の温度センサ10aは、例えば縦2×横2=4個等の所定個数の発光素子2aで成る発光ブロックごとに一つずつ配置することができる。このとき、各温度センサ10aは、発光素子2aが配列される面に平行な面内において等間隔に配置することもできる。
なお、図9では、9個の発光素子2aに対し4個の温度センサ10aを配置した例を示しているが、発光素子2a、温度センサ10aの配置数はこれに限定されるものではない。
図9の例のように複数の温度センサ10aを離散的に配置することで、発光部2の面内温度分布を検出することが可能となる。また、発光面におけるエリアごとの温度を検出し分けることができ、さらには、温度センサ10aの配置数を増やすことで発光素子2aごとの温度を検出し分けることも可能である。
<5.VCSELの構造例>
続いて、発光部2が形成されたチップCh2の構造例について図10及び図11を参照して説明しておく。
図10は、図6A、図6B、図8Aのように基板B上に形成される場合のチップCh2の構造例を示し、図11は、図7A乃至図7Cや図8Bのように他のチップCh上に搭載される場合のチップCh2の構造例を示している。
なお、図10、図11では一例として、駆動回路30が発光素子2aのアノード側に挿入された場合(図3参照)に対応した構造例を示す。
続いて、発光部2が形成されたチップCh2の構造例について図10及び図11を参照して説明しておく。
図10は、図6A、図6B、図8Aのように基板B上に形成される場合のチップCh2の構造例を示し、図11は、図7A乃至図7Cや図8Bのように他のチップCh上に搭載される場合のチップCh2の構造例を示している。
なお、図10、図11では一例として、駆動回路30が発光素子2aのアノード側に挿入された場合(図3参照)に対応した構造例を示す。
図10に示すように、チップCh2は、各発光素子2aに対応する部分がメサMとして形成されている。
チップCh2は、その基板として半導体基板20が用いられ、半導体基板20の下層側にはカソード電極Tcが形成されている。半導体基板20には、例えばGaAs(ヒ化ガリウム)基板が用いられる。
チップCh2は、その基板として半導体基板20が用いられ、半導体基板20の下層側にはカソード電極Tcが形成されている。半導体基板20には、例えばGaAs(ヒ化ガリウム)基板が用いられる。
半導体基板20上において、各メサMには、下層側から上層側にかけて順に第一多層膜反射鏡層21、活性層22、第二多層膜反射鏡層25、コンタクト層26、及びアノード電極Taが形成されている。
第二多層膜反射鏡層25の一部(具体的には下端部)には、電流狭窄層24が形成されている。また、活性層22を含み、第一多層膜反射鏡層21と第二多層膜反射鏡層25とに挟まれた部分が共振器23とされる。
第二多層膜反射鏡層25の一部(具体的には下端部)には、電流狭窄層24が形成されている。また、活性層22を含み、第一多層膜反射鏡層21と第二多層膜反射鏡層25とに挟まれた部分が共振器23とされる。
第一多層膜反射鏡層21は、N型導電性を示す化合物半導体で形成され、第二多層膜反射鏡層25はP型導電性を示す化合物半導体で形成されている。
活性層22は、レーザ光を発生させるための層とされ、電流狭窄層24は、活性層22に効率よく電流を注入し、レンズ効果をもたらす層とされる。
電流狭窄層24は、メサMを形成後に、酸化されていない状態で選択酸化が行われ、中心部の酸化領域(又は選択酸化領域という)24aと、酸化領域24aの周囲の酸化されていない未酸化領域24bとを有する。電流狭窄層24においては、これら酸化領域24aと未酸化領域24bとにより電流狭窄構造が形成され、未酸化領域24bとしての電流狭窄領域に電流が導電する。
コンタクト層26は、アノード電極Taとのオーミック接触を確実にするために設けられている。
アノード電極Taは、コンタクト層26上において、基板Bを平面視した際に例えば環状(リング状)等の中央部が開口された形状により形成されている。コンタクト層26において、上部にアノード電極Taが形成されてない部分は開口部26aとされている。
活性層22で発生した光は、共振器23内を往復した後、開口部26aを介して外部に出射される。
アノード電極Taは、コンタクト層26上において、基板Bを平面視した際に例えば環状(リング状)等の中央部が開口された形状により形成されている。コンタクト層26において、上部にアノード電極Taが形成されてない部分は開口部26aとされている。
活性層22で発生した光は、共振器23内を往復した後、開口部26aを介して外部に出射される。
ここで、チップCh2におけるカソード電極Tcは、基板Bにおける配線層に形成されたグランド配線Lgを介してグランドに接続される。
また、図中において、パッドPaは、基板B上に形成されたアノード電極用のパッドを表している。このパッドPaは、基板Bの配線層に形成された配線Ldを介して、駆動回路30が有する何れか一つのスイッチング素子Q1のドレインと接続されている。
また、図中において、パッドPaは、基板B上に形成されたアノード電極用のパッドを表している。このパッドPaは、基板Bの配線層に形成された配線Ldを介して、駆動回路30が有する何れか一つのスイッチング素子Q1のドレインと接続されている。
図中では、一つの発光素子2aのみについて、アノード電極Taが、チップCh2上に形成されたアノード配線La、ボンディングワイヤBWを介して一つのパッドPaに接続されることを示しているが、基板Bには発光素子2aごとのパッドPa及び配線Ldが形成され、またチップCh2上には発光素子2aごとのアノード配線Laがそれぞれ形成されており、個々の発光素子2aのアノード電極Taは、それぞれ対応するアノード配線La及びボンディングワイヤBWを介して対応するパッドPaに接続される。
続いて、図11の場合、チップCh2としては裏面照射型のチップCh2を用いる。すなわち、図10の例のように半導体基板20の上層側方向(表面方向)に光を出射するのではなく、半導体基板20の裏面方向に光を出射するタイプのチップCh2を用いる。
この場合、アノード電極Taには、光出射用の開口は形成されず、コンタクト層26に開口部26aは形成されない。
この場合、アノード電極Taには、光出射用の開口は形成されず、コンタクト層26に開口部26aは形成されない。
駆動部3(駆動回路30)が形成されたチップCh3(又はチップCh34:以下、図11の説明において同様)においては、発光素子2aごとに、アノード電極Taとの電気的接続を行うためのパッドPaが形成されている。チップCh3の配線層には、パッドPaごとに配線Ldが形成されている。図示は省略したが、これら配線Ldにより、各パッドPaは、チップCh3内に形成された駆動回路30における対応する一つのスイッチング素子Q1のドレインと接続される。
また、チップCh2において、カソード電極Tcは、それぞれ配線Lc1、配線Lc2を介して電極Tc1、電極Tc2と接続されている。電極Tc1、電極Tc2は、それぞれチップCh3に形成されたパッドPc1、パッドPc2と接続するための電極とされる。
チップCh3の配線層には、パッドPc1と接続されたグランド配線Lg1、パッドPc2と接続されたグランド配線Lg2が形成されている。図示は省略したが、これらグランド配線Lg1、Lg2はグランドに接続されている。
チップCh3の配線層には、パッドPc1と接続されたグランド配線Lg1、パッドPc2と接続されたグランド配線Lg2が形成されている。図示は省略したが、これらグランド配線Lg1、Lg2はグランドに接続されている。
チップCh2における各アノード電極TaとチップCh3における各パッドPaとの接続、及びチップCh2における電極Tc1、電極Tc2とチップCh3におけるパッドPc1、パッドPc2との接続はそれぞれ半田バンプHbを介して行われている。
つまり、この場合におけるチップCh2のチップCh3に対する実装は、いわゆるフリップチップ実装により行われている。
つまり、この場合におけるチップCh2のチップCh3に対する実装は、いわゆるフリップチップ実装により行われている。
<6.第1の実施の形態:複数回発光>
第1の実施の形態の動作として、光源装置100における複数回発光について説明する。ここで言う複数回とは、撮像装置101側の1フレーム、即ちイメージセンサ7における1枚の画像の露光、撮像の期間である1フレームにおいて、発光部2が複数回の発光を行うという意味である。
第1の実施の形態の動作として、光源装置100における複数回発光について説明する。ここで言う複数回とは、撮像装置101側の1フレーム、即ちイメージセンサ7における1枚の画像の露光、撮像の期間である1フレームにおいて、発光部2が複数回の発光を行うという意味である。
まず発光部2とイメージセンサ7において、発光と露光が同期されていることについて説明する。
図12は発光部2の発光素子2aの発光期間Tpとイメージセンサの露光期間Trを示している。ここでは1フレーム期間Tfに1回の発光及び1回の露光を行う例としている。
1フレーム期間Tfにおいて、露光期間Trの長さはイメージセンサ7側で可変である。例えば輝度が足りない場合は長く、また飽和を避けるためには短くすると行った調整は可能である。
但し本実施の形態の測距装置1の場合、露光期間Trと発光期間Tpは同期制御されることが前提となる。これは、測距装置1としては、あくまでレーザ光の被写体Sからの反射光を撮像したいためであり、換言すれば、発光部2からのレーザ光以外の周囲光はノイズであるためである。つまり発光期間Tpではないときに露光を行うことは避けたい。
そのため例えば図示のように発光期間Tpと露光期間Trは略一致されるようにしている。このため駆動部3とイメージセンサ7との間では図1に示したように同期信号Fsが用いられて、発光期間Tpと露光期間Trが規定される。
図12は発光部2の発光素子2aの発光期間Tpとイメージセンサの露光期間Trを示している。ここでは1フレーム期間Tfに1回の発光及び1回の露光を行う例としている。
1フレーム期間Tfにおいて、露光期間Trの長さはイメージセンサ7側で可変である。例えば輝度が足りない場合は長く、また飽和を避けるためには短くすると行った調整は可能である。
但し本実施の形態の測距装置1の場合、露光期間Trと発光期間Tpは同期制御されることが前提となる。これは、測距装置1としては、あくまでレーザ光の被写体Sからの反射光を撮像したいためであり、換言すれば、発光部2からのレーザ光以外の周囲光はノイズであるためである。つまり発光期間Tpではないときに露光を行うことは避けたい。
そのため例えば図示のように発光期間Tpと露光期間Trは略一致されるようにしている。このため駆動部3とイメージセンサ7との間では図1に示したように同期信号Fsが用いられて、発光期間Tpと露光期間Trが規定される。
なお発光期間Tpと露光期間Trが完全に一致することが望ましいが、図12では、発光期間Tpより露光期間Trがわずかに長くなっている。これは若干のマージンを持つようにして、発光期間Tpをカバーして露光を行うようにした一例である。発光期間Tpにおいて露光を行うが、発光期間Tp以外はなるべく露光を行わないことが望ましいことには変わりはないためマージン期間を短くしている。
また場合によっては、露光されない無駄なレーザ出力期間が若干生ずることにはなるが、発光期間Tpよりも露光期間Trを短くしてもよい。つまり露光期間Tr中は継続して発光しているようにするものである。
このように、必ずしも発光期間Tpと露光期間Trが完全に一致する必要はないが、説明上は、発光期間Tpと露光期間Trが対応して略一致するように設定されることを、「同期」している状態であるとする。
また場合によっては、露光されない無駄なレーザ出力期間が若干生ずることにはなるが、発光期間Tpよりも露光期間Trを短くしてもよい。つまり露光期間Tr中は継続して発光しているようにするものである。
このように、必ずしも発光期間Tpと露光期間Trが完全に一致する必要はないが、説明上は、発光期間Tpと露光期間Trが対応して略一致するように設定されることを、「同期」している状態であるとする。
このような同期がとられることを前提とすると、その期間の調整には制限が生ずる場合がある。
図13は発光期間Tpの波形に対応させて、イメージセンサ7での露光及び電荷蓄積の状態、及び発光素子2aの温度を示している。
図示のように、発光期間Tpでは発光素子2aの温度は上昇していき、発光が止まるとともに発光素子2aの温度は低下していく。これは発光期間Tpが長くなるほど、温度上昇が顕著になることを示している。
図13は発光期間Tpの波形に対応させて、イメージセンサ7での露光及び電荷蓄積の状態、及び発光素子2aの温度を示している。
図示のように、発光期間Tpでは発光素子2aの温度は上昇していき、発光が止まるとともに発光素子2aの温度は低下していく。これは発光期間Tpが長くなるほど、温度上昇が顕著になることを示している。
ここで撮像データの輝度が足りないような状況を考える。何らかの事情で検出のために必要な画素で輝度値が低く、良好なセンシングができないような場合である。
このような場合、露光期間Trを長くすることが考えられるが、すると同期制御のため、発光素子2aの発光期間Tfも長くすることになる。換言すれば発光期間Tpも長くしなければ露光期間Trを長くする意味が生じない。
発光素子2aで長時間発光を続けた場合、発光部2では発熱により温度が上昇し、発光効率の低下、ならびに高温による発振停止に陥ってしまうおそれがある。
このような事情から、光源側の発熱により露光する時間長の上限が決まってしまい、このため十分な露光ができず、撮像データから正確な座標検出ができないことなどによりセンシング精度が低下する場合も生じる。
このような場合、露光期間Trを長くすることが考えられるが、すると同期制御のため、発光素子2aの発光期間Tfも長くすることになる。換言すれば発光期間Tpも長くしなければ露光期間Trを長くする意味が生じない。
発光素子2aで長時間発光を続けた場合、発光部2では発熱により温度が上昇し、発光効率の低下、ならびに高温による発振停止に陥ってしまうおそれがある。
このような事情から、光源側の発熱により露光する時間長の上限が決まってしまい、このため十分な露光ができず、撮像データから正確な座標検出ができないことなどによりセンシング精度が低下する場合も生じる。
そこで本実施の形態では、所望の露光時間を実現しつつ、光源の温度上昇を抑えることができるようにする。
即ち1回の撮像データを得るために、発光部2では1フレームにおいて複数回の発光を行い、イメージセンサ7でその複数回の反射光を蓄積することによって生成された、1枚の撮像データ(画像)を用いて被写体Sの測距や3D形状を推定するようにする。
換言すれば、所望の露光時間を実現するにあたり、光源の発熱を抑えるために複数回の発光に分割し、露光タイミングを同期させることによって、得られる画像を同等とするものである。
即ち1回の撮像データを得るために、発光部2では1フレームにおいて複数回の発光を行い、イメージセンサ7でその複数回の反射光を蓄積することによって生成された、1枚の撮像データ(画像)を用いて被写体Sの測距や3D形状を推定するようにする。
換言すれば、所望の露光時間を実現するにあたり、光源の発熱を抑えるために複数回の発光に分割し、露光タイミングを同期させることによって、得られる画像を同等とするものである。
図14に複数回発光の動作を示している。
図14では発光素子2aにおいて1フレーム期間Tfに、発光期間Tp1、Tp2として2回の発光を行う例を示している。例えば発光期間Tp1、Tp2を合わせた期間長が、図13の発光期間Tpに略相当する長さであるとする。
イメージセンサ7側では、この発光期間Tp1、Tp2に同期して露光期間Tr1、Tr2が設定され、露光及び電荷蓄積を行う。図では電荷が蓄積される様子を実線で示している。
発光素子2aの温度については、上述のように発光中に上昇し発光停止と共に低下するため、発光期間Tp1、Tp2の期間に上昇するが、発光期間Tp1、Tp2の終了とともに低下する。発光期間Tp1、Tp2が比較的短いことから、温度上昇が比較的早く終了して温度低下にうつることが繰り返されることになる。
これにより、発光部2の温度上昇は抑えられ、かつイメージセンサ7側では十分な時間の電荷蓄積ができる。従って撮像データに輝度不足があったとしてもそれを解消できる。
図14では発光素子2aにおいて1フレーム期間Tfに、発光期間Tp1、Tp2として2回の発光を行う例を示している。例えば発光期間Tp1、Tp2を合わせた期間長が、図13の発光期間Tpに略相当する長さであるとする。
イメージセンサ7側では、この発光期間Tp1、Tp2に同期して露光期間Tr1、Tr2が設定され、露光及び電荷蓄積を行う。図では電荷が蓄積される様子を実線で示している。
発光素子2aの温度については、上述のように発光中に上昇し発光停止と共に低下するため、発光期間Tp1、Tp2の期間に上昇するが、発光期間Tp1、Tp2の終了とともに低下する。発光期間Tp1、Tp2が比較的短いことから、温度上昇が比較的早く終了して温度低下にうつることが繰り返されることになる。
これにより、発光部2の温度上昇は抑えられ、かつイメージセンサ7側では十分な時間の電荷蓄積ができる。従って撮像データに輝度不足があったとしてもそれを解消できる。
分割的な露光を行うために、イメージセンサ7では、例えば図15のような構成を採ることが考えられる。
イメージセンサ7は、光電変換部51、電荷保持部52、読出制御部53、読出アンプ54、初期化ゲート55,56、転送ゲート57、読出ゲート58、A/D変換器59を有するものとする。
イメージセンサ7は、光電変換部51、電荷保持部52、読出制御部53、読出アンプ54、初期化ゲート55,56、転送ゲート57、読出ゲート58、A/D変換器59を有するものとする。
光電変換部51には被写体からの反射光を露光する光電変換素子が配列されている。光電変換部51に対しては、初期化ゲート55により電圧VDDの供給のオン/オフが制御され初期化が行われる構成とされている。
光電変換部51から読み出される電荷(光電子)は転送ゲート57を介して電荷保持部52に供給される。電荷保持部52は、光電変換部51の各光電変換素子(各画素)の電荷を一時的に保持する。電荷保持部52に対しては、初期化ゲート56により電圧VDDの供給のオン/オフが制御され初期化が行われる構成とされている。
電荷保持部52で保持された各画素の電荷は読出ゲート58を介して読み出され、読出アンプ54で増幅(ゲインコントロール)の処理を施された後、A/D変換器59でデジタルデータに変換され、1フレームの撮像データDTとして図1の画像処理部8に出力される。
光電変換部51から読み出される電荷(光電子)は転送ゲート57を介して電荷保持部52に供給される。電荷保持部52は、光電変換部51の各光電変換素子(各画素)の電荷を一時的に保持する。電荷保持部52に対しては、初期化ゲート56により電圧VDDの供給のオン/オフが制御され初期化が行われる構成とされている。
電荷保持部52で保持された各画素の電荷は読出ゲート58を介して読み出され、読出アンプ54で増幅(ゲインコントロール)の処理を施された後、A/D変換器59でデジタルデータに変換され、1フレームの撮像データDTとして図1の画像処理部8に出力される。
ここで読出制御部53が各ゲートを図16のように制御することで、図14のような複数回発光に対応した露光が実現される。
読出制御部53は、まず時点t0に、初期化ゲート55,56により光電変換部51及び電荷保持部52を初期化させる。
初期化後、露光期間Tr1としての光電変換部51での露光が行われる。
時点t1で読出制御部53は転送ゲート57を制御して、光電変換部51において露光期間Tr1に蓄積された各画素の電荷を電荷保持部52に転送させる。
但しこのとき読出制御部53は、読出ゲート58については開けないことで、光電変換部51から転送された電荷は電荷保持部52に保持されるようにしている。
その後、時点t2で読出制御部53は、初期化ゲート55を制御して光電変換部51を初期化させる。このとき電荷保持部52については初期化しない。
読出制御部53は、まず時点t0に、初期化ゲート55,56により光電変換部51及び電荷保持部52を初期化させる。
初期化後、露光期間Tr1としての光電変換部51での露光が行われる。
時点t1で読出制御部53は転送ゲート57を制御して、光電変換部51において露光期間Tr1に蓄積された各画素の電荷を電荷保持部52に転送させる。
但しこのとき読出制御部53は、読出ゲート58については開けないことで、光電変換部51から転送された電荷は電荷保持部52に保持されるようにしている。
その後、時点t2で読出制御部53は、初期化ゲート55を制御して光電変換部51を初期化させる。このとき電荷保持部52については初期化しない。
この光電変換部51の初期化後、露光期間Tr2としての光電変換部51での露光が行われる。
時点t3で読出制御部53は転送ゲート57を制御して、光電変換部51において露光期間Tr2に蓄積された各画素の電荷を電荷保持部52に転送させる。電荷保持部52では、露光期間Tr1に加えて露光期間Tr2の電荷が保持されることになる。
読出制御部53は時点t4で読出ゲート58を制御して、電荷保持部52に保持された各画素の電荷を読出アンプ54に出力させる。
以上の動作により、露光期間Tr1,Tr2という2回の露光による電荷が、1枚の画像を構成する1フレームの撮像データDTの各画素データとして出力されることになる。
時点t3で読出制御部53は転送ゲート57を制御して、光電変換部51において露光期間Tr2に蓄積された各画素の電荷を電荷保持部52に転送させる。電荷保持部52では、露光期間Tr1に加えて露光期間Tr2の電荷が保持されることになる。
読出制御部53は時点t4で読出ゲート58を制御して、電荷保持部52に保持された各画素の電荷を読出アンプ54に出力させる。
以上の動作により、露光期間Tr1,Tr2という2回の露光による電荷が、1枚の画像を構成する1フレームの撮像データDTの各画素データとして出力されることになる。
なお、露光期間Tr1と露光期間Tr2間(時点t1から時点t2)に発生した光電子は、時点t2で初期化ゲート55を解放することにより、電荷保持部52へは蓄積せず、電圧VDDラインへ捨てる。この制御により、電荷保持部52に蓄積される電荷は、発光期間Tp1,Tp2に発生した光電子のみとなり、得られる画像は、発光期間Tp1,Tp2の期間を連続させた場合と同等になる。
一方で、発光期間Tp1,Tp2で分割されることで発光素子2aの発光継続時間は短くなるため、発熱による温度上昇のピークは下がり、発光効率が改善する。
一方で、発光期間Tp1,Tp2で分割されることで発光素子2aの発光継続時間は短くなるため、発熱による温度上昇のピークは下がり、発光効率が改善する。
ところで図14では1フレーム期間Tfに2回の発光及び露光を行う例を述べたが、もちろん2回に限られるものではない。
図17には1フレーム期間Tfに3回の発光が行われる場合を示している。即ち発光素子2aでは発光期間Tp1、Tp2、Tp3の発光が行われ、イメージセンサ7では露光期間Tr1、Tr2、Tr3の露光が行われる。
この場合、発光素子2aの温度については、発光期間Tp1、Tp2、Tp3がそれぞれ比較的短いことから、温度上昇が比較的早く終了して温度低下にうつる。従って温度上昇はより効果的に抑制される。
例えば仮に1フレーム期間Tfでの総発光期間長(図17のTp1+Tp2+Tp3)が、図14の総発光期間長(図14のTp1+Tp2)と同等だとすると、温度上昇は図17の3回発光の方が図14の2回発光の場合よりも抑えられることになる。
つまり、1回の発光期間を短くし、1フレーム期間Tfにおける発光回数を増やすほど、温度上昇の抑制には有利になると考えられる。
従って、1フレーム期間Tfにおいて4回、5回、さらにはより多数の回数で分割的に発光及び露光を行うことが考えられる。例えば50回、100回、或いはそれ以上といった回数も想定される。
図17には1フレーム期間Tfに3回の発光が行われる場合を示している。即ち発光素子2aでは発光期間Tp1、Tp2、Tp3の発光が行われ、イメージセンサ7では露光期間Tr1、Tr2、Tr3の露光が行われる。
この場合、発光素子2aの温度については、発光期間Tp1、Tp2、Tp3がそれぞれ比較的短いことから、温度上昇が比較的早く終了して温度低下にうつる。従って温度上昇はより効果的に抑制される。
例えば仮に1フレーム期間Tfでの総発光期間長(図17のTp1+Tp2+Tp3)が、図14の総発光期間長(図14のTp1+Tp2)と同等だとすると、温度上昇は図17の3回発光の方が図14の2回発光の場合よりも抑えられることになる。
つまり、1回の発光期間を短くし、1フレーム期間Tfにおける発光回数を増やすほど、温度上昇の抑制には有利になると考えられる。
従って、1フレーム期間Tfにおいて4回、5回、さらにはより多数の回数で分割的に発光及び露光を行うことが考えられる。例えば50回、100回、或いはそれ以上といった回数も想定される。
このような1フレーム期間Tfにおける複数回発光及び複数回露光は、測距装置1のセンシング中に常時行うようにすることが考えられる。このようにすることで、常時温度上昇を抑制できるセンシングが可能となる。
また、1フレーム期間Tfにおける1回の継続的な発光及び露光と、1フレーム期間Tfにおける複数回発光及び複数回露光を切り替えることも考えられる。
例えば或る所定の露光時間長以内の露光で撮像が良好にできる場合は、1フレーム期間Tfにおける1回の継続的な発光及び露光を行う。
一方で、光量が足りないなどにより露光時間を長くしたい場合は、1フレーム期間Tfにおける複数回発光及び複数回露光に切り替えて、1フレーム期間Tf内での露光時間量を長くしつつ、発光部2側の温度上昇が大きくならないようにすることも考えられる。
例えば或る所定の露光時間長以内の露光で撮像が良好にできる場合は、1フレーム期間Tfにおける1回の継続的な発光及び露光を行う。
一方で、光量が足りないなどにより露光時間を長くしたい場合は、1フレーム期間Tfにおける複数回発光及び複数回露光に切り替えて、1フレーム期間Tf内での露光時間量を長くしつつ、発光部2側の温度上昇が大きくならないようにすることも考えられる。
さらに1フレーム期間Tfにおける複数回発光及び複数回露光を行う場合に、その回数を切り替えることも考えられる。
例えば上記のように常時1フレーム期間Tfにおける複数回発光及び複数回露光を行う場合、或いは1フレーム期間Tfにおける1回発光及び露光から切り替えて複数回発光及び露光を行うような各場合において、必要に応じて例えば2回発光・露光と、3回発光・露光の切替を行うような動作である。
例えば露光時間を或る閾値以内の値にするときは2回発光・露光とし、その閾値以上に長くしたいときは3回発光・露光とするなどである。もちろん、2回、3回というのは一例で、それ以上の回数が実行されるものでもよい。
また1フレーム期間Tfにおける複数回発光・露光は、特に温度上昇を抑制することから、次に説明するように、温度状況に応じて切替制御を行うことも考えられる。
例えば上記のように常時1フレーム期間Tfにおける複数回発光及び複数回露光を行う場合、或いは1フレーム期間Tfにおける1回発光及び露光から切り替えて複数回発光及び露光を行うような各場合において、必要に応じて例えば2回発光・露光と、3回発光・露光の切替を行うような動作である。
例えば露光時間を或る閾値以内の値にするときは2回発光・露光とし、その閾値以上に長くしたいときは3回発光・露光とするなどである。もちろん、2回、3回というのは一例で、それ以上の回数が実行されるものでもよい。
また1フレーム期間Tfにおける複数回発光・露光は、特に温度上昇を抑制することから、次に説明するように、温度状況に応じて切替制御を行うことも考えられる。
また、以上の複数回発光制御の際に、1フレーム期間Tfにおける複数回発光について、発光期間Tp1,Tp2の間隔(非発光期間の長さ)を制御するようにすることも考えられる。非発光期間は温度が低下する期間であるため、温度の低下が確実に行われるように、発光間隔を制御しても良い。
例えば発光間隔(非発光期間)として、最低限の長さを確保するようにしたり、温度検出部10による温度の検出信号を確認して、所定温度以下になったことを条件として次の発光期間Tpに移るなどである。
もちろんこのような非発光期間の制御は、発光期間Tp1,Tp2・・・の各タイミングを規定するパラメータ制御によっても可能である。
例えば発光間隔(非発光期間)として、最低限の長さを確保するようにしたり、温度検出部10による温度の検出信号を確認して、所定温度以下になったことを条件として次の発光期間Tpに移るなどである。
もちろんこのような非発光期間の制御は、発光期間Tp1,Tp2・・・の各タイミングを規定するパラメータ制御によっても可能である。
<7.第2の実施の形態:温度に応じた適応的な複数回発光>
以下、第2の実施の形態として、温度に応じて適応的な複数回発光・露光を制御する例を説明する。
まず温度に応じた適応的な複数回発光の第1例を説明する。
以下、第2の実施の形態として、温度に応じて適応的な複数回発光・露光を制御する例を説明する。
まず温度に応じた適応的な複数回発光の第1例を説明する。
図18Aは、先に図13に示したような、1フレーム期間Tfにおける1回の発光・露光を行う場合を示している。即ち1フレーム期間Tfに発光期間Tp、露光期間Trとして継続的な発光・露光を行う。発光素子2aの温度の上昇は比較的高い。
これに対して図18Bは、温度に応じて発光・露光が中断及び再開されることで、発光素子2aの温度の上昇を抑制した状態を示している。
即ち図18Bにおいては1フレーム期間Tfにおいて、発光期間Tp1、Tp2、Tp3、露光期間Tr1、Tr2、Tr3として3回の分割的な発光・露光が行われている。
即ち図18Bにおいては1フレーム期間Tfにおいて、発光期間Tp1、Tp2、Tp3、露光期間Tr1、Tr2、Tr3として3回の分割的な発光・露光が行われている。
特に駆動部3又は制御部9は、発光期間Tp1において温度検出部10による温度を監視し、発光素子2aの駆動を制御する。
例えば発光素子2aの温度が温度閾値th1に達したことをもって、駆動部3による発光素子2aの発光は中断される。その後、発光素子2aの温度が温度閾値th2にまで低下したことが検知されたら、駆動部3による発光素子2aの発光が再開される。即ち発光期間Tp2が開始される。
発光期間Tp2も同様に、発光素子2aの温度が、温度閾値th1に達したことをもって中断される。またその後発光素子2aの温度が温度閾値th2にまで低下したことを検知したら、発光を再開させる。即ち発光期間Tp3が開始される。
例えば発光素子2aの温度が温度閾値th1に達したことをもって、駆動部3による発光素子2aの発光は中断される。その後、発光素子2aの温度が温度閾値th2にまで低下したことが検知されたら、駆動部3による発光素子2aの発光が再開される。即ち発光期間Tp2が開始される。
発光期間Tp2も同様に、発光素子2aの温度が、温度閾値th1に達したことをもって中断される。またその後発光素子2aの温度が温度閾値th2にまで低下したことを検知したら、発光を再開させる。即ち発光期間Tp3が開始される。
ここで、例えば図18Aの発光期間Tpの長さを発光期間長TpGとするとき、図18Bの発光期間Tp1、Tp2、Tp3は、Tp1+Tp2+Tp3=TpGとなるようにする。即ち、発光期間長TpGが設定されている場合において、分割的な発光の総期間長が、その発光期間長TpGとなるようにする。
このため、発光期間Tp3については、発光期間Tp1、Tp2、Tp3の合計の発光時間が発光期間長TpGに達したことをもって終了されるようにしている。
このため、発光期間Tp3については、発光期間Tp1、Tp2、Tp3の合計の発光時間が発光期間長TpGに達したことをもって終了されるようにしている。
もちろんこの図18Bの場合、各発光期間Tp1、Tp2、Tp3に同期して、イメージセンサ7での露光期間Tr1、Tr2、Tr3が制御される。
なお、図では3回の発光・露光が行われる例としたが、あくまで温度状況に応じて発光の中断、再開、及び発光期間長TpGの管理が行われるため、3回とは限られず、そのときの温度状況で発光・露光の回数は変動することも考えられる。
なお、図では3回の発光・露光が行われる例としたが、あくまで温度状況に応じて発光の中断、再開、及び発光期間長TpGの管理が行われるため、3回とは限られず、そのときの温度状況で発光・露光の回数は変動することも考えられる。
このような発光の中断・再開の制御は、温度検出部10による検出信号に応じて、例えば駆動部3内のロジック回路等で制御が行われるようにし、そのタイミングをイメージセンサ7に伝えるようにしてもよいし、制御部9によって温度検出部10による温度の検出信号を監視し、駆動部3及びイメージセンサ7を同期制御するようにしてもよい。
図19では、例えば制御部9が1フレーム期間Tf内での発光の中断、再開、終了のタイミング制御を行う場合の処理例を示す。同等の処理を駆動部3が行っても良い。
図19では、例えば制御部9が1フレーム期間Tf内での発光の中断、再開、終了のタイミング制御を行う場合の処理例を示す。同等の処理を駆動部3が行っても良い。
制御部9は図19のステップS101で、まず1フレーム期間Tfにおける総発光時間となる発光期間長TpGを設定する。
そして制御部9は、フレーム同期信号により1フレームの開始タイミングを検知するたびに、ステップS102からS103に進む。
そして制御部9は、フレーム同期信号により1フレームの開始タイミングを検知するたびに、ステップS102からS103に進む。
ステップS103で制御部9は、発光部2の発光を開始させるように駆動部3に指示する。また制御部9はステップS104で発光時間のカウントを開始する。
ステップS105で制御部9は、カウントしている発光時間の値が、発光期間長TpGに達したか否かを確認する。
カウントしている発光時間の値が発光期間長TpGに達していなければ、制御部9はステップS106で、温度検出部10による温度の検出信号を確認し、現在の温度(発光素子2aの温度)TMPが温度閾値th1以上となったか否かを確認する。
現在の温度TMPが温度閾値th1に達していない場合は、制御部9はステップS105,S106の監視を続ける。
カウントしている発光時間の値が発光期間長TpGに達していなければ、制御部9はステップS106で、温度検出部10による温度の検出信号を確認し、現在の温度(発光素子2aの温度)TMPが温度閾値th1以上となったか否かを確認する。
現在の温度TMPが温度閾値th1に達していない場合は、制御部9はステップS105,S106の監視を続ける。
現在の温度TMPが温度閾値th1以上となったことを検知した場合は、制御部9はステップS106からS107に進み、発光中断制御を行う。即ち駆動部3に発光部2の発光を中断させると共に、イメージセンサ7に露光の中断を指示する。
発光中断制御を行った後は、制御部9はステップS108で、温度検出部10による温度の検出信号を確認し、現在の温度TMPが温度閾値th2以下となったか否かを確認する。現在の温度TMPが温度閾値th2以下に下がるまでは、そのまま中断状態が続けられることになる。
現在の温度TMPが温度閾値th2以下となったことを検知した場合は、制御部9はステップS108からS109に進み、発光再開制御を行う。即ち駆動部3に発光部2の発光を再開させると共に、イメージセンサ7に露光の再開を指示する。
そして制御部9はステップS105,S106の監視に戻る。
現在の温度TMPが温度閾値th2以下となったことを検知した場合は、制御部9はステップS108からS109に進み、発光再開制御を行う。即ち駆動部3に発光部2の発光を再開させると共に、イメージセンサ7に露光の再開を指示する。
そして制御部9はステップS105,S106の監視に戻る。
ステップS105でカウントしている発光時間の値が、発光期間長TpGに達したことを検知したら、制御部9はステップS110に進み、現在のフレーム期間Tf内での発光・露光を終了させるように駆動部3及びイメージセンサ7に指示する。
そして制御部9は発光時間のカウンタをリセットし、ステップS102に戻って、次のフレームの開始タイミングを待機する。
なおこの待機期間において、ステップS112でセンシング終了となったら、その時点でこの図19の制御を終える。
また例えば輝度不足その他の何らかの条件により、露光時間を長くしたいなどの状況が生じた場合、それに応じて制御部9は発光期間長TpGを変更することになる。制御部9は各種事情で発光期間長TpGを変更することになった場合は、ステップS113からS101に戻り、発光期間長TpGの設定変更を行う。
そして制御部9は発光時間のカウンタをリセットし、ステップS102に戻って、次のフレームの開始タイミングを待機する。
なおこの待機期間において、ステップS112でセンシング終了となったら、その時点でこの図19の制御を終える。
また例えば輝度不足その他の何らかの条件により、露光時間を長くしたいなどの状況が生じた場合、それに応じて制御部9は発光期間長TpGを変更することになる。制御部9は各種事情で発光期間長TpGを変更することになった場合は、ステップS113からS101に戻り、発光期間長TpGの設定変更を行う。
以上の図19の制御が行われることで、図18Bに示したように、温度状況に応じて1回の発光継続時間が制御され、これによって1フレーム期間Tfにおける複数回の発光・露光が行われる動作が実行されることになる。
なお、以上の動作の場合、温度が温度閾値th1以上に高くなることが頻発する状況では、1フレーム期間内に総発光時間が発光期間長TpGに達することができないような状況が生ずる可能性がある。そのようなことが生じないように温度閾値th1,th2が適切な設定されることが望ましい。或いは、測距装置1として、撮像の1フレーム期間Tfが必ずしも固定でなくてもよいということを考えれば、1フレーム期間Tfが変動されるようにして、現在の温度TMPに応じた図19の制御を優先させてもよい。
なお、以上の動作の場合、温度が温度閾値th1以上に高くなることが頻発する状況では、1フレーム期間内に総発光時間が発光期間長TpGに達することができないような状況が生ずる可能性がある。そのようなことが生じないように温度閾値th1,th2が適切な設定されることが望ましい。或いは、測距装置1として、撮像の1フレーム期間Tfが必ずしも固定でなくてもよいということを考えれば、1フレーム期間Tfが変動されるようにして、現在の温度TMPに応じた図19の制御を優先させてもよい。
続いて、温度に応じた適応的な複数回発光を行う処理の第2例を説明する。
これは、1フレーム期間Tfにおける1回発光、2回発光、3回発光を温度状況に応じて切り替える例である。
これは、1フレーム期間Tfにおける1回発光、2回発光、3回発光を温度状況に応じて切り替える例である。
図20Aに制御部9による制御例を説明する。
制御部9はステップS150で、1フレーム期間Tfにおける1回発光として発光及び露光を開始させる。例えば図13のような動作を実行させる。
なお、このような開始時点で後述するフラグFT1、FT2はオフとされている。フラグFT1は2回発光を行っている状態を示すフラグで、フラグFT2は3回発光を行っている状態を示すフラグである。
制御部9はステップS151ではセンシングの終了を監視する。
制御部9はステップS152で、温度検出部10による温度の検出信号により現在の温度TMP(発光素子2aの温度)を確認する。
そして制御部9はステップS153,S154,S155,S156で、現在の温度又はフラグ状況を監視する処理を行う。
制御部9はステップS150で、1フレーム期間Tfにおける1回発光として発光及び露光を開始させる。例えば図13のような動作を実行させる。
なお、このような開始時点で後述するフラグFT1、FT2はオフとされている。フラグFT1は2回発光を行っている状態を示すフラグで、フラグFT2は3回発光を行っている状態を示すフラグである。
制御部9はステップS151ではセンシングの終了を監視する。
制御部9はステップS152で、温度検出部10による温度の検出信号により現在の温度TMP(発光素子2aの温度)を確認する。
そして制御部9はステップS153,S154,S155,S156で、現在の温度又はフラグ状況を監視する処理を行う。
ステップS153では、フラグFT2がオフのときに、現在の温度TMPが或る温度閾値th20以上となっているか否かを確認する。
ステップS154では、フラグFT2がオンであるか否かを確認する。
ステップS155では、フラグFT1がオフのときに、現在の温度TMPが或る温度閾値th10以上となっているか否かを確認する。
ステップS156では、フラグFT1がオンであるか否かを確認する。
ステップS154では、フラグFT2がオンであるか否かを確認する。
ステップS155では、フラグFT1がオフのときに、現在の温度TMPが或る温度閾値th10以上となっているか否かを確認する。
ステップS156では、フラグFT1がオンであるか否かを確認する。
フラグFT1がオフで現在の温度TMPが或る温度閾値th10より高い場合は、制御部9はステップS155からS164に進み、1フレーム期間Tfに2回発光を行う動作に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図14のような発光期間Tp1,TP2の2回発光を実行するように指示し、イメージセンサ7には露光期間Tr1,Tr2の2回露光を行うように指示する。
そしてステップS165で制御部9は、フラグFT1をオンとする。
即ち制御部9は、次のフレームから、駆動部3には図14のような発光期間Tp1,TP2の2回発光を実行するように指示し、イメージセンサ7には露光期間Tr1,Tr2の2回露光を行うように指示する。
そしてステップS165で制御部9は、フラグFT1をオンとする。
このフラグFT1がオンの期間は、制御部9はステップS153又はS156の監視を行うことになる。
2回発光に切り替えることによって、温度上昇が抑えられることから、現在の温度TMPが低下することが考えられる。
そのためフラグFT1がオンの場合、制御部9はステップS156からS166に進み、現在の温度TMPが温度閾値th10u以下となったか否かを判断する。
ここで温度閾値th10uとは、図20Bに示すように、2回発光への移行のための温度閾値th10より若干低い温度とする。
もし現在の温度TMPが温度閾値th10u以下となっていたら、制御部9はステップS167に進み、1フレーム期間Tfにおける1回発光に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図13のような発光期間Tpの1回発光を実行するように指示し、イメージセンサ7には露光期間Trの露光を行うように指示する。
そしてステップS168で制御部9は、フラグFT1をオフとする。
なお、温度閾値th10uが温度閾値th10より若干低い温度とされていることで、2回発光と1回発光が頻繁に切り替わるような事態が防止される。
2回発光に切り替えることによって、温度上昇が抑えられることから、現在の温度TMPが低下することが考えられる。
そのためフラグFT1がオンの場合、制御部9はステップS156からS166に進み、現在の温度TMPが温度閾値th10u以下となったか否かを判断する。
ここで温度閾値th10uとは、図20Bに示すように、2回発光への移行のための温度閾値th10より若干低い温度とする。
もし現在の温度TMPが温度閾値th10u以下となっていたら、制御部9はステップS167に進み、1フレーム期間Tfにおける1回発光に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図13のような発光期間Tpの1回発光を実行するように指示し、イメージセンサ7には露光期間Trの露光を行うように指示する。
そしてステップS168で制御部9は、フラグFT1をオフとする。
なお、温度閾値th10uが温度閾値th10より若干低い温度とされていることで、2回発光と1回発光が頻繁に切り替わるような事態が防止される。
フラグFT1がオンで2回発光を行っている期間においても温度がさらに上昇することもあり得る。そこで制御部9はステップS153で、現在の温度TMPが温度閾値th20以上となったか否かを監視している。
温度閾値th20とは、図20Bに示すように、温度閾値th10よりもさらに高い温度とする。
現在の温度TMPが温度閾値th20より高くなったら、制御部9はステップS153からS160に進み、1フレーム期間Tfにおける3回発光に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図17のような発光期間Tp1,Tp2,Tp3の3回発光を実行するように指示し、イメージセンサ7には露光期間Tr1,Tr2,Tr3の3回露光を行うように指示する。
そしてステップS161で制御部9は、フラグFT2をオンとする。
温度閾値th20とは、図20Bに示すように、温度閾値th10よりもさらに高い温度とする。
現在の温度TMPが温度閾値th20より高くなったら、制御部9はステップS153からS160に進み、1フレーム期間Tfにおける3回発光に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図17のような発光期間Tp1,Tp2,Tp3の3回発光を実行するように指示し、イメージセンサ7には露光期間Tr1,Tr2,Tr3の3回露光を行うように指示する。
そしてステップS161で制御部9は、フラグFT2をオンとする。
このフラグFT2がオンの期間は、制御部9はステップS154の監視を行うことになる。
3回発光に切り替えることによって、さらに温度上昇が抑えられることから、現在の温度TMPが低下することが考えられる。
そのためフラグFT2がオンの場合、制御部9はステップS154からS162に進み、現在の温度TMPが温度閾値th20u以下となったか否かを判断する。
ここで温度閾値th20uとは、図20Bに示すように、3回発光への移行のための温度閾値th20より若干低い温度とする。
もし現在の温度TMPが温度閾値th20u以下となっていたら、制御部9はステップS163でフラグFT2をオフとし、さらにステップS164に進んで、1フレーム期間Tfにおける2回発光に切り替える制御を行う。つまり3回発光から2回発光に戻す。このときフラグFT1がオフであればステップS165でオンとすることになる。
なお、温度閾値th20uが温度閾値th20より若干低い温度とされていることで、3回発光と2回発光が頻繁に切り替わるような事態が防止される。
3回発光に切り替えることによって、さらに温度上昇が抑えられることから、現在の温度TMPが低下することが考えられる。
そのためフラグFT2がオンの場合、制御部9はステップS154からS162に進み、現在の温度TMPが温度閾値th20u以下となったか否かを判断する。
ここで温度閾値th20uとは、図20Bに示すように、3回発光への移行のための温度閾値th20より若干低い温度とする。
もし現在の温度TMPが温度閾値th20u以下となっていたら、制御部9はステップS163でフラグFT2をオフとし、さらにステップS164に進んで、1フレーム期間Tfにおける2回発光に切り替える制御を行う。つまり3回発光から2回発光に戻す。このときフラグFT1がオフであればステップS165でオンとすることになる。
なお、温度閾値th20uが温度閾値th20より若干低い温度とされていることで、3回発光と2回発光が頻繁に切り替わるような事態が防止される。
以上のように、温度状況に応じて、1フレーム期間Tfにおける発光・露光の回数が1回,2回,3回のうちで切り替えられる。そしてセンシング終了の時点で制御部9はステップS151からこの図20Aの処理を終了させる。
このようにすることで、複数回発光による温度上昇の抑制が効果的に実行される。また温度上昇が大きくないときは、1回発光・露光が行われることで、センシング動作の制御はシンプルなものとなる。
このようにすることで、複数回発光による温度上昇の抑制が効果的に実行される。また温度上昇が大きくないときは、1回発光・露光が行われることで、センシング動作の制御はシンプルなものとなる。
以上の第2の実施の形態としては、測距装置1において、1回の画像を得るために行う複数回の発光乃至露光を行うタイミングの、発光間隔、1回あたりの発光継続時間、発光回数を制御することにより、光源の発熱を抑え、電力効率を改善することができる。
<8.第3の実施の形態:面内で異なる回数露光>
第3の実施の形態として、イメージセンサ7の露光面に応じて異なる回数の発光・露光が行われる例を説明する。
第3の実施の形態として、イメージセンサ7の露光面に応じて異なる回数の発光・露光が行われる例を説明する。
図21Aでは、オプティカル波形として示すように、発光部2では例えば1フレーム期間Tfに4回の発光(発光期間Tp1,Tp2,Tp3,Tp4)が行われる例を示している。
また発光動作に合わせて、画素G1、画素G2の露光動作として電荷蓄積量の上昇の様子を示している。
画素G1では、発光期間Tp1,Tp2に合わせて、露光期間Tr1,Tr2の露光を行っている。ところが発光期間Tp3,Tp4には露光を行っていない。
画素G2では、発光期間Tp1,Tp2,Tp3,Tp4に合わせて、露光期間Tr1,Tr2、Tr3,Tr4の露光を行っている。
また発光動作に合わせて、画素G1、画素G2の露光動作として電荷蓄積量の上昇の様子を示している。
画素G1では、発光期間Tp1,Tp2に合わせて、露光期間Tr1,Tr2の露光を行っている。ところが発光期間Tp3,Tp4には露光を行っていない。
画素G2では、発光期間Tp1,Tp2,Tp3,Tp4に合わせて、露光期間Tr1,Tr2、Tr3,Tr4の露光を行っている。
ここで画素G1は例えば図21Bに示すように、イメージセンサ7(光電変換部51)の撮像面の中央付近であって、比較的感度が高い画素であるとする。
一方で画素G2は例えば撮像面の画面端部近傍であって、比較的感度が低い画素であるとする。
感度が高い画素G1では、露光時間を長くすると飽和してしまうような場合、一律で露光時間を短くすると、画素G2で輝度が足りないといった事態が起こることがある。
そこで、画素に応じて、複数回発光に対して何回露光するかを設定できるようにする。これにより画素の感度に差がある場合でも、どの画素でも良好な輝度範囲となる撮像データが得られるようにすることができる。
一方で画素G2は例えば撮像面の画面端部近傍であって、比較的感度が低い画素であるとする。
感度が高い画素G1では、露光時間を長くすると飽和してしまうような場合、一律で露光時間を短くすると、画素G2で輝度が足りないといった事態が起こることがある。
そこで、画素に応じて、複数回発光に対して何回露光するかを設定できるようにする。これにより画素の感度に差がある場合でも、どの画素でも良好な輝度範囲となる撮像データが得られるようにすることができる。
なお、画素の感度は、画素の特性だけでなく、発光素子2aの特性も影響する。例えば発光部2の中央付近は温度上昇の度合いが端部よりも大きい。VCSELとしてのレーザ発光素子は温度が高いほどパワーが低下するという特性がある。そのため中央部に配置される発光素子2aほど光量が低下することもある。
例えばこのような事情により、イメージセンサ7の撮像面の中央付近で輝度が低下することもあり得る。そのような場合、中央付近の画素G1は露光回数を増やすということも考えられる。
例えばこのような事情により、イメージセンサ7の撮像面の中央付近で輝度が低下することもあり得る。そのような場合、中央付近の画素G1は露光回数を増やすということも考えられる。
また図21Aでは、画素G3としての例も示しており、この場合、露光期間Tr3では、発光期間Tp3の途中で露光を終えるようにしている。
このように、発光期間にあわせた露光だけでなく、或る発光期間の途中で露光を終了させることで、輝度の均一化を図るような制御も可能である。
このように、発光期間にあわせた露光だけでなく、或る発光期間の途中で露光を終了させることで、輝度の均一化を図るような制御も可能である。
以上のように、測距装置1において、光源装置100の複数回の発光に同期した中で、1回あたりの露光継続時間や露光回数をイメージセンサ7の撮像面の中で画素1つ1つ、乃至、いくつかの画素を含むブロック毎に個別に制御することによって、イメージセンサ7で撮像される画像上に写る光源の被写体Sによる反射光の像の輝度を制御するように構成することができる。
<9.第4の実施の形態:発光パラメータの個別設定>
続いて第4の実施の形態として、発光パラメータの個別設定について述べる。
光源装置100で多数の発光素子2aを発光させ、その反射光を撮像装置101で撮像することにより距離を測定する測距装置1において、レーザ(発光素子2a)の製造ばらつき、温度の変動、光学系の特性により、必ずしも得られる画像上の輝点の輝度が均一にならない。
続いて第4の実施の形態として、発光パラメータの個別設定について述べる。
光源装置100で多数の発光素子2aを発光させ、その反射光を撮像装置101で撮像することにより距離を測定する測距装置1において、レーザ(発光素子2a)の製造ばらつき、温度の変動、光学系の特性により、必ずしも得られる画像上の輝点の輝度が均一にならない。
例えば図22Aは、発光素子X、Yとして、スタートタイミングTst、エンドタイミングTedで規定される発光期間Tpだけ発光させるとする。イメージセンサ7側では、これに同期した露光期間Trで露光を行う。なおこの場合も「同期」の意味は上述のとおりである。
ここで、発光素子X、Yとは、多数の発光素子2aのうちで、説明上で参照する或る2つの発光素子2aのサンプルであるとする。
この図22Aでは、発光素子X、Yに対して、同じパラメータで駆動制御しているにもかかわらず、製造ばらつきや温度分布、寄生抵抗などにより発光強度PW1,PW2を等しくできないことを示している。
ここで、発光素子X、Yとは、多数の発光素子2aのうちで、説明上で参照する或る2つの発光素子2aのサンプルであるとする。
この図22Aでは、発光素子X、Yに対して、同じパラメータで駆動制御しているにもかかわらず、製造ばらつきや温度分布、寄生抵抗などにより発光強度PW1,PW2を等しくできないことを示している。
このような発光強度のばらつきに加えて、さらに図23に示すようにイメージセンサ7に届く光量に影響を与える要素がある。
即ち発光側光学系5の透過率の空間分布、測距装置1から被写体Sまでの距離や被写体Sの反射率、撮像側光学系6の透過率の空間分布、イメージセンサ7の感度の入射角依存などである。
即ち発光側光学系5の透過率の空間分布、測距装置1から被写体Sまでの距離や被写体Sの反射率、撮像側光学系6の透過率の空間分布、イメージセンサ7の感度の入射角依存などである。
このような状況で照らされた被写体Sの反射光をイメージセンサ7で撮像した様子を図22Bに模式的に示している。図示のように、各画素(又は各画素ブロック毎)に明るさのばらつきとして見えてしまうようになる。
そのため、暗い点に合わせて露出(ゲイン・露光時間)を調整すると、明るい点が飽和してしまい、正確な座標を得ることができない。
同様に、明るい点に合わせて露出を調整すると、暗い点が写らず、同じく正確な座標を得ることができない。
同様に、明るい点に合わせて露出を調整すると、暗い点が写らず、同じく正確な座標を得ることができない。
そこで第4の実施の形態としては、多灯光源の1つ1つ、乃至、複数からなるブロック毎に、点灯開始時刻・点灯終了時刻、或いは電流量を、状況に応じて異なるように制御することにより、撮像された画像上の反射光の輝度を、所望の量に調整する。
特にその際、電流のON/OFFのタイミングや電流量を決定するために、2次元的に分布した光源を、2次元イメージとしてイメージセンサ7で撮像し、その像における明るさが所望の状態になるように各光源のブロック毎の電流或いは発光時間、又はその両方を制御するようにする。
この場合、発光部2からイメージセンサ7の光路上に発光側光学系5、被写体S、撮像側光学系6が入るため、多灯光源の製造ばらつきのみならず、上記光路上の各構成要素に起因する変動分も考慮した制御が可能となる。
そして本実施の形態の考え方は、発光部2において所望の明るさで光る、ということを目指すのではなく、イメージセンサ7側で所望の写り方をする、ということを目指して制御する。
特にその際、電流のON/OFFのタイミングや電流量を決定するために、2次元的に分布した光源を、2次元イメージとしてイメージセンサ7で撮像し、その像における明るさが所望の状態になるように各光源のブロック毎の電流或いは発光時間、又はその両方を制御するようにする。
この場合、発光部2からイメージセンサ7の光路上に発光側光学系5、被写体S、撮像側光学系6が入るため、多灯光源の製造ばらつきのみならず、上記光路上の各構成要素に起因する変動分も考慮した制御が可能となる。
そして本実施の形態の考え方は、発光部2において所望の明るさで光る、ということを目指すのではなく、イメージセンサ7側で所望の写り方をする、ということを目指して制御する。
図22Cは発光素子X、Yの発光タイミングを個別に制御する一例を示している。
発光素子XはスタートタイミングTst1、エンドタイミングTed1により発光制御する。発光素子YはスタートタイミングTst2、エンドタイミングTed2により発光制御する。これにより発光素子X、Yの発光期間TpX、TpYの長さが異なるものとなる。
このように、発光素子2a毎(もしくは所定のブロック毎)に、発光期間Tpの長さを設定することで、図22Dに示すように、イメージセンサ7で撮像される撮像データの画素間(又は画素ブロック間)で、輝度のばらつきが生じないようにする。
換言すれば、撮像データの画素間での輝度ばらつきが生じないように、発光素子X、Yの発光タイミングを制御するものとなる。
発光素子XはスタートタイミングTst1、エンドタイミングTed1により発光制御する。発光素子YはスタートタイミングTst2、エンドタイミングTed2により発光制御する。これにより発光素子X、Yの発光期間TpX、TpYの長さが異なるものとなる。
このように、発光素子2a毎(もしくは所定のブロック毎)に、発光期間Tpの長さを設定することで、図22Dに示すように、イメージセンサ7で撮像される撮像データの画素間(又は画素ブロック間)で、輝度のばらつきが生じないようにする。
換言すれば、撮像データの画素間での輝度ばらつきが生じないように、発光素子X、Yの発光タイミングを制御するものとなる。
図22Cの例は一例である。
図24に各種の制御例を示す。
図24Aは、比較のために示したもので、発光素子X、Yを同一のスタートタイミングTst、エンドタイミングTedで発光させる例である。
図24に各種の制御例を示す。
図24Aは、比較のために示したもので、発光素子X、Yを同一のスタートタイミングTst、エンドタイミングTedで発光させる例である。
図24Bは、発光素子X、YのスタートタイミングTst1,Tst2をずらし、またエンドタイミングTed1,Ted2をずらした例である。この場合、タイミングをずらす量によって、発光素子X、Yの発光期間TpX,TpYを異なるようにすることができる。
なお、特に撮像データ上で輝度ばらつきに問題ない場合は、スタートタイミングTst1、エンドタイミングTed1に対してスタートタイミングTst2、エンドタイミングTed2を同じ量だけずらすことで、発光期間TpX,TpYを同一にすることもできる。発光素子X、Yにおいて発光の開始・終了のタイミングをずらすことで、駆動部3のチップ内での電源配線における急激な電流変化を回避することができるという利点が得られる。
なお、特に撮像データ上で輝度ばらつきに問題ない場合は、スタートタイミングTst1、エンドタイミングTed1に対してスタートタイミングTst2、エンドタイミングTed2を同じ量だけずらすことで、発光期間TpX,TpYを同一にすることもできる。発光素子X、Yにおいて発光の開始・終了のタイミングをずらすことで、駆動部3のチップ内での電源配線における急激な電流変化を回避することができるという利点が得られる。
図24Cは、発光素子X、YにおいてスタートタイミングTstは共通とするが、エンドタイミングTed1,Ted2を必要に応じて異なるタイミングとする例である。
発光期間TpX,TpYを異なるようにすることで、イメージセンサ7側での輝度のばらつきを低減することができる。
また、このようにエンドタイミングTedを調整することにより、光学系(5,6)の透過率の空間分布を相殺するような射出が可能ともなる。さらに被写体Sの反射率の空間分布を相殺するような射出が可能ともなる。さらには測距装置1と被写体Sとの距離の違いを相殺するような射出が可能となる。
発光期間TpX,TpYを異なるようにすることで、イメージセンサ7側での輝度のばらつきを低減することができる。
また、このようにエンドタイミングTedを調整することにより、光学系(5,6)の透過率の空間分布を相殺するような射出が可能ともなる。さらに被写体Sの反射率の空間分布を相殺するような射出が可能ともなる。さらには測距装置1と被写体Sとの距離の違いを相殺するような射出が可能となる。
図24Dは、発光素子X、YにおいてスタートタイミングTst1,Tst2を固定的にずらしつつ、エンドタイミングTed1,Ted2を必要に応じて異なるタイミングとする例である。
これによっても、上記図24C、図24Bで述べた効果を得ることができる。
なお、図示していないが、発光素子X、Yでは、エンドタイミングTedを共通としてスタートタイミングTst1,Tst2を必要に応じて可変するような制御も考えられる。
さらに、発光素子X、Yで、発光タイミングを同一とするか異なるものとするかにかかわらず、出力レーザパワー(駆動電流量)を異なるようにすることも考えられる。
これによっても、上記図24C、図24Bで述べた効果を得ることができる。
なお、図示していないが、発光素子X、Yでは、エンドタイミングTedを共通としてスタートタイミングTst1,Tst2を必要に応じて可変するような制御も考えられる。
さらに、発光素子X、Yで、発光タイミングを同一とするか異なるものとするかにかかわらず、出力レーザパワー(駆動電流量)を異なるようにすることも考えられる。
さらにパラメータ設定としては、先に第1~第3の実施の形態で述べたような1フレーム期間Tfにおける複数回発光・露光を行うようにすることも考えられる。
複数回発光を行うようにすることで、露光時間が足りない場合に、上述のように温度上昇を抑制しつつ受光光量を上げることができる。従って、発光パラメータによるタイミング制御としては、複数回発光のためのタイミング設定も想定される。
複数回発光を行うようにすることで、露光時間が足りない場合に、上述のように温度上昇を抑制しつつ受光光量を上げることができる。従って、発光パラメータによるタイミング制御としては、複数回発光のためのタイミング設定も想定される。
以上のような第4の実施の形態の動作としては、レーザ発光のために駆動部3に与えるパラメータを、イメージセンサ7側の撮像データに応じて可変制御するということになるが、そのパラメータ制御の手法としては、静的パラメータ制御と動的パラメータ制御が考えられる。
静的パラメータ制御とは、固定的な状況に応じてキャリブレーションを行い、パラメータ設定を行うものである。
例えば図25に示すように、まず発光素子X、Yを同じパラメータで発光させる。即ちレーザパワー、スタートタイミングTst、エンドタイミングTedとして同じ値(同じ発光期間Tp)により発光駆動する。
この場合でも、発光素子2aの個々のばらつき、光学系、被写体により、撮像データでの輝度のばらつきが生ずる。そこで、輝度ばらつきを解消するように、発光素子X、Yのパラメータを個別に設定する。例えば電流値を異なるものとしたり、タイミングパラメータを変更して発光期間TpX,TpYを異なるものとする。
例えば図25に示すように、まず発光素子X、Yを同じパラメータで発光させる。即ちレーザパワー、スタートタイミングTst、エンドタイミングTedとして同じ値(同じ発光期間Tp)により発光駆動する。
この場合でも、発光素子2aの個々のばらつき、光学系、被写体により、撮像データでの輝度のばらつきが生ずる。そこで、輝度ばらつきを解消するように、発光素子X、Yのパラメータを個別に設定する。例えば電流値を異なるものとしたり、タイミングパラメータを変更して発光期間TpX,TpYを異なるものとする。
一方、動的パラメータ制御とは、センシング中に変化する状況に応じて適応的にパラメータ可変設定を行うものである。
例えば図26に示すように、まず発光部2の初期の温度分布に応じて発光素子X、Yのパラメータを決めて発光させる。なお静的パラメータ制御を行った後であれば、初期の温度分布に応じたパラメータ設定は、それに含まれて行われていると考えることができる。
その後、センシング中に温度変化により輝度ばらつきが生じた場合、輝度ばらつきを解消するように、発光素子X、Yのパラメータを個別に設定する。例えば電流値を異なるものとしたり、タイミングパラメータを変更して発光期間TpX,TpYを異なるものとする。
例えば図26に示すように、まず発光部2の初期の温度分布に応じて発光素子X、Yのパラメータを決めて発光させる。なお静的パラメータ制御を行った後であれば、初期の温度分布に応じたパラメータ設定は、それに含まれて行われていると考えることができる。
その後、センシング中に温度変化により輝度ばらつきが生じた場合、輝度ばらつきを解消するように、発光素子X、Yのパラメータを個別に設定する。例えば電流値を異なるものとしたり、タイミングパラメータを変更して発光期間TpX,TpYを異なるものとする。
なお、いずれの場合も、発光パラメータにより発光素子X、Yにおいて発光期間Tpが異なるようにする場合、上述の発光期間と露光期間の同期の点を考えれば、露光期間Trも、それに応じて個別に異なるようにすることが想定される。
但しイメージセンサ7側で、露光期間を個別画素(又はブロック画素)毎に可変制御できない場合は、一番早い複数の発光素子2aに対するパラメータのうちで一番早いスタートタイミングTstから一番遅いエンドタイミングTedまでの期間を露光するように露光期間を設定することが考えられる。
但しイメージセンサ7側で、露光期間を個別画素(又はブロック画素)毎に可変制御できない場合は、一番早い複数の発光素子2aに対するパラメータのうちで一番早いスタートタイミングTstから一番遅いエンドタイミングTedまでの期間を露光するように露光期間を設定することが考えられる。
<10.パラメータ設定処理例>
以下、第4の実施の形態におけるパラメータ設定処理例を説明する。以下説明する処理例は制御部9が行う処理であるとする。上述したように制御部9は駆動部3と別体のものでも駆動部3内に設けられるものでもかまわない。
以下、第4の実施の形態におけるパラメータ設定処理例を説明する。以下説明する処理例は制御部9が行う処理であるとする。上述したように制御部9は駆動部3と別体のものでも駆動部3内に設けられるものでもかまわない。
まず図27の処理例では、制御部9はステップS10で静的キャリブレーションとして、上述の静的パラメータ制御を行う。
そして制御部9はステップS11で、静的キャリブレーションにより調整されたパラメータに基づいて発光部2の発光及びイメージセンサ7による撮像が開始されるように、駆動部3及びイメージセンサ7を制御する。
センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図27の処理は、静的パラメータ制御のみを行う処理例である。
そして制御部9はステップS11で、静的キャリブレーションにより調整されたパラメータに基づいて発光部2の発光及びイメージセンサ7による撮像が開始されるように、駆動部3及びイメージセンサ7を制御する。
センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図27の処理は、静的パラメータ制御のみを行う処理例である。
ステップS10の静的キャリブレーションとしての処理例I、II、IIIを、それぞれ図28、図29、図30で説明する。
まず図28で静的キャリブレーション処理例Iを説明する。
ステップS200で制御部9は、駆動部3及びイメージセンサ7に対して初期パラメータをセットする。これは、複数の発光素子2aに、全て共通のレーザパワー及び発光期間Tpを指定するパラメータである。
なお、初期パラメータとしては、発光期間Tpの長さが同一であれば、スタートタイミングTst及びエンドタイミングTedをずらしたパラメータとしてもよい。
また初期パラメータとしてはイメージセンサ7側の撮像信号に与えるゲインや露光期間Trもある。上述のように露光期間Trは発光期間Tpと同期したものとなる。
ステップS200で制御部9は、駆動部3及びイメージセンサ7に対して初期パラメータをセットする。これは、複数の発光素子2aに、全て共通のレーザパワー及び発光期間Tpを指定するパラメータである。
なお、初期パラメータとしては、発光期間Tpの長さが同一であれば、スタートタイミングTst及びエンドタイミングTedをずらしたパラメータとしてもよい。
また初期パラメータとしてはイメージセンサ7側の撮像信号に与えるゲインや露光期間Trもある。上述のように露光期間Trは発光期間Tpと同期したものとなる。
そして制御部9はステップS201で発光制御を行う。即ち制御部9は駆動部3に発光を開始させるとともに、イメージセンサ7において発光に同期した露光を開始させる。
これにより撮像装置101側で撮像データが得られ、制御部9は、撮像データの情報、即ち画素或いは画素ブロック毎の輝度データを確認できる状態となる。
そこでステップS202で制御部9は、撮像データの各画素の輝度の値を取得する。
これにより撮像装置101側で撮像データが得られ、制御部9は、撮像データの情報、即ち画素或いは画素ブロック毎の輝度データを確認できる状態となる。
そこでステップS202で制御部9は、撮像データの各画素の輝度の値を取得する。
ステップS203で制御部9は、測距センシングに必要な全ての画素において画素値(輝度値)が検知可能であるか否かを確認する。
なおセンシングに必要な全ての画素とは、レーザ発光による反射光を受光すべき画素の全部という意味で、必ずしも物理的にイメージセンサ7に設けられる全ての画素を指すものではない。以下、図28,図29,図30の説明では、「全ての画素」や「全画素」はこのような意味で用いる。
このステップS203では、制御部9は、全ての画素において少なくともイメージセンサ7のダイナミックレンジ内での受光が実現できているか否かを確認する。
即ち画素値が飽和していることなく、またノイズに埋もれておらず適切な画素値が得られていれば、少なくともセンシング動作が可能であるため、ダイナミックレンジ内であればよいとするものである。
ただし、ステップS203では、より厳しく、全ての画素内が所定の輝度値の範囲内にあることを条件としてもよい。
なおセンシングに必要な全ての画素とは、レーザ発光による反射光を受光すべき画素の全部という意味で、必ずしも物理的にイメージセンサ7に設けられる全ての画素を指すものではない。以下、図28,図29,図30の説明では、「全ての画素」や「全画素」はこのような意味で用いる。
このステップS203では、制御部9は、全ての画素において少なくともイメージセンサ7のダイナミックレンジ内での受光が実現できているか否かを確認する。
即ち画素値が飽和していることなく、またノイズに埋もれておらず適切な画素値が得られていれば、少なくともセンシング動作が可能であるため、ダイナミックレンジ内であればよいとするものである。
ただし、ステップS203では、より厳しく、全ての画素内が所定の輝度値の範囲内にあることを条件としてもよい。
もし全ての画素が適正に検知可能(飽和しておらず、またノイズに埋もれてもいない)であれば、センシングは可能であるため、制御部9はステップS207として現在のパラメータを記憶して、静的キャリブレーションを終える。例えば初期パラメータで問題ない場合は、その初期パラメータのままで静的キャリブレーションを終えることになる。
一方、全部又は一部の画素において適正な画素検知ができない場合(或いは一部又は全部の画素の輝度値が適切な範囲内とはなっていないとした場合)は、制御部9はステップS204に進み、センサパラメータが調整可能であるか否かを判断する。
ここでは例えばイメージセンサ7における撮像信号に与えるゲインを調整可能であるか否かを判定する。
なお、この場合に露光時間Trを調整することも考えられるが、露光時間Trを調整する場合は、同時に発光期間Tpも合わせて変更することになる。但しこの場合の発光時間Tpの制御は、個別の発光素子2aに対するものではなく、全発光素子2aに対して共通に行うことを想定している。
ここでは例えばイメージセンサ7における撮像信号に与えるゲインを調整可能であるか否かを判定する。
なお、この場合に露光時間Trを調整することも考えられるが、露光時間Trを調整する場合は、同時に発光期間Tpも合わせて変更することになる。但しこの場合の発光時間Tpの制御は、個別の発光素子2aに対するものではなく、全発光素子2aに対して共通に行うことを想定している。
ゲイン又は露光期間としてセンサパラメータの調整が可能な場合は、制御部9はステップS205に進み、ゲイン又は露光期間の一方又は両方を可変する。
その状態でステップS201、S202、S203の処理を行い、適正な画素検知が実現できたか否かを判定する。
この時点で、ステップS203において全画素の適正な検知が可能になったということは、特に個々の発光素子2aのパラメータを個別に制御するまでもなく、調整ができたことになる。
その場合、制御部9はステップS207で、センサパラメータ調整後の状態のパラメータを、静的キャリブレーション後のパラメータとして記憶する。
その状態でステップS201、S202、S203の処理を行い、適正な画素検知が実現できたか否かを判定する。
この時点で、ステップS203において全画素の適正な検知が可能になったということは、特に個々の発光素子2aのパラメータを個別に制御するまでもなく、調整ができたことになる。
その場合、制御部9はステップS207で、センサパラメータ調整後の状態のパラメータを、静的キャリブレーション後のパラメータとして記憶する。
ステップS203で全画素検知可能とは判定されない場合において、ステップS204でセンサパラメータの変更不可とされる場合もある。例えばゲインや露光時間が、可変範囲として予め決められた上限又は下限に達している場合である。
そのような場合は、センサパラメータ調整として共通制御できないため、制御部9はステップS206に進み、個別の発光パラメータ調整を行うことになる。
即ち制御部9は、図22Cや図24で示したように発光パラメータを可変する。特には、撮像データの輝度のばらつきに応じて発光パラメータ設定を行う。
例えば輝度が足りない画素(又は画素ブロック)に対応する発光素子2aについては、発光期間Tpが長くなるようにし、また輝度が高すぎる(或いは飽和している)画素(又は画素ブロック)に対応する発光素子2aについては、発光期間Tpが短くなるように、発光パラメータ設定を行う。
また1フレーム期間Tfにおける複数回発光(及び露光)を行うようなパラメータ設定も想定される。
レーザパワーを個別に制御できる構成の場合は、レーザパワーのパラメータを個別に設定してもよい。
即ち制御部9は、図22Cや図24で示したように発光パラメータを可変する。特には、撮像データの輝度のばらつきに応じて発光パラメータ設定を行う。
例えば輝度が足りない画素(又は画素ブロック)に対応する発光素子2aについては、発光期間Tpが長くなるようにし、また輝度が高すぎる(或いは飽和している)画素(又は画素ブロック)に対応する発光素子2aについては、発光期間Tpが短くなるように、発光パラメータ設定を行う。
また1フレーム期間Tfにおける複数回発光(及び露光)を行うようなパラメータ設定も想定される。
レーザパワーを個別に制御できる構成の場合は、レーザパワーのパラメータを個別に設定してもよい。
そしてその設定したパラメータによりステップS201、S202、S203の処理を行い、適切な画素検知が実現できたか否かを判定する。
特に個別に発光パラメータが設定されることで、飽和画素や輝度不足画素は適切に解消できる。もちろん、再度ステップS203→S204→S206として個別パラメータ設定が行われる場合もあるが、その場合は、個別の発光パラメータ設定及び撮像データの確認が繰り返される。
ステップS203で全画素の輝度が適正に検知可能となった時点で、制御部9はステップS207に進み、その時点の発光パラメータ及びセンサパラメータを、静的キャリブレーション結果のパラメータとして記憶する。
特に個別に発光パラメータが設定されることで、飽和画素や輝度不足画素は適切に解消できる。もちろん、再度ステップS203→S204→S206として個別パラメータ設定が行われる場合もあるが、その場合は、個別の発光パラメータ設定及び撮像データの確認が繰り返される。
ステップS203で全画素の輝度が適正に検知可能となった時点で、制御部9はステップS207に進み、その時点の発光パラメータ及びセンサパラメータを、静的キャリブレーション結果のパラメータとして記憶する。
このような処理により、撮像データにおいて画素毎の輝度ばらつきが生じている場合には、まず全体的なパラメータ調整を行い、それでもばらつきが解消できなかったときに個別パラメータ設定が行われることになる。
パラメータ設定が簡易な全体制御が優先されることで処理負荷が軽減される。一方で、大幅なばらつきには個別設定が行われることで対応できる。
パラメータ設定が簡易な全体制御が優先されることで処理負荷が軽減される。一方で、大幅なばらつきには個別設定が行われることで対応できる。
次に図29で静的キャリブレーション処理例IIを説明する。なお、すでに処理例Iと同様の処理については同一のステップ番号を付して重複説明を避ける。
これは、センサパラメータの調整より発光パラメータの調整を優先する例である。
ステップS203で全ての画素の輝度値が適正に検知可能とはなっていないと判定された場合、制御部9はステップS210で、発光パラメータ調整が可能か否かを確認する。そして可能であればステップS211に進み、発光パラメータについて全体調整又は個別調整を行う。そしてステップS201,S202,S203の処理を行う。
これは、センサパラメータの調整より発光パラメータの調整を優先する例である。
ステップS203で全ての画素の輝度値が適正に検知可能とはなっていないと判定された場合、制御部9はステップS210で、発光パラメータ調整が可能か否かを確認する。そして可能であればステップS211に進み、発光パラメータについて全体調整又は個別調整を行う。そしてステップS201,S202,S203の処理を行う。
ステップS210に進んだ時点で、すでに発光パラメータ調整ができない(調整限界となっている)場合は、制御部9はステップS212に進み、センサパラメータ調整を行う。この場合は、イメージセンサ7におけるゲイン調整を行うことになる。
他の処理は処理例Iと同様である。
他の処理は処理例Iと同様である。
この図29の処理例IIの場合は、まず個別パラメータ設定が行われるため、撮像データ上での輝度ばらつきが大きい場合でも、効率よく、輝度ばらつきを均一化するようにパラメータ設定が可能である。イメージセンサ7のゲイン調整は補助的に用いられる。増幅時のノイズなどの事情でイメージセンサのゲイン調整をあまり行いたくない場合の処理として好適である。
図30で静的キャリブレーション処理例IIIを説明する。ステップS200~S207は図28と同様としている。但しステップS203Aとして、ステップS203より厳しい条件としている。即ち単に全ての画素が適正に検知可能というのではなく、全ての画素の輝度値が所定の範囲内という条件としている。これは、ばらつきがより少なくなるまでパラメータ調整を行うことを意味する。
そしてこの処理例IIIでは、ステップS207で静的キャリブレーション結果のパラメータを記憶した後、さらにステップS220~S223でレーザパワー設定についてのパラメータ調整を行う。
そしてこの処理例IIIでは、ステップS207で静的キャリブレーション結果のパラメータを記憶した後、さらにステップS220~S223でレーザパワー設定についてのパラメータ調整を行う。
まず制御部9はステップS220で、全ての発光素子2aについて、レーザパワーが1ステップ低下されるように、発光パラメータを変更する。
なお、ここでいう1ステップとは、このステップS220の処理について設定した1段階の下げ幅という意味で、必ずしも設定可能なレーザパワー(駆動電流値)の分解能でいう可変幅に限られるものではない。
そして制御部9はステップS221で、変更した発光パラメータにより発光素子2aが発光するように駆動部3を制御し、ステップS222では、その発光に対応して撮像された撮像データの各画素の輝度値を取得する。
そして制御部9はステップS223で、全ての画素が、所定値以上の輝度値で検知されているか否かを判定する。所定値とは、画像検出・測距センシングに問題ないレベルの輝度値とする。
なお、ここでいう1ステップとは、このステップS220の処理について設定した1段階の下げ幅という意味で、必ずしも設定可能なレーザパワー(駆動電流値)の分解能でいう可変幅に限られるものではない。
そして制御部9はステップS221で、変更した発光パラメータにより発光素子2aが発光するように駆動部3を制御し、ステップS222では、その発光に対応して撮像された撮像データの各画素の輝度値を取得する。
そして制御部9はステップS223で、全ての画素が、所定値以上の輝度値で検知されているか否かを判定する。所定値とは、画像検出・測距センシングに問題ないレベルの輝度値とする。
検知できている場合は、ステップS207に戻り、直前のステップS220で低下させたレーザパワーを含む現在のパラメータを記憶する。
その上で、ステップS220で制御部9は、さらにレーザパワーを1ステップ低下させ、ステップS221,S222,S223の処理を行う。
即ち、ステップSステップS223で全ての画素において所定以上の輝度値が検知されている限り、レーザパワーを下げていく。
もしステップS223で一部の画素で輝度値が所定値未満となったら、その時点で処理を終える。
その上で、ステップS220で制御部9は、さらにレーザパワーを1ステップ低下させ、ステップS221,S222,S223の処理を行う。
即ち、ステップSステップS223で全ての画素において所定以上の輝度値が検知されている限り、レーザパワーを下げていく。
もしステップS223で一部の画素で輝度値が所定値未満となったら、その時点で処理を終える。
このとき記憶されているパラメータは、一部の画素で輝度値が所定値未満となる直前であって、全ての画素で輝度値が所定値以上となる場合のパラメータである。つまり、可能な限りレーザパワーを下げた状態を示すパラメータとなっている。
従ってこの図30の処理では、静的キャリブレーションとしては、撮像データの各画素での輝度ばらつきをできる限り抑えた(ステップS203Aで適切とした範囲まで抑えた)うえで、できる限りレーザパワーを低下させるものである。
なお、ステップS223で閾値とする所定値は、検出不能となる値よりある程度のマージンをもって設定されていることが望ましい。
このような処理により、適切なセンシングができる範囲で、できるだけレーザパワーを低下させ、消費電力の削減及び発光効率の向上を図ることができる。
従ってこの図30の処理では、静的キャリブレーションとしては、撮像データの各画素での輝度ばらつきをできる限り抑えた(ステップS203Aで適切とした範囲まで抑えた)うえで、できる限りレーザパワーを低下させるものである。
なお、ステップS223で閾値とする所定値は、検出不能となる値よりある程度のマージンをもって設定されていることが望ましい。
このような処理により、適切なセンシングができる範囲で、できるだけレーザパワーを低下させ、消費電力の削減及び発光効率の向上を図ることができる。
なお図30では、図28の処理を基本としてステップS220~S223を追加したものとしたが、図29の処理を基本としてステップS220~S223を追加した処理例も考えられる。
以上の静的キャリブレーション処理例I、II、IIIは、図27のパラメータ設定処理の第1例におけるステップS10として説明したが、このような静的キャリブレーション処理例I、II、IIIを採用できるパラメータ設定処理としての第2例を続いて説明する。
図31はパラメータ設定処理としての第2例を示している。
この処理例では、制御部9はステップS10として静的キャリブレーションを行った後、ステップS21で温度測定を行う。即ち制御部9は温度検出部10による温度の検出信号により現在の温度TMPを確認する。
そしてステップS22で温度対応キャリブレーションを行う。
その後ステップS23で、静的キャリブレーション、さらに温度対応キャリブレーションにより調整されたパラメータに基づいて、発光部2の発光及びイメージセンサ7による撮像が開始されるように、駆動部3及びイメージセンサ7を制御する。
この処理例では、制御部9はステップS10として静的キャリブレーションを行った後、ステップS21で温度測定を行う。即ち制御部9は温度検出部10による温度の検出信号により現在の温度TMPを確認する。
そしてステップS22で温度対応キャリブレーションを行う。
その後ステップS23で、静的キャリブレーション、さらに温度対応キャリブレーションにより調整されたパラメータに基づいて、発光部2の発光及びイメージセンサ7による撮像が開始されるように、駆動部3及びイメージセンサ7を制御する。
センシング中は、ステップS21,S22,S23を継続的に実行し、センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図31の処理は、静的パラメータ制御に加えて動的パラメータ制御として温度キャリブレーションを行う例である。
つまりこの図31の処理は、静的パラメータ制御に加えて動的パラメータ制御として温度キャリブレーションを行う例である。
ステップS22の温度キャリブレーションとしては、例えば現在の温度TMPに応じて、レーザパワー(駆動電流量)を制御する。
温度が高くなるほど発光効率が落ちることに対応するため、温度上昇に応じて駆動電流量を多くし、発光光量を維持することが考えられる。
なお、この温度対応キャリブレーションでは、全ての発光素子2aについて全体制御として駆動電流量を変化させてもよいが、温度分布に応じて、個別に(ブロック毎に)駆動電流量を制御するものでもよい。
温度が高くなるほど発光効率が落ちることに対応するため、温度上昇に応じて駆動電流量を多くし、発光光量を維持することが考えられる。
なお、この温度対応キャリブレーションでは、全ての発光素子2aについて全体制御として駆動電流量を変化させてもよいが、温度分布に応じて、個別に(ブロック毎に)駆動電流量を制御するものでもよい。
さらにこの場合、上述した1フレーム内の分割的な複数回発光を行うようにパラメータを設定しても良い。
特に温度上昇に応じたものであるため、なるべくそれ以上の温度上昇を避けるために、1フレーム期間Tfにおける複数回発光・露光を行うようにすることで、光量を確保しつつ温度上昇を促進させないという点で好適である。
特に温度上昇に応じたものであるため、なるべくそれ以上の温度上昇を避けるために、1フレーム期間Tfにおける複数回発光・露光を行うようにすることで、光量を確保しつつ温度上昇を促進させないという点で好適である。
次にパラメータ設定処理としての第3例を図32で説明する。
ステップS10、S21、S22、S23は図31と同様である。この例では制御部9はステップS24で、撮像データに写った明るさに応じて、発光パラメータ、センサパラメータの一方又は両方の調整を行うものとした例である。
センシング中は、ステップS21,S22,S23,S24を継続的に実行し、センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図32の処理は、静的パラメータ制御に加えて動的パラメータ制御として温度キャリブレーションと被写体Sの反射率に応じたキャリブレーションを行う例である。
ステップS10、S21、S22、S23は図31と同様である。この例では制御部9はステップS24で、撮像データに写った明るさに応じて、発光パラメータ、センサパラメータの一方又は両方の調整を行うものとした例である。
センシング中は、ステップS21,S22,S23,S24を継続的に実行し、センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図32の処理は、静的パラメータ制御に加えて動的パラメータ制御として温度キャリブレーションと被写体Sの反射率に応じたキャリブレーションを行う例である。
発光パラメータ調整としては、被写体Sの反射率や距離の変化に応じて、飽和しない範囲で発光期間やレーザパワーを制御する。これは発光素子2aの全体に対する調整も、個別の調整も考えられる。例えば被写体Sの一部で反射率が高い場合に、それに対応する発光素子2aについて発光期間Tpを短くするなどである。
センサパラメータ調整としては、被写体Sの反射率や距離の変化に応じて、飽和しない範囲でゲイン調整、露光期間調整を行う。
センサパラメータ調整としては、被写体Sの反射率や距離の変化に応じて、飽和しない範囲でゲイン調整、露光期間調整を行う。
以上の各種の処理例により、静的パラメータ制御、動的パラメータ制御が行われ、これにより輝度ばらつきの少ない撮像データを得、センシング精度を上げることができる。
<11.まとめ及び変形例>
以上の実施の形態では次のような効果が得られる。
実施の形態の光源装置100では、複数のレーザ発光素子2aと、レーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7による撮像データに基づいて設定された、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子2aを駆動する駆動部3を備えている。
つまり本実施の形態の光源装置100は、個々のレーザ発光素子の出射レーザパワーを均一化するように発光パラメータを調整するのではなく、レーザ照射の結果としてイメージセンサ7の各画素で受光される受光レベルが適切なものとなるように(例えばばらつきを抑えるように)、複数のレーザ発光素子の所定単位毎の(例えば個々の、或いはブロック毎の)発光パラメータを制御する。
従って個々のレーザ発光素子の出射レーザパワーは必ずしも均一化されないが、イメージセンサ側での撮像画像上の輝度を所望の値に制御することができるようになる。これはイメージセンサ7において、必要な検出のための撮像を適切に行うように調整できることを意味する。例えば測距や対象の3D形状推定などのための撮像が的確にできるようになり、もって測距センサの性能を向上させることができる。
駆動部3については、所定単位の発光素子2a毎にそれぞれ設定された発光パラメータで駆動することができ構成であることで、イメージセンサ側の事情に応じて柔軟にレーザ制御が可能となっている。
以上の実施の形態では次のような効果が得られる。
実施の形態の光源装置100では、複数のレーザ発光素子2aと、レーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7による撮像データに基づいて設定された、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子2aを駆動する駆動部3を備えている。
つまり本実施の形態の光源装置100は、個々のレーザ発光素子の出射レーザパワーを均一化するように発光パラメータを調整するのではなく、レーザ照射の結果としてイメージセンサ7の各画素で受光される受光レベルが適切なものとなるように(例えばばらつきを抑えるように)、複数のレーザ発光素子の所定単位毎の(例えば個々の、或いはブロック毎の)発光パラメータを制御する。
従って個々のレーザ発光素子の出射レーザパワーは必ずしも均一化されないが、イメージセンサ側での撮像画像上の輝度を所望の値に制御することができるようになる。これはイメージセンサ7において、必要な検出のための撮像を適切に行うように調整できることを意味する。例えば測距や対象の3D形状推定などのための撮像が的確にできるようになり、もって測距センサの性能を向上させることができる。
駆動部3については、所定単位の発光素子2a毎にそれぞれ設定された発光パラメータで駆動することができ構成であることで、イメージセンサ側の事情に応じて柔軟にレーザ制御が可能となっている。
実施の形態の駆動部3は、イメージセンサ7による撮像データにおける反射光の像の輝度を用いて可変設定された所定単位毎の発光パラメータに応じて、個々のレーザ発光素子を駆動するものとした。
即ちイメージセンサ7で撮像された画像に写る、光源の対象物(被写体S)による反射光の像の輝度を基準として、発光パラメータへフィードバックするシステムとした。
これにより例えば、
・各レーザ発光素子2aのそれぞれの特性ばらつき
・発光側光学系5の光学特性の分布
・対象物(被写体S)の反射特性の分布
・対象物(被写体S)までの距離
・撮像側光学系6の光学特性の分布
・イメージセンサ7の入射角に応じた感度の差
等に応じた制御が可能となる。例えばこれらの影響を打ち消すように制御し、イメージセンサ7で撮像される画像上に写る光源の対象物による反射光の像の輝度が、一様に近づくように制御する測距システムが実現できる。
即ちイメージセンサ7で撮像された画像に写る、光源の対象物(被写体S)による反射光の像の輝度を基準として、発光パラメータへフィードバックするシステムとした。
これにより例えば、
・各レーザ発光素子2aのそれぞれの特性ばらつき
・発光側光学系5の光学特性の分布
・対象物(被写体S)の反射特性の分布
・対象物(被写体S)までの距離
・撮像側光学系6の光学特性の分布
・イメージセンサ7の入射角に応じた感度の差
等に応じた制御が可能となる。例えばこれらの影響を打ち消すように制御し、イメージセンサ7で撮像される画像上に写る光源の対象物による反射光の像の輝度が、一様に近づくように制御する測距システムが実現できる。
実施の形態の駆動部3は、イメージセンサ7による撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、所定単位毎の発光パラメータに応じて、個々のレーザ発光素子を駆動するものである。
例えば撮像データにおいて輝度が高い画素に対応するレーザ発光素子2aのパワーを抑える方向であったり輝度が低い画素に対応するレーザ発光素子2aのパワーを上げる方向でのパラメータ設定変更が行われる。
イメージセンサ7による撮像データに基づいて輝度ばらつきを抑制する方向に各発光パラメータが設定されることで、イメージセンサ7による撮像画像上の輝度を所望の値に制御することができるようになり、有限のダイナミックレンジを持つイメージセンサ7において、検出のための撮像を適切に行うことができる。
このため、例えば露出を暗い点に合わせて設定しても明るい点に合わせて設定しても正しく撮影することができず、正確な座標を得ることができないというような状況を克服することができる。
特にはイメージセンサ7による撮像データの画素における輝度について、イメージセンサ7のダイナミックレンジ内に収まる均一化、さらにはより精度の高い均一化を実現することも可能であり、それは測距センサとしての検出精度の向上につながる。
また、本技術を適用した結果として、「従来手法では暗く写ってしまっていた輝点」に対応する光源の出力を相対的にあげることにつながり、SN比 (signal-noise ratio)を向上させることができる。その結果、イメージセンサ7の露出設定の1つであるゲインを上げてもノイズとの分離が可能である為、露出設定を高ゲインに振ることができる。即ち、露光時間を短く設定しやすくなり、よって、レーザ発光時間も短くすることができ、全体として低消費電力を促進できるという効果もある。
例えば撮像データにおいて輝度が高い画素に対応するレーザ発光素子2aのパワーを抑える方向であったり輝度が低い画素に対応するレーザ発光素子2aのパワーを上げる方向でのパラメータ設定変更が行われる。
イメージセンサ7による撮像データに基づいて輝度ばらつきを抑制する方向に各発光パラメータが設定されることで、イメージセンサ7による撮像画像上の輝度を所望の値に制御することができるようになり、有限のダイナミックレンジを持つイメージセンサ7において、検出のための撮像を適切に行うことができる。
このため、例えば露出を暗い点に合わせて設定しても明るい点に合わせて設定しても正しく撮影することができず、正確な座標を得ることができないというような状況を克服することができる。
特にはイメージセンサ7による撮像データの画素における輝度について、イメージセンサ7のダイナミックレンジ内に収まる均一化、さらにはより精度の高い均一化を実現することも可能であり、それは測距センサとしての検出精度の向上につながる。
また、本技術を適用した結果として、「従来手法では暗く写ってしまっていた輝点」に対応する光源の出力を相対的にあげることにつながり、SN比 (signal-noise ratio)を向上させることができる。その結果、イメージセンサ7の露出設定の1つであるゲインを上げてもノイズとの分離が可能である為、露出設定を高ゲインに振ることができる。即ち、露光時間を短く設定しやすくなり、よって、レーザ発光時間も短くすることができ、全体として低消費電力を促進できるという効果もある。
実施の形態のレーザ発光素子2aは、VCSEL(垂直共振器面発光レーザ)であるとした。そしてVCSELとしてのレーザ発光素子2aについて、所定単位毎の駆動を実現するように駆動部3が形成されている。このような構成を設けることで、測距装置1を構成する光源装置100として、フレキシブルな発光を実現し、特に本実施の形態の場合、イメージセンサ7側の事情に応じた制御が可能となる。
なお本開示の技術はVCSELに限らず、他の種のレーザ発光素子を備えた光源装置にも適用できる。
なお本開示の技術はVCSELに限らず、他の種のレーザ発光素子を備えた光源装置にも適用できる。
実施の形態では、イメージセンサ7による撮像データに基づいて、所定単位毎に対応する発光パラメータを生成する制御部9を備えているようにしてもよい。
例えば光源装置100内(例えば光源装置100としてのチップ内)において制御部9を設けるようにする。
制御部9が光源装置100としての発光部2,駆動部3と一体化されている(例えば同一チップ内)ようにすることで、所定単位毎の発光パラメータの設定・転送に有利な構成とすることができる。
例えば光源装置100内(例えば光源装置100としてのチップ内)において制御部9を設けるようにする。
制御部9が光源装置100としての発光部2,駆動部3と一体化されている(例えば同一チップ内)ようにすることで、所定単位毎の発光パラメータの設定・転送に有利な構成とすることができる。
実施の形態の制御部9は、イメージセンサ7による撮像データに基づいて、イメージセンサ7のセンシング動作を規定するセンサパラメータを生成し、イメージセンサ7に供給する処理も行う(図27,図28,図29,図30,図31,図32参照)。
即ちイメージセンサ7による撮像データに基づいて、発光素子2aの発光パラメータとイメージセンサ7のセンサパラメータの両方が調整されるようにしている。
これによりレーザ発光素子2aの制御だけでなく、イメージセンサ7側の制御、例えばゲインや露光時間の調整による効果も加えて、撮像データの各画素でのばらつきを効果的に低減でき、適切な撮像データが得られるようにすることができる。
またレーザ発光素子2aの発光期間Tpと露光期間Trの同期をとる場合において、発光期間Tpが変化される場合も、同様に露光期間Trについても制御することで、発光と露光の同期を適切にとることができる。
即ちイメージセンサ7による撮像データに基づいて、発光素子2aの発光パラメータとイメージセンサ7のセンサパラメータの両方が調整されるようにしている。
これによりレーザ発光素子2aの制御だけでなく、イメージセンサ7側の制御、例えばゲインや露光時間の調整による効果も加えて、撮像データの各画素でのばらつきを効果的に低減でき、適切な撮像データが得られるようにすることができる。
またレーザ発光素子2aの発光期間Tpと露光期間Trの同期をとる場合において、発光期間Tpが変化される場合も、同様に露光期間Trについても制御することで、発光と露光の同期を適切にとることができる。
実施の形態の駆動部3は、発光パラメータに応じて、所定単位毎にレーザ発光素子の駆動タイミングを制御する(図22、図24、図25参照)。
これによりレーザ発光素子2aの所定単位毎について、イメージセンサ7側での受光輝度を可変調整できる。従って検出に適した受光状態に制御できる。
これによりレーザ発光素子2aの所定単位毎について、イメージセンサ7側での受光輝度を可変調整できる。従って検出に適した受光状態に制御できる。
実施の形態の駆動部3は、所定単位毎に駆動タイミングを制御することで、所定単位毎にレーザ発光素子2aの発光期間長が可変制御されるようにする例を述べた。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光期間長が必ずしも均一でないように可変制御する。
レーザ発光素子の発光期間の長短により、イメージセンサ7側での受光輝度を調整することができる。従って検出に適した受光状態に制御できる。
特に所定単位毎に光学パワーが均一にできない場合でも、1回の発光期間長により光学エネルギーを揃えるようにすることができる。
また、発光期間長の長短により、光学系の透過率の空間分布を相殺する射出を実現することもできる。
また、発光期間長の長短により、被写体の反射率の違いを相殺する射出を実現することもできる。
また、発光期間長の長短により、被写体との距離の違い相殺する射出を実現することもできる。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光期間長が必ずしも均一でないように可変制御する。
レーザ発光素子の発光期間の長短により、イメージセンサ7側での受光輝度を調整することができる。従って検出に適した受光状態に制御できる。
特に所定単位毎に光学パワーが均一にできない場合でも、1回の発光期間長により光学エネルギーを揃えるようにすることができる。
また、発光期間長の長短により、光学系の透過率の空間分布を相殺する射出を実現することもできる。
また、発光期間長の長短により、被写体の反射率の違いを相殺する射出を実現することもできる。
また、発光期間長の長短により、被写体との距離の違い相殺する射出を実現することもできる。
実施の形態の駆動部3は、所定単位毎に駆動タイミングを制御することで、所定単位毎にレーザ発光素子2aの発光開始タイミング(スタートタイミングTst)が可変制御されるようにする例を述べた。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光開始タイミングが必ずしも同じタイミングでないように可変制御する。
レーザ発光素子の発光開始タイミングをずらすことで、発光期間長を変化させることもできる。
またレーザ発光素子の発光開始タイミングをずらすことによれば駆動部3内の回路配線における瞬間的な電流量の増大を低減できることにもなり、駆動部3における急激な電流変化による悪影響も低減できる。例えば急激な電源負荷変動による動作の不安定化を防止できる。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光開始タイミングが必ずしも同じタイミングでないように可変制御する。
レーザ発光素子の発光開始タイミングをずらすことで、発光期間長を変化させることもできる。
またレーザ発光素子の発光開始タイミングをずらすことによれば駆動部3内の回路配線における瞬間的な電流量の増大を低減できることにもなり、駆動部3における急激な電流変化による悪影響も低減できる。例えば急激な電源負荷変動による動作の不安定化を防止できる。
実施の形態の駆動部3は、所定単位毎に駆動タイミングを制御することで、所定単位毎にレーザ発光素子2aの発光終了タイミング(エンドタイミングTed)が可変制御されるようにする例を述べた。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光終了タイミングが必ずしも同じタイミングでないように可変制御する。
レーザ発光素子の発光終了タイミングをずらすことによっても発光期間長を変化させることができる。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光終了タイミングが必ずしも同じタイミングでないように可変制御する。
レーザ発光素子の発光終了タイミングをずらすことによっても発光期間長を変化させることができる。
実施の形態の駆動部3は、発光パラメータに応じて、レーザ発光素子2aの所定単位毎の駆動電流量を制御する例を述べた。
即ちレーザ発光素子2aの発光パワーを可変制御する。
これによりレーザ発光素子2aの所定単位毎について、イメージセンサ7側での受光輝度を可変調整できる。従って検出に適した受光状態に制御できる。
即ちレーザ発光素子2aの発光パワーを可変制御する。
これによりレーザ発光素子2aの所定単位毎について、イメージセンサ7側での受光輝度を可変調整できる。従って検出に適した受光状態に制御できる。
実施の形態では駆動部3は、発光パラメータに応じて、イメージセンサの1フレーム期間におけるレーザ発光素子2aの発光回数を制御する例も述べた。
1フレーム期間内におけるレーザ発光回数により、露光されるレーザエネルギーを調整したり、さらには温度上昇を抑えた駆動が可能になる。従って発光回数制御もイメージセンサ側での適切な受光状態を得るための手法として用いることができる。
1フレーム期間内におけるレーザ発光回数により、露光されるレーザエネルギーを調整したり、さらには温度上昇を抑えた駆動が可能になる。従って発光回数制御もイメージセンサ側での適切な受光状態を得るための手法として用いることができる。
実施の形態では、レーザ発光素子2aの近傍温度を検出する温度センサ10a(温度検出部10)を備え、駆動部3は、温度センサ10aの検出値に基づいて設定された、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子2aを駆動する例を述べた。
即ち駆動部は温度変化に応じても、レーザ発光素子の発光タイミング、駆動電流量、或いは1フレーム内の発光回数を可変制御するようにする(図31参照)。
これにより温度に応じた特性変化(レーザパワーの変化)の影響がイメージセンサの撮像データに生じることを低減できる。
即ち駆動部は温度変化に応じても、レーザ発光素子の発光タイミング、駆動電流量、或いは1フレーム内の発光回数を可変制御するようにする(図31参照)。
これにより温度に応じた特性変化(レーザパワーの変化)の影響がイメージセンサの撮像データに生じることを低減できる。
実施の形態の撮像装置101は、光源装置100の複数のレーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7と、イメージセンサ7による撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータを生成し、光源装置100(駆動部3)に供給する制御部9を備える例を挙げている。制御部9が撮像装置101内に設けられる例である。
これにより、イメージセンサ7側での撮像画像上の輝度を所望の値に制御することができ、例えば測距や対象の3D形状推定などのための撮像が的確にできる撮像装置101を提供できる。
これにより、イメージセンサ7側での撮像画像上の輝度を所望の値に制御することができ、例えば測距や対象の3D形状推定などのための撮像が的確にできる撮像装置101を提供できる。
実施の形態の測距装置1はセンシングモジュールとして構成することができる。
このセンシングモジュールは、複数のレーザ発光素子2aと、複数のレーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7と、イメージセンサ7による撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータを生成する制御部9と、所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動2aする駆動部2を備える。
これにより例えば測距や物体認識等を行うセンシングモジュールが実現され、しかも、この場合において、所定単位毎にレーザ発光素子の発光パラメータを設定することで、イメージセンサ側の撮像データにおいて適切な露光・撮像ができるようになる。
このセンシングモジュールは、複数のレーザ発光素子2aと、複数のレーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7と、イメージセンサ7による撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータを生成する制御部9と、所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動2aする駆動部2を備える。
これにより例えば測距や物体認識等を行うセンシングモジュールが実現され、しかも、この場合において、所定単位毎にレーザ発光素子の発光パラメータを設定することで、イメージセンサ側の撮像データにおいて適切な露光・撮像ができるようになる。
実施の形態の測距装置1における制御部9は、駆動部3が、複数のレーザ発光素子2aにつき同じ発光パラメータで発光駆動した状態で、イメージセンサ7により得られる撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータを生成する例を述べた。即ち図28,図29,図30のような静的パラメータ制御である。
これにより静的キャリブレーションとしての発光パラメータ設定が実行できる。つまり、各レーザ発光素子のそれぞれの特性ばらつき、出射側光学系5の光学特性(例えば透過率の空間分布)、イメージセンサ側光学系6の光学特性(例えば透過率の空間分布)など、静的な条件によって生じる、撮像データの各画素の輝度ばらつきを低減するような発光パラメータの生成が実現できる。
これにより静的キャリブレーションとしての発光パラメータ設定が実行できる。つまり、各レーザ発光素子のそれぞれの特性ばらつき、出射側光学系5の光学特性(例えば透過率の空間分布)、イメージセンサ側光学系6の光学特性(例えば透過率の空間分布)など、静的な条件によって生じる、撮像データの各画素の輝度ばらつきを低減するような発光パラメータの生成が実現できる。
また制御部9は、レーザ発光素子2aの近傍の温度センサ10aの検出結果に基づいて、レーザ発光素子の発光パラメータを可変制御する例を述べた(図31参照)。
これにより発光動作中の温度変化に対応した動的キャリブレーションとしての発光パラメータ設定が実行できる。例えばVCSELとしてのレーザ発光素子2aは、温度上昇により出力レーザパワーが低下する。そこで、温度上昇に応じて、発光パラメータを制御することも行うようにし、これによってイメージセンサ7による撮像データの画素ばらつきが広がらないようにする。
特にレーザ発光素子2aの出射面とされた面方向に温度分布が生ずることが多い。例えば面中央程高温になりやすい。そのような面方向の温度分布は、イメージセンサ側の中央付近の画素の輝度の低下にもなる。そこで、温度に応じて所定単位のレーザ発光素子毎に電流量や発光期間長の制御でレーザ出力パワーを調整できるようにすれば、温度変化によらずにイメージセンサ7側の適切な撮像状態を維持できることになる。
これにより発光動作中の温度変化に対応した動的キャリブレーションとしての発光パラメータ設定が実行できる。例えばVCSELとしてのレーザ発光素子2aは、温度上昇により出力レーザパワーが低下する。そこで、温度上昇に応じて、発光パラメータを制御することも行うようにし、これによってイメージセンサ7による撮像データの画素ばらつきが広がらないようにする。
特にレーザ発光素子2aの出射面とされた面方向に温度分布が生ずることが多い。例えば面中央程高温になりやすい。そのような面方向の温度分布は、イメージセンサ側の中央付近の画素の輝度の低下にもなる。そこで、温度に応じて所定単位のレーザ発光素子毎に電流量や発光期間長の制御でレーザ出力パワーを調整できるようにすれば、温度変化によらずにイメージセンサ7側の適切な撮像状態を維持できることになる。
また制御部9は、対象物(被写体S)の検出中におけるイメージセンサ7による撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光パラメータを可変する例を述べた(図32参照)。
これによっても動的キャリブレーションとしての発光パラメータ設定が実行できる。つまり、検出の対象物までの距離や、対象物の反射率、反射率分布等によって生じる、撮像データの各画素の輝度ばらつきを低減するような発光パラメータの可変設定が実現できる。
これによっても動的キャリブレーションとしての発光パラメータ設定が実行できる。つまり、検出の対象物までの距離や、対象物の反射率、反射率分布等によって生じる、撮像データの各画素の輝度ばらつきを低減するような発光パラメータの可変設定が実現できる。
なお本開示の技術は実施の形態の構成、処理例に限られるものではなく、各種の変形例が想定される。
また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
複数のレーザ発光素子と、
前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する駆動部と、を備えた
光源装置。
(2)
前記駆動部は、前記イメージセンサによる撮像データにおける反射光の像の輝度を用いて可変設定された前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)に記載の光源装置。
(3)
前記駆動部は、前記イメージセンサによる撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)又は(2)に記載の光源装置。
(4)
前記レーザ発光素子は、垂直共振器面発光レーザである
上記(1)乃至(3)のいずれかに記載の光源装置。
(5)
前記イメージセンサによる撮像データに基づいて、前記所定単位毎に対応する発光パラメータを生成する制御部を備えた
上記(1)乃至(4)のいずれかに記載の光源装置。
(6)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給する
上記(5)に記載の光源装置。
(7)
前記駆動部は、発光パラメータに応じて、前記所定単位毎にレーザ発光素子の駆動タイミングを制御する
上記(1)乃至(6)のいずれかに記載の光源装置。
(8)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにする
上記(7)に記載の光源装置。
(9)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにする
上記(7)又は(8)に記載の光源装置。
(10)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにする
上記(7)乃至(9)のいずれかに記載の光源装置。
(11)
前記駆動部は、発光パラメータに応じて、前記レーザ発光素子の所定単位毎の駆動電流量を制御する
上記(1)乃至(10)のいずれかに記載の光源装置。
(12)
前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御する
上記(1)乃至(11)のいずれかに記載の光源装置。
(13)
前記レーザ発光素子の近傍温度を検出する温度センサを備え、
前記駆動部は、前記温度センサの検出値に基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)乃至(12)のいずれかに記載の光源装置。
(14)
光源装置の複数のレーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成し、前記光源装置に供給する制御部と、を備えた
撮像装置。
(15)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
上記(14)に記載の撮像装置。
(16)
複数のレーザ発光素子と、
複数の前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する制御部と、
前記所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動する駆動部と、を備えた
センシングモジュール。
(17)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
上記(16)に記載のセンシングモジュール。
(18)
前記制御部は、
前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で、前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する
上記(16)又は(17)に記載のセンシングモジュール。
(19)
前記制御部は、
前記レーザ発光素子の近傍の温度センサの検出結果に基づいて、前記レーザ発光素子の発光パラメータを可変制御する
上記(16)乃至(18)のいずれかに記載のセンシングモジュール。
(20)
前記制御部は、
対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変する
上記(16)乃至(19)のいずれかに記載のセンシングモジュール。
(1)
複数のレーザ発光素子と、
前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する駆動部と、を備えた
光源装置。
(2)
前記駆動部は、前記イメージセンサによる撮像データにおける反射光の像の輝度を用いて可変設定された前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)に記載の光源装置。
(3)
前記駆動部は、前記イメージセンサによる撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)又は(2)に記載の光源装置。
(4)
前記レーザ発光素子は、垂直共振器面発光レーザである
上記(1)乃至(3)のいずれかに記載の光源装置。
(5)
前記イメージセンサによる撮像データに基づいて、前記所定単位毎に対応する発光パラメータを生成する制御部を備えた
上記(1)乃至(4)のいずれかに記載の光源装置。
(6)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給する
上記(5)に記載の光源装置。
(7)
前記駆動部は、発光パラメータに応じて、前記所定単位毎にレーザ発光素子の駆動タイミングを制御する
上記(1)乃至(6)のいずれかに記載の光源装置。
(8)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにする
上記(7)に記載の光源装置。
(9)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにする
上記(7)又は(8)に記載の光源装置。
(10)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにする
上記(7)乃至(9)のいずれかに記載の光源装置。
(11)
前記駆動部は、発光パラメータに応じて、前記レーザ発光素子の所定単位毎の駆動電流量を制御する
上記(1)乃至(10)のいずれかに記載の光源装置。
(12)
前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御する
上記(1)乃至(11)のいずれかに記載の光源装置。
(13)
前記レーザ発光素子の近傍温度を検出する温度センサを備え、
前記駆動部は、前記温度センサの検出値に基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)乃至(12)のいずれかに記載の光源装置。
(14)
光源装置の複数のレーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成し、前記光源装置に供給する制御部と、を備えた
撮像装置。
(15)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
上記(14)に記載の撮像装置。
(16)
複数のレーザ発光素子と、
複数の前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する制御部と、
前記所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動する駆動部と、を備えた
センシングモジュール。
(17)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
上記(16)に記載のセンシングモジュール。
(18)
前記制御部は、
前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で、前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する
上記(16)又は(17)に記載のセンシングモジュール。
(19)
前記制御部は、
前記レーザ発光素子の近傍の温度センサの検出結果に基づいて、前記レーザ発光素子の発光パラメータを可変制御する
上記(16)乃至(18)のいずれかに記載のセンシングモジュール。
(20)
前記制御部は、
対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変する
上記(16)乃至(19)のいずれかに記載のセンシングモジュール。
1…測距装置、2…発光部、2a…発光素子、3…駆動部、4…電源回路、5…発光側光学系、6…撮像側光学系、7…イメージセンサ、8…画像処理部、9…制御部、9a…測距部、10…温度検出部、10a…温度センサ、100…光源装置、101…撮像装置
Claims (20)
- 複数のレーザ発光素子と、
前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する駆動部と、を備えた
光源装置。 - 前記駆動部は、前記イメージセンサによる撮像データにおける反射光の像の輝度を用いて可変設定された前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
請求項1に記載の光源装置。 - 前記駆動部は、前記イメージセンサによる撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
請求項1に記載の光源装置。 - 前記レーザ発光素子は、垂直共振器面発光レーザである
請求項1に記載の光源装置。 - 前記イメージセンサによる撮像データに基づいて、前記所定単位毎に対応する発光パラメータを生成する制御部を備えた
請求項1に記載の光源装置。 - 前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給する
請求項5に記載の光源装置。 - 前記駆動部は、発光パラメータに応じて、前記所定単位毎にレーザ発光素子の駆動タイミングを制御する
請求項1に記載の光源装置。 - 前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにする
請求項7に記載の光源装置。 - 前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにする
請求項7に記載の光源装置。 - 前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにする
請求項7に記載の光源装置。 - 前記駆動部は、発光パラメータに応じて、前記レーザ発光素子の所定単位毎の駆動電流量を制御する
請求項1に記載の光源装置。 - 前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御する
請求項1に記載の光源装置。 - 前記レーザ発光素子の近傍温度を検出する温度センサを備え、
前記駆動部は、前記温度センサの検出値に基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する
請求項1に記載の光源装置。 - 光源装置の複数のレーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成し、前記光源装置に供給する制御部と、を備えた
撮像装置。 - 前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
請求項14に記載の撮像装置。 - 複数のレーザ発光素子と、
複数の前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する制御部と、
前記所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動する駆動部と、を備えた
センシングモジュール。 - 前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
請求項16に記載のセンシングモジュール。 - 前記制御部は、
前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する
請求項16に記載のセンシングモジュール。 - 前記制御部は、
前記レーザ発光素子の近傍の温度センサの検出結果に基づいて、前記レーザ発光素子の発光パラメータを可変制御する
請求項16に記載のセンシングモジュール。 - 前記制御部は、
対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変する
請求項16に記載のセンシングモジュール。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19843576.0A EP3832252B1 (en) | 2018-08-01 | 2019-06-17 | Light source device, imaging device, and sensing module |
| US17/255,829 US20210176389A1 (en) | 2018-08-01 | 2019-06-17 | Light source device, image capturing device, and sensing module |
| CN201980049608.4A CN112469959B (zh) | 2018-08-01 | 2019-06-17 | 光源装置、成像装置和感测模块 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-144924 | 2018-08-01 | ||
| JP2018144924A JP2020020680A (ja) | 2018-08-01 | 2018-08-01 | 光源装置、撮像装置、センシングモジュール |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020026615A1 true WO2020026615A1 (ja) | 2020-02-06 |
Family
ID=69232486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/023866 Ceased WO2020026615A1 (ja) | 2018-08-01 | 2019-06-17 | 光源装置、撮像装置、センシングモジュール |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210176389A1 (ja) |
| EP (1) | EP3832252B1 (ja) |
| JP (1) | JP2020020680A (ja) |
| CN (1) | CN112469959B (ja) |
| WO (1) | WO2020026615A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021166523A1 (ja) * | 2020-02-21 | 2021-08-26 | ソニーセミコンダクタソリューションズ株式会社 | 距離測定装置及び距離測定方法 |
| WO2022200269A1 (en) | 2021-03-26 | 2022-09-29 | Sony Semiconductor Solutions Corporation | Illumination device and method for time-of-flight cameras |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7521216B2 (ja) * | 2020-03-24 | 2024-07-24 | 富士フイルムビジネスイノベーション株式会社 | 発光装置、光学装置、計測装置及び情報処理装置 |
| WO2021235143A1 (ja) | 2020-05-21 | 2021-11-25 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器 |
| KR102765145B1 (ko) * | 2021-09-27 | 2025-02-07 | 주식회사 유진로봇 | 송수광 시 노이즈 광을 최소화하는 라이다 센서 |
| CN117269972B (zh) * | 2022-06-14 | 2024-09-27 | 深圳市速腾聚创科技有限公司 | 激光雷达设备及其测距调节方法 |
| CN115390083B (zh) * | 2022-09-01 | 2025-04-01 | 深圳市汇顶科技股份有限公司 | 一种飞行时差测距模组、及其的过热检测方法及电子设备 |
| CN121666543A (zh) * | 2023-09-22 | 2026-03-13 | 索尼半导体解决方案公司 | 发光装置及测距装置 |
| CN117793539B (zh) * | 2024-02-26 | 2024-05-10 | 浙江双元科技股份有限公司 | 一种基于可变周期的图像获取方法及光学传感装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000162496A (ja) * | 1998-09-21 | 2000-06-16 | Fuji Photo Optical Co Ltd | 測距装置 |
| JP2004301771A (ja) * | 2003-03-31 | 2004-10-28 | Sunx Ltd | 寸法測定装置 |
| JP2005354199A (ja) * | 2004-06-08 | 2005-12-22 | Canon Inc | 撮像装置及びその制御方法 |
| JP2006201751A (ja) | 2004-12-21 | 2006-08-03 | Seiko Epson Corp | 発光装置、画像形成装置、表示装置、及び発光素子の駆動方法 |
| JP2015108611A (ja) * | 2013-08-29 | 2015-06-11 | 株式会社リコー | センサ装置及び画像形成装置 |
| JP2015184287A (ja) | 2014-03-20 | 2015-10-22 | パイオニア株式会社 | 発光装置 |
| WO2016021238A1 (ja) * | 2014-08-05 | 2016-02-11 | 富士フイルム株式会社 | 測距装置、測距方法、及び測距プログラム |
| WO2017110413A1 (ja) * | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6415241B1 (en) * | 1998-09-21 | 2002-07-02 | Fuji Photo Optical Co., Ltd. | Distance measurement system |
| US20110292406A1 (en) * | 2008-10-28 | 2011-12-01 | 3Shape A/S | Scanner with feedback control |
| US10244181B2 (en) * | 2009-02-17 | 2019-03-26 | Trilumina Corp. | Compact multi-zone infrared laser illuminator |
| JP2011135379A (ja) * | 2009-12-24 | 2011-07-07 | Samsung Techwin Co Ltd | 撮像装置、撮像方法及びプログラム |
| JP5662046B2 (ja) * | 2010-03-31 | 2015-01-28 | パナソニック デバイスSunx株式会社 | 変位センサ |
| JP2012209501A (ja) * | 2011-03-30 | 2012-10-25 | Sony Corp | 補正回路、駆動回路、発光装置、および電流パルス波形の補正方法 |
| JP6009753B2 (ja) * | 2011-10-26 | 2016-10-19 | 株式会社トプコン | 画像測定装置 |
| CN105659106B (zh) * | 2013-10-23 | 2018-12-28 | 脸谱公司 | 使用动态结构光的三维深度映射 |
| WO2015199615A1 (en) * | 2014-06-27 | 2015-12-30 | Heptagon Micro Optics Pte. Ltd. | Structured light imaging system and method |
| JP7056131B2 (ja) * | 2017-12-15 | 2022-04-19 | オムロン株式会社 | 画像処理システム、画像処理プログラム、および画像処理方法 |
-
2018
- 2018-08-01 JP JP2018144924A patent/JP2020020680A/ja active Pending
-
2019
- 2019-06-17 US US17/255,829 patent/US20210176389A1/en not_active Abandoned
- 2019-06-17 WO PCT/JP2019/023866 patent/WO2020026615A1/ja not_active Ceased
- 2019-06-17 EP EP19843576.0A patent/EP3832252B1/en active Active
- 2019-06-17 CN CN201980049608.4A patent/CN112469959B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000162496A (ja) * | 1998-09-21 | 2000-06-16 | Fuji Photo Optical Co Ltd | 測距装置 |
| JP2004301771A (ja) * | 2003-03-31 | 2004-10-28 | Sunx Ltd | 寸法測定装置 |
| JP2005354199A (ja) * | 2004-06-08 | 2005-12-22 | Canon Inc | 撮像装置及びその制御方法 |
| JP2006201751A (ja) | 2004-12-21 | 2006-08-03 | Seiko Epson Corp | 発光装置、画像形成装置、表示装置、及び発光素子の駆動方法 |
| JP2015108611A (ja) * | 2013-08-29 | 2015-06-11 | 株式会社リコー | センサ装置及び画像形成装置 |
| JP2015184287A (ja) | 2014-03-20 | 2015-10-22 | パイオニア株式会社 | 発光装置 |
| WO2016021238A1 (ja) * | 2014-08-05 | 2016-02-11 | 富士フイルム株式会社 | 測距装置、測距方法、及び測距プログラム |
| WO2017110413A1 (ja) * | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3832252A4 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021166523A1 (ja) * | 2020-02-21 | 2021-08-26 | ソニーセミコンダクタソリューションズ株式会社 | 距離測定装置及び距離測定方法 |
| US20230204727A1 (en) * | 2020-02-21 | 2023-06-29 | Sony Semiconductor Solutions Corporation | Distance measurement device and distance measurement method |
| WO2022200269A1 (en) | 2021-03-26 | 2022-09-29 | Sony Semiconductor Solutions Corporation | Illumination device and method for time-of-flight cameras |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020020680A (ja) | 2020-02-06 |
| US20210176389A1 (en) | 2021-06-10 |
| EP3832252A1 (en) | 2021-06-09 |
| CN112469959B (zh) | 2023-06-30 |
| CN112469959A (zh) | 2021-03-09 |
| EP3832252B1 (en) | 2024-05-22 |
| EP3832252A4 (en) | 2021-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020026615A1 (ja) | 光源装置、撮像装置、センシングモジュール | |
| WO2020026616A1 (ja) | 光源装置、イメージセンサ、センシングモジュール | |
| WO2020044818A1 (ja) | 光源装置、調整方法、センシングモジュール | |
| US20210167572A1 (en) | Light source apparatus, temperature detection method, and sensing module | |
| US20190293764A1 (en) | Apparatus and method | |
| WO2020044817A1 (ja) | 光源装置、検出方法、センシングモジュール | |
| WO2020054257A1 (ja) | 光源装置、センシングモジュール | |
| US20220276381A1 (en) | Laser drive device, sensing module, and timing adjustment method | |
| JPWO2019225224A1 (ja) | 時間計測装置 | |
| WO2018030318A1 (ja) | 投光撮像装置および投光撮像方法 | |
| JP4317413B2 (ja) | カメラモジュールおよび電子画像記録方法 | |
| US12088061B2 (en) | Light source device, drive method, and sensing module | |
| JP2024108115A (ja) | 距離画像撮像装置、距離画像撮像方法、及びプログラム | |
| WO2021199918A1 (ja) | 駆動装置、発光装置、および駆動方法 | |
| WO2023074436A1 (ja) | 発光装置及び測距装置 | |
| JP4908975B2 (ja) | 変位センサ及び光電センサ | |
| JP4719071B2 (ja) | 検出センサ | |
| KR20040093909A (ko) | 씨모스 이미지 센서의 단위화소 | |
| JP2007147693A (ja) | 動画静止画共用赤外アクティブ測距装置及び動画静止画共用赤外アクティブ測距方法 | |
| JP2013003438A (ja) | 撮像装置、その制御方法、および制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19843576 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2019843576 Country of ref document: EP Effective date: 20210301 |