EP2646802A1 - Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung - Google Patents

Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung

Info

Publication number
EP2646802A1
EP2646802A1 EP11815609.0A EP11815609A EP2646802A1 EP 2646802 A1 EP2646802 A1 EP 2646802A1 EP 11815609 A EP11815609 A EP 11815609A EP 2646802 A1 EP2646802 A1 EP 2646802A1
Authority
EP
European Patent Office
Prior art keywords
camera
light
disc
outside
illumination source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11815609.0A
Other languages
English (en)
French (fr)
Inventor
Dieter Dr. KRÖKEL
Radhakrishna CHIVUKULA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP2646802A1 publication Critical patent/EP2646802A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/552—Attenuated total reflection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/43—Refractivity; Phase-affecting properties, e.g. optical path length by measuring critical angle
    • G01N2021/435—Sensing drops on the contact surface

Definitions

  • the invention relates to an apparatus and a method for detecting raindrops on a pane by means of a light source and a camera.
  • WO2010 / 072198 A1 describes rain detection with the aid of a camera, which is used for automotive driver assistance functions.
  • a bifocal optics is used, which images a portion of the windshield sharply on a partial surface of the image chip or image sensor of the camera.
  • a disadvantage of this idea is that an additional optical element is introduced whose edge causes considerable disturbances both in the beam path for the rain sensor region of the image chip and in the region for the driver assistance functions in the vicinity of the edge.
  • the focus conditions for the driver assistance area and the rain sensor area are very different, which must be compensated for by an increased thickness of the optical element and thereby increased interference and a wide, unusable area on the image chip around the edge leads .
  • WO 2010/072198 A1 In order to be able to recognize raindrops at night, it is proposed in WO 2010/072198 A1 to couple light via a coupling element into the windshield and to guide it via total reflection in the windshield. Through a decoupling element, the totally reflected light is coupled out in the direction of the camera. If there are drops of water on the windshield, part of the light is decoupled and no longer totally reflected to the decoupling element. Another disadvantage is that the integrated camera lighting unit is mechanically adapted to the changed installation conditions for every changed wheel tilt. In US Pat. No. 7,259,367 B2, a rain sensor is also proposed by means of a camera, which provides large-area illumination of the passage window of the camera opening angle with the window.
  • the camera is focused almost at infinity and can therefore be used simultaneously for driver assistance applications. Because of the imaging on the far field, raindrops are only noticeable as disturbances in the image, which are detected by complex differential measurements of the images recorded in synchronization with the pixel clock pulsed or modulated light. Simulation calculations and measurements show, however, that in this type of lighting, only a very small proportion of the light at the raindrops is reflected back into the camera. This circumstance leads to a poor signal-to-noise ratio and consequently to an uncertain rain detection.
  • the object of the present invention is to overcome the mentioned disadvantages of the devices or methods known from the prior art.
  • a device for detecting rain which comprises a camera and a lighting source.
  • the camera is placed behind a disk, in particular inside a vehicle e.g. behind a windshield, and focused on a distant area that lies in front of the disc.
  • the camera preferably comprises a lens for focusing and an image sensor, e.g. a CCD or CMOS sensor.
  • the illumination source for generating at least one light beam directed onto the pane directs the at least one light beam onto the pane such that at least one beam (or partial beam of the light beam directed onto the pane) from the outside of the pane impinges on the camera.
  • the illumination source can be designed as one or more light-emitting diodes (LEDs) or as a light band.
  • the amount of light of the at least one beam impinging on the camera can be measured by the camera.
  • the invention provides a simple but reliable way to detect rain with a vehicle camera, in particular with a driver assistance camera. Since essentially only one quantity of light has to be measured, no complex image processing algorithm is necessary. Due to the active illumination, the device is relatively susceptible to external influences such as sun reflexes and shadows.
  • the amount of rain can e.g. In the case of multi-beam illumination sources, a reduction in the amount of light in the light reflections (on the image sensor) of the outer windscreen and / or the number of light reflections affected are determined.
  • the angle of incidence of the light beam generated by the illumination source is set so that more of the beam (portion) which strikes the outside of the disc than the disc is coupled out, if no rain on the outside the disc is.
  • the device comprises an evaluation unit which determines from the measured amount of light of the beam reflected on the outside of the disk, if and if so, how much rain is present on the outside of the disk.
  • the evaluation unit for rain detection can preferably compare the measured amount of light of the beam reflected on the outside of the pane with a threshold value.
  • the threshold value can be changed in particular to a changed strength the illumination and / or adapted to a changed sensitivity of the camera, for example by regular calibrations with a dry disc. Also several thresholds can be used.
  • the evaluation unit determines a temporal change of the light values, measured by the image sensor of the camera, of the beam reflected on the outside of the pane. For this, a sequence of pictures can be taken with the camera.
  • the illumination source directs the at least one light beam onto the pane in such a way that the rays reflected from the inside and outside of the pane impinge on the camera as at least two spatially separated rays.
  • the amounts of light of the at least two impinging on the camera beams can be measured by the camera in this case.
  • This type of detection with the illumination proposed here is not necessarily dependent on a camera, but can be used by any optical sensor that can determine the amount of light from two spatially separated beams.
  • the advantage of the detection method presented here in comparison to conventional diode rain sensors is based on the fact that no coupling optics is required and at the same time a reference beam for a comparison measurement is available.
  • the camera is used for one or more additional driver assistance functions, which are based on an evaluation of the focussed distant range.
  • the illumination source is structurally integrated into the camera or into the housing of the camera.
  • the illumination source can preferably be arranged under a screen or a view funnel of the camera within the camera body.
  • the illumination source advantageously generates light in the infrared wavelength range
  • the viewing diaphragm is transparent in the infrared wavelength range, at least in a partial area which is located above the illumination source or in the beam direction of the illumination source.
  • the illumination source can in this case be arranged in particular on a circuit carrier or a circuit board of the camera.
  • the illumination source preferably only generates light having a wavelength in a specific wavelength range, for example in the (near) infrared wavelength range.
  • a first spectral filter is arranged in the region in which run the at least two spatially separated reflected beams.
  • the first spectral filter allows light of one wavelength to be SEM certain wavelength range at least largely by (eg infrared-transmissive).
  • a second spectral filter is arranged in the area of the beam path in which the at least two spatially separated reflected beams do not run, the second spectral filter blocking light having a wavelength in the particular wavelength range (e.g., infrared cutoff filters).
  • the first or both spectral filters can preferably be applied directly to pixels of the image sensor of the camera.
  • the illumination source generates a collimated light beam.
  • the light beam generated by the illumination source can be detected by means of a light guide, such as a light guide.
  • a glass fiber to be directed to the disc.
  • the invention further relates to a method for detecting rain on the outside of a disc.
  • a prerequisite for this is also a camera arranged behind the pane, which is focused on a distant area in front of the pane, and an illumination source for producing at least one light ray directed onto the pane.
  • the illumination source directs the at least one light beam onto the disk such that at least one beam reflected from the outside of the disk strikes the camera.
  • the amount of light of the at least one beam reflected from the outside of the disk is detected by means of the camera. measure up. By evaluating the measured amount of light of the at least one beam reflected from the outside of the disk, rain on the outside of the disk can be detected.
  • a preferred method for detecting rain on the outside of a pane uses a device according to the invention.
  • the camera first takes a first picture with the illumination source switched off. Subsequently, a second image is taken with the illumination source switched on. The difference image from the second and first image is formed. In the differential image, the amount of light of the at least one reflected beam on the outside of the disc for the detection of rain on the outside of the disc is evaluated.
  • a short visible light pulse adapted to the intensity of the external brightness. This would require only a short exposure time and image capture time for the rain sensor image, which in turn has little effect on the driver assistance function.
  • Such a light pulse would be perceived in daylight only when looking directly at the lighting. At night, little light is needed for rain detection.
  • the intensity can be regulated down accordingly, so that the lighting does not disturb at night.
  • a preferred adjustment of the illumination intensity - regardless of the wavelength range used - brings a further advantage.
  • the rain sensor light reflections are well visible even during the day and at night it is avoided that the images get saturated and thus a quantitative evaluation would be prevented.
  • the illumination may be advantageous over individual light emitting diodes, e.g. arranged in series can be realized. It could alternatively be used a light band. Preferably, a sufficiently directed radiation characteristic of e.g. less than ⁇ 20 ° ensured.
  • FIG. 1 shows schematically the basic principle of a possible arrangement of the illumination source and the camera with beam paths in the case of a dry pane
  • FIG. 3 shows signals detected by an image sensor of a camera, which indicate rain
  • Fig. 6 a shows a Bayer pattern as a filter pixel matrix
  • Fig. 6b shows a modified Bayer pattern with a colorless filter pixel element
  • FIG. 7 schematically shows an alternative arrangement of illumination source and camera, in which the illumination source is arranged on a circuit carrier below the viewing aperture of the camera;
  • Fig. 8 shows schematically the changed beam paths of the alternative arrangement in the rain on the disk
  • FIGS. 9 and 10 schematically show an additional possibility with the alternative arrangement of detecting rain by measuring a portion of the main beam of the illumination source which is reflected in the raindrop and which strikes the camera when it rains;
  • Fig. 11 shows an arrangement in which the light from the illumination source is guided via a light guide to the disc.
  • Fig. 1 illustrates the principle of operation of a first embodiment of the invention.
  • the rain detection presented here is based on a far-field-focused camera (1) and illumination (3), which uses one or more focused beams (h) in contrast to the large-area illumination of US Pat. No. 7,259,367 B2.
  • a light beam (h) generated by an illumination source (3) is directed onto the disc (2) in such a way that the light beam from the Inside (2.1) and outside (2.2) of the disc reflected rays as two spatially separated rays (r1, r2) impinge on the lens or the camera (1). Because of the focus on the far field, the border of the ray bundles is only imaged on the image chip (5). But both beams (r1, r2) are sufficiently separated and their respective amount of light can be measured with the image sensor (5).
  • the main beam (h) of the illumination source (3) is used, therefore, the light of the illumination source may be preferably bundled.
  • the portion (rl) of the main beam reflected at the air-disk interface (or disk inside (2.1)) serves as a reference beam. From the portion that is transmitted (tl) into the disk, the portion serves as measuring beam (r2), which is reflected at the disk-air interface (or disk outside (2.2)) and hits the camera (1). Not shown is the proportion of the beam, which is reflected several times within the disc (2) (on the inside (2.1) disc-air after it has been reflected on the outside (2.2) disc - air).
  • This arrangement offers the advantage of a pronounced signal change in the presence of rain (4) on the outside of the pane (2.2), as will be explained with reference to FIG. 2.
  • the signal (r2') which is reduced in the rainfall (4) can be measured so easily and a windshield wiper can be controlled accordingly.
  • the CCD or CMOS image chips (5) used have a high sensitivity.
  • the CCD or CMOS image chips (5) used have a high sensitivity.
  • the section of the picture chip (5) which is hit by the beam pairs (r1, r2 / r2 '), can be provided with a spectral bandpass, which provides a high transmittance for the wavelength of the illumination (3).
  • FIG. 3 shows, in the upper part (6) of the image sensor (5), which serves rain detection, seven pairs of illumination reflections (8, 9) which are illuminated by seven LEDs, for example. be generated source (3). These are due to the focus on infinity camera (1) not sharply displayed but perceptible. In particular, the light intensity or quantity can be measured.
  • the upper illuminating reflections ⁇ 8 ⁇ are generated by rays (rl) reflected on the inside (2.1) of the windshield (2), which generates lower (9) of rays (r2, r2 ') reflected on the outside of the windshield.
  • the light bundle pairs (8, 9) must not disturb the driver assistance image (7).
  • a region (6) is selected in Fig. 3, which lies outside the driver assistance image (7) on the image chip (5).
  • FIG. 3 thus shows an exemplary division of the driver assistance area (7) and the rain sensor area (6) on the image chip (5).
  • the illumination reflections from the outer windshield (9) over which a raindrop (4) lies are attenuated in intensity.
  • These illuminating reflections (9) originate from rays (r2 ') reflected on the outside (2.2) of the windshield (2) and are of reduced intensity because a large part of the beam (t1) transmitted into the windshield (2) is separated by raindrops (4). decoupled from the windshield (t2 ') and thus not reflected back to the camera (1) (r2') is.
  • These illuminating reflections (9) thus bear the information as to whether rain (4) is present on the outside (2.2) of the pane (2), and their amount of light could be used as measuring signal alone.
  • the evaluation can eg by comparison with a threshold value, by comparing the amounts of light of a plurality of these illumination reflections (9) with one another and / or by analyzing the temporal changes of the amount of light of at least one of these illumination reflexes (9).
  • an infrared blocking filter can additionally be vapor-deposited on a cover glass of the image chip (5) up to the upper edge of the driver assistance area (7).
  • a bandpass filter for the wavelength of the illumination (3) can be deposited over the rain sensor detection area (6).
  • the filters could also be applied directly to the pixels of the image sensor (5). This would have the advantage that a parallax offset, which is generated by the edge of the different filters for the rain sensor area (6) and driver assistance area (7) on the cover glass, is avoided.
  • An advantage here would be a process that corresponds to the current application of the pixel color filter.
  • the two areas (6, 7) can be separated with pixel precision, thus avoiding additional mechanical tolerance reserves resulting from the production process.
  • 4 shows a partial illustration of the illumination spots or reflections (8) on the image chip (5).
  • the upper area for the rain sensor (6) need not necessarily contain the reflections (8) from the inner surface of the windshield (2.1), since the change of light by rain (4) on the lower light spots (9) is visible , These alone can therefore suffice as a measuring signal and e.g. be compared with a Lichtmen- genschwellwert. If the measurement signal is greater than or equal to the threshold value, it is detected that the disc is dry. On the other hand, if the measurement signal lies below the threshold value, rain (4) is detected on the outside (2.2) of the disk (2). The more the measuring signal falls below the threshold, the more rain is present on the disc (2). This embodiment variant offers the possibility that the area for the rain sensor (6) can be greatly reduced.
  • the upper rain sensor region (6) can preferably only be reduced to the extent that the upper light spots (8) are still partially visible. This is shown in Fig. 4.
  • FIG. 5 shows a spatial overlap of the driver assistance area (7) or of the far-range imaging with the rain sensor area (6) or the blurred image of the illumination reflexes (8, 9). If the image chip (5) or the structural integration of the lighting is not sufficient Allow size for the spatially separated image of the light spots (8, 9) and the driver assistance area (7), as could be recorded alternately with the driver assistance image an extra image of the rain sensor light spots. For this purpose, the lighting (3) is turned off during the recording of the driver assistance image and turned on again for recording the rain sensor image.
  • this offers the advantage for rain sensing that a differential image can be formed with the preceding driver assistance image, whereby the background signal is greatly reduced and ideally only the rain sensor image of the light spots (8, 9) remains.
  • driver assistance cameras (1) have an infrared cut filter to reduce the spectral requirements on the optics and / or to enable better color recognition.
  • the color filters (R, G, B) on the individual pixels of the image chips (5) used today frequently have a high transmission in the infrared spectral range and thus impair the color selectivity.
  • either no infrared blocking filter can be used, or the wavelength of the illumination (3) should be pushed into the visible area.
  • Fig. 6a shows the very common Bayer Pattern R-G-G-B, red-green-green-blue.
  • Fig. 6b shows an example of a modified pattern R-N-G-B in which the neutral pixel (N) has no color filter at all and thus is transparent to the visible and infrared light. Only these "white" pixels (N) are used for rain sensing, and they could also be used for the driver assistance functions, with the temporal separation of the two shots, to increase the dynamics of the image chip (5) and the sensitivity in dark situations. 1 and 2, an illumination (3) with a beam path is shown which is close to the angle of total reflection in the disc 2. In the arrangement shown there, the signal change when raindrops (4) appear on the disc (FIG. 2) particularly pronounced.
  • Figures 7 and 8 show an alternative arrangement which offers the advantage that the illumination source (3) can be integrated into the camera (1), more precisely into the camera body.
  • the illumination source (3) also within the camera (1) are placed on a board (12) of the camera body. This results in a significant integration advantage.
  • the relative effect between the beam (r2) reflected on the outside (2.2) and the beam (rl) of the secondary beam (n) of the illumination source (3) reflected on the inside proves to be readily measurable and sufficient to allow raindrops (4 ) on the disc (2) reliably detect.
  • the viewing aperture (11) must be at least in the area through which the light ray (s) from the illumination source
  • Fig. 8 shows the change in the presence of raindrops
  • Raindrops (4) also cause a stronger coupling (t2 ') of light from the disk into the area in front of the disk.
  • the camera (1) measures a reduced intensity of the partial beam ⁇ r2 ') which has been reflected on the outside (2.2) of the pane (2).
  • a secondary beam (s) the reflections on the disc (2) than at least two spatially separated partial beams (r1; r2; r2 ') strike the camera (1).
  • the beam paths and components are comparable to those shown in FIGS. 1 and 2, the reference numerals are used identically.
  • the detection method illustrated in FIGS. 1 and 2 and FIGS. 7 and 8 is based on detecting a reduction in light, comparable to the classical optical rain sensor, when the outside (2.2) of the pane (2) is wet.
  • the light (rh) of the main beam (h) reflected by the raindrop (4) can also be used to detect rain. This is shown in FIGS. 9 and 10.
  • FIG. 9 shows the situation with a dry disk (2): while, as in FIG. 7, the secondary beam (n) of the portion (rnl) reflected on the inside (2.1) of the disk (2) causes a reference intensity on the image sensor (5) , the main beam (h) is not displayed on the image sensor. As long as only illumination reflections of the reference beam (rnl) are detected, it can therefore be recognized that there is no rain (4) on the disc (2). As shown in FIG. 10, raindrops (4) on the outside (2.2) of the windshield (2) cause a small portion (rh) of the main jet in the raindrop (4) to be reflected so as to reach the camera (1). meets. In this case, the occurrence of one or more illumination reflexes in addition to illumination reflexes of the Reference jet (rnl) on the presence of rain (4) are closed.
  • FIG. 11 shows a further embodiment in which the arrangement comprises a light guide (13).
  • the arrangement comprises a light guide (13).
  • an optical waveguide (13) is used here.
  • the principle of rain detection is the same as explained in FIGS. 7 and 8, but instead of the secondary beam (n in FIGS. 7 and 8) of the illumination (3), the main beam (h) is guided accordingly by means of the light guide (13).
  • r2 ' corresponds to r2 in the rain on the outside of the window t2' corresponds to t2 in rain on the outside of the window th1 proportion of the main beam transmitted to the inside of the disk
  • th.2 equals th.2 in case of rain on the outside of the disk rh Share of th2' reflecting itn raindrops to the camera
  • R Filter element that transmits light in the red wavelength range
  • G Filter element that transmits light in the green wavelength range
  • N Filter element that lets light through in the visible and / or infrared wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung bzw. ein Verfahren zur Erkennung von Regen (4), die bzw. das eine Kamera (1) und eine Beleuchtungsquelle (3) umfasst. Die Kamera (1) ist hinter einer Scheibe (2) angeordnet, insbesondere im Inneren eines Fahrzeugs hinter einer Windschutzscheibe, und auf einen Fernbereich fokussiert, der vor der Scheibe (2) liegt. Die Beleuchtungsquelle (3) zur Erzeugung mindestens eines auf die Scheibe (2) gerichteten Lichtstrahls (h; n) richtet den mindestens einen Lichtstrahl (h; n) so auf die Scheibe (2), dass mindestens ein von Außenseite (2.2) der Scheibe reflektierter Strahl (r2; r2') auf die Kamera (1) auftrifft. Die Lichtmenge des mindestens einen auf die Kamera (1) auftreffenden Strahls (r2; r2') kann von der Kamera (1) gemessen werden kann.

Description

Detektion von Regentropfen auf einer Scheibe mittels einer
Kamera und Beleuchtung
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Detektion von Regentropfen auf einer Scheibe mittels einer Beleuchtungsquelle und einer Kamera.
In der WO2010/072198 A1 wird eine Regenerkennung mit Hilfe einer Kamera beschrieben, die für automotive Fahrerassis- tenzfunktionen eingesetzt wird. Zur Regenerkennung wird eine bifokale Optik genutzt, die einen Teilbereich der Windschutzscheibe scharf auf eine Teilfläche des Bildchips bzw. Bildsensors der Kamera abbildet. Ein Nachteil dieser Idee besteht darin, dass ein zusätzliches optisches Element eingebracht wird, dessen Kante erhebliche Störungen sowohl im Strahlverlauf für den Regensensorbereich des Bildchips als auch im Bereich für die Fahrerassistenzfunktionen in der Nähe der Kante verursacht. Insbesondere für Implementierungen mit kleinen Ausmaßen sind die Fokusbedingungen für den Fahrerassistenzbereich und den Regensensorbereich stark unterschiedlich, was durch eine erhöhte Dicke des optischen Elements ausgeglichen werden muss und dadurch zu erhöhten Störungen und eines brei- ten, nicht nutzbaren Bereichs auf dem Bildchip um die Kante herum führt .
Ein weiterer Nachteil ergibt sich bei unterschiedlichen Scheibenneigungen, die unterschiedliche optische Wegstre- cken zwischen Regensensordetektionsbereich auf dem Bildchip und der auf der Scheibe korrespondierenden Regensensorfläche zur Folge haben. Um weiterhin eine scharfe optische Abbildung zu gewährleisten, muss für jede veränderte Einbausituation die Dicke des optischen Elements angepasst wer- den.
Um auch bei Nacht Regentropfen erkennen zu können, ist in WO 2010/072198 AI vorgeschlagen, Licht über ein Einkoppelelement in die Windschutzscheibe einzukoppeln und über Totalreflexion in der Scheibe zu führen. Durch ein Auskoppelelement wird das totalreflektierte Licht in Richtung der Kamera ausgekoppelt. Befinden sich Wassertropfen auf der Windschutzscheibe, wird ein Teil des Lichts ausgekoppelt und nicht mehr zum Auskoppelelement totalreflek- tiert . Nachteilig wirkt sich auch hier wieder aus, dass für jede veränderte Scheibenneigung die integrierte Kamera- Beleuchtungseinheit mechanisch an die veränderte Einbaubedingung anzupassen ist. In der US 7,259,367 B2 wird ebenfalls mittels einer Kamera eine Regensensierung vorgeschlagen, die eine großflächige Beleuchtung des Durchtrittsfensters des Kameraöffnungswinkels mit der Scheibe vorsieht. Die Kamera ist nahezu auf unendlich fokussiert und damit gleichzeitig für Fahreras- sistenzapplikationen nutzbar. Wegen der Abbildung auf den Fernbereich sind Regentropfen nur als Störungen im Bild bemerkbar, die durch aufwendige Differenzmessungen der mit in Synchronisation des Pixeltaktes gepulsten oder modulierten Lichtes aufgenommen Bildern detektiert werden. Aus Simulationsrechnungen und Messungen zeigt sich jedoch, dass bei dieser Art der Beleuchtung nur ein sehr geringer Anteil des Lichtes an den Regentropfen in die Kamera zurück reflektiert wird. Dieser Umstand führt zu einem schlechten Signal- zu Rauschverhältnis und in der Folge zu einer unsicheren Regenerkennung .
Aufgabe der vorliegenden Erfindung ist es, die genannten Nachteile der aus dem Stand der Technik bekannten Vorrich- tungen bzw. Verfahren zu überwinden.
Diese Aufgabe wird gelöst durch eine Vorrichtung zur Erkennung von Regen, die eine Kamera und eine Beleuchtungsquelle umfasst. Die Kamera ist hinter einer Scheibe angeordnet, insbesondere im Inneren eines Fahrzeugs z.B. hinter einer Windschutzscheibe, und auf einen Fernbereich fokussiert, der vor der Scheibe liegt. Die Kamera umfasst bevorzugt ein Objektiv zur Fokussierung und einen Bildsensor, z.B. einen CCD- oder CMOS-Sensor. Die Beleuchtungsquelle zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls richtet den mindestens einen Lichtstrahl so auf die Scheibe, dass mindestens ein von Außenseite der Scheibe reflektierter Strahl (bzw. Teilstrahl des auf die Scheibe gerichteten Lichtstrahls) auf die Kamera auftrifft. Die Beleuch- tungsquelle kann als eine oder mehrere Leuchtdioden (LEDs) oder als ein Lichtband ausgebildet sein.
Die Lichtmenge des mindestens einen auf die Kamera auftreffenden Strahls kann von der Kamera gemessen werden kann. Die Erfindung stellt eine einfache aber zuverlässige Möglichkeit dar, Regen mit einer Fahrzeugkamera, insbesondere mit einer Fahrerassistenzkamera zu detektieren. Da im Wesentlichen nur eine Lichtmenge gemessen werden muss, ist kein aufwendiger Bildverarbeitungsalgorithmus notwendig. Durch die aktive Beleuchtung ist die Vorrichtung relativ störunanfällig gegenüber äußeren Einflüssen wie Sonnenreflexen und Schlagschatten.
Die Regenmenge kann z.B. bei mehrstrahligen Beleuchtungs- quellen über eine Lichtmengenverminderung aller Lichtreflexe (auf dem Bildsensor) von der äußeren Windschutzscheibe und/oder über die Anzahl der beeinflussten Lichtreflexe bestimmt werden. In einer bevorzugten Ausführungsform ist der Einfallswinkel des von der Beleuchtungsquelle erzeugten Lichtstrahls so eingerichtet, dass von dem Strahl ( -teil ) , der auf die Außenseite der Scheibe trifft, mehr reflektiert als aus der Scheibe ausgekoppelt wird, wenn kein Regen auf der Außen- seite der Scheibe ist.
Gemäß einer vorteilhaften Ausführungsform umfasst die Vorrichtung eine Auswertungseinheit, die aus der gemessenen Lichtmenge des an der Außenseite der Scheibe reflektierten Strahls ermittelt, ob und falls ja wieviel Regen auf der Außenseite der Scheibe vorliegt.
Bevorzugt kann die Auswertungseinheit zur Regenermittlung die gemessene Lichtmenge des an der Außenseite der Scheibe reflektierten Strahls mit einem Schwellwert vergleichen. Der Schwellwert kann insbesondere an eine veränderte Stärke der Beleuchtung und/oder an eine veränderte Empfindlichkeit der Kamera z.B. durch regelmäßige Kalibrierungen bei trockener Scheibe angepasst werden. Auch können mehrere Schwellwerte eingesetzt werden.
Vorteilhaft ermittelt die Auswertungseinheit eine zeitliche Veränderung der vom Bildsensor der Kamera gemessenen Licht- werte des an der Außenseite der Scheibe reflektierten Strahls. Hierzu kann eine Folge von Bildern mit der Kamera aufgenommen werden.
In einer bevorzugten Ausführungsform richtet die Beleuchtungsquelle den mindestens einen Lichtstrahl so auf die Scheibe, dass die von der Innen- und Außenseite der Scheibe reflektierten Strahlen als mindestens zwei räumlich ge- trennte Strahlen auf die Kamera auftreffen. Die Lichtmengen der mindestens zwei auf die Kamera auftreffenden Strahlen können hierbei von der Kamera gemessen werden können. Der (direkt) an der Innenseite der Scheibe reflektierte Strahl, der auf die Kamera auftrifft, dient hierbei bevorzugt als Referenzsignal, da die Lichtmenge dieses Strahls bei An- oder Abwesenheit von Regentropfen auf der Außenseite der Scheibe konstant bleibt.
Diese Art der Detektion mit der hier vorgeschlagenen Beleuchtung ist nicht zwingend auf eine Kamera angewiesen, sondern lässt sich mittels jeden optischen Sensors nutzen, der die Lichtmengen von zwei räumlich getrennten Strahlen bestimmen kann. Der Vorteil der hier vorgestellten Detekti- onsweise gegenüber herkömmlichen Dioden-Regensensoren beruht darauf, dass keine Einkoppeloptik benötigt wird und gleichzeitig ein Referenzstrahl für eine Vergleichsmessung vorhanden ist.
Bevorzugt wird die Kamera für eine oder mehrere weitere Fahrerassistenzfunktionen eingesetzt, die auf einer Auswertung des fokussiert abgebildeten Fernbereichs beruhen.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist die Beleuchtungsquelle baulich in die Kamera bzw. in das Gehäuse der Kamera integriert. Hier kann die Beleuchtungsquelle bevorzugt unter einer Sichtblende bzw. einem Sichttrichter der Kamera innerhalb des Kameragehäuses angeordnet sein .
Vorteilhaft erzeugt hierbei die Beleuchtungsquelle Licht im infraroten Wellenlängenbereich und die Sichtblende ist zumindest in einem Teilbereich, der sich oberhalb der Beleuchtungsquelle bzw. in der Strahlrichtung der Beleuchtungsquelle befindet, im infraroten Wellenlängenbereich durchlässig.
Die Beleuchtungsquelle kann hierbei insbesondere auf einem Schaltungsträger bzw. einer Platine der Kamera angeordnet sein.
Bevorzugt erzeugt die Beleuchtungsquelle nur Licht mit ei- ner Wellenlänge in einem bestimmten Wellenlängenbereich, wie z.B. im (nahen) infraroten Wellenlängenbereich. Im Strahlengang der Kamera ist ein erster spektraler Filter in dem Bereich angeordnet, in dem die mindestens zwei räumlich getrennten reflektierten Strahlen verlaufen. Der erste spektrale Filter lässt Licht mit einer Wellenlänge in die- sem bestimmten Wellenlängenbereich zumindest weitgehend durch (z.B. infrarot -durchlässig) .
Vorteilhaft ist ein zweiter spektraler Filter in dem Be- reich des Strahlengangs angeordnet, in dem die mindestens zwei räumlich getrennten reflektierten Strahlen nicht verlaufen, wobei der zweite spektrale Filter Licht mit einer Wellenlänge in dem bestimmten Wellenlängenbereich sperrt (z.B. Infrarot-Sperrfilter) .
Der erste oder beide spektralen Filter können bevorzugt direkt auf Pixel des Bildsensors der Kamera aufgebracht sein.
In einer vorteilhaften Ausführungsform erzeugt die Beleuch- tungsquelle einen gebündelten Lichtstrahl.
Bevorzugt kann der von der Beleuchtungsquelle erzeugte Lichtstrahl mittels eines Lichtleiters wie z.B. einer Glasfaser auf die Scheibe gerichtet werden.
Die Erfindung betrifft weiterhin ein Verfahren zur Erkennung von Regen auf der Außenseite einer Scheibe. Voraussetzung sind auch hierfür eine hinter der Scheibe angeordnete Kamera, die auf einen Fernbereich vor der Scheibe fokus- siert ist, und eine Beleuchtungsquelle zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls. Die Beleuchtungsquelle richtet den mindestens einen Lichtstrahl so auf die Scheibe, dass mindestens ein von Außenseite der Scheibe reflektierter Strahl auf die Kamera auftrifft. Die Lichtmenge des mindestens einen von der Außenseite der Scheibe reflektierten Strahls wird mittels der Kamera ge- messen. Durch Auswerten der gemessenen Lichtmenge des mindestens einen von der Außenseite der Scheibe reflektierten Strahls kann Regen auf der Außenseite der Scheibe ermittelt werden .
Ein bevorzugtes Verfahren zur Erkennung von Regen auf der Außenseite einer Scheibe bedient sich einer erfindungsgemäßen Vorrichtung. Mit der Kamera wird zunächst ein erstes Bild bei ausgeschalteter Beleuchtungsquelle auf- genommen. Anschließend wird ein zweites Bild bei eingeschalteter Beleuchtungsquelle aufgenommen. Das Differenzbild aus zweitem und erstem Bild wird gebildet. Im Differenzbild wird die Lichtmenge des mindestens einen an der Außenseite der Scheibe reflektierten Strahls zur Detektion von Regen auf der Außenseite der Scheibe ausgewertet.
Bei einer vorteilhaften Verwendung von sichtbarem Licht als Beleuchtung muss darauf geachtet werden, dass Verkehrsteilnehmer nicht durch die Beleuchtung gestört werden.
Hierzu wird vorgeschlagen, einen kurzen, von der Intensität der äußeren Helligkeit angepassten sichtbaren Lichtpuls zu verwenden. Dies würde eine nur kurze Belichtungszeit und Bildaufnahmezeit für das Regensensorbild erfordern, was wiederum die Fahrerassistenzfunktion wenig beeinflusst. Ein derartiger Lichtpuls würde bei Tageslicht nur wahrgenommen werden, wenn man direkt auf die Beleuchtung blickt. Bei Nacht wird nur wenig Licht für eine Regendetektion benötigt. Hier kann die Intensität entsprechend herunter geregelt werden, so dass auch nachts die Beleuchtung nicht stö- rend wirkt. Eine bevorzugte Anpassung der Beleuchtungsintensität - unabhängig von dem benutzten Wellenlängenbereich - bringt einen weiteren Vorteil. Die Regensensorlichtreflexe sind auch bei Tag gut sichtbar und bei Nacht wird vermieden, dass die Abbilder in Sättigung geraten und damit eine quantitative Auswertung verhindert würde .
Die Beleuchtung kann vorteilhaft über einzelne Leuchtdio- den, die z.B. in Reihe angeordnet sind, realisiert werden. Es könnte alternativ ein Lichtband genutzt werden. Vorzugsweise ist hierbei eine ausreichend gerichtete Abstrahlcharakteristik von z.B. kleiner ± 20° gewährleistet. Im Folgenden wird die Erfindung anhand von Figuren und Aus- führungsbeispielen näher erläutert.
Es zeigen:
Fig. 1 schematisch das Grundprinzip einer möglichen Anord- nung von Beleuchtungsquelle und Kamera mit Strahlengängen bei einer trockenen Scheibe ;
Fig. 2 schematisch die veränderten Strahlengänge bei Regen auf der Scheibe;
Fig. 3 von einem Bildsensor einer Kamera detektierte Signa- le, die auf Regen schließen lassen;
Fig. 4 eine Anordnung, bei der die an der Innenseite der Scheibe reflektierten Strahlen nur teilweise auf dem Bildsensor der Kamera abgebildet werden; Fig. 5 eine Anordnung, bei der die reflektierten Strahlen überlagert zum fokussierten Fernbereich auf dem Bildsensor abgebildet werden;
Fig. 6 a ein Bayer-Pattern als Filterpixelmatrix und
Fig. 6 b ein modifiziertes Bayer-Pattern mit einem farblosen Filterpixelelement;
Fig. 7 schematisch eine alternative Anordnung von Beleuchtungsquelle und Kamera, bei der die Beleuchtungsquelle auf einem Schaltungsträger unterhalb der Sichtblende der Kamera angeordnet ist;
Fig. 8 schematisch die veränderten Strahlengänge der alternativen Anordnung bei Regen auf der Scheibe;
Fig. 9 und 10 schematisch eine zusätzliche Möglichkeit mit der alternativen Anordnung Regen zu detektieren durch Mes- sen eines im Regentropfen reflektierten Anteils des Hauptstrahls der Beleuchtungsquelle, der bei Regen auf der Scheibe auf die Kamera trifft;
Fig. 11 eine Anordnung, bei der das Licht aus der Beleuchtungsquelle über einen Lichtleiter auf die Scheibe geführt wird .
Fig. 1 verdeutlicht das Funktionsprinzip einer ersten Ausführungsform der Erfindung. Die hier vorgestellte Regenerkennung basiert auf einer auf den Fernbereich fokussierten Kamera (1) und einer Beleuchtung (3) , die im Gegensatz zur großflächigen Beleuchtung aus US 7,259,367 B2 einen oder mehrere gebündelte Strahlen (h) nutzt.
Ein von einer Beleuchtungsquelle (3) erzeugter Lichtstrahl (h) wird so auf die Scheibe (2) gerichtet, dass die von der Innen- (2.1) und Außenseite (2.2) der Scheibe reflektierten Strahlen als zwei räumlich getrennte Strahlen (r1, r2) auf das Objektiv bzw. die Kamera (1) auftreffen. Wegen der Fo- kussierung auf den Fernbereich ist die Umrandung der Strah- lenbündel nur unscharf auf den Bildchip (5) abgebildet. Aber beide Strahlen (r1, r2) sind ausreichend getrennt und ihre jeweilige Lichtmenge ist mit dem Bildsensor (5) messbar.
Bei dieser Ausführungsform wird der Hauptstrahl (h) der Beleuchtungsquelle (3) verwendet, daher kann das Licht der Beleuchtungsquelle vorzugsweise gebündelt sein. Der an der Luft-Scheibe-Grenzfläche (bzw. Scheibeninnenseite (2.1)) reflektierte Anteil (rl) des Hauptstrahls dient als Referenzstrahl. Vom Anteil, der in die Scheibe transmittiert (tl) wird, dient der Anteil als Messstrahl (r2) , der an der Scheibe-Luft-Grenzfläche (bzw. Scheibenaußenseite (2.2)) reflektiert wird und auf die Kamera (1) trifft. Nicht dargestellt ist der Anteil des Strahls, der mehrfach innerhalb der Scheibe (2) reflektiert wird (an der Innenseite (2.1) Scheibe-Luft, nachdem er an der Außenseite (2.2) Scheibe - Luft reflektiert wurde) .
Diese Anordnung bietet den Vorteil einer ausgeprägten Sig- naländerung bei Vorliegen von Regen (4) auf der Scheibenaußenseite (2.2) wie anhand von Fig. 2 erläutert wird.
Wenn nun im Regenfall (4) die Außenseite (2.2) der Windschutzscheibe (2) benetzt wird, wird der überwiegende Teil des Lichts (tl) ausgekoppelt, so dass der reflektierte An- teil (r2') entsprechend geschwächt wird (siehe Fig. 2) . Der von der Innenseite (2.1) reflektierte Strahl (rl) ist davon unbeeinflusst .
Durch den Vergleich der gemessenen Lichtmengen beider Strahlen (r1 zu r2 bzw. r2 ' ) kann so leicht das im Regenfall (4) verminderte Signal (r2 ' ) gemessen werden und ein Scheibenwischer entsprechend angesteuert werden.
Um den Fahrer und andere Verkehrsteilnehmer nicht durch die Beleuchtung (3) zu irritieren, kann insbesondere nah infrarotes Licht verwendet werden, für das in der Regel die eingesetzten CCD- oder CMOS-Bildchips (5) eine hohe Empfindlichkeit aufweisen. Um gegenüber Störungen wie Rauschen, Tages- und Sonnenlicht und andere künstliche Lichtquellen unempfindlich zu werden, wird vorgeschlagen, die Lichtquelle (3) vorzugsweise synchron mit dem Bildauslesetakt teilweise oder komplett zeitlich zu modulieren, so dass über einfache Differenzverfah- ren Störungen abgezogen werden können. Dies ist eine Möglichkeit zur Verbesserung des Signal- zu Rauschabstandes. Eine weitere Möglichkeit besteht in geeigneter spektraler Filterung: Der Ausschnitt des Bildchips (5), auf den die Strahlenpaare (r1, r2/r2') treffen, kann mit einem spektra- len Bandpass versehen werden, der eine hohe Durchlässigkeit für die Wellenlänge der Beleuchtung (3) aufweist.
Fig. 3 zeigt im oberen Teil (6) des Bildsensors (5) , der der Regenerkennung dient, jeweils sieben Paare von Beleuch- tungsreflexen (8, 9), die z.B. von sieben LEDs als Beleuch- tungsquelle (3) erzeugt werden. Diese sind aufgrund der auf unendlich fokussierten Kamera (1) nicht scharf abgebildet aber wahrnehmbar. Insbesondere kann die LichtIntensität bzw. -menge gemessen werden. Die oberen Beleuchtungsreflexe {8} werden von an der Innenseite (2.1) der Windschutzscheibe (2) reflektierten Strahlen (rl) erzeugt, die unteren (9) von an der Außenseite der Windschutzscheibe reflektierten Strahlen (r2, r2 ' ) erzeugt. Um gleichzeitig mit dem Kamerabild Fahrerassistenzfunktionen realisieren zu können, dürfen die Lichtbündelpaare (8, 9) das Fahrerassistenzbild (7) nicht stören. Hierzu wird in Fig. 3 ein Bereich (6) gewählt, der außerhalb des Fahrerassistenzbildes (7) auf dem Bildchip (5) liegt.
Fig. 3 zeigt somit eine beispielhafte Aufteilung des Fahrerassistenzbereiches (7) und des Regensensorbereiches (6) auf dem Bildchip (5) . Die Beleuchtungsreflexe von der äußeren Windschutzscheibe (9), über denen ein Regentropfen (4) liegt, sind in der Intensität abgeschwächt. Diese Beleuchtungsreflexe (9) stammen von an der Außenseite (2.2) der Windschutzscheibe (2) reflektierten Strahlen (r2') und sind von verringerter Intensität, weil ein Großteil des in die Windschutzscheibe (2) transmittierten Strahls (t1) durch Regentropfen (4) aus der Windschutzscheibe ausgekoppelt (t2') und somit nicht zurück zur Kamera (1) reflektiert (r2') wird. Diese Beleuchtungsreflexe (9) tragen also die Information in sich, ob Regen (4) auf der Außenseite (2.2) der Scheibe (2) vorliegt, und deren Lichtmenge könnte al- leine als Messsignal verwendet werden. Die Auswertung kann z.B. durch Vergleich mit einem Schwellwert, durch Vergleich der Lichtmengen mehrerer dieser Beleuchtungsreflexe (9) untereinander und/oder durch Analyse der zeitlichen Veränderungen der Lichtmenge zumindest eines dieser Beleuchtungs- reflexe (9) erfolgen.
Um Störungen durch die Beleuchtung (3) weitestgehend zu vermeiden, kann zusätzlich auf einem Abdeckglas des Bildchips (5) bis zur oberen Kante des Fahrerassistenzbereichs (7) ein Infrarot-Sperrfilter aufgedampft werden. Zusätzlich kann, wie bereits oben erwähnt, über dem Regensensordetek- tionsbereich (6) ein Bandpassfilter für die Wellenlänge der Beleuchtung (3) aufgedampft werden. Alternativ könnten die Filter auch direkt auf die Pixel des Bildsensors (5) aufgebracht sein. Dies hätte den Vorteil, dass ein Parallaxenversatz, der durch die Kante der unterschiedlichen Filter für den Regensensorbereich (6) und Fahrerassistenzbereich (7) auf dem Abdeckglas erzeugt wird, vermieden wird. Vorteilhaft wäre hier ein Prozess, der dem jetzigen Aufbringen der Pixel-Farbfilter entspricht. Dadurch können die beiden Bereiche (6, 7) pixelgenau getrennt werden, womit zusätzliche mechanische Toleranzvorhalte, die sich durch den Produktionsprozess ergeben, vermieden wer- den. In diesem Zuge würde man auf das Aufbringen von Farbfiltern (R, G, B) für den Regensensorbereich (6) verzichten und dadurch die Empfindlichkeit für die Regendetektion steigern. Fig. 4 zeigt eine teilweise Abbildung der Beleuchtungsflecken bzw. -reflexe (8) auf dem Bildchip (5) .
Der obere Bereich für den Regensensor (6) muss gemäß einer Ausführungsvariante nicht notwendigerweise die Reflexe (8) von der inneren Fläche der Windschutzscheibe (2.1) enthalten, da die Veränderung des Lichtes durch Regen (4) auf den unteren Lichtflecken (9) sichtbar ist. Diese alleine können daher als Messsignal genügen und z.B. mit einem Lichtmen- genschwellwert verglichen werden. Ist das Messsignal größer oder gleich dem Schwellwert, wird erkannt, dass die Scheibe trocken ist. Liegt das Messsignal dagegen unterhalb des Schwellwerts, wird Regen (4) auf der Außenseite (2.2) der Scheibe (2) erkannt. Je stärker das Messsignal den Schwellwert unterschreitet, desto mehr Regen liegt auf der Scheibe (2) vor. Diese Ausführungsvariante bietet die Möglichkeit, dass der Bereich für den Regensensor (6) sehr stark verkleinert werden kann.
Damit entfällt jedoch der obere Fleck (8) aus Fig. 4 bei dieser Ausführungsvariante als Referenzlichtmenge, was sich bei BeieuchtungsSchwankungen nachteilig auswirken könnte. Um diesen Nachteil zu vermeiden, kann der obere Regensensorbereich (6) bevorzugt nur soweit verkleinert werden, dass die oberen Lichtflecken (8) noch teilweise sichtbar sind. Dies ist in Fig. 4 dargestellt.
Fig. 5 zeigt eine räumliche Überlappung des Fahrerassistenzbereichs (7) bzw. der Fernbereichsabbildung mit dem Regensensorbereich (6) bzw. der unscharfen Abbildung der Beleuchtungsreflexe (8, 9). Sollte der Bildchip (5) oder die bauliche Integration der Beleuchtung keine ausreichende Größe für die räumlich getrennte Abbildung der Lichtflecke (8, 9) und des Fahrerassistenzbereichs (7) zulassen, so könnte z.B. alternierend mit dem Fahrerassistenzbild ein Extrabild der Regensensorlichtflecken aufgenommen werden. Hierzu wird die Beleuchtung (3) während der Aufnahme des Fahrerassistenzbildes abgeschaltet und für die Aufnahme des Regensensorbildes wieder angeschaltet.
Dies bietet für die Regensensierung gleichzeitig den Vorteil, dass ein Differenzbild mit dem vorhergehenden Fahrer- assistenzbild gebildet werden kann, wodurch das Hintergrundsignal stark vermindert wird und idealer Weise nur das Regensensorbild der Lichtflecken (8, 9) übrig bleibt.
Häufig besitzen Fahrerassistenzkameras (1) ein Infrarot- Sperrfilter, um die spektralen Anforderungen an die Optik zu reduzieren und/oder eine bessere Farberkennung zu ermöglichen. Die Farbfilter (R, G, B) auf den einzelnen Pixeln der heutzutage eingesetzten Bildchips (5) besitzen im infraroten Spektralbereich häufig wieder eine hohe Transmissi- on und verschlechtern damit die Farbselektivität.
Bei räumlicher Überlappung des Fahrerassistenzbereichs (7) mit dem Regensensorbereich (6) wie in Fig. 5 dargestellt kann entweder kein Infrarotsperrfilter genutzt werden, oder die Wellenlänge der Beleuchtung (3) sollte in den sichtba- ren Bereich geschoben werden.
Wenn bessere Farbfilter (R, G, B) eingesetzt werden, die das infrarote Licht nicht mehr durchlassen, kann durch eine geschickte Wahl des Farbfiltertnusters gleichzeitig und räumlich überdeckt die Regensensorflecken (8, 9) und das Fahrerassistenzbild (7) aufgenommen werden.
Fig. 6a zeigt das sehr verbreitete Bayer Pattern R-G-G-B, rot -grün-grün-blau .
Fig. 6b zeigt ein Beispiel für ein modifiziertes Muster R- N-G-B, bei dem der neutrale Pixel (N) überhaupt kein Farbfilter besitzt und somit für das sichtbare und das infrarote Licht durchlässig ist. Nur diese „weißen" Pixel (N) werden für die Regensensierung genutzt. Zusätzlich könnten sie, bei zeitlicher Trennung der beiden Aufnahmen, auch für die Fahrerassistenzfunktionen genutzt werden, um die Dynamik des Bildchips (5) und die Empfindlichkeit in dunklen Situationen zu erhöhen. In Fig. 1 und 2 ist eine Beleuchtung (3) mit einem Strahlengang dargestellt, der nahe am Winkel der Totalreflexion in der Scheibe (2) liegt. In der dort dargestellten Anordnung ist die Signaländerung bei Auftreten von Regentropfen (4) auf der Scheibe (2) besonders ausgeprägt.
Allerdings ist die Beleuchtungsquelle (3) weit unterhalb der Kamera (1) außerhalb des kompakten Kameragehäuses angeordnet, was bauliche Einschränkungen und Nachteile mit sich bringt . Fig. 7 und 8 zeigen eine alternative Anordnung, die den Vorteil bietet, dass die Beleuchtungsquelle (3) in die Kamera (1) , genauer in das Kameragehäuse integriert werden kann.
Wenn der Öffnungswinkel der Beleuchtung (üblicherweise mit- tels LEDs) groß genug ist, kann die Beleuchtungsquelle (3) auch innerhalb der Kamera (1), z.B. wie dargestellt auf einer Platine (12) des Kameraaufbaus platziert werden. Hierdurch ergibt sich ein erheblicher Integrationsvorteil. Der relative Effekt zwischen dem an der Außenseite (2.2) reflektiertem Strahl (r2) und dem an der Innenseite reflektierten Strahl (rl) des Nebenstrahls (n) der Beleuchtungs- quelle (3) erweist sich als gut messbar und ausreichend, um Regentropfen (4) auf der Scheibe (2) zuverlässig erkennen zu können.
Wenn für die Beleuchtung infrarotes Licht verwendet wird und die Beleuchtungsquelle (3) wie in Fig. 7 unterhalb einer Sichtblende bzw. eines Sichttrichters (11) angeordnet ist, muss die Sichtblende (11) zumindest in dem Bereich, durch den der Lichtstrahl (n) aus der Beleuchtungsquelle
(3) zur Scheibe (2) tritt, für infrarotes Licht transparent sein. Fig. 8 zeigt die Veränderung bei Vorliegen von Regentropfen
(4) auf der Außenseite (2.2) der Scheibe (2):
Auch hier bewirken Regentropfen (4) eine stärkere Auskopplung (t2') von Licht aus der Scheibe in den Bereich vor der Scheibe. Dadurch wird von der Kamera (1) eine verringerte Intensität des Teilstrahls {r2') gemessen, der an der Außenseite (2.2) der Scheibe (2) reflektiert wurde.
Bei dieser Ausführungsform wird nicht der Hauptstrahl (h) der Beleuchtungsquelle genutzt, sondern ein Nebenstrahl (n) , der über Reflexionen an der Scheibe (2) als mindestens zwei räumlich getrennte Teilstrahlen (r1; r2 ; r2 ' ) auf die Kamera (1) trifft. Ansonsten sind die Strahlenverläufe und -anteile den in Fig. 1 und 2 gezeigten vergleichbar, die Bezugszeichen werden entsprechend gleich verwendet.
Die in Fig. 1 und 2 sowie Fig. 7 und 8 dargestellte Detek- tionsweise beruht darauf, vergleichbar zum klassischen optischen Regensensor, eine Lichtverminderung zu detektieren, wenn die Außenseite (2.2) der Scheibe (2) nass ist.
Zusätzlich kann bei dieser Anordnung auch das am Regentropfen (4) reflektierte Licht (rh) des Hauptstrahls (h) genutzt werden, um Regen zu detektieren. Dies ist in Fig. 9 und 10 dargestellt.
Fig. 9 zeigt die Situation bei trockener Scheibe (2) : während wie in Fig. 7 vom Nebenstrahl (n) der an der Innenseite (2.1) der Scheibe (2) reflektierte Anteil (rnl) eine Referenzintensität auf dem Bildsensor (5) bewirkt, wird der Hauptstrahl (h) nicht auf den Bildsensor abgebildet. Solange ausschließlich Beleuchtungsreflexe des Referenzstrahls (rnl) detektiert werden, kann daher erkannt werden, dass kein Regen (4) auf der Scheibe (2) ist. Wie in Fig. 10 dargestellt, bewirken Regentropfen (4) auf der Außenseite (2.2) der Windschutzscheibe (2), dass ein geringer Anteil (rh) des Hauptstrahls im Regentropfen (4) derart reflektiert wird, dass er auf die Kamera (1) trifft. Hier kann also aus dem Auftreten eines oder mehrerer Be- leuchtungsreflexe zusätzlich zu Beleuchtungsreflexen des Referenzstrahls (rnl) auf das Vorliegen von Regen (4) geschlossen werden.
Es können natürlich auch beide Detektionsweisen (aus Fig. 7+8 und aus Fig. 9+10) miteinander kombiniert werden, um die Regenerkennung zu verbessern und gegen störende Umwelteinflüsse (wechselnder Hintergrund, Sonnenreflexe, Scheinwerfer u.a.) robuster zu machen. Fig. 11 zeigt ein weiteres Ausführungsbeispiel, bei dem die Anordnung einen Lichtleiter (13) umfasst. Zur Vereinfachung der Integration der Beleuchtung (3) in das Gehäuse der Kamera (1) und zur Führung des Lichtstrahls (h) an eine bestimmte Stelle der Windschutzscheibe (2), wird hier ein Lichtleiter (13) verwendet. Hierdurch kann insbesondere die Positionierung des Lichtreflexes (9) (für die Regendetekti - on) von dem Teilstrahl (r2; r2 ' ) , der' an der Außenseite (2.2) der Windschutzscheibe (2) reflektiert wird, auf dem Bildchip (5) in einen Bereich, der außerhalb des Fahreras- sistenzbereichs (7) liegt, erleichtert werden. Das Prinzip der Regendetektion ist dasselbe wie bei Fig. 7 und 8 erläutert wurde, nur wird statt des Nebenstrahls (n in Fig. 7+8) der Beleuchtung (3) der Hauptstrahl (h) mittels des Lichtleiters (13) entsprechend geführt.
Bezugszeichenliste
1 Kamera
2 Scheibe
2.1 Innenseite der Scheibe
2.2 Außenseite der Scheibe
3 Beleuchtungsquelle
4 Regen, Regentropfen
5 Bildsensor
6 Regensensorbereich
7 Fahrerassistenzbereich
8 Beleuchtungsreflex von Scheibeninnenseite
9 Beleuchtungsreflex von Scheibenaußenseite
10 Signalveränderung bei Regentropfen
11 Sichtblende
12 Schaltungsträger
13 Lichtleiter
h Hauptstrahl
n Nebenstrahl
r1 Anteil von h bzw. n, der an der Scheibeninnenseite reflektiert wird
t1 Anteil von h bzw. n, der an der Scheibeninnenseite
transmittiert wird
r2 Anteil von t1, der an der Scheibenaußenseite reflektiert wird
t2 Anteil von t1, der an der Scheibenaußenseite transmittiert wird
r2' entspricht r2 bei Regen auf der Scheibenaußenseite t2' entspricht t2 bei Regen auf der Scheibenaußenseite th1 Anteil des Hauptstrahls , der an der Scheibeninnenseite transmittiert wird
th2 Anteil von thl, der an der Scheibenaußenseite transmittiert wird
th.2 ' entspricht th.2 bei Regen auf der Scheibenaußenseite rh Anteil von th2 ' , der itn Regentropfen zur Kamera reflektiert wird
rn1 Anteil von n, der an der Scheibeninnenseite reflektiert wird
R Filterelement, das Licht im roten Wellenlängenbereich durchlässt
G Filterelement, das Licht im grünen Wellenlängenbereich durchlässt
B Filterelement, das Licht im blauen Wellenlängenbereich durchlässt
N Filterelement, das Licht im sichtbaren und/oder infraroten Wellenlängenbereich durchlässt

Claims

Patentansprüche 1. Vorrichtung zur Erkennung von Regen (4) umfassend
- eine hinter einer Scheibe (2) angeordnete Kamera
(1) , wobei die Kamera auf einen Fernbereich fokussiert ist, der vor der Scheibe (2) liegt, und
- eine Beleuchtungsquelle (3) zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls (h; n) , wobei die Beleuchtungsquelle (3) den mindestens einen Lichtstrahl (h; n) so auf die Scheibe (2) richtet, dass mindestens ein von Außenseite (2.2) der Scheibe
(2) reflektierter Strahl {r2; r2 ' ) auf die Kamera (1) auftrifft und die Lichtmenge des mindestens einen auf die Kamera (1) auftreffenden Strahls {r2; r2 ' ) von der Kamera (1) gemessen werden kann. 2. Vorrichtung nach Anspruch 1, wobei der Einfallswinkel des von der Beleuchtungsquelle (3) erzeugten Lichtstrahls (h; n) so eingerichtet ist, dass von dem
Strahl (tl) , der auf die Außenseite (2.2) der Scheibe (2) trifft, mehr reflektiert als aus der Scheibe ausgekoppelt (t2) wird, wenn kein Regen (4) auf der Außenseite (2.
2) der Scheibe (2) ist.
3. Vorrichtung nach Anspruch 1 oder 2, wobei die Vorrichtung eine Auswertungseinheit umfasst, die aus der gemessenen Lichtmenge des an der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) ermittelt. ob Regen (4) auf der Außenseite (2.2) der Scheibe (2) vorliegt .
4. Vorrichtung nach Anspruch 3, wobei die Auswertungseinheit die gemessene Lichtmenge des an der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) mit einem Schwellwert vergleicht.
5. Vorrichtung nach Anspruch 3 oder 4, wobei die Auswertungseinheit eine zeitliche Veränderung der vom Bildsensor (5) der Kamera (1) gemessenen Lichtwerte des an der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) ermittelt.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) den mindestens einen Lichtstrahl (h; n) so auf die Scheibe (2) richtet, dass die von der Innen- (2.1) und Außenseite (2.2) der Scheibe reflektierten Strahlen (rl; r2 bzw. r2') als mindestens zwei räumlich getrennte Strahlen (rl; r2 bzw. r2 ' ) auf die Kamera (1) auftreffen und die Lichtmengen der mindestens zwei auf die Kamera (1) auftreffenden Strahlen (rl; r2 bzw. r2 ' ) von der Kamera (1) gemessen werden können.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) baulich in das Gehäuse der Kamera (1) integriert ist.
8. Vorrichtung nach Anspruch 7, wobei die Beleuchtungsquelle (3) unter einer Sichtblende (11) der Kamera (1) angeordnet ist.
9. Vorrichtung nach Anspruch 8, wobei die Beleuchtungsquelle (3) Licht im infraroten Wellenlängenbereich erzeugt und die Sichtblende (11) zumindest in einem Teilbereich, der sich oberhalb der Beleuchtungsquelle (3) befindet, im infraroten Wellenlängenbereich durchlässig ist.
10. Vorrichtung nach einem der Ansprüche 7 bis 9, wobei die Beleuchtungsquelle (3) auf einem Schaltungsträger (12) der Kamera (1) angeordnet ist.
11. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) nur Licht mit einer Wellenlänge in einem bestimmten Wellenlängenbereich erzeugt und im Strahlengang der Kamera (1) ein erster spektraler Filter in dem Bereich angeordnet ist, in dem der mindestens eine an der Außenseite (2.2) der Scheibe (2) reflektierte Strahl (r2; r2 ' ) verläuft, wobei der erste spektrale Filter Licht mit einer Wellenlänge in dem bestimmten Wellenlängenbereich durchlässt.
12. Vorrichtung nach einem der Ansprüche 6 bis 11 , wobei ein zweiter spektraler Filter in dem Bereich des Strahlengangs angeordnet ist, in dem die mindestens zwei räumlich getrennten reflektierten Strahlen (rl; r2 bzw. r2 ' ) nicht verlaufen, wobei der zweite spekt- rale Filter Licht mit einer Wellenlänge in dem bestimmten Wellenlängenbereich sperrt.
13. Vorrichtung nach Anspruch 11 oder 12, wobei die Kamera (1) einen Bildsensor (5) umfasst und der erste oder beide spektralen Filter direkt auf Pixel des Bildsensors (5) aufgebracht sind.
14. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) einen gebündelten Lichtstrahl (h) erzeugt.
15. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei der von der Beleuchtungsquelle (3) erzeugte Lichtstrahl (h) mittels eines Lichtleiters (13) auf die Scheibe (2) gerichtet wird.
16. Verfahren zur Erkennung von Regen (4) auf der Außenseite (2.2) einer Scheibe (2) mittels
- einer hinter der Scheibe (2) angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamerad) ,
- einer Beleuchtungsquelle (3) zur Erzeugung mindestens eines auf die Scheibe (2) gerichteten Lichtstrahls (h; n) , wobei die Beleuchtungsquelle (3) den mindestens einen Lichtstrahl (h; n) so auf die Scheibe (2) richtet, dass mindestens ein von Außenseite (2.2) der Scheibe (2) reflektierter Strahl (r2; r2 ' ) auf die Kamera (1) auftrifft, durch
- Messen der Lichtmenge des mindestens einen von der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) mittels der Kamera (1) und
- Auswerten der gemessenen Lichtmenge des mindestens einen von der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2).
17. Verfahren zur Erkennung von Regen (4) auf der Außenseite (2.2) einer Scheibe (2) mittels einer Vorrichtung nach einem der Ansprüche 1 bis 15, wobei mit der Kamera (1) :
- ein erstes Bild bei ausgeschalteter Beleuchtungsquelle (3) aufgenommen wird,
- ein zweites Bild bei eingeschalteter Beleuchtungsquelle (3) aufgenommen wird,
- das Differenzbild aus zweitem und erstem Bild gebildet wird und
- im Differenzbild die Lichtmenge des mindestens einen an der Außenseite (2.2) der Scheibe (2) reflektierten Strahlen (r2; r2 ' ) zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2) ausgewertet wird.
EP11815609.0A 2010-11-30 2011-09-20 Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung Withdrawn EP2646802A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010052968 2010-11-30
PCT/DE2011/001749 WO2012092911A1 (de) 2010-11-30 2011-09-20 Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung

Publications (1)

Publication Number Publication Date
EP2646802A1 true EP2646802A1 (de) 2013-10-09

Family

ID=45560604

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11815609.0A Withdrawn EP2646802A1 (de) 2010-11-30 2011-09-20 Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung

Country Status (7)

Country Link
US (1) US9335264B2 (de)
EP (1) EP2646802A1 (de)
JP (1) JP5944405B2 (de)
KR (1) KR101903981B1 (de)
CN (1) CN103221805B (de)
DE (1) DE112011102968A5 (de)
WO (1) WO2012092911A1 (de)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1758783B1 (de) 2004-05-25 2008-04-16 VDO Automotive AG Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
DE112010001879A5 (de) 2009-07-06 2012-10-11 Conti Temic Microelectronic Gmbh Optisches Modul zur gleichzeitigen Fokussierung auf zwei Sichtbereiche
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
DE102012103873A1 (de) * 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102013100292A1 (de) 2013-01-11 2014-07-24 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
US20150321644A1 (en) * 2012-08-06 2015-11-12 Conti Temic Microelectronic Gmbh Detection of Raindrops on a Pane by Means of a Camera and Illumination
DE102012108316A1 (de) 2012-08-06 2014-02-06 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102013000751B4 (de) * 2013-01-17 2024-02-29 HELLA GmbH & Co. KGaA Sensorvorrichtung zum Erfassen von Feuchtigkeit auf einer Scheibe
DE102013101746A1 (de) 2013-02-21 2014-08-21 Conti Temic Microelectronic Gmbh Optische Regensensorvorrichtung für ein Fahrzeug
JP2015007611A (ja) * 2013-05-30 2015-01-15 株式会社リコー 付着物検出装置、ワイパー装置及び移動体
DE102013225156A1 (de) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
DE102013225155A1 (de) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
JP6424586B2 (ja) * 2013-12-09 2018-11-21 株式会社リコー 撮像装置、媒体種別判定装置および画像形成装置
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
DE102014209197B4 (de) 2014-05-15 2024-09-19 Continental Autonomous Mobility Germany GmbH Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
KR101952617B1 (ko) * 2014-07-03 2019-02-28 (주)엘지하우시스 유리 기판의 부식 검출 방법
EP2965956B1 (de) * 2014-07-07 2019-02-27 Conti Temic microelectronic GmbH Kamerabasierter Regensensor für eine Fensterscheibe
EP2977275B1 (de) * 2014-07-25 2017-04-26 Conti Temic microelectronic GmbH Regendetektionsvorrichtung
DE102014214710B4 (de) 2014-07-25 2022-02-17 Conti Temic Microelectronic Gmbh Regendetektionsvorrichtung
DE102014223671A1 (de) 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Niederschlagsdetektor und Verfahren zur Detektion eines Niederschlags
KR102287958B1 (ko) * 2015-02-06 2021-08-09 한국전자통신연구원 차량 창유리 가시광선 투과율 원격 검사 시스템 및 방법
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9539988B2 (en) * 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9533551B2 (en) 2015-03-16 2017-01-03 Thunder Power Hong Kong Ltd. Electric vehicle thermal management system with series and parallel structure
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly
DE102015218500A1 (de) 2015-09-25 2017-03-30 Conti Temic Microelectronic Gmbh Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
DE102016205532A1 (de) * 2016-04-04 2017-10-05 Conti Temic Microelectronic Gmbh Vorrichtung zur Detektion von Niederschlag auf einer Fahrzeugscheibe eines Fahrzeugs
WO2017218376A1 (en) * 2016-06-15 2017-12-21 Laitram, L.L.C. Wet case detector in a conveyor belt
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
DE102016221869A1 (de) 2016-11-08 2018-05-09 Conti Temic Microelectronic Gmbh Erkennung von Regentropfen auf einer Scheibe mittels einer Kamera und einer Beleuchtung
CN109693999B (zh) * 2017-10-23 2020-05-01 上海三菱电梯有限公司 自动扶梯或人行道信息监控装置
CN109057624A (zh) * 2018-08-18 2018-12-21 杨文娟 多参数监控式铝合金窗框
CN109050474B (zh) * 2018-09-06 2020-05-26 南京牧镭激光科技有限公司 雨刷控制方法、装置及激光探测设备
US10771665B1 (en) 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
DE102019218450A1 (de) * 2019-11-28 2021-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer optischen Beeinträchtigung einer Kamera
DE102021113065A1 (de) * 2021-05-20 2022-11-24 Valeo Schalter Und Sensoren Gmbh Regensensorsystem, fahrzeug und verfahren zum erfassen von regen
CN115728784A (zh) * 2021-08-31 2023-03-03 上海禾赛科技有限公司 光学反射式雨量传感器及其控制方法
WO2026073785A1 (de) * 2024-10-02 2026-04-09 Saint-Gobain Sekurit France Fahrzeugscheibentrocknungsanordnung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4960996A (en) * 1989-01-18 1990-10-02 Hochstein Peter A Rain sensor with reference channel
DE19858316A1 (de) * 1998-12-17 2000-06-29 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren und Lokalisieren von auf einer lichtdurchlässigen Scheibe befindlichen, diffusreflektierenden Belägen sowie Vorrichtung

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS574133A (en) 1980-06-10 1982-01-09 Fujitsu Ltd Device for pattern image pickup
US4515443A (en) 1982-12-29 1985-05-07 The United States Of America As Represented By The Secretary Of The Army Passive optical system for background suppression in starring imagers
SE459128B (sv) 1983-03-29 1989-06-05 Svensk Filmindustri Avbildningsobjektiv som foermaar att i ett bildplan skarpt avbilda foeremaal paa minst tvaa olika avstaand fraan objektivet
JPS60125260U (ja) 1984-02-03 1985-08-23 三菱自動車工業株式会社 ル−ムミラ−装置
JP2659852B2 (ja) 1990-06-29 1997-09-30 株式会社クラレ 撮像素子の製造方法
US6137529A (en) * 1992-11-23 2000-10-24 Mitsubishi Jukogyo Kabushiki Kaisha Apparatus for position data acquisition and an apparatus for coil position recognition
DE4417385A1 (de) 1994-05-18 1995-11-23 Vdo Schindling Anordnung zur Steuerung eines Scheibenwischers, insbesondere für Kraftfahrzeuge
EP0691534B1 (de) 1994-07-06 2001-12-12 Volkswagen Aktiengesellschaft Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
DE19504606C2 (de) 1995-02-11 1999-01-07 Kostal Leopold Gmbh & Co Kg Optoelektronische Einrichtung zur Erfassung von auf der Außenseite einer transparenten Scheibe sich ablagerndem Niederschlag
JPH09189533A (ja) 1996-01-11 1997-07-22 Tokai Rika Co Ltd 付着物センサ及び付着物感応ワイパ
EP0879158B1 (de) 1996-02-13 1999-07-28 Marquardt GmbH Optischer sensor
JPH1090188A (ja) 1996-09-13 1998-04-10 Mitsuba Corp 画像認識装置
US5923027A (en) * 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
US6681163B2 (en) 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
DE19740364A1 (de) 1997-09-13 1999-03-25 Bosch Gmbh Robert Vorrichtung und Verfahren zum Betreiben eines Regensensors
DE19742093A1 (de) 1997-09-24 1999-03-25 Kostal Leopold Gmbh & Co Kg Photoelektrisches Sensorarray
DE19749331A1 (de) 1997-11-07 1999-05-20 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren von auf einer Windschutzscheibe befindlichen Objekten sowie Vorrichtung
JP3940487B2 (ja) 1998-02-12 2007-07-04 シチズン電子株式会社 密着型イメージセンサ
DE19861428B4 (de) 1998-03-17 2008-01-10 Robert Bosch Gmbh Optischer Sensor
FR2788131B1 (fr) 1998-12-30 2001-02-16 Valeo Systemes Dessuyage Detecteur de salissures sur la surface d'une plaque transparente
DE19909987C2 (de) 1999-03-06 2003-04-10 Kostal Leopold Gmbh & Co Kg Anordnung zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
US6392218B1 (en) 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
FR2810605B1 (fr) 2000-06-22 2002-09-20 Valeo Systemes Dessuyage Equipement de commande automatique de nettoyage d'une surface de plaque presentant des etats de salissure varies, et procede de mise en oeuvre
JP2002197466A (ja) * 2000-12-27 2002-07-12 Nec Corp 被写体領域抽出装置、被写体領域抽出方法、及び被写体領域抽出プログラムを記録した記録媒体
US6614043B2 (en) 2001-04-16 2003-09-02 Valeo Electrical Systems, Inc. Imaging rain sensor illumination positioning system
US6968073B1 (en) * 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US6617564B2 (en) 2001-10-04 2003-09-09 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
US20030066955A1 (en) 2001-10-09 2003-04-10 Schaub Michael P. Integrated field flattener for sensors
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
US20060191215A1 (en) 2002-03-22 2006-08-31 Stark David H Insulated glazing units and methods
JP3641250B2 (ja) * 2002-04-23 2005-04-20 三菱電機株式会社 透光体表面の異物検出装置
DE10219788C1 (de) 2002-05-03 2003-11-13 Bosch Gmbh Robert Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen
DE20207170U1 (de) 2002-05-07 2002-08-14 Sick AG, 79183 Waldkirch Multifokale Bilderfassung
JP2005531752A (ja) 2002-05-18 2005-10-20 エルモス セミコンダクタ アーゲー 雨検出装置
DE10230200A1 (de) 2002-07-05 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von auf einer Oberfläche eines transparenten Elements sich befindenden Objekten
US8180099B2 (en) 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
DE10303047A1 (de) 2003-01-24 2004-08-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Sichtverbesserung und zur Bestimmung der Wettersituation
DE10303046A1 (de) 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
JP2004296453A (ja) 2003-02-06 2004-10-21 Sharp Corp 固体撮像装置、半導体ウエハ、光学装置用モジュール、固体撮像装置の製造方法及び光学装置用モジュールの製造方法
DE10316794A1 (de) 2003-04-11 2004-11-11 Audi Ag Regensensor und Verfahren zum Erkennen von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeugs
DE10322010A1 (de) 2003-05-16 2004-12-02 Daimlerchrysler Ag Bilderkennungssystem zum Erfassen einer Niederschlagsmenge
JP4326999B2 (ja) 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
ES2399825T3 (es) 2003-09-19 2013-04-03 Tengchen Sun Un dispositivo y método para detectar el cambio ambiental de un parabrisas
US6947224B2 (en) 2003-09-19 2005-09-20 Agilent Technologies, Inc. Methods to make diffractive optical elements
DE10355205A1 (de) 2003-11-26 2005-07-07 Hella Kgaa Hueck & Co. Befestigungsanordnung für ein Kameramodul in einem Kraftfahrzeug
JP2005225250A (ja) 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
JP2005233728A (ja) 2004-02-18 2005-09-02 Denso Corp 光センサ装置
DE102004015040A1 (de) 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
JP2005292544A (ja) 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 焦点調整機構
DE102004019337A1 (de) 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
EP1801852A4 (de) 2004-07-16 2008-04-09 Nikon Corp Trägerverfahren und trägerstruktur für optische elemente, optische vorrichtung, belichtungsvorrichtung und herstellungsverfahren für vorrichtung
DE102004037871B4 (de) 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
WO2006024247A1 (de) 2004-09-03 2006-03-09 Adc Automotive Distance Control Systems Gmbh Verfahren zur detektion von niederschlag auf einer scheibe
JP4241561B2 (ja) 2004-09-28 2009-03-18 株式会社デンソー 雨滴検出装置
JP2006184844A (ja) 2004-12-03 2006-07-13 Tochigi Nikon Corp 結像光学系及びこれを用いた撮像装置
DE102005004513A1 (de) 2005-01-31 2006-03-09 Daimlerchrysler Ag Detektion von Niederschlägen auf Oberflächen, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraftfahrzeuges
US7253898B2 (en) 2005-03-31 2007-08-07 Hitachi, Ltd. System for detecting droplets on a translucent surface
JP4353127B2 (ja) 2005-04-11 2009-10-28 株式会社デンソー レインセンサ
EP1883940A2 (de) 2005-05-06 2008-02-06 David H. Stark Isolierte glasierungseinheiten und verfahren
DE102005035812A1 (de) 2005-07-27 2007-02-08 Adc Automotive Distance Control Systems Gmbh Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe
DE602005004544T2 (de) 2005-09-19 2008-04-30 CRF Società Consortile per Azioni, Orbassano Multifunktioneller optischer Sensor mit einer an Mikrolinsen gekoppelten Matrix von Photodetektoren
JP2007101649A (ja) 2005-09-30 2007-04-19 Oki Electric Ind Co Ltd 光学レンズ，および，光学レンズの製造方法
DE102006008274B4 (de) * 2006-02-22 2021-11-25 Continental Automotive Gmbh Kraftfahrzeug mit einer optischen Erfassungsvorrichtung und Verfahren zum Betreiben eines Kraftfahrzeugs
DE102006010671A1 (de) 2006-03-08 2007-09-13 Leopold Kostal Gmbh & Co. Kg Kameraanordnung für ein Kraftfahrzeug
US20070216768A1 (en) 2006-03-14 2007-09-20 Ford Global Technologies, Llc Device and method for outwardly looking ir camera mounted inside vehicles particularly suited for pre-crash sensing and pedestrian detection
DE102006022404A1 (de) 2006-05-13 2007-11-15 Hella Kgaa Hueck & Co. Kameraanordnung für ein Kraftfahrzeug
JP4668838B2 (ja) * 2006-05-16 2011-04-13 株式会社日本自動車部品総合研究所 雨滴検出装置およびワイパー制御装置
FR2901218B1 (fr) 2006-05-22 2009-02-13 Valeo Vision Sa Procede de detection de pluie sur un parebrise
US7722199B2 (en) * 2006-08-23 2010-05-25 Donnelly Corporation Vehicle interior rearview mirror assembly with actuator
FR2908527B1 (fr) 2006-11-15 2009-01-16 Valeo Vision Sa Capteur photosensible dans le domaine automobile
EP1923695A1 (de) * 2006-11-20 2008-05-21 Delphi Technologies, Inc. Vorrichtung zur Erfassung von Feuchtigkeit auf einer Scheibe
WO2008069220A1 (ja) 2006-11-30 2008-06-12 Nikon Corporation 結像装置及び顕微鏡
US8013350B2 (en) 2007-02-05 2011-09-06 Panasonic Corporation Optical device and method for manufacturing optical device, and camera module and endoscope module equipped with optical device
JP4340698B2 (ja) 2007-04-27 2009-10-07 シャープ株式会社 光学ユニットおよびそれを備えた固体撮像装置並びに電子機器
KR100862486B1 (ko) 2007-05-31 2008-10-08 삼성전기주식회사 카메라 모듈 패키지
CN101861542B (zh) 2007-08-04 2016-04-20 全视技术有限公司 多区域成像系统
US7889086B2 (en) 2007-09-28 2011-02-15 Hella Kgaa Camera arrangement in a motor vehicle
JP4930316B2 (ja) 2007-10-05 2012-05-16 株式会社デンソー 雨滴量検出装置およびそれを用いたワイパ制御装置、ヘッドライト制御装置
JP2009098477A (ja) 2007-10-18 2009-05-07 Canon Inc 撮像装置
DE502007004154D1 (de) 2007-11-21 2010-07-29 Delphi Tech Inc Optisches Modul
DE102007061725A1 (de) 2007-12-20 2009-06-25 Robert Bosch Gmbh Verfahren zur Plausibilitätsprüfung wenigstens eines Lichtdetektors einer Fahrlichtassistenzvorrichtung eines Kraftfahrzeugs
EP2277751A2 (de) 2008-04-21 2011-01-26 Fsc Co., Ltd. Regentropfensensor
DE102008001679A1 (de) 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
JP5359175B2 (ja) * 2008-10-16 2013-12-04 株式会社デンソー 視界状態検知装置および視界確保装置
DE102008043737A1 (de) 2008-11-14 2010-05-20 Robert Bosch Gmbh Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
DE102008062977A1 (de) 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild
DE102009000003A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
DE102009000004A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Kameraanordnung
DE102009000005A1 (de) * 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
DE112010001879A5 (de) 2009-07-06 2012-10-11 Conti Temic Microelectronic Gmbh Optisches Modul zur gleichzeitigen Fokussierung auf zwei Sichtbereiche
KR20110060495A (ko) 2009-11-30 2011-06-08 동양기전 주식회사 광 산란을 이용한 레인 센서
US8362453B2 (en) 2010-02-24 2013-01-29 Niles Co., Ltd. Rain sensor
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
JP5561333B2 (ja) 2011-11-02 2014-07-30 株式会社リコー 画像処理装置、撮像方法、プログラムおよび車両
DE102012200200B4 (de) 2012-01-09 2020-09-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, sowie ein Fahrzeug
DE102012103873A1 (de) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4960996A (en) * 1989-01-18 1990-10-02 Hochstein Peter A Rain sensor with reference channel
DE19858316A1 (de) * 1998-12-17 2000-06-29 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren und Lokalisieren von auf einer lichtdurchlässigen Scheibe befindlichen, diffusreflektierenden Belägen sowie Vorrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2012092911A1 *

Also Published As

Publication number Publication date
DE112011102968A5 (de) 2013-07-04
JP2014502360A (ja) 2014-01-30
US9335264B2 (en) 2016-05-10
JP5944405B2 (ja) 2016-07-05
CN103221805A (zh) 2013-07-24
WO2012092911A1 (de) 2012-07-12
US20130235381A1 (en) 2013-09-12
KR101903981B1 (ko) 2018-10-05
KR20130123412A (ko) 2013-11-12
CN103221805B (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
EP2646802A1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
EP1506108B1 (de) Regensensor
EP1580092B1 (de) Kamera in einem Kraftfahrzeug
DE102012103873A1 (de) Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
EP2879919B1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE60305124T2 (de) Multifunktionales integriertes optisches System mit einer CMOS oder CCD Matrix
DE60214593T2 (de) Stereoabbildung mit einem bildsensor verwendender feuchtigkeitssensor
DE102014209197B4 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102009000003A1 (de) Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
DE102006044786A1 (de) Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1991450A1 (de) Kameraanordnung für ein kraftfahrzeug
DE102012217093A1 (de) Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs
DE102017222614A1 (de) Vorrichtung zur Umgebungserfassung sowie Verfahren zu dessen Betrieb
EP0716292A2 (de) Verfahren und Vorrichtung zur Durchführung dieses Verfahrens zum Messen einer Lage von Bahnen oder Bogen
DE102010023593A1 (de) Optische Vorrichtung mit einem bifokalen optischen Element und einem Spiegelelement
DE102010038566A1 (de) Lichtlaufzeitkamera mit Funktionsüberwachung
EP1813961B1 (de) Vorrichtung zur optoelektronischen Überwachung von Objekten
EP3077255B1 (de) Beleuchtung zur detektion von regentropfen auf einer scheibe mittels einer kamera
EP3494388A1 (de) Vorrichtung und verfahren zur bestimmung eines doppelbildwinkels und/oder eines sichtwinkels
EP2943377B1 (de) Beleuchtung zur detektion von regentropfen auf einer scheibe mittels einer kamera
WO2013091619A1 (de) Verfahren und vorrichtung zur ermittlung von feuchtigkeit auf einer fahrzeugscheibe
DE19946448B4 (de) Entfernungsmeßeinrichtung
DE102012106030A1 (de) Kamerasystem zur Erkennung des Zustands einer Fahrzeugscheibe
DE10016349A1 (de) Verfahren und Anordnung zum Detektieren bzw. Erkennen eines Objektes
DE102023205077A1 (de) Verfahren und Vorrichtung zur Bestimmung einer objektabhängigen Fokusablage, Verfahren zur Vermessung eines Objekts und Koordinatenmessgerät

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130330

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170829

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603