EP2384295B2 - Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung - Google Patents

Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung Download PDF

Info

Publication number
EP2384295B2
EP2384295B2 EP09751871.6A EP09751871A EP2384295B2 EP 2384295 B2 EP2384295 B2 EP 2384295B2 EP 09751871 A EP09751871 A EP 09751871A EP 2384295 B2 EP2384295 B2 EP 2384295B2
Authority
EP
European Patent Office
Prior art keywords
optical radiation
subarea
image sensor
sensor surface
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP09751871.6A
Other languages
English (en)
French (fr)
Other versions
EP2384295B1 (de
EP2384295A1 (de
Inventor
Ulrich Seger
Gerald Franz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41566339&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP2384295(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2384295A1 publication Critical patent/EP2384295A1/de
Publication of EP2384295B1 publication Critical patent/EP2384295B1/de
Application granted granted Critical
Publication of EP2384295B2 publication Critical patent/EP2384295B2/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/552—Attenuated total reflection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0837—Optical rain sensor with a particular arrangement of the optical elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/43—Refractivity; Phase-affecting properties, e.g. optical path length by measuring critical angle
    • G01N2021/435—Sensing drops on the contact surface
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/12—Supports; Mounting means
    • H01Q1/1271—Supports; Mounting means for mounting on windscreens

Definitions

  • Cameras in vehicles for detecting a vehicle environment can be used in particular in the context of driver assistance systems for functions such as night vision assistance, lane departure warning, traffic sign recognition, light assist and / or reversing assistance.
  • the DE 197 49 33 A1 discloses a method and camera for detecting objects located on a windshield of a motor vehicle, such as drops of water or other contaminants.
  • the camera is located behind the windshield and focused on the outside of the windshield.
  • camera arrangements are known which are suitable both for recording a vehicle environment of a vehicle and for detecting a wheel condition of a vehicle window.
  • a camera arrangement is in the DE 10 2004 015 040 A1 shown.
  • This camera arrangement comprises a camera and a radiation source, wherein the camera has an image sensor for taking pictures, by means of which a first optical radiation generated by the vehicle surroundings can be detected, and by means of the radiation source a second optical radiation is detected, which is detected by the image sensor , The second optical radiation detected by the image sensor is dependent on the pane state, in particular on wetting of the pane by raindrops.
  • the second optical radiation emitted by the radiation source is coupled into the interior of the vehicle window in such a way that it carries out one or more total reflections in the unwetted state of the vehicle window, before a part of the second optical radiation is coupled into the camera.
  • Wetting of the surface of the vehicle window reduces the total reflection and thus the intensity of the second optical sensor detectable by the image sensor Radiation. The measurement of this reduction can be used to determine the wetting of the vehicle window.
  • the beam of the second optical radiation, which impinges on the image sensor is shaped such that only a small portion of a sensor surface of the image sensor can be irradiated with the second optical radiation.
  • the image data captured by this subarea is used to determine the disk state.
  • the remaining area of the sensor surface of the image sensor is used for recording the vehicle environment.
  • the partial region of the image sensor that can be irradiated with second optical radiation is covered by a diaphragm in such a way that first optical radiation originating from the vehicle environment is blocked and can not hit this partial region.
  • Such a camera arrangement requires precise guidance of the second optical radiation so that it does not irradiate the portion of the sensor surface intended for detection of the vehicle surroundings.
  • the provision of a diaphragm reduces the proportion of the sensor area of the image sensor which is available for detecting a vehicle environment, ie first optical radiation.
  • An aperture also means an additional element for the camera arrangement.
  • the US2005 / 0206511A describes a rain detection device in which a camera is focused in a vehicle at a plurality of distances and thereby detects a disk outer surface of a vehicle window.
  • a processor determines edges from differences in the image data of different images.
  • a lamp is provided which temporarily emits light through the pane to improve the visibility of the edges of raindrops, wherein the light emitted by the lamp is partially detected by the camera.
  • the WO03097420A1 discloses a camera which, in addition to the surroundings of the vehicle, also detects the IR light of a correspondingly aligned light source scattered on raindrops on the pane.
  • the IR light source is driven pulsed.
  • the DE 10 2006 008 274 A1 discloses a method in which a first and a second time window are provided for detecting radiation, wherein in the first time window the environment is detected by means of an image sensor and in a second time window a radiation generated by means of a pulsed light source is detected, which is used to detect Weather conditions is used.
  • the EP 1580092A2 discloses a method in which a vehicle environment is determined by means of a first optical radiation detected by an image sensor and the disk state by means of a second optical radiation.
  • the second optical radiation is in this case deflected in such a way that it strikes a separate subregion of the image sensor.
  • the DE 10 2006 010 671 A1 discloses a method in which an outside area of a vehicle can be detected on an imaging plane of a camera and a radiation generated by means of a light source can be received on a separate part of the imaging plane. Wetting of a vehicle window is determined by means of the determined light intensity of the detected radiation of the light source.
  • the US 20050206511A discloses a method for detecting a vehicle environment in which by means of an image sensor, a first optical radiation generated by the vehicle environment is detected and generated by a radiation source, a second optical radiation and passed through the vehicle window, wherein detected by the image sensor, a portion of the second optical radiation which is dependent on the disk state.
  • a camera arrangement and a method for detecting a vehicle environment are provided, which furthermore also make it possible to determine a pane state of the vehicle window.
  • the camera has an image sensor with a sensor surface which has a first subarea which detects both the first optical radiation and the second optical radiation.
  • the first subregion of the sensor surface makes it possible to capture a vehicle environment by exposure to first optical radiation.
  • a disturbance due to an overlay with second optical radiation can be avoided due to the time-shifted exposure.
  • the image data generated by exposure of a second partial area with second optical radiation can thus be used for determining the state of the pane be evaluated.
  • the second partial area exposed with second optical radiation can additionally be exposed at least partially to first optical radiation.
  • the temporal offset of the exposure of the first and second subarea makes it possible to irradiate the second subarea with a sufficiently high intensity which, despite the superposition of, for example, first optical radiation, enables a reliable determination of the disc state.
  • An aperture or similar means which protect the second portion from first optical radiation and pass only second optical radiation are not necessary according to the invention. Furthermore, it is not necessary to guide the second optical radiation so that it essentially only strikes the second partial region of the sensor surface.
  • a portion of the sensor surface may be used for both the detection of the first optical radiation and the second optical radiation, i.e., individual sensors forming the sensor surface may be exposed with superimposed first optical radiation and second optical radiation. Since diaphragms and an accurate beam guidance of the second optical radiation are no longer necessary, a simple structural design of the camera arrangement is possible.
  • the image sensor may be composed of a plurality of separate units that form the sensor surface. However, it is preferred that the image sensor is a single image sensor unit.
  • Exposure of the first partial area to second optical radiation can be prevented by deactivating the radiation source during the period of exposure or by preventing second optical radiation from impinging on the first partial area, for example by redirecting or blocking.
  • radiation sources for the generation of the second optical radiation is preferably an LED or a laser into consideration.
  • the camera is preferably set to remote view.
  • the image data captured in these image acquisition cycles can be used to capture the vehicle environment.
  • the nth image acquisition cycles make it possible to use the image data of the partial area illuminated with second optical radiation for determining the state of the pane. An influencing of the imaging of the vehicle environment by second optical radiation can be avoided in this way.
  • the nth image recording cycle it is thus possible, in the nth image recording cycle, to additionally expose at least partially the first optical radiation exposed to the second optical radiation partial region or the entire sensor surface. For example, it can be ensured by providing a sufficient intensity of the second optical radiation that the second optical radiation superimposed radiation, in particular first optical radiation, a determination of the disk state does not significantly affect.
  • shutters which protect a portion of the image sensor from first optical radiation and accurate beam guidance of second optical radiation are not necessary.
  • partial regions of the sensor surface of the image sensor can be used both for detecting first optical radiation for recording a vehicle environment and for detecting second optical radiation for determining the state of the pane.
  • the first subarea and the second subarea of the sensor surface can be exposed to one another in a temporally offset manner in an image recording cycle of the image sensor, wherein the first subarea is exposed to first optical radiation in the absence of second optical radiation and the second subarea to first optical radiation and second optical radiation is exposed.
  • these subareas of image acquisition cycle to image acquisition cycle in size and location can be redefined, especially hiking.
  • first optical radiation which is detected for the detection of the vehicle surroundings
  • second optical radiation which may possibly disturb the detection of the vehicle surroundings.
  • second optical radiation of such intensity allows second optical radiation of such intensity to generate, which allows, despite superposition with first optical radiation to determine the disk state.
  • Fig. 1 to 3 and Fig. 5 1 shows an embodiment of a camera arrangement according to the invention for recording a vehicle environment and determining a window state of a vehicle window 1, here a windshield 1.
  • Fig. 2 shows the in Fig. 1 Section marked by the section line AA ', Fig. 3 the section indicated by the section line BB '.
  • the camera arrangement comprises a camera 2 and a radiation source 3.
  • the camera 2 has an image sensor 4 for recording images, by means of which a first optical radiation 6 generated by the vehicle surroundings can be detected.
  • a second optical radiation 7 can be generated, part of which can also be detected by the image sensor 4.
  • This part of the second optical radiation 7 detected by the image sensor 4 is dependent on the pane state of the pane 1, in particular on wetting of the pane 1 by raindrops.
  • the image sensor 4 has a sensor surface 10, wherein both first optical radiation 6 and second optical radiation 7 can be detected together by means of a partial region of the sensor surface 10.
  • the camera arrangement is designed in such a way that the pane state of the pane 1 can be determined using the part of the second optical radiation 7 detected with the partial area or the entire sensor area 10.
  • the camera 2 is here a video camera.
  • the image sensor 4 is a semiconductor-based image sensor, here a CMOS image sensor. Alternatively, for example, a CCD image sensor would be usable.
  • the sensor surface 10 of the image sensor 4 has a plurality of pixels / pixels forming sensors 11, which are arranged in columns and lines in the form of a matrix.
  • the radiation source 3 comprises an LED. Alternatively, a laser may be used for the radiation source 3. For controlling the LED, the radiation source 3 has a first control unit 15.
  • the image sensor 4 comprises a second control unit 16 for controlling.
  • the camera 2 comprises a camera optics 19, represented here by a lens 19.
  • the camera 2 is arranged in the interior of the vehicle behind the pane 1 at the level of a vehicle rearview mirror so that first optical radiation 6 can pass through the pane 1 passing on the image sensor 4.
  • This passage region 18 of the detection range of the camera 2 is trapezoidal here, see Fig. 1 ,
  • second optical radiation 7 can be conducted in regions through the interior of the pane 1.
  • second optical radiation 7 generated by the radiation source 3 is coupled into the interior of the pane 1 at an angle such that the second optical radiation 7 adjoins an outer surface 12 and a surface 12 'of the pane 1' in the case of a border crossing, disc-air is totally reflected.
  • the second optical radiation 7 coupled in this way passes horizontally through the viewing cone of the camera 2.
  • part of the second optical radiation which has been reflected several times on the surfaces 12, 12 ', is coupled out of the pane 1 and into the camera 2 coupled in such a way that second optical radiation 7 from Image sensor 4 can be detected.
  • First coupling means 13 and second coupling means 14 are each formed by a prism, which are arranged on the inner surface 12 'of the disc 1.
  • other optical elements in particular diffractive elements, can also be used for this function.
  • the horizontal guidance of the second optical radiation 7 through the interior of the pane 1 offers the advantage that the necessary components of the camera arrangement can be arranged in particular behind a rearview mirror, which saves space and whereby such a camera arrangement has little disturbing effect.
  • the camera arrangement 7 comprises an evaluation unit 17.
  • the evaluation unit 17 is connected to the first control unit 15 of the radiation source 3 and the second control unit 16 of the image sensor 4 by means of data transmission lines.
  • the evaluation unit 17 is responsible for evaluating image data captured by the image sensor 4, in this case for determining a vehicle environment and determining a pane state of the pane 1.
  • the connection to the radiation source 3 and the image sensor 4 enables the evaluation unit 17, radiation source 3 and image sensor 4 to drive at appropriate times, in particular to activate and deactivate the LED, as will be described in more detail later.
  • the evaluation unit 17 may be connected to other components, for example components of a vehicle assistance system.
  • a first subregion 8 and a second subregion 9 of the sensor surface 10 of the image sensor 4 are exposed to one another in an image recording cycle 20 of the image sensor 4, wherein the first subregion 8 in the absence of second optical radiation 7 and the second subregion 9 with second optical radiation 7 is exposed.
  • a temporal offset of the exposure of the first sub-area 8 and the second sub-area 9 is achieved by exposing the x-th pixel 11 when the exposure (xy) -th pixel is completed.
  • a first address pointer passes line by line from the first line of the sensor surface 10 to the last line of the sensor surface 10 all sensors or pixels 11. If the first address pointer reaches a pixel, the exposure of this pixel 11 is started.
  • a second address pointer runs after the first address pointer at a distance y. If a sensor 11 is addressed by the second address pointer, then the exposure originally started by the leading first address pointer is aborted. In particular, the speed at which the address pointers pass through the sensor surface 10 and the distance y the exposure time of the individual sensors 11 can be determined. This principle is also referred to as a "rolling shutter" principle.
  • the Fig. 4 shows three diagrams, the first diagram 30 the beginning of the exposure I of the individual pixels 11 of the sensor surface 10 as a function of time, the second diagram 31 the state of the radiation source as a function of time and the third diagram 32 the completion of the exposure of the individual pixels 11 of the sensor surface 10 as a function of time represents.
  • the exposure of the sensor surface 10 is started as part of an image recording cycle 20.
  • the exposure of the sensor surface 10 takes place according to the "rolling shutter" principle, as already described above.
  • the radiation source 3 is activated for passing through the remaining part of the sensor surface 10 , so that the second optical radiation 7 strikes the sensor surface 10. If the first address pointer has passed through the entire sensor surface 10, which also denotes the end of an image cycle 20, then the radiation source 3 is switched off.
  • the second address pointer follows the first address pointer at a distance corresponding to the exposure time 22, see third diagram 32.
  • the exposure time 22 with which each individual sensor 11 is exposed corresponds to the time duration in which the radiation source 3 is activated.
  • the calibration cycle 21 differs from an imaging cycle 20 in that the radiation source 3 is activated over the entire time duration required by the first address pointer in order to pass through the entire sensor surface 10.
  • additional second optical radiation 7 strikes the sensor surface 10.
  • the exposure of the individual sensors 11 of the sensor surface 10 is effected so that the entire sensor surface 10 is exposed to first optical radiation 6, but only a portion 9 of the sensor surface 10, which is at most 10%, preferably at most 5% of the entire sensor surface 10 of the image sensor. 4 corresponds, is exposed to second optical radiation 7.
  • the image data captured by the sensor surface 10 are determined in a step 33, see FIG Fig. 6 , read out by the evaluation unit 17.
  • the image data of the second subarea 9 are masked in a second step 34 with a mask.
  • the mask has the function of reducing the influence of imperfections such as scratches, which may deteriorate the determination of the disk condition.
  • partial suppression of such data is also possible.
  • the image data prepared by the masking are compared with reference values.
  • the reference values may, for example, represent the state of an unwetted slice 1. A difference of measured image data and reference values allows the determination of the disk state.
  • the reference values may be predetermined values or may have been formed by previously recorded image data.
  • the reference values can be formed by the image data taken in image recording cycles 20 shortly after a wiper passage with the image sensor 4.
  • a comparison of these reference values with image data taken shortly before a wiper passage makes it possible to determine the wetting of the disc 1 with raindrops.
  • Averaging such reference values over a longer period of time allows the determination of permanent changes in the condition of the disk, such as may be caused by scratches, dirt, ice or frost.
  • Such reference values may also form the basis of a mask for masking image data as described above.
  • the optical radiation is generated with a sufficient intensity, so that first optical radiation, which is also detected by the second partial region 9, does not play a role in the evaluation of the state of the pane.
  • the image data obtained in the calibration cycle 21, in which the entire sensor surface 10 is exposed with second optical radiation can determine the disk state.
  • the first subarea 8 and / or the second subarea 9 can be changed in its position and / or its size. For example, it is possible to let the second subarea 9 "wander" over the sensor surface 10.
  • the first subarea 8 changes accordingly.
  • This migration can be achieved by activating the radiation source 3 from image acquisition cycle 20 to image acquisition cycle 20 with different temporal dislocations. In this way, in particular the entire sensor surface 10, albeit offset in time, can be used for detecting second optical radiation 7, although the second subregion 9 is only a fraction of the total area of the sensor surface 10.
  • the size of the second subregion 9 of the sensor surface 10 which is exposed with second optical radiation 7 can be changed from image acquisition cycle to image acquisition cycle 20.
  • a second subregion 9 is exposed to second optical radiation not in each image acquisition cycle 20 but periodically in every nth image acquisition cycle.
  • N is preferably ⁇ 10 and is more preferably in the range of 30 to 50.
  • the sensor surface 10 of the image sensor 4 is exposed in an image recording cycle of the image sensor 4, whereby a subregion of the sensor surface 10 is periodically exposed to second optical radiation 7 in every n th image recording cycle 40 '.
  • the Fig. 7 1 shows a first diagram 41, which represents the exposure I of the sensor surface 10 as a function of time, and a second diagram 42, which represents the state s of the radiation source 3, here deactivated and activated, as a function of time.
  • An image cycle is completed when the entire sensor surface 10 has been exposed, as can be seen in the first diagram 41.
  • the radiation source 3 is activated over the entire period of exposure of the sensor surface 10, so that the sensor surface 10 is exposed to second optical radiation.
  • ⁇ further image acquisition cycles 40 " where x ⁇ 1, preferably x ranging from 2 to 7, in which the radiation source 3 remains activated second optical radiation 7 strikes the sensor surface 10.
  • the evaluation unit 17 reads out the image data acquired by the sensor surface 10 in an image acquisition cycle 40, 40 'and 40 "The image data of the image acquisition cycles 40', 40" in which the sensor surface 10 was exposed to second optical radiation 7 are used for the determination Disk 1 disk condition used.
  • a first step 50 see Fig. 8 , the image data of the sensor surface 10, which were taken under exposure to second optical radiation during the image acquisition cycles 40 ', 40 ", are read out by the evaluation unit 17.
  • this image data is masked with a mask to mask image data which is unsuitable for the evaluation, such as may arise, for example, from scratches, dirt or other imperfections in the pane 1.
  • masking may also be dispensed with
  • the image data of the nth image acquisition cycle 40 'and the x following The purpose of this averaging is, in particular, noise suppression
  • the image data thus masked and averaged are compared with reference values in a fourth step 53.
  • Deviation from the reference values signals a change in the reference value
  • the reference values may be formed by predefined values, or may be formed by image data previously recorded with the image sensor 4. For example, if the disk 1 is wetted by raindrops, the reference values may be formed by the image data obtained shortly after a wiper pass Image sensor 4 have been recorded in image acquisition cycles 40 ', 40 ". A comparison of these reference values with image data taken shortly before a wiper passage makes it possible to determine the wetting of the disc 1 with raindrops. Averaging such reference values over a longer period of time allows the determination of permanent changes in the condition of the disk, such as may be caused by scratches, dirt, ice or frost. Such reference values may also form the basis of a mask for masking image data as described above.
  • the image data obtained during the image acquisition cycles 40 ', 40 "represent, in addition to the exposure by second optical radiation, also the exposure by first optical radiation 6.
  • the intensity is This is unproblematical for the detection of the vehicle surroundings since the detection of the vehicle surroundings takes place in image acquisition cycles 40 in which the radiation source 3 is not activated, ie the image sensor 4 is not exposed to second optical radiation 7.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

    Stand der Technik
  • Kameras in Fahrzeugen zur Erfassung einer Fahrzeugumgebung können insbesondere im Rahmen von Fahrerassistenzsystemen eingesetzt werden für Funktionen wie Nachtsichtunterstützung, Spurverlassenswarnung, Verkehrszeichenerkennung, Lichtassistent und/oder Rückfahrhilfe.
  • Weiterhin ist es bekannt, Kameras in Fahrzeugen für Regensensorsysteme einzusetzen. Die DE 197 49 33 A1 offenbart ein Verfahren und eine Kamera zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten wie Wassertropfen oder sonstigen Verschmutzungen. Die Kamera ist hinter der Windschutzscheibe angeordnet und auf die Außenseite der Windschutzscheibe fokussiert.
  • Des Weiteren sind Kameraanordnungen bekannt, die sowohl für die Aufnahme einer Fahrzeugumgebung eines Fahrzeuges als auch die Erfassung eines Scheibenzustandes einer Fahrzeugscheibe geeignet sind. Eine derartige Kameraanordnung ist in der DE 10 2004 015 040 A1 gezeigt. Diese Kameraanordnung umfasst eine Kamera und eine Strahlungsquelle, wobei die Kamera einen Bildsensor zum Aufnehmen von Bildern aufweist, mittels dem eine von der Fahrzeugumgebung erzeugte erste optische Strahlung erfassbar ist, und mittels der Strahlungsquelle eine zweite optische Strahlung erzeugt wird, die durch den Bildsensor erfasst wird. Die durch den Bildsensor erfasste zweite optische Strahlung ist abhängig von dem Scheibenzustand, insbesondere von einer Benetzung der Scheibe durch Regentropfen. Um eine solche Abhängigkeit zu erzeugen, wird die von der Strahlungsquelle abgegebene zweite optische Strahlung in das Innere der Fahrzeugscheibe derart eingekoppelt, dass diese im unbenetzten Zustand der Fahrzeugscheibe eine oder mehrere Totalreflexionen ausführt, bevor ein Teil der zweiten optischen Strahlung in die Kamera eingekoppelt wird. Durch Benetzung der Oberfläche der Fahrzeugscheibe reduziert sich die Totalreflexion und damit die Intensität der vom Bildsensor erfassbaren zweiten optischen Strahlung. Die Messung dieser Reduktion kann dazu verwendet werden, die Benetzung der Fahrzeugscheibe zu ermitteln.
  • Gemäß der DE 10 2004 015 040 A1 wird das Strahlbündel der zweiten optischen Strahlung, das auf den Bildsensor trifft, derart geformt, dass nur ein kleiner Teilbereich einer Sensorfläche des Bildsensors mit der zweiten optischen Strahlung bestrahlbar ist. Die von diesem Teilbereich erfassten Bilddaten werden dazu verwendet, den Scheibenzustand zu bestimmen. Der restliche Bereich der Sensorfläche des Bildsensors wird für die Aufnahme der Fahrzeugumgebung verwendet. Der Teilbereich des Bildsensors, der mit zweiter optischer Strahlung bestrahlbar ist, wird durch eine Blende derart verdeckt, dass von der Fahrzeugumgebung stammende erste optische Strahlung abgeblockt wird und nicht auf diesen Teilbereich treffen kann. Eine derartige Kameraanordnung erfordert eine genaue Führung der zweiten optischen Strahlung, damit diese nicht den Teilbereich der Sensorfläche bestrahlt, der für die Erfassung der Fahrzeugumgebung vorgesehen ist. Des Weiteren wird durch das Vorsehen einer Blende der Anteil der Sensorfläche des Bildsensors, der für das Erfassen einer Fahrzeugumgebung, also erster optischer Strahlung, zur Verfügung steht, reduziert. Eine Blende bedeutet zudem ein zusätzliches Element für die Kameraanordnung.
  • Die US2005/0206511A beschreibt eine Regendetektions-Vorrichtung, bei der eine Kamera in einem Fahrzeug auf eine Vielzahl von Abständen fokussiert wird und hierbei eine Scheibenaußenfläche einer Fahrzeugscheibe erfasst. Ein Prozessor ermittelt aus Differenzen der Bilddaten verschiedener Bilder Kanten. Ergänzend ist eine Lampe vorgesehen, die zeitweise Licht durch die Scheibe ausgibt, um die Erkennbarkeit der Kanten von Regentropfen zu verbessern, wobei das von der Lampe ausgesandte Licht teilweise von der Kamera erfasst wird.
  • Die WO03097420A1 offenbart eine Kamera, die neben der Umgebung des Fahrzeugs ebenso das an Regentropfen auf der Scheibe gestreute IR-Licht einer entsprechend ausgerichteten Lichtquelle erfasst. Die IR-Lichtquelle wird dabei gepulst bestrieben.
  • Die DE 10 2006 008 274 A1 offenbart ein Verfahren, in welchem ein erstes und ein zweites Zeitfenster zum Erfassen von Strahlung vorgesehen sind, wobei im ersten Zeitfenster mittels eines Bildsensors die Umgebung erfasst wird und in einem zweiten Zeitfenster eine mit Hilfe einer gepulsten Lichtquelle erzeugte Strahlung erfasst wird, welche zur Erfassung von Witterungsbedingungen verwendet wird.
  • Die EP 1580092A2 offenbart ein Verfahren, in welchem mittels einer von einem Bildsensor erfassten ersten optischen Strahlung eine Fahrzeugumgebung und mittels einer zweiten optischen Strahlung der Scheibenzustand ermittelt wird. Die zweite optische Strahlung wird hierbei derart umgelenkt, dass sie auf einen separaten Teilbereich des Bildsensors trifft.
  • Die DE 10 2006 010 671 A1 offenbart ein Verfahren, in welchem auf einer Abbildungsebene einer Kamera ein Außenbereich eines Fahrzeugs erfasst und auf einem separaten Teil der Abbildungsebene eine mittels einer Lichtquelle erzeugte Strahlung empfangen werden kann. Mittels der ermittelten Lichtintensität der erfassten Strahlung der Lichtquelle wird eine Benetzung einer Fahrzeugscheibe festgestellt.
  • Die US 20050206511A offenbart ein Verfahren zur Erfassung einer Fahrzeugumgebung, bei dem mittels eines Bildsensors eine von der Fahrzeugumgebung erzeugte erste optische Strahlung erfasst wird und mittels einer Strahlungsquelle eine zweite optische Strahlung erzeugt und durch die Fahrzeugscheibe geleitet wird, wobei durch den Bildsensor ein Teil der zweiten optischen Strahlung erfasst wird, der abhängig von dem Scheibenzustand ist.
    • Offenbarung der Erfindung
  • Erfindungsgemäß sind eine Kameraanordnung und ein Verfahren zur Erfassung einer Fahrzeugumgebung vorgesehen, die weiterhin auch eine Bestimmung eines Scheibenzustandes der Fahrzeugscheibe ermöglichen. Hierbei weist die Kamera einen Bildsensor mit einer Sensorfläche auf, die einen ersten Teilbereich aufweist, der sowohl die erste optische Strahlung als auch die zweite optische Strahlung erfasst.
  • Der erste Teilbereich der Sensorfläche ermöglicht es, durch die Belichtung mit erster optischer Strahlung eine Fahrzeugumgebung zu erfassen. Eine Störung durch eine Überlagerung mit zweiter optischer Strahlung kann aufgrund der zeitlich versetzten Belichtung vermieden werden. Die durch Belichtung eines zweiten Teilbereichs mit zweiter optischer Strahlung erzeugten Bilddaten können somit für die Bestimmung des Scheibenzustandes ausgewertet werden. Dabei kann der mit zweiter optischer Strahlung belichtete zweite Teilbereich zusätzlich zumindest teilweise mit erster optischer Strahlung belichtet werden. Die zeitliche Versetzung der Belichtung von erstem und zweitem Teilbereich ermöglicht es, den zweiten Teilbereich mit einer ausreichend hohen Intensität zu bestrahlen, die trotz Überlagerung von beispielsweise erster optischer Strahlung eine zuverlässige Bestimmung des Scheibenzustandes ermöglicht.
  • Eine Blende oder ähnliche Mittel, die den zweiten Teilbereich vor erster optischer Strahlung schützen und nur zweite optische Strahlung durchlassen, sind erfindungsgemäß nicht notwendig. Weiterhin ist es nicht notwendig, die zweite optische Strahlung so zu führen, dass diese im Wesentlichen nur auf den zweiten Teilbereich der Sensorfläche trifft.
  • Ein Teilbereich der Sensorfläche kann sowohl für die Erfassung der ersten optischen Strahlung als auch der zweiten optischen Strahlung verwendet werden, d.h., einzelne, die Sensorfläche bildende Sensoren, können mit sich überlagernder erster optischer Strahlung und zweiter optischer Strahlung belichtet werden. Da Blenden und eine genaue Strahlführung der zweiten optischen Strahlung nicht mehr notwendig sind, ist eine einfache konstruktive Gestaltung der Kameraanordnung möglich.
  • Der Bildsensor kann aus mehreren getrennten Einheiten, die die Sensorfläche bilden, zusammengesetzt sein. Bevorzugt ist allerdings, dass der Bildsensor eine einzelne Bildsensoreinheit ist.
  • Eine Belichtung des ersten Teilbereichs mit zweiter optischer Strahlung kann dadurch verhindert werden, dass im Zeitraum der Belichtung die Strahlungsquelle deaktiviert ist oder beispielsweise durch ein Umleiten oder Blockieren verhindert wird, dass zweite optische Strahlung auf den ersten Teilbereich trifft. Als Strahlungsquellen für die Erzeugung der zweiten optischen Strahlung kommt vorzugsweise eine LED oder ein Laser in Betracht. Die Kamera ist vorzugsweise auf Fernsicht eingestellt.
  • Erfindungsgemäß ist vorgesehen, dass periodisch, d.h. jedes n-te Mal, in einem Bildaufnahmezyklus zumindest ein Teilbereich der Sensorfläche mit der zweiten optischen Strahlung belichtet wird.
  • Dies ermöglicht es, zwischen zwei n-ten Bildaufnahmezyklen einen Teilbereich oder die gesamte Sensorfläche des Bildsensors mit der ersten optischen Strahlung zu belichten unter Abwesenheit der zweiten optischen Strahlung. Die in diesen Bildaufnahmezyklen erfassten Bilddaten können für die Aufnahme der Fahrzeugumgebung verwendet werden. Die n-ten Bildaufnahmezyklen erlauben es, die Bilddaten des mit zweiter optischer Strahlung belichteten Teilbereichs für die die Bestimmung des Scheibenzustandes zu verwenden. Eine Beeinflussung der Bildaufnahme der Fahrzeugumgebung durch zweite optische Strahlung kann auf diese Weise vermieden werden.
  • Somit ist es möglich, im n-ten Bildaufnahmezyklus den mit zweiter optischer Strahlung belichteten Teilbereich oder die gesamte Sensorfläche zusätzlich zumindest teilweise mit erster optischer Strahlung zu belichten. Beispielsweise kann durch das Vorsehen einer ausreichenden Intensität der zweiten optischen Strahlung gewährleistet werden, dass sich der zweiten optischen Strahlung überlagernde Strahlung, insbesondere erste optische Strahlung, eine Bestimmung des Scheibenzustandes nicht wesentlich beeinflusst.
  • Auch bei dieser Ausführungsform sind Blenden, die einen Teilbereich des Bildsensors vor erster optischer Strahlung schützen, sowie eine genaue Strahlführung von zweiter optischer Strahlung sind nicht notwendig. Insbesondere können Teilbereiche der Sensorfläche des Bildsensors sowohl für die Erfassung von erster optischer Strahlung für die Aufnahme einer Fahrzeugumgebung als auch für die Erfassung von zweiter optischer Strahlung für die Ermittlung des Scheibenzustandes verwendet werden.
  • Erfindungsgemäß ist es möglich, dass in einem Bildaufnahmezyklus des Bildsensors der erste Teilbereich und der zweite Teilbereich der Sensorfläche zeitlich gegeneinander versetzt belichtet werden, wobei der erste Teilbereich in Abwesenheit von zweiter optischer Strahlung mit erster optischer Strahlung belichtet wird und der zweite Teilbereich mit erster optischer Strahlung und zweiter optischer Strahlung belichtet wird. Hierbei können diese Teilbereiche von Bildaufnahmezyklus zu Bildaufnahmezyklus in Größe und Lage neu festgelegt werden, insbesondere wandern.
  • In beiden Varianten zur Bestimmung eines Scheibenzustandes wird verhindert, dass erste optische Strahlung, die für die Detektion der Fahrzeugumgebung erfasst wird, durch zweite optische Strahlung überlagert ist, die die Erfassung der Fahrzeugumgebung möglicherweise stören kann. Dies ermöglicht es, zweite optische Strahlung mit einer solchen Intensität zu erzeugen, die es erlaubt, trotz Überlagerung mit erster optischer Strahlung den Scheibenzustand zu bestimmen.
    • Kurze Beschreibung der Zeichnungen
  • Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen, die durch mehrere Figuren dargestellt sind, näher erläutert. Dabei zeigt:
    • Fig. 1 schematisch eine Fensterscheibe eines Fahrzeuges mit angedeuteten Teilen einer Ausführungsform einer erfindungsgemäßen Kameraanordnung,
    • Fig. 2 eine erste Schnittansicht durch die Kameraanordnung,
    • Fig. 3 eine zweite Schnittansicht durch die Kameraanordnung,
    • Fig. 4 drei Diagramme, die Belichtungsstart und Belichtungsende eines Bildsensors sowie Aktivieren und Deaktivieren einer Strahlungsquelle der Kameraanordnung in Abhängigkeit der Zeit darstellen,
    • Fig. 5 eine Aufsicht auf eine schematisch dargestellte Sensorfläche des Bildsensors,
    • Fig. 6 ein erstes Ablaufschema für die Ermittlung eines Scheibenzustandes,
    • Fig. 7 zwei Diagramme, die eine Belichtung des Bildsensors und ein Ein- und Ausschalten der Strahlungsquelle der Kameraanordnung in Abhängigkeit der Zeit darstellt, und
    • Fig. 8 ein zweites Ablaufschema für die Bestimmung eines Scheibenzustandes.
    Ausführungsformen der Erfindung
  • Gleiche oder einander entsprechende Bauteile sind in den Figuren mit denselben oder entsprechenden Bezugszeichen gekennzeichnet.
  • Die Fig. 1 bis 3 und Fig. 5 zeigen eine Ausführungsform einer erfindungsgemäßen Kameraanordnung für die Aufnahme einer Fahrzeugumgebung und die Bestimmung eines Scheibenzustandes einer Fahrzeugscheibe 1, hier einer Windschutzscheibe 1. Fig. 2 zeigt dabei den in Fig. 1 durch die Schnittlinie A-A' gekennzeichneten Schnitt, Fig. 3 den durch die Schnittlinie B-B' gekennzeichneten Schnitt.
  • Die Kameraanordnung umfasst eine Kamera 2 und eine Strahlungsquelle 3. Die Kamera 2 weist einen Bildsensor 4 zur Aufnahme von Bildern auf, mittels dem eine von der Fahrzeugumgebung erzeugte erste optische Strahlung 6 erfassbar ist. Durch die Strahlungsquelle 3 ist eine zweite optische Strahlung 7 erzeugbar, von der ein Teil ebenfalls durch den Bildsensor 4 erfassbar ist. Dieser durch den Bildsensor 4 erfasste Teil der zweiten optischen Strahlung 7 ist dabei abhängig von dem Scheibenzustand der Scheibe 1, insbesondere von einer Benetzung der Scheibe 1 durch Regentropfen. Der Bildsensor 4 weist eine Sensorfläche 10 auf, wobei mittels eines Teilbereiches der Sensorfläche 10 gemeinsam sowohl erste optische Strahlung 6 als auch zweite optische Strahlung 7 erfassbar sind. Die Kameraanordnung ist derart ausgebildet, dass unter Verwendung des mit dem Teilbereich oder der gesamten Sensorfläche 10 erfassten Teils der zweiten optischen Strahlung 7 der Scheibenzustand der Scheibe 1 bestimmbar ist.
  • Die Kamera 2 ist hier eine Videokamera. Der Bildsensor 4 ist ein Bildsensor auf Halbleiterbasis, hier ein CMOS-Bildsensor. Alternativ wäre beispielsweise auch ein CCD-Bildsensor verwendbar. Die Sensorfläche 10 des Bildsensors 4 weist eine Vielzahl von Bildpunkte/Pixel bildenden Sensoren 11 auf, die spalten- und zeilenweise in Form einer Matrix angeordnet sind. Die Strahlungsquelle 3 umfasst eine LED. Alternativ kann für die Strahlungsquelle 3 ein Laser verwendet werden. Zum Steuern der LED weist die Strahlungsquelle 3 eine erste Steuereinheit 15 auf. Der Bildsensor 4 umfasst zum Steuern eine zweite Steuereinheit 16. Des Weiteren umfasst die Kamera 2 eine Kameraoptik 19, hier dargestellt durch eine Linse 19.
  • Die Kamera 2 ist im Innenraum des Fahrzeuges hinter der Scheibe 1 auf Höhe eines Fahrzeugrückspiegels so angeordnet, dass erste optische Strahlung 6 durch die Scheibe 1 hindurch tretend auf den Bildsensor 4 treffen kann. Dieser Durchtrittsbereich 18 des Erfassungsbereiches der Kamera 2 ist hier trapezförmig, siehe Fig. 1.
  • Vor dem Erfassen durch den Bildsensor 4 kann zweite optische Strahlung 7 bereichsweise durch das Innere der Scheibe 1 geleitet werden. Über ein erstes Koppelmittel 13 wird von der Strahlungsquelle 3 erzeugte zweite optische Strahlung 7 derart unter einem Winkel in das Innere der Scheibe 1 eingekoppelt, dass die zweite optische Strahlung 7 an einer außen liegenden Oberfläche 12 und einer dem Fahrzeuginnenraum zugewanden Oberfläche 12' der Scheibe 1 im Falle eines Grenzüberganges Scheibe-Luft total reflektiert wird. Die derart eingekoppelte zweite optische Strahlung 7 durchläuft horizontal den Sichtkegel der Kamera 2. Über ein zweites Koppelmittel 14 wird ein Teil der zweiten optischen Strahlung, der mehrmals an den Oberflächen 12, 12' reflektiert wurde, aus der Scheibe 1 ausgekoppelt und in die Kamera 2 derart eingekoppelt, dass zweite optische Strahlung 7 vom Bildsensor 4 erfassbar ist.
  • Erstes Koppelmittel 13 und zweites Koppelmittel 14 werden jeweils durch ein Prisma gebildet, die an der innen liegenden Oberfläche 12' der Scheibe 1 angeordnet sind. Alternativ sind auch andere optische Elemente, insbesondere difraktive Elemente, für diese Funktion einsetzbar. Die horizontale Führung der zweiten optischen Strahlung 7 durch das Innere der Scheibe 1 bietet den Vorteil, dass die hierfür notwendigen Komponenten der Kameraanordnung insbesondere hinter einem Rückspiegel angeordnet werden können, was platzsparend ist und wodurch eine derartige Kameraanordnung wenig störend wirkt.
  • Eine Veränderung insbesondere an der äußeren Oberfläche 12 der Fahrzeugscheibe 1, beispielsweise durch eine Benetzung der Oberfläche 12 durch Wassertropfen, führt zu einer Reduktion der Totalreflexionen und zu einer Abnahme der Intensität des Teils der zweiten optischen Strahlung 7, der von dem Bildsensor 4 erfasst wird. Auch eine Streuung von zweiter optischer Strahlung an einer der Oberflächen 12, 12' der Scheibe 1, beispielsweise als Folge von Kratzern, führt zu einer Intensitätsabnahme und/oder Änderung einer Intensitätsverteilung zweiter optischer Strahlung 7 am Ort des Bildsensors 4.
  • Des Weiteren umfasst die Kameraanordnung 7 eine Auswerteeinheit 17. Die Auswerteeinheit 17 ist mit der ersten Steuereinheit 15 der Strahlungsquelle 3 und der zweiten Steuereinheit 16 des Bildsensors 4 mittels Datenübertragungsleitungen verbunden. Die Auswerteeinheit 17 ist für das Auswerten von mit dem Bildsensor 4 erfassten Bilddaten zuständig, hier für die Ermittlung einer Fahrzeugumgebung und die Bestimmung eines Scheibenzustandes der Scheibe 1. Die Verbindung mit der Strahlungsquelle 3 und dem Bildsensor 4 ermöglicht der Auswerteeinheit 17, Strahlungsquelle 3 und Bildsensor 4 zu geeigneten Zeitpunkten anzusteuern, insbesondere die LED zu aktivieren und zu deaktivieren, wie später noch genauer beschrieben wird. Die Auswerteeinheit 17 kann mit weiteren Komponenten, beispielsweise Komponenten eines Fahrzeugassistenzsystems, verbunden sein.
  • Gemäß einer Ausführungsform eines ersten erfindungsgemäßen Verfahrens für die Aufnahme einer Fahrzeugumgebung und die Erfassung eines Scheibenzustandes einer Fahrzeugscheibe 1, siehe Fig. 4 und 5, wird in einem Bildaufnahmezyklus 20 des Bildsensors 4 ein erster Teilbereich 8 und ein zweiter Teilbereich 9 der Sensorfläche 10 des Bildsensors 4 zeitlich gegeneinander versetzt belichtet, wobei der erste Teilbereich 8 in Abwesenheit von zweiter optischer Strahlung 7 und der zweite Teilbereich 9 mit zweiter optischer Strahlung 7 belichtet wird. Eine zeitliche Versetzung der Belichtung von erstem Teilbereich 8 und zweiten Teilbereich 9 wird dadurch erreicht, dass die Belichtung des x-ten Bildpunkts 11 dann erfolgt, wenn die Belichtung (x-y)-ten Bildpunkts abgeschlossen ist.
  • In diesem Ausführungsbeispiel durchläuft ein erster Adresszeiger zeilenweise von der ersten Zeile der Sensorfläche 10 bis zur letzten Zeile der Sensorfläche 10 alle Sensoren bzw. Bildpunkte 11. Erreicht der erste Adresszeiger einen Bildpunkt, so wird die Belichtung dieses Bildpunktes 11 gestartet. Ein zweiter Adresszeiger läuft dem ersten Adresszeiger in einem Abstand y hinterher. Wird ein Sensor 11 durch den zweiten Adresszeiger adressiert, so wird die ursprünglich durch den vorlaufenden ersten Adresszeiger gestartete Belichtung abgebrochen. Insbesondere kann über die Geschwindigkeit, mit der die Adresszeiger die Sensorfläche 10 durchlaufen und den Abstand y die Belichtungszeit der einzelnen Sensoren 11 bestimmt werden. Man bezeichnet dieses Prinzip auch als "Rolling Shutter"-Prinzip.
  • Die Fig. 4 zeigt drei Diagramme, wobei das erste Diagramm 30 den Beginn der Belichtung I der einzelnen Bildpunkte 11 der Sensorfläche 10 in Abhängigkeit der Zeit, das zweite Diagramm 31 den Zustand der Strahlungsquelle in Abhängigkeit der Zeit und das dritte Diagramm 32 den Abschluss der Belichtung der einzelnen Bildpunkte 11 der Sensorfläche 10 in Abhängigkeit der Zeit darstellt.
  • Zur Aufnahme eines z-ten Bildes wird im Rahmen eines Bildaufnahmezyklus 20 die Belichtung der Sensorfläche 10 gestartet. Die Belichtung der Sensorfläche 10 erfolgt dabei nach dem "Rolling Shutter"-Prinzip, wie oben bereits beschrieben. Nachdem der erste Adresszeiger, der die Belichtung der einzelnen Sensoren 11 startet, 95% der Sensorfläche 10, vorzugsweise 97,5% der Sensorfläche 10, bei deaktivierter Strahlungsquelle 3 durchlaufen hat, wird für das Durchlaufen des restlichen Teiles der Sensorfläche 10 die Strahlungsquelle 3 aktiviert, so das zweite optische Strahlung 7 auf die Sensorfläche 10 trifft. Hat der erste Adresszeiger die gesamte Sensorfläche 10 durchlaufen, was auch den Ende eines Bildzyklus 20 bezeichnet, so wird die Strahlungsquelle 3 ausgeschaltet. Der zweite Adresszeiger läuft dem ersten Adresszeiger in einem Abstand, der der Belichtungszeit 22 entspricht, hinterher, siehe drittes Diagramm 32. Die Belichtungszeit 22, mit der jeder einzelne Sensor 11 belichtet wird, entspricht hier der Zeitdauer, in der die Strahlungsquelle 3 aktiviert wird.
  • Nach einer Abfolge von w Bildaufnahmezyklen 20, hier w=25, schließt sich ein Kalibrierzyklus 21 an. Der Kalibrierzyklus 21 unterscheidet sich von einem Bildaufnahmezyklus 20 dadurch, dass die Strahlungsquelle 3 über die gesamte Zeitdauer, die der erste Adresszeiger benötigt, um die gesamte Sensorfläche 10 zu durchlaufen, aktiviert ist.
  • Über die gesamte Zeit trifft erste optische Strahlung 6, die von einer Fahrzeugumgebung erzeugt wird, auf die gesamte Sensorfläche 10. In den Zeitabschnitten, in denen die Strahlungsquelle 3 aktiviert wird, trifft zusätzlich zweite optische Strahlung 7 auf die Sensorfläche 10. Durch die zeitliche Versetzung der Belichtung der einzelnen Sensoren 11 der Sensorfläche 10 wird bewirkt, dass die gesamte Sensorfläche 10 mit erster optischer Strahlung 6 belichtet ist, aber nur ein Teilbereich 9 der Sensorfläche 10, der höchstens 10%, vorzugsweise höchstens 5% der gesamten Sensorfläche 10 des Bildsensors 4 entspricht, mit zweiter optischer Strahlung 7 belichtet ist. Der Bereich der Sensorfläche 10, der mit erster optischer Strahlung 6 in Abwesenheit von zweiter optischer Strahlung 7 belichtet ist, bildet den ersten Teilbereich 8, der andere Teilbereich der Sensorfläche 10, der mit erster optischer Strahlung und zweiter optischer Strahlung belichtet ist, bildet den zweiten Teilbereich 9.
  • Nach jedem Bildaufnahmezyklus 20 oder Kalibrierzyklus 21 werden die von der Sensorfläche 10 erfassten Bilddaten in einem Schritt 33, siehe Fig. 6, von der Auswerteeinheit 17 ausgelesen. Für die Bestimmung des Scheibenzustandes werden die Bilddaten des zweiten Teilbereiches 9 in einem zweiten Schritt 34 mit einer Maske maskiert. Die Maske hat die Funktion, den Einfluss von Störstellen, wie Kratzer, die die Bestimmung des Scheibenzustandes verschlechtern können, zu reduzieren. Neben einer vollständigen Maskierung bestimmter Bilddaten aus dem zweiten Teilbereich 9 ist auch eine teilweise Unterdrückung solcher Daten möglich. In einem dritten Schritt 35 werden die durch die Maskierung aufbereiteten Bilddaten mit Referenzwerten verglichen. Die Referenzwerte können beispielsweise den Zustand einer unbenetzten Scheibe 1 repräsentieren. Eine Differenz von gemessenen Bilddaten und Referenzwerten erlaubt die Bestimmung des Scheibenzustandes. Die Referenzwerte können vorgegebene Werte sein, oder durch zuvor aufgenommene Bilddaten gebildet worden sein. Beispielsweise können bei einer Benetzung der Scheibe 1 durch Regentropfen die Referenzwerte durch die Bilddaten gebildet werden, die kurz nach einem Wischerdurchgang mit dem Bildsensor 4 in Bildaufnahmezyklen 20 aufgenommen worden sind. Ein Vergleich dieser Referenzwerte mit Bilddaten, die kurz vor einem Wischerdurchgang aufgenommen werden, ermöglicht es, die Benetzung der Scheibe 1 mit Regentropfen zu bestimmen. Eine Mittelwertbildung von solchen Referenzwerten über einen längeren Zeitraum erlaubt die Bestimmung von dauerhaften Änderungen des Scheibenzustandes, wie sie beispielsweise durch Kratzer, Schmutz, Eis oder Reif hervorgerufen werden können. Derartige Referenzwerte können auch die Grundlage einer Maske für die Maskierung von Bilddaten, wie oben beschrieben, bilden.
  • Die optische Strahlung wird mit einer ausreichenden Intensität erzeugt, so dass erste optische Strahlung, die ebenfalls von dem zweiten Teilbereich 9 erfasst wird, bei der Auswertung des Scheibenzustandes nicht ins Gewicht fällt.
  • Entsprechend können die im Kalibrierzyklus 21 gewonnenen Bilddaten, in dem die gesamten Sensorfläche 10 mit zweiter optischer Strahlung belichtet wird, dem Scheibenzustand zu bestimmen.
  • Der erste Teilbereich 8 und/oder der zweite Teilbereich 9 kann in seiner Lage und/oder seiner Größe verändert werden. Beispielsweise ist es möglich, den zweiten Teilbereich 9 über die Sensorfläche 10 "wandern" zu lassen. Der erste Teilbereich 8 ändert sich entsprechend. Dieses Wandern kann dadurch erreicht werden, dass die Strahlungsquelle 3 von Bildaufnahmezyklus 20 zu Bildaufnahmezyklus 20 mit unterschiedlichen zeitlichen Versetzungen aktiviert wird. Auf diese Weise kann insbesondere die gesamte Sensorfläche 10, wenn auch zeitlich versetzt, für das Erfassen zweiter optischer Strahlung 7 verwendet werden, obwohl der zweite Teilbereich 9 nur ein Bruchteil der Gesamtfläche der Sensorfläche 10 ist. Durch eine Veränderung der Zeitdauer, in der die Strahlungsquelle 3 in einem Bildaufnahmezyklus 20 aktiviert ist, lässt sich die Größe des zweiten Teilbereichs 9 der Sensorfläche 10 der mit zweiter optischer Strahlung 7 belichtet wird, von Bildaufnahmezyklus zu Bildaufnahmezyklus 20 verändern.
  • In einer erfindungsgemäßen Ausführungsform des Verfahrens wird nicht in jedem Bildaufnahmezyklus 20, sondern periodisch in jedem n-ten Bildaufnahmezyklus ein zweiter Teilbereich 9 mit zweiter optischer Strahlung belichtet. N ist vorzugsweise ≥ 10 und liegt besonders bevorzugt im Bereich von 30 bis 50.
  • Gemäß des erfindungsgemäßen Verfahrens für die Aufnahme einer Fahrzeugumgebung und die Bestimmung eines Scheibenzustandes einer Fahrzeugscheibe 1, siehe Fig. 7 und 8, wird in einem Bildaufnahmezyklus des Bildsensors 4 die Sensorfläche 10 des Bildssensors 4 belichtet, wobei periodisch in jedem n-ten Bildaufnahmezyklus 40' ein Teilbereich der Sensorfläche 10 mit zweiter optischer Strahlung 7 belichtet wird.
  • Die Fig. 7 zeigt ein erstes Diagramm 41, das die Belichtung I der Sensorfläche 10 in Abhängigkeit der Zeit darstellt, und ein zweites Diagramm 42, das den Zustand s der Strahlungsquelle 3, hier deaktiviert und aktiviert, in Abhängigkeit der Zeit darstellt. Ein Bildzyklus ist dann abgeschlossen, wenn die gesamte Sensorfläche 10 belichtet wurde, wie im ersten Diagramm 41 zu sehen ist. In jedem n-ten Bildaufnahmezyklus 40', hier n=40, wird die Strahlungsquelle 3 über den gesamten Zeitraum der Belichtung der Sensorfläche 10 aktiviert, so dass die Sensorfläche 10 mit zweiter optischer Strahlung belichtet wird. Es folgen × weitere Bildaufnahmezyklen 40", wobei x ≥ 1 gilt, vorzugsweise x im Bereich von 2 bis 7 liegt, in denen die Strahlungsquelle 3 aktiviert bleibt. Anschließend wird die Strahlungsquelle 3 aktiviert und es folgenden n-x-1 Bildaufnahmezyklen 40, in denen keine zweite optische Strahlung 7 auf die Sensorfläche 10 trifft. Neben zweiter optischer Strahlung 7 trifft durchgängig erste optische Strahlung 6, die von einer Fahrzeugumgebung erzeugt wird, auf die gesamt Sensorfläche 10, wodurch die Sensorfläche 10 in jedem der Bildaufnahmezyklen 40, 40', 40" gegebenenfalls zusätzlich zur zweiten optischen Strahlung 7 mit erster optischer Strahlung 6 belichtet wird.
  • Die Auswerteeinheit 17 liest die von der Sensorfläche 10 in einem Bildaufnahmezyklus 40, 40' und 40" erfassten Bilddaten aus. Die Bilddaten der Bildaufnahmezyklen 40', 40", in denen die Sensorfläche 10 mit zweiter optischer Strahlung 7 belichtet wurden, werden für die Bestimmung des Scheibenzustandes der Scheibe 1 verwendet. Die Bilddaten der Bildaufnahmezyklen 40, die in Abwesenheit von zweiter optischer Strahlung 7 belichtet wurden, geben eine Fahrzeugumgebung ohne störende Überlagerung durch zweite optische Strahlung 7 wieder. Auch diese Bilddaten können in der Auswerteeinheit 17 weiter verarbeitet werden oder an andere Komponenten im Rahmen von Fahrerassistenzfunktionen weitergegeben werden.
  • Für die Bestimmung des Scheibenzustandes werden in einem ersten Schritt 50, siehe Fig. 8, die Bilddaten der Sensorfläche 10, die im Rahmen der Bildaufnahmezyklen 40', 40" unter Belichtung mit zweiter optischer Strahlung aufgenommen wurden, von der Auswerteeinheit 17 ausgelesen. In einem zweiten Schritt 51 werden diese Bilddaten mit einer Maske maskiert. Diese Maskierung hat den Zweck, für die Auswertung ungeeignete Bilddaten, wie sie z.B. durch Kratzer, Schmutz oder sonstige Störstellen in der Scheibe 1 entstehen können, zu maskieren. Optional kann eine solche Maskierung auch entfallen. In einem dritten Schritt 52 wird aus den Bilddaten des n-ten Bildaufnahmezyklus 40' und der x nachfolgenden Bildaufnahmezyklen 40", in denen die Strahlungsquelle 3 durchgehend aktiviert ist, ein Mittelwert gebildet. Zweck dieser Mittelwertbildung ist insbesondere eine Rauschunterdrückung. In einem vierten Schritt 53 werden die so maskierten und gemittelten Bilddaten mit Referenzwerten verglichen. Eine Abweichung von den Referenzwerten signalisiert eine Änderung des Scheibenzustandes. Die Referenzwerte können durch zuvor festgelegte Werte gebildet werden, oder aber durch zuvor mit dem Bildsensor 4 aufgenommene Bilddaten gebildet sein. Beispielsweise können bei einer Benetzung der Scheibe 1 durch Regentropfen die Referenzwerte durch die Bilddaten gebildet werden, die kurz nach einem Wischerdurchgang mit dem Bildsensor 4 in Bildaufnahmezyklen 40', 40" aufgenommen worden sind. Ein Vergleich dieser Referenzwerte mit Bilddaten, die kurz vor einem Wischerdurchgang aufgenommen werden, ermöglicht es, die Benetzung der Scheibe 1 mit Regentropfen zu bestimmen. Eine Mittelwertbildung von solchen Referenzwerten über einen längeren Zeitraum erlaubt die Bestimmung von dauerhaften Änderungen des Scheibenzustandes, wie sie beispielsweise durch Kratzer, Schmutz, Eis oder Reif hervorgerufen werden können. Derartige Referenzwerte können auch die Grundlage einer Maske für die Maskierung von Bilddaten, wie oben beschrieben, bilden.
  • Die Bilddaten, die im Rahmen der Bildaufnahmezyklen 40', 40" gewonnen worden, geben neben der Belichtung durch zweite optische Strahlung auch die Belichtung durch erste optische Strahlung 6 wieder. Um die erste Strahlung 6 für die Bestimmung des Scheibenzustandes zu unterdrücken, ist die Intensität der zweiten optischen Strahlung 7 geeignet hoch eingestellt. Für das Erfassen der Fahrzeugumgebung ist dies unproblematisch, da die Erfassung der Fahrzeugumgebung in Bildaufnahmezyklen 40 erfolgt, in denen die Strahlungsquelle 3 nicht aktiviert ist, also der Bildsensor 4 nicht mit zweiter optischer Strahlung 7 belichtet wird.

Claims (10)

  1. Kameraanordnung zur Erfassung einer Fahrzeugumgebung durch eine Fahrzeugscheibe (1), aufweisend:
    eine Kamera (2) mit einem Bildsensor (4) zum Aufnehmen von Bildern, wobei durch eine Sensorfläche (10) des Bildsensors (4) eine von der Fahrzeugumgebung erzeugte erste optische Strahlung (6) erfassbar ist,
    eine Strahlungsquelle (3) zum Ausgeben einer zweiten optischen Strahlung (7) in die Fahrzeugscheibe (1),
    eine erste Steuereinheit (15) zum Steuern der Strahlungsquelle (3), eine zweite Steuereinheit (16) zum Steuern des Bildsensors (4) und Auslesen des Bildsensors (4) in Bildaufnahmezyklen (20), und
    eine Auswerteeinheit (17) zum Auswerten von mit dem Bildsensor (4) aufgenommen Bilddaten und Bestimmung eines Scheibenzustandes,
    wobei zumindest ein Teil der ausgegebenen zweiten optischen Strahlung (7) durch die Sensorfläche (10) des Bildsensors (4) erfassbar ist und der durch die Sensorfläche (10) erfasste Teil der zweiten optischen Strahlung (7) abhängig von einem Scheibenzustand der Fahrzeugscheibe (1) ist, wobei die Kameraanordnung derart eingerichtet ist und ein erster Teilbereich (8,9) und ein zweiter Teilbereich (8,9) der Sensorfläche (10) derart ausgebildet sind, dass in mindestens einem Bildaufnahmezyklus (20; 40, 40', 40") der erste Teilbereich (8, 9) der Sensorfläche (10) mit der ersten optischen Strahlung (6) in Abwesenheit der zweiten optischen Strahlung (7) und zeitlich dazu versetzt der zweite Teilbereich (8, 9) der Sensorfläche (10) mit der ersten optischen Strahlung (6) und der zweiten optischen Strahlung (7) belichtet wird, und
    wobei mittels des zweiten Teilbereiches (9) der Sensorfläche (10) gemeinsam sowohl die erste optische Strahlung (6) als auch die zweite optische Strahlung (7) erfassbar sind, und
    die erste Steuereinheit (15) derartig ausgebildet ist, dass sie nur periodisch in einem Teil der Bildaufnahmezyklen (40') die zweite optische Strahlung (7) einkoppelt.
  2. Kameraanordnung nach Anspruch 1, dadurch gekennzeichnet, dass der durch die Sensorfläche (10) erfasste Teil der zweiten optischen Strahlung (7) abhängig ist von einer Benetzung der Fahrzeugscheibe (1) durch eine Flüssigkeit und/oder Kratzern und/oder Vertiefungen in der Fahrzeugscheibe (1).
  3. Kameraanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zweite Teilbereich (9) höchstens 10%, vorzugsweise höchstens 5% der gesamten Sensorfläche (10) des Bildsensors (4) entspricht.
  4. Kameraanordnung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die zweite optische Strahlung (7) zumindest vor dem Erfassen durch den Bildsensor (4) bereichsweise durch das Innere der Fahrzeugscheibe (1) geleitet ist und an einer Oberfläche (12) der Fahrzeugscheibe (1) zumindest einmal reflektiert ist.
  5. Kameraanordnung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass sie ein erstes Koppelmittel (14) und ein zweites Koppelmittel (13), z.B. optische Elemente, aufweist,
    wobei mittels dem des ersten Koppelmittels (14) der von dem Scheibenzustand abhängige Teil der zweiten optischen Strahlung (7) aus der Fahrzeugscheibe (1) auskoppelbar und in die Kamera (2) einkoppelbar ist, und mittels des zweiten Koppelmittels (13) die von der Strahlungsquelle (3) erzeugte zweite optische Strahlung (7) in die Scheibe (1) einkoppelbar ist.
  6. Verfahren zur Erfassung einer Fahrzeugumgebung, bei dem mittels eines Bildsensors (4) eine von der Fahrzeugumgebung erzeugte erste optische Strahlung (6) erfasst wird,
    mittels einer Strahlungsquelle (3) eine zweite optische Strahlung (7) erzeugt und in die Fahrzeugscheibe (1) eingekoppelt wird, wobei eine Sensorfläche (10) des Bildsensors (4) einen ersten Teilbereich (8) und einen zweiten Teilbereich (9) aufweist, die zeitlich gegeneinander versetzt belichtet oder ausgelesen werden, wobei der erste Teilbereich (8) in Abwesenheit von der zweiten optischen Strahlung (7) belichtet wird, und der zweite Teilbereich (9) mit der zweiten optischen Strahlung (7) und zumindest teilweise mit der ersten optischen Strahlung (6) belichtet wird, wobei durch den Bildsensor (4) ein Teil der zweiten optischen Strahlung (7) erfasst wird, der abhängig von dem Scheibenzustand ist,
    wobei in mindestens einem Bildaufnahmezyklus (20) des Bildsensors (4) der zweite Teilbereich (9) der Sensorfläche (10) des Bildsensors (4) mit der ersten optischen Strahlung (6) und der zweiten optischen Strahlung (7) belichtet wird, und
    wobei unter Verwendung der mit dem zweiten Teilbereich (9) erfassten ersten und zweiten optischen Strahlung (7) der Scheibenzustand bestimmt wird, und
    periodisch nur in einem Teil der Bildaufnahmezyklen (40') die zweite optische Strahlung (7) eingekoppelt wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in einem einem Bildaufnahmezyklus (20) zeitlich nachfolgendem Kalibrierzyklus (21) der erste Teilbereich (8) und der zweite Teilbereich (9) mit der zweiten optischen Strahlung (7) belichtet werden.
  8. Verfahren nach einem der Ansprüche 6 bis 7, dadurch gekennzeichnet, dass für die Bestimmung des Scheibenzustandes die Bilddaten des ersten Teilbereiches (8) und des zweiten Teilbereiches (9) mit Referenzwerten verglichen werden, wobei auf Grundlage des Vergleichs der Bilddaten mit den Referenzwerten für Bilddaten des zweiten Teilbereiches (9) eine Maske erstellt wird, und Bilddaten des zweiten Teilbereichs (9) vor der Bestimmung des Scheibenzustandes mit der Maske maskiert werden.
  9. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass für einen nachfolgenden weiteren Biidaufnahmezyklus (20) der erste Teilbereich (8) und/oder der zweite Teilbereich (9) in seiner Lage und/oder seiner Größe verändert wird.
  10. Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass in jedem n-ten Bildaufnahmezyklus (40') mit n größer als 10, besonders bevorzugt n im Bereich von 30 bis 50, zweite optische Strahlung eingekoppelt wird.
EP09751871.6A 2009-01-02 2009-11-03 Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung Active EP2384295B2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009000005A DE102009000005A1 (de) 2009-01-02 2009-01-02 Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung
PCT/EP2009/064488 WO2010076064A1 (de) 2009-01-02 2009-11-03 Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung

Publications (3)

Publication Number Publication Date
EP2384295A1 EP2384295A1 (de) 2011-11-09
EP2384295B1 EP2384295B1 (de) 2013-09-25
EP2384295B2 true EP2384295B2 (de) 2019-06-12

Family

ID=41566339

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09751871.6A Active EP2384295B2 (de) 2009-01-02 2009-11-03 Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung

Country Status (7)

Country Link
US (1) US8913132B2 (de)
EP (1) EP2384295B2 (de)
JP (1) JP2012514736A (de)
KR (1) KR101707248B1 (de)
CN (1) CN102271976B (de)
DE (1) DE102009000005A1 (de)
WO (1) WO2010076064A1 (de)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5216010B2 (ja) * 2009-01-20 2013-06-19 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
DE112010001879A5 (de) 2009-07-06 2012-10-11 Conti Temic Microelectronic Gmbh Optisches Modul zur gleichzeitigen Fokussierung auf zwei Sichtbereiche
EP2534442B1 (de) * 2010-02-11 2013-10-23 Trimble AB Dualer senderverfolger
KR101217811B1 (ko) * 2010-07-30 2013-01-09 주식회사 오토산업 우적 감지 장치
JP5944405B2 (ja) * 2010-11-30 2016-07-05 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ カメラ及び照明による窓ガラス上の雨滴の検出
DE102011018311B4 (de) 2011-04-20 2018-09-13 Conti Temic Microelectronic Gmbh Optische Vorrichtung mit Temperaturkompensation, Kraftfahrzeug mit einer derartigen optischen Vorrichtung und Verfahren zur Bildverarbeitung
US9457768B2 (en) 2011-04-21 2016-10-04 Pylon Manufacturing Corp. Vortex damping wiper blade
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
US9616851B2 (en) * 2011-06-17 2017-04-11 Robert Bosch Gmbh Method and apparatus for recognizing directional structures on a window pane of a vehicle
CA2843527C (en) 2011-07-28 2018-11-27 Pylon Manufacturing Corp. Windshield wiper adapter, connector and assembly
US9108595B2 (en) 2011-07-29 2015-08-18 Pylon Manufacturing Corporation Windshield wiper connector
DE102011113810A1 (de) * 2011-09-20 2013-03-21 Conti Temic Microelectronic Gmbh Vorrichtung zur Feuchtigkeitserkennung
JP5862207B2 (ja) * 2011-11-02 2016-02-16 株式会社リコー 画像処理システム
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
US20130219649A1 (en) 2012-02-24 2013-08-29 Pylon Manufacturing Corp. Wiper blade
MX385411B (es) 2012-02-24 2025-03-18 Pylon Mfg Corp Escobilla limpiaparabrisas.
US10723322B2 (en) 2012-02-24 2020-07-28 Pylon Manufacturing Corp. Wiper blade with cover
DE102012103873A1 (de) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
US10829092B2 (en) 2012-09-24 2020-11-10 Pylon Manufacturing Corp. Wiper blade with modular mounting base
US10166951B2 (en) 2013-03-15 2019-01-01 Pylon Manufacturing Corp. Windshield wiper connector
DE102013225155A1 (de) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
DE102013225156A1 (de) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
US9505380B2 (en) 2014-03-07 2016-11-29 Pylon Manufacturing Corp. Windshield wiper connector and assembly
DE102014212975B4 (de) * 2014-07-03 2016-09-29 Continental Automotive Gmbh Kalibrierung eines kamerabasierten Regensensors eines Fahrzeugs
KR101659585B1 (ko) * 2015-04-20 2016-09-30 이동훈 차량용 블랙박스의 시야 확보 장치
US10363905B2 (en) 2015-10-26 2019-07-30 Pylon Manufacturing Corp. Wiper blade
US20170274832A1 (en) * 2016-03-24 2017-09-28 Nidec Elesys Corporation Windshield including vehicle-mounted radar
CN109311450A (zh) 2016-05-19 2019-02-05 电缆塔制造有限公司 挡风玻璃雨刮器连接器
US11040705B2 (en) 2016-05-19 2021-06-22 Pylon Manufacturing Corp. Windshield wiper connector
EP3458315B1 (de) 2016-05-19 2021-09-08 Pylon Manufacturing Corp. Scheibenwischerblatt
AU2017268008A1 (en) 2016-05-19 2018-11-22 Pylon Manufacturing Corp. Windshield wiper connector
CN109311452A (zh) 2016-05-19 2019-02-05 电缆塔制造有限公司 挡风玻璃雨刮器连接器
US10023152B2 (en) * 2016-06-29 2018-07-17 Ford Global Technologies, Llc Method of preventing a windshield wiper from freezing to a windshield and related circuit
MA46751B1 (fr) * 2016-11-14 2020-10-28 Saint Gobain Vitre de véhicule comprenant un corps conducteur de lumière pour un capteur
JP6717259B2 (ja) * 2017-05-22 2020-07-01 株式会社デンソー ワイパ駆動装置
ES2951209T3 (es) * 2018-01-10 2023-10-18 Zanini Auto Grup Sa Radomo para vehículos
US11709133B2 (en) 2018-09-28 2023-07-25 Industrial Technology Research Institute Solid surface wettability determination method
US11326997B2 (en) 2018-09-28 2022-05-10 Industrial Technology Research Institute Surface wettability determination method
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
KR102265145B1 (ko) * 2020-07-17 2021-06-15 한국철도공사 영상정보 기반 철도 콘크리트 도상 균열 검측 방법
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
DE102020132427A1 (de) 2020-12-07 2022-06-09 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeugkameraeinheit, Kraftfahrzeug und Fahrerassistenzsystem
DE102021109171A1 (de) * 2021-04-13 2022-10-13 Valeo Schalter Und Sensoren Gmbh Regensensorsystem und fahrzeug
DE102021113065A1 (de) 2021-05-20 2022-11-24 Valeo Schalter Und Sensoren Gmbh Regensensorsystem, fahrzeug und verfahren zum erfassen von regen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (de) † 2004-03-26 2005-09-28 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
DE102006008274A1 (de) † 2006-02-22 2007-08-23 Siemens Ag Kraftfahrzeug mit einer optischen Erfassungsvorrichtung

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1974933U (de) 1967-09-14 1967-12-14 Huck Fa H Gasfeuerzeug mit einstellbarer flamme.
KR0183299B1 (ko) 1996-11-04 1999-04-15 삼성전자주식회사 자동차의 주변사항을 알려주는 네비게이션 장치 및 그 제어방법
US6681163B2 (en) * 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
JP2002325250A (ja) 2001-02-16 2002-11-08 Ki Sun Kim 車両の映像及び音声記録装置
JP3641250B2 (ja) * 2002-04-23 2005-04-20 三菱電機株式会社 透光体表面の異物検出装置
JP2005531752A (ja) 2002-05-18 2005-10-20 エルモス セミコンダクタ アーゲー 雨検出装置
US8180099B2 (en) * 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
KR100571753B1 (ko) 2004-07-13 2006-04-18 삼성전자주식회사 프로그램 업그레이드 기능을 가지는 무선 통신 시스템 및그의 프로그램 업그레이드 방법
DE102004037871B4 (de) * 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
CN100581858C (zh) * 2004-09-15 2010-01-20 麦格纳唐纳利工程有限公司 一种车辆环境控制系统
DE602005004156T2 (de) * 2005-10-21 2008-12-18 C.R.F. Società Consortile per Azioni, Orbassano Optischer Multifunktionssensor für Fahrassistenzsysteme in Kraftfahrzeugen
DE102006010671A1 (de) 2006-03-08 2007-09-13 Leopold Kostal Gmbh & Co. Kg Kameraanordnung für ein Kraftfahrzeug
JP2007318581A (ja) 2006-05-29 2007-12-06 Casio Comput Co Ltd 撮像装置、撮影補助光源発光／撮像制御方法、および撮影補助光源発光／撮像制御プログラム
EP1931147B1 (de) 2006-12-04 2019-07-10 Harman Becker Automotive Systems GmbH Vorrichtung und verfahren zum verarbeiten eines bildes einer umgebung eines fahrzeuges
JP2008182360A (ja) 2007-01-23 2008-08-07 Funai Electric Co Ltd 皮膚領域検出撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (de) † 2004-03-26 2005-09-28 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
DE102006008274A1 (de) † 2006-02-22 2007-08-23 Siemens Ag Kraftfahrzeug mit einer optischen Erfassungsvorrichtung

Also Published As

Publication number Publication date
DE102009000005A1 (de) 2010-07-08
WO2010076064A1 (de) 2010-07-08
EP2384295B1 (de) 2013-09-25
CN102271976A (zh) 2011-12-07
KR101707248B1 (ko) 2017-02-15
EP2384295A1 (de) 2011-11-09
CN102271976B (zh) 2014-11-05
KR20110101176A (ko) 2011-09-15
JP2012514736A (ja) 2012-06-28
US8913132B2 (en) 2014-12-16
US20110273564A1 (en) 2011-11-10

Similar Documents

Publication Publication Date Title
EP2384295B2 (de) Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung
EP2062777B1 (de) Optisches Modul
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
DE102009000003A1 (de) Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
EP1053140B1 (de) Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung
DE102004037871B4 (de) Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
WO2013163991A1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
EP2879919B1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE102010043479B4 (de) Kameraanordnung und Verfahren zum Betreiben einer Kameraanordnung für ein Kraftfahrzeug
DE102014209197A1 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
EP1303768A1 (de) Verfahren zur sichtweitenbestimmung
DE10316794A1 (de) Regensensor und Verfahren zum Erkennen von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeugs
WO2013091619A1 (de) Verfahren und vorrichtung zur ermittlung von feuchtigkeit auf einer fahrzeugscheibe
DE102011083232B4 (de) Bilderfassungsvorrichtung für ein Fahrzeug
DE10205184A1 (de) Einrichtung zur automatischen Einstellung der Leuchtdichte des von wenigstens einer rückwärtigen Beleuchtungseinrichtung eines Fahrzeugs ausgesandten Lichtbündels
DE102006055905B4 (de) Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
WO2019052936A1 (de) Dynamisch kolorierte anzeige eines fahrzeugs
DE102020007064B4 (de) Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102021003728B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
WO2018033365A1 (de) Verfahren zum erfassen eines lichtstrahlenbündels einer umgebungszone eines kraftfahrzeugs in zumindest zwei verschiedenen brennweiten mit einem kamerasystem, sowie kamerasystem und kraftfahrzeug
DE102005037271A1 (de) Regensensor
DE102014212975B4 (de) Kalibrierung eines kamerabasierten Regensensors eines Fahrzeugs
DE102018004776A1 (de) Verfahren zum Erweitern des Erfassungsbereichs eines Kamerasystems eines Fahrzeugs, Vorrichtung zum Erweitern des Erfassungsbereichs eines Kamerasystems nach einem solchen Verfahren, Fahrzeug mit einer solchen Vorrichtung, und Verwendung des Verfahrens oder der Vorrichtung
WO2018086662A1 (de) Erkennung von regentropfen auf einer scheibe mittels einer kamera und einer beleuchtung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110802

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20130628

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 633581

Country of ref document: AT

Kind code of ref document: T

Effective date: 20131015

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009008067

Country of ref document: DE

Effective date: 20131121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131225

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20130925

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140125

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

BERE Be: lapsed

Owner name: ROBERT BOSCH G.M.B.H.

Effective date: 20131130

PLBI Opposition filed

Free format text: ORIGINAL CODE: 0009260

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140127

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PLAX Notice of opposition and request to file observation + time limit sent

Free format text: ORIGINAL CODE: EPIDOSNOBS2

26 Opposition filed

Opponent name: CONTI TEMIC MICROELECTRONIC GMBH

Effective date: 20140623

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131130

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131130

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20131225

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

REG Reference to a national code

Ref country code: DE

Ref legal event code: R026

Ref document number: 502009008067

Country of ref document: DE

Effective date: 20140623

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131225

PLAF Information modified related to communication of a notice of opposition and request to file observations + time limit

Free format text: ORIGINAL CODE: EPIDOSCOBS2

PLBB Reply of patent proprietor to notice(s) of opposition received

Free format text: ORIGINAL CODE: EPIDOSNOBS3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20091103

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 633581

Country of ref document: AT

Kind code of ref document: T

Effective date: 20141103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20141103

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

APAH Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNO

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

APBQ Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3O

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

APBU Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9O

PUAH Patent maintained in amended form

Free format text: ORIGINAL CODE: 0009272

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: PATENT MAINTAINED AS AMENDED

27A Patent maintained in amended form

Effective date: 20190612

AK Designated contracting states

Kind code of ref document: B2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: DE

Ref legal event code: R102

Ref document number: 502009008067

Country of ref document: DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R084

Ref document number: 502009008067

Country of ref document: DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20241120

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250122

Year of fee payment: 16