EP1079350B1 - Einrichtung zur Raumüberwachung - Google Patents

Einrichtung zur Raumüberwachung Download PDF

Info

Publication number
EP1079350B1
EP1079350B1 EP99113947A EP99113947A EP1079350B1 EP 1079350 B1 EP1079350 B1 EP 1079350B1 EP 99113947 A EP99113947 A EP 99113947A EP 99113947 A EP99113947 A EP 99113947A EP 1079350 B1 EP1079350 B1 EP 1079350B1
Authority
EP
European Patent Office
Prior art keywords
stable features
image
image sensor
sensor
stable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP99113947A
Other languages
English (en)
French (fr)
Other versions
EP1079350A1 (de
Inventor
Hansjürg Dr. Mahler
Martin Dr. Rechsteiner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Building Technologies AG
Original Assignee
Siemens Building Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Building Technologies AG filed Critical Siemens Building Technologies AG
Priority to DE59907024T priority Critical patent/DE59907024D1/de
Priority to ES99113947T priority patent/ES2209291T3/es
Priority to EP99113947A priority patent/EP1079350B1/de
Priority to DK99113947T priority patent/DK1079350T3/da
Priority to AT99113947T priority patent/ATE250260T1/de
Publication of EP1079350A1 publication Critical patent/EP1079350A1/de
Application granted granted Critical
Publication of EP1079350B1 publication Critical patent/EP1079350B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/183—Single detectors using dual technologies

Definitions

  • the present invention relates to a device for room surveillance, with at least an image sensor and at least one presence or motion sensor and with one Control and evaluation electronics to which the sensors mentioned are connected.
  • the known anti-mask devices of passive infrared sensors have an infrared transmitter and an infrared receiver and are used to detect the two types of coverage of the detector, that is the cover of the detector in a certain, possibly only small, distance from the detector window, and the immediate coverage of the detector window by, for example, covering with a film or spraying with an infrared-opaque Spray, such as paint spray.
  • the first type of cover is subsequently called the fem cover and the second is referred to as a spray cover, with fem cover a cover a few millimeters away up to a maximum of about 15 cm from the detector window is meant.
  • the sabotage is monitored by: the ultrasonic or microwave transmitter by briefly switching on / off or off / on emits a short pulse, which creates a wide frequency spectrum, which then evaluated in a certain frequency range with regard to amplitude and time course becomes.
  • the parameters mentioned are used for changes in the room in front of the detector typical deviations from mean values or previous measurement results are examined, in particular to such deviations that are necessary for the attachment of a shield or cover are characteristic of the detector.
  • Image sensors or video detectors are not protected against sabotage, although it goes without saying There is also a risk of sabotage with these sensors.
  • a device of the type mentioned at the beginning the at least an image sensor is protected against sabotage.
  • a first preferred embodiment of the device according to the invention is characterized in that that the stable features are checked by the fact that the image of the monitored space is examined for stable features, and the stable found thereby Features with methods of image processing can be compared with the saved ones.
  • a second preferred embodiment of the device according to the invention is characterized in that that means for measuring the brightness in the monitored room are provided, and that an alarm is triggered if there is a difference between the stored and the found stable characteristics.
  • the storage and checking of stable features enables detection partial coverage of the detector or the pretense of wrong scenes by holding a photo in front of the image sensor or by changing the field of view of the detector.
  • the stable features are saved immediately after installation of the facility; while The operation of the picture is then periodically examined for stable ones Features and a comparison of the found with the stored stable features.
  • a third preferred embodiment of the device according to the invention is characterized in that that the stable features by for the space to be monitored and / or the equipment of which characteristic edges and / or curves are formed.
  • a further preferred embodiment of the device according to the invention is thereby characterized in that the storage and verification of a plurality of stable characteristics and that an alarm is triggered when the number of saved with the stable features matching found stable features a threshold below.
  • the stable features are preferably checked when the detector is not armed, or if there is no activity in the monitored room because the processor is underutilized during this time.
  • the decision whether im monitored Room activities take place or not, preferably takes place on the basis of the signal of the presence or motion sensor.
  • the device according to the invention with at least one image sensor and at least one Presence or motion sensor points towards known dual detectors as well significant advantages over pure image sensors. Compared to the dual detectors, at where no or only a very rough spatial resolution is possible, so that a distinction Often it cannot take place between humans and animals Detectors much more robust.
  • the image sensor offers the possibility of classification the objects based on their geometry and movement and thus the intelligent monitoring as well as the verification and storage of events and later accessibility of these.
  • the detector according to the invention has the advantage that it even in poor lighting conditions the performance of a presence or Provides motion detector and is therefore fully functional.
  • the presence or Motion detector the image processing algorithms when interpreting difficult situations support.
  • drawing being a block diagram of a device according to the invention for room monitoring shows.
  • the device for room monitoring shown in Fig. 1 consists essentially of a multi-criteria motion detector 1, hereinafter referred to as a detector, and one hereinafter referred to as electronics control and evaluation electronics 2 with a control stage 3 and a processing stage 4 for the local evaluation of the signals of the detector 1.
  • a detector a multi-criteria motion detector 1
  • electronics control and evaluation electronics 2 with a control stage 3 and a processing stage 4 for the local evaluation of the signals of the detector 1.
  • this representation only shows the individual function blocks and not the specific ones apparatus construction of the facility again. For example, certain are usually Parts of the electronics are present in detector 1. The latter applies in particular if the detector signals are processed or pre-evaluated in detector 1.
  • the detector 1 consists of at least one image sensor 5 and at least one following presence or motion sensor 6, referred to as P / B sensor.
  • the detector points Means 7 for measuring the brightness in the monitored room, which is preferably a component form the image sensor 5.
  • Both the image sensor 5 and the P / B sensor 6 are one Preprocessing stage 8 or 9 downstream, but also in detector 1 or if necessary can be included in processing level 4. From preprocessing stages 8 and 9 the signals arrive in processing stage 4, which is also the brightness signal of the means 7 is supplied for brightness measurement.
  • Processing level 4 is autonomous and enables local decisions and / or display the images recorded by the image sensor 5; preferably it is also for transmission of the images to a spatially distant center 10, where, for example, an additional one Verification can take place.
  • the P / B sensor 6 is a motion or presence detector based on one of the known detection principles Passive infrared, active infrared, microwaves, ultrasound or any Combination of them.
  • CMOS image sensor a so-called APS [APS: active pixel Sensor] used, which is characterized by a very low power consumption and by the possibility of access to individual pixels.
  • APS active pixel Sensor
  • additional application-specific analog or digital functions for example simple Image processing algorithms such as filters or exposure control can be easily integrated.
  • APS the article "A 128 x 128 CMOS Active Pixel Image Sensor for Highly Integrated Imaging Systems "by Sunetra K. Mendis, Sabrina E. Kennedy and Eric R. Fossum, IEDM 93-538 and "128X128 CMOS Photodiode-Type Active Pixel Sensor With On-Chip Timing, Control and Signal Chain Electronics "by R.H. Nixon, S.E. Kemeny, C.O. Staller and E. R. Fossum in SPIE Vol. 2415/117.
  • the image sensor 5 is directed towards the space to be monitored, detects it in terms of image technology, digitizes the image and stores it as a reference image in a memory. If the image sensor 5 forming APS consists of 128 by 128 pixels, for example, would then be used a wide-angle lens at a distance of 15 m in front of the image sensor 5 one pixel of approximately 12 by 12 cm. Such a grid is suitable, human and distinguish animal shapes relatively reliably from each other.
  • the image sensor 5 makes intervals a picture of the monitored room from fractions of a second is saved Images for a certain time and compare them with the reference image and / or with each other.
  • the storage of the images is preferably controlled in such a way that the images sent by the detector 1 immediately preceding and / or immediately following the detected event until saved further and that the remaining images automatically after the specified time to be deleted.
  • the image sensor is 5-on high light sensitivity and a large dynamic range (sufficient recognizability of details with strong light / dark contrast) optimized.
  • the functions integrated on the APS chip allow an automatic electronic Integrate closure with a dynamic of 1: 1000.
  • the P / B sensor 6 essentially serves to identify the potential weaknesses of the image sensor 5 compensate. This includes in particular that the image sensor 5 is below a critical one Illumination provides no image information, and that also a strong change in the image information is often not caused by an intruder compared to the reference image. you think, for example, of abrupt changes in lighting that by switching the street lighting on / off, passing vehicles with the lights on Headlights, thunderstorms or the like can be caused. In these and the like Cases by taking into account the signal of the P / B sensor 6, the robustness of the detector 1 significantly increased. This is taken into account by a combined evaluation the signals of the image sensor 5 and the P / B sensor 6 in the processing stage 4 realized.
  • the preprocessing stages 8 and 9 in the respective sensor 5 or 6 or in processing stage 4 be integrated.
  • the signals of the P / B sensor 6 are combined into one Evaluation converted with the signal of the image sensor 5 suitable format and classified according to their strength. If detector 1 contains a distance meter (not shown), then this becomes corresponding in the presence of a signal from the P / B sensor 6 Starch from processing level 4 activated via control level 3 and delivers to the processing level information about the distance of the event just detected or Object from detector 1. With the help of this distance information, the signal from the image sensor can be used 5 clear conclusions on the size of a detected object and thus on its size Nature, such as humans or animals.
  • the pre-evaluation takes the form of hardware and / or in the form of a processor core integrated on the APS chip.
  • the number of compared the modified image of the reference image, its clustering and characteristics of the pixel cluster certainly.
  • the reference image is constantly updated, whereby Changes are only adopted in the reference image after checking their stability.
  • the reference image tracking can be more stable by including the signals of the P / B sensor 6 be carried out.
  • processing stage 4 At the input of processing stage 4 there is a signal of the P / B classified according to strength Sensor 6, an image signal of the image sensor 5 with information about the number of changes Pixels and the characteristics of the pixel clusters and possibly a signal from the distance meter, the distance of the event triggering the signal of the P / B detector 6 indicates.
  • the processing stage 4 receives from the means 6 for lighting measurement continuous information about the average lighting in the monitored room and weighted the combined evaluation of the signals the signals of the lighting-independent P / B Sensor 6, the weaker the lighting, the more so.
  • the combined evaluation of the signals gives a decision at the output of processing stage 4 Alarm or non-alarm, this decision essentially the image content, the overall lighting, the information from the P / B sensor 6 and the change and / or history of these parameters, hereinafter referred to as global criteria, are taken into account.
  • Plausibility links are very helpful here: if, for example, lighting and change the image content quickly and strongly, but the signal of the P / B sensor 6 is weak, then no alarm is given, but the stability of the new image is checked and in it searched for movements. If the P / B sensor 6 reports no movement and only one Lighting and / or image change took place, then lighting became pretty certain switched on or off so that there is no alarm.
  • the detector 1 is equipped with one device equipped for sabotage monitoring, namely for sabotage of both the P / B sensor 6 as well as the image sensor 5.
  • the device for monitoring sabotage of the P / B sensor is an antimask device of the known type, the specific training of which detection principle implemented in the P / B sensor 6.
  • Antimask devices are based on the patent applications cited in the introduction to the description directed. The following is the device for monitoring sabotage of the image sensor 5 are described.
  • the image sensor 5 contains a memory in which the digitized Image of the monitored room is stored as a reference image. This memory is preferred integrated on the APS chip. Storage is now also carried out for sabotage monitoring of stable features in the reference image, a periodic examination of the Image sensor 5 recorded image for stable features and a check of the found stable characteristics based on a check with the stored. Under stable Features are to be understood as those features of the image that have a certain probability do not change, in particular boundary lines and edges of the room and of doors and windows, straight edges and general curves of larger pieces of furniture, and the same.
  • a straight edge can pass through its Start and end point or a segment of a circle through its start and end point and additionally the radius or the center of the circle can be defined.
  • the picture taken are examined for stable characteristics and the stable characteristics found are included compared the saved. For example, the distance between the Reference edge and a newly found edge can be determined. If this distance one does not exceed the previously defined value, then the edges are evaluated as matching.
  • the presence or absence of activity in the monitored space is checked with the. P / B sensor detected. If there is sufficient brightness (signal from means 7 for brightness measurement) no stable features are found or the stable features found tamper alarm will not be triggered.
  • the former is a Indications that the image sensor 5 or the detector 1 was not completely covered (for example with a cloth or the like), the latter may indicate that the image sensor 5, for example by taking a photo in front of the lens, a wrong scene is faked.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Maintenance And Inspection Apparatuses For Elevators (AREA)

Description

Die vorliegende Erfindung betrifft eine Einrichtung zur Raumüberwachung, mit mindestens einem Bildsensor und mindestens einem Präsenz- oder Bewegungssensor und mit einer Steuerungs- und Auswerteelektronik, an welche die genannten Sensoren angeschlossen sind.
Für solche auch als Intrusionsmelder bezeichnete Einrichtungen ist es sehr wichtig, dass sie Sabotageversuche erkennen können, wobei die Sabotage den ganzen Melder oder nur einen der beiden Sensoren oder Sensortypen betreffen kann. Bei Bewegungssensoren, als die heute fast ausschliesslich Passiv-Infrarotsensoren, Ultraschall- oder Mikrowellensensoren oder aus diesen beiden Sensortypen zusammengesetzte Dualsensoren verwendet werden, sind solche als Antimaskeinrichtungen bezeichnete Einrichtungen zur Sabotageüberwachung allgemein bekannt. Es sei in diesem Zusammenhang auf die EP-A-0 186 226, die EP-A-0 499 177, die EP-A-0 556 898 und die europäische Patentanmeldung Nr. 99110848.1 der Anmelderin der vorliegenden Patentanmeldung verwiesen.
Die bekannten Antimaskeinrichtungen von Passiv-Infrarotsensoren weisen einen Infrarotsender und einen Infrarotempfänger auf und dienen zur Erkennung der beiden Abdeckungsarten des Melders, das sind die Abdeckung des Melders in einer bestimmten, unter Umständen nur geringen, Distanz vom Melderfenster, und die unmittelbare Abdeckung des Melderfensters durch beispielsweise Abdecken mit einer Folie oder Besprühen mit einem infrarotundurchlässigen Spray, wie beispielsweise Farbspray. Die erste Abdeckungsart wird nachfolgend als Femabdeckung und die zweite wird als Sprayabdeckung bezeichnet, wobei mit Femabdeckung eine Abdeckung im Abstand von wenigen Millimtem bis zu maximal etwa 15 cm vom Melderfenster gemeint ist.
Vorgänge oder optische Änderungen unmittelbar vor dem Melder, wie die Fernabdeckung, bewirken in den meisten Fällen eine Reflexion der vom Infrarotsender der Antimaskeinrichtung ausgesandten Strahlung auf den Infrarotempfänger, was sich durch eine Änderung der vom Infrarotempfänger empfangenen Strahlung äussert. Zur Erkennung von Änderungen der optischen Eigenschaften des Melderfensters, wird dieses mit Infrarotstrahlung beaufschlagt und es wird die das Melderfenster durchsetzende oder die von diesem reflektierte Strahlung gemessen. Zur Auswertung der Signale der Antimaskeinrichtung werden die Signale des Infrarotempfängers mit Schwell- oder Referenz- oder allgemein Spannungswerten verglichen, die überoder unterschritten und über einen gewissen Zeitraum gehalten werden müssen.
Bei Ultraschall- oder Mikrowellensensoren erfolgt die Sabotageüberwachung dadurch, dass der Ultraschall- oder Mikrowellensender durch kurzes Ein-/Ausschalten oder Aus-/Einschalten einen kurzen Puls aussendet, wodurch ein breites Frequenzspektrum entsteht, welches dann in einem bestimmten Frequenzbereich bezüglich Amplitude und zeitlichem Verlauf ausgewertet wird. Dabei werden die genannten Parameter auf für Veränderungen im Raum vor dem Melder typische Abweichungen von Mittelwerten oder früheren Messergebnmissen untersucht, insbesondere auf solche Abweichungen, die für die Anbringung einer Abschirmung oder Abdeckung vor dem Melder charakteristisch sind.
Bildsensoren oder Videomelder sind hingegen gegen Sabotage nicht geschützt, obwohl selbstverständlich auch bei diesen Sensoren die Gefahr von Sabotage besteht. Durch die Erfindung soll nun eine Einrichtung der eingangs genannten Art angegeben werden, deren mindestens eine Bildsensor gegen Sabotage geschützt ist.
Diese Aufgabe wird erfindungsgemäss dadurch gelöst, dass Mittel zur Erkennung von Sabotage des mindestens einen Bildsensors vorgesehen, und dass diese Mittel zur Speicherung und Überprüfung stabiler Merkmale des vom Bildsensor aufgenommenen Bildes ausgebildet sind.
Eine erste bevorzugte Ausführungsform der erfindungsgemässen Einrichtung ist dadurch gekennzeichnet, dass die Überprüfung der stabilen Merkmale dadurch erfolgt, dass das Bild des überwachten Raumes auf stabile Merkmale untersucht wird, und die dabei gefundenen stabilen Merkmale mit Methoden der Bildverarbeitung mit den gespeicherten verglichen werden.
Eine zweite bevorzugte Ausführungsform der erfindungsgemässen Einrichtung ist dadurch gekennzeichnet, dass Mittel zur Messung der Helligkeit im überwachten Raum vorgesehen sind, und dass eine Alarmauslösung erfolgt, wenn bei ausreichender Helligkeit eine Differenz zwischen den gespeicherten und den gefundenen stabilen Merkmalen besteht.
Die erfindungsgemässe Speicherung und Überprüfung stabiler Merkmale ermöglicht die Erkennung von teilweiser Abdeckung des Melders oder der Vortäuschung von falschen Szenen durch ein vor den Bildsensor gehaltenes Foto oder durch Änderung des Blickfeldes des Melders. Die stabilen Merkmale werden sofort nach Installation der Einrichtung gespeichert; während des Betriebs erfolgt dann eine periodische Untersuchung des jeweiligen Bildes nach stabilen Merkmalen und ein Vergleich der gefundenen mit den gespeicherten stabilen Merkmalen.
Eine dritte bevorzugte Ausführungsform der erfindungsgemässen Einrichtung ist dadurch gekennzeichnet, dass die stabilen Merkmale durch für den zu überwachenden Raum und/oder dessen Ausstattung charakteristische Kanten und/oder Kurven gebildet sind.
Eine weitere bevorzugte Ausführungsform der erfindungsgemässen Einrichtung ist dadurch gekennzeichnet, dass die Speicherung und Überprüfung einer Mehrzahl von stabilen Merkmalen erfolgt, und dass eine Alarmauslösung dann erfolgt, wenn die Anzahl der mit den gespeicherten stabilen Merkmalen übereinstimmenden gefundenen stabilen Merkmale einen Schwellwert unterschreitet.
Solange dieser Schwellwert nicht unterschritten und eine Mindestanzahl von bereits gespeicherten stabilen Merkmalen gefunden wird, werden neu gefundene stabile Merkmale zu den gespeicherten dazugenommen. Auf diese Weise ist es möglich, das Raummodell bei Veränderungen, wie z.B. Umstellen von Möbeln und dergleichen, dauernd zu aktualisieren.
Die Überprüfung der stabilen Merkmale wird vorzugsweise dann durchgeführt, wenn der Melder nicht scharf geschaltet ist, oder wenn im überwachten Raum keine Aktivitäten vorhanden sind, weil in dieser Zeit der Prozessor nicht ausgelastet ist. Die Entscheidung, ob im überwachten Raum Aktivitäten stattfinden oder nicht, erfolgt vorzugsweise anhand des Signals des Präsenz- oder Bewegungssensors.
Die erfindungsgemässe Einrichtung mit mindestens einem Bildsensor und mindestens einem Präsenz- oder Bewegungssensor weist sowohl gegenüber bekannten Dual-Meldern als auch gegenüber reinen Bildsensoren wesentliche Vorteile auf. Verglichen mit den Dual-Meldern, bei denen keine oder nur eine sehr grobe räumliche Auflösung möglich ist, so dass eine Unterscheidung zwischen Mensch und Tier oftmals nicht erfolgen kann, ist der erfindungsgemässe Melder wesentlich robuster. Ausserdem bietet der Bildsensor die Möglichkeit der Klassifizierung der Objekte anhand ihrer Geometrie und Bewegung und damit der intelligenten Überwachung sowie der Verifikation und der Speicherung von Ereignissen und der späteren Abrufbarkeit von diesen.
Gegenüber einem reinen Bildsensor hat der erfindungsgemässe Melder den Vorteil, dass er auch bei schlechten Beleuchtungsverhältnissen immer noch die Leistung eines Präsenz- oder Bewegungsdetektors erbringt und damit voll funktionsfähig ist. Zudem kann der Präsenz- oder Bewegungsdetektor die Bildverarbeitungsalgorithmen bei der Interpretation schwieriger Situationen unterstützen.
Im folgenden wird die Erfindung anhand eines Ausführungsbeispiels und der einzigen Zeichnung näher erläutert, wobei die Zeichnung ein Blockschema eines erfindungsgemässen Einrichtung zur Raumüberwachung zeigt.
Die in Fig. 1 dargestellte Einrichtung zur Raumüberwachung besteht im wesentlichen aus einem nachfolgend als Melder bezeichneten Mehrkriterienbewegungsmelder 1 und aus einer nachfolgend als Elektronik bezeichneten Steuerungs- und Auswerteelektronik 2 mit einer Steuerstufe 3 und einer Verarbeitungsstufe 4 zur lokalen Auswertung der Signale des Melders 1. Selbstverständlich gibt diese Darstellung nur die einzelnen Funktionsblöcke und nicht den konkreten apparativen Aufbau der Einrichtung wieder. So werden beispielsweise in der Regel bestimmte Teile der Elektronik im Melder 1 vorhanden sein. Letzteres gilt insbesondere dann, wenn im Melder 1 eine Aufbereitung oder Vorauswertung der Meldersignale erfolgt.
Der Melder 1 besteht aus mindestens einem Bildsensor 5 und mindestens einem nachfolgend als P/B Sensor bezeichneten Präsenz- oder Bewegungssensor 6. Ausserdem weist der Melder Mittel 7 zur Messung der Helligkeit im überwachten Raum auf, welche vorzugsweise Bestandteil des Bildsensors 5 bilden. Sowohl dem Bildsensor 5 als auch dem P/B Sensor 6 ist je eine Vorverarbeitungsstufe 8 bzw. 9 nachgeschaltet, die aber auch im Melder 1 oder gegebenenfalls in der Verarbeitungsstufe 4 enthalten sein kann. Von den Vorverarbeitungsstufen 8 und 9 gelangen die Signale in die Verarbeitungsstufe 4, welcher auch das Helligkeitssignal der Mittel 7 zur Helligkeitsmessung zugeführt ist.
Die Verarbeitungsstufe 4 ist autonom und ermöglicht lokale Entscheidungen und/oder die Anzeige der vom Bildsensor 5 aufgenommenen Bilder; vorzugsweise ist sie auch zur Übertragung der Bilder an eine räumlich entfernte Zentrale 10 ausgerüstet, wo dann beispielsweise eine zusätzliche Verifikation erfolgen kann.
Der P/B Sensor 6 ist ein Bewegungs- oder Präsenzmelder nach einem der bekannten Detektionsprinzipien Passiv-Infrarot, Aktiv-Infrarot, Mikrowellen, Ultraschall oder einer beliebigen Kombination davon. Der Bildsensor 5 ist im Bereich des sichtbaren Lichts, im nahen Infrarot oder im langwelligen Infrarot (Wärmestrahlung) empfindlich; er kann auf einem üblichen bildgebenden Verfahren (CCD [CCD: charge-coupled device], CID [CID: charge injection device] oder CMOS [CMOS: complementary metal oxide semiconductor = komplementäre Metall-Oxid-Halbleiter-Struktur]) basieren.
Vorzugsweise wird ein spezieller CMOS-Bildsensor, ein sogenannter APS [APS: Aktiv Pixel Sensor] verwendet, der sich durch einen sehr geringen Stromverbrauch und durch die Möglichkeit des Zugriffs auf einzelne Pixel auszeichnet. Ausserdem können in einem solchen APS zusätzliche applikationsspezifische analoge oder digitale Funktionen, zum Beispiel einfache Bildverarbeitungsalgorithmen wie Filter oder Belichtungssteuerung, einfach integriert werden. Bezüglich APS wird auf die Artikel "A 128 x- 128 CMOS Active Pixel Image Sensor for Highly Integrated Imaging Systems" von Sunetra K. Mendis, Sabrina E. Kennedy und Eric R. Fossum, IEDM 93-538 und "128X128 CMOS Photodiode-Type Active Pixel Sensor With On-Chip Timing, Control and Signal Chain Electronics" von R. H. Nixon, S. E. Kemeny, C. O. Staller und E. R. Fossum in SPIE Vol. 2415/117, verwiesen.
Der Bildsensor 5 ist auf den zu überwachenden Raum gerichtet, erfasst diesen bildtechnisch, digitalisiert das Bild und legt es als Referenzbild in einem Speicher ab. Wenn der den Bildsensor 5 bildende APS beispielsweise aus 128 mal 128 Pixeln besteht, dann würde bei Verwendung einer Weitwinkeloptik im Abstand von 15 m vor dem Bildsensor 5 einem Pixel eine Fläche von ungefähr 12 mal 12 cm entsprechen. Eine solche Rasterung ist geeignet, menschliche und tierische Gestalten relativ zuverlässig voneinander zu unterscheiden.
Die Möglichkeit der Erkennung eines Menschen im Abstand von 15 m ist sehr vorteilhaft, und die Fläche des überwachten Raums in diesem Erkennungsabstand von etwa 15 mal 15 m ist durchaus realistisch. Im aktiven Zustand der Einrichtung macht dann der Bildsensor 5 in Abständen von Sekundenbruchteilen jeweils ein Bild des überwachten Raums, speichert diese Bilder für eine bestimmte Zeit und vergleicht sie mit dem Referenzbild und/oder untereinander. Die Speicherung der Bilder ist vorzugsweise so gesteuert, dass die Bilder, die einem vom Melder 1 festgestellten Ereignis unmittelbar vorausgehen und/oder diesem unmittelbar folgen, bis auf weiteres gespeichert und dass die restlichen Bilder nach Ablauf der genannten Zeit automatisch gelöscht werden.
Um auch-bei schlechten Beleuchtungsverhältnissen -noch ein brauchbares Bild machen zu können, ist der Bildsensor 5-auf grosse Lichtempfindlichkeit und einen grossen Dynamikbereich (ausreichende Erkennbarkeit von Einzelheiten bei starkem Hell/ Dunkel-Kontrast) optimiert. Die auf dem APS-Chip integrierten Funktionen erlauben es, einen automatischen elektronischen Verschluss mit einer Dynamik von 1:1000 mitzuintegrieren.
Der P/B Sensor 6 dient im wesentlichen dazu, die potentiellen Schwächen des Bildsensors 5 auszugleichen. Dazu gehört insbesondere, dass der Bildsensor 5 unterhalb einer kritischen Beleuchtung keine Bildinformation liefert, und dass auch eine starke Änderung der Bildinformation gegenüber dem Referenzbild oftmals nicht von einem Eindringling verursacht ist. Man denke in diesem Zusammenhang beispielsweise an abrupte Beleuchtungsänderungen, die durch Ein/Ausschalten der Strassenbeleuchtung, vorbeifahrende Fahrzeuge mit aufgeblendeten Scheinwerfern, Gewitter oder dergleichen verursacht sein können. In diesen und ähnlichen Fällen wird durch Mitberücksichtigung des Signals des P/B Sensors 6 die Robustheit des Melders 1 ganz wesentlich erhöht. Diese Mitberücksichtigung wird durch eine kombinierte Auswertung der Signale des Bildsensors 5 und des P/B Sensors 6 in der Verarbeitungsstufe 4 realisiert.
Es hat sich gezeigt, dass es vorteilhaft ist, die Signale des Bildsensors 5 und des P/B Sensors 6 vor der kombinierten Auswertung einer getrennten Vorauswertung zu unterziehen, welche in den Vorverarbeitungsstufen 8 bzw. 9 erfolgt. Wie schon erwähnt wurde, können die Vorverarbeitungsstufen 8 und 9 in den jeweiligen Sensor 5 bzw. 6 oder in die Verarbeitungsstufe 4 integriert sein. Bei der Vorauswertung werden die Signale des P/B Sensors 6 in ein zur kombinierten Auswertung mit dem Signal des Bildsensors 5 geeignetes Format umgewandelt und nach ihrer Stärke klassiert. Falls der Melder 1 einen Distanzmesser (nicht dargestellt) enthält, dann wird dieser bei Vorhandensein eines Signals des P/B Sensors 6 von entsprechender Stärke von der Verarbeitungsstufe 4 über die Steuerstufe 3 aktiviert und liefert an die Verarbeitungsstufe eine Information über die Entfernung des soeben detektierten Ereignisses oder Objekts vom Melder 1. Mit Hilfe dieser Distanzinformation können aus dem Signal des Bildsensors 5 eindeutige Schlüsse auf die Grösse eines detektierten Objekts und damit auf dessen Natur, wie beispielsweise Mensch oder Tier, gezogen werden.
Beim Bildsensor 5 ist die Vorauswertung als Hardware und/oder in Form eines Prozessorkems auf dem APS-Chip integriert. Bei der Vorauswertung der Signale werden die Anzahl der gegenüber dem Referenzbild geänderten Pixel, ihre Häufung (clustering) und Merkmale der Pixelhäufung bestimmt. Dabei wird das Referenzbild ständig nachgeführt, wobei festgestellte Änderungen erst nach Überprüfung ihrer Stabilität in das Referenzbild übernommen werden. Die Referenzbildnachführung kann dabei durch Einbezug der Signale des P/B Sensors 6 stabiler ausgeführt werden.
Am Eingang der Verarbeitungsstufe 4 liegt also ein nach Stärke klassiertes Signal des P/B Sensors 6, ein Bildsignal des Bildsensors 5 mit Informationen über die Anzahl der geänderten Pixel und über die Merkmale der Pixelhäufungen und gegebenenfalls ein Signal des Distanzmessers, das die Entfernung des das Signal des P/B Detektors 6 auslösenden Ereignisses angibt. Ausserdem erhält die Verarbeitungsstufe 4 von den Mitteln 6 zur Beleuchtungsmessung laufend Angaben über die mittlere Beleuchtung im überwachten Raum und gewichtet bei der kombinierten Auswertung der Signale die Signale des beleuchtungsunabhängigen P/B Sensors 6 umso mehr je schwächer die Beleuchtung ist.
Die kombinierte Auswertung der Signale ergibt am Ausgang der Verarbeitungsstufe 4 eine Entscheidung Alarm oder Nicht-Alarm, wobei diese Entscheidung im wesentlichen den Bildinhalt, die Gesamtbeleuchtung, die Information vom P/B Sensor 6 und die Änderung und/oder Vorgeschichte dieser nachfolgend als globale Kriterien bezeichneten Parameter berücksichtigt. Dabei sind Plausibilitätsverknüpfungen sehr hilfreich: Wenn sich beispielsweise Beleuchtung und Bildinhalt rasch und stark ändern, das Signal des P/B Sensors 6 aber schwach ist, dann wird kein Alarm gegeben, sondern es wird die Stabilität des neuen Bildes geprüft und in diesem nach Bewegungen gesucht. Wenn der P/B Sensor 6 keine Bewegung meldet und nur eine Beleuchtungs- und/oder Bildänderung stattgefunden hat, dann wurde ziemlich sicher eine Beleuchtung ein- oder ausgeschaltet, so dass kein Alarmfall vorliegt.
Die dargestellte Einrichtung zur Raumüberwachung entspricht weitgehend dem in der europäischen Patentanmeldung Nr. 99103260.8 der Anmelderin der vorliegenden Patentanmeldung beschriebenen Zwei- oder Mehrkriterienmelder mit einem Bildsensor. Aus diesem Grund wird hier die Signalverarbeitung nicht näher beschrieben, sondern es wird auf die genannte europäische Patentanmeldung verwiesen.
Wie schon in der Beschreibungseinleitung ausgeführt wurde, ist der Melder 1 mit einer Einrichtung zur Sabotageüberwachung ausgerüstet, und zwar für Sabotage sowohl des P/B Sensors 6 als auch des Bildsensors 5. Die Einrichtung zur Überwachung von Sabotage des P/B Sensors ist eine Antimaskeinrichtung der bekannten Art, deren konkrete Ausbildung sich nach dem im P/B Sensor 6 realisierten Detektionsprinzip richtet. Für eine ausführliche Beschreibung bekannter Antimaskeinrichtungen wird auf die in der Beschreibungseinleitung zitierten Patentanmeldungen verwiesen. Nachfolgend soll nun die Einrichtung zur Überwachung von Sabotage des Bildsensors 5 beschrieben werden.
Es wurde schon erwähnt, dass der Bildsensor 5 einen Speicher enthält, in dem das digitalisierte Bild des überwachten Raums als Referenzbild abgelegt ist. Dieser Speicher ist vorzugsweise auf dem APS-Chip integriert. Zur Sabotageüberwachung erfolgt nun zusätzlich eine Abspeicherung von stabilen Merkmalen im Referenzbild, eine periodische Untersuchung des vom Bildsensor 5 aufgenommenen Bildes nach stabilen Merkmalen und eine Überprüfung der gefundenen stabilen Merkmale anhand einer Überprüfung mit den gespeicherten. Unter stabilen Merkmalen sind solche Merkmale des Bildes zu verstehen, die sich mit einer gewissen Wahrscheinlichkeit nicht ändern, also insbesondere Begrenzungslinien und Kanten des Raumes und von Türen und Fenstern, gerade Kanten und allgemein Kurven grösserer Möbelstücke, und dergleichen.
Es wird eine Anzahl solcher stabiler Merkmale nach bekannten Methoden der Bildverarbeitung digitalisiert und im Speicher abgelegt. Dabei werden die Merkmale als symbolischelgeometrische Daten in eine Liste geschrieben. So kann beispielsweise eine gerade Kante durch ihren Anfangs- und Endpunkt oder ein Kreissegment durch seinen Anfangs- und Endpunkt und zusätzlich den Radius oder das Kreiszentrum definiert werden.
In periodischen Abständen, vorzugsweise dann, wenn im überwachten Raum keine Aktivität vorhanden ist oder auch im unscharfen Zustand des Melders, wird das aufgenommene Bild nach stabilen Merkmalen untersucht und die dabei gefundenen stabilen Merkmale werden mit den gespeicherten verglichen. Zur Überprüfung kann beispielsweise die Distanz zwischen der Referenzkante und einer neu gefundenen Kante bestimmt werden. Wenn diese Distanz einen vorher definierten Wert nicht überschreitet, dann werden die Kanten als übereinstimmend bewertet.
Das Vorhanden- oder Nichtvorhandensein von Aktivität im überwachten Raum wird mit dem. P/B Sensor festgestellt. Wenn bei ausreichender Helligkeit (Signal der Mittel 7 zur Helligkeitsmessung) keine stabilen Merkmale gefunden werden oder die gefundenen stabilen Merkmale nicht mit den gespeicherten übereinstimmen, wird Sabotagealarm ausgelöst. Ersteres ist ein Anzeichen dafür, dass der Bildsensor 5 oder der Melder 1 unvollständig abgedeckt wurde (beispielsweise mit einem Tuch oder dergleichen), letzteres kann darauf hindeuten, dass dem Bildsensor 5, beispielsweise durch Anbringen eines Fotos vor dem Objektiv, eine falsche Szene vorgetäuscht wird.
Man kann bei der Überprüfung der stabilen Merkmale auch so verfahren, dass man eine grössere Zahl von beispielsweise zehn stabilen Merkmalen speichert und für die Anzahl der notwendigen Übereinstimmungen zwischen gespeicherten und gefundenen stabilen Merkmalen einen Schwellwert festlegt. Wenn bei ausreichender Helligkeit dieser Schwellwert unterschritten wird, wird Sabotagealarm ausgelöst, und wenn die dem Schwellwert entsprechende Mindestanzahl von Übereinstimmungen vorhanden ist, werden neu gefundene stabile Merkmale in die Menge der gespeicherten stabilen Merkmale aufgenommen. So wird es möglich, das Raummodell bei Veränderungen wie z.B. beim Umstellen von Möbeln dauernd zu aktualisieren.
Mit einer Einrichtung der beschriebenen Art können folgende Sabotagearten detektiert werden:
  • Teilweises Abdecken des Bildsensors,
  • Vortäuschung einer falschen Szene z.B. durch ein Foto,
  • Verdrehen des Melders in seiner Halterung (Veränderung des Blickfelds des Melders),
  • Abreissen des Melders von der Wand.

Claims (10)

  1. Einrichtung zur Raumüberwachung, mit mindestens einem Bildsensor (5) und mindestens einem Präsenz- oder Bewegungssensor (6) und mit einer Steuerungs- und Auswerteelektronik (2), an welche die genannten Sensoren (5, 6) angeschlossen sind, dadurch gekennzeichnet, dass Mittel zur Erkennung von Sabotage des mindestens einen Bildsensors (5) vorgesehen, und dass diese Mittel zur Speicherung und Überprüfung stabiler Merkmale des vom Bildsensor (5) aufgenommenen Bildes ausgebildet sind.
  2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Überprüfung der stabilen Merkmale dadurch erfolgt, dass das Bild des überwachten Raumes auf stabile Merkmale untersucht wird, und die dabei gefundenen stabilen Merkmale mit Methoden der Bildverarbeitung mit den gespeicherten verglichen werden.
  3. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, dass Mittel (7) zur Messung der Helligkeit im überwachten Raum vorgesehen sind, und dass eine Alarmauslösung erfolgt, wenn bei ausreichender Helligkeit eine Differenz zwischen den gespeicherten und den gefundenen stabilen Merkmalen besteht.
  4. Einrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die genannten Mittel (7) zur Helligkeitsmessung in den Bildsensor (5) integriert sind
  5. Einrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Auslösung eines Sabotagealarms erfolgt, wenn keine stabilen Merkmale gefunden werden.
  6. Einrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die stabilen Merkmale durch für den zu überwachenden Raum und/oder dessen Ausstattung charakteristische Kanten und/oder Kurven gebildet sind.
  7. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Speicherung und Überprüfung einer Mehrzahl von stabilen Merkmalen erfolgt, und dass eine Alarmauslösung dann erfolgt, wenn die Anzahl der mit den gespeicherten stabilen Merkmalen übereinstimmenden gefundenen stabilen Merkmale einen Schwellwert unterschreitet.
  8. Einrichtung nach Anspruch 7, dadurch gekennzeichnet, dass bei Nichtunterschreiten des genannten Schwellwerts und Auffinden neuer stabiler Merkmale eine zusätzliche Speicherung und Hinzunahme der letzteren zu den bereits gespeicherten stabilen Merkmalen erfolgt.
  9. Einrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Überprüfung der stabilen Merkmale dann erfolgt, wenn im überwachten Raum keine Aktivitäten vorhanden sind.
  10. Einrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Entscheidung über das Vorhandensein von Aktivitäten im überwachten Raum anhand des Signals des Präsenzoder Bewegungssensors (6) erfolgt.
EP99113947A 1999-07-17 1999-07-17 Einrichtung zur Raumüberwachung Expired - Lifetime EP1079350B1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE59907024T DE59907024D1 (de) 1999-07-17 1999-07-17 Einrichtung zur Raumüberwachung
ES99113947T ES2209291T3 (es) 1999-07-17 1999-07-17 Dispositivo para la vigilancia de un recinto.
EP99113947A EP1079350B1 (de) 1999-07-17 1999-07-17 Einrichtung zur Raumüberwachung
DK99113947T DK1079350T3 (da) 1999-07-17 1999-07-17 Indretning til rumovervågning
AT99113947T ATE250260T1 (de) 1999-07-17 1999-07-17 Einrichtung zur raumüberwachung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP99113947A EP1079350B1 (de) 1999-07-17 1999-07-17 Einrichtung zur Raumüberwachung

Publications (2)

Publication Number Publication Date
EP1079350A1 EP1079350A1 (de) 2001-02-28
EP1079350B1 true EP1079350B1 (de) 2003-09-17

Family

ID=8238613

Family Applications (1)

Application Number Title Priority Date Filing Date
EP99113947A Expired - Lifetime EP1079350B1 (de) 1999-07-17 1999-07-17 Einrichtung zur Raumüberwachung

Country Status (5)

Country Link
EP (1) EP1079350B1 (de)
AT (1) ATE250260T1 (de)
DE (1) DE59907024D1 (de)
DK (1) DK1079350T3 (de)
ES (1) ES2209291T3 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT501035A1 (de) * 2002-09-16 2006-05-15 Siemens Ag Oesterreich Funktionsüberwachung einer überwachungsanlage
ES2391827T3 (es) * 2005-03-15 2012-11-30 Chubb International Holdings Limited Filtro de falsas alarmas
US8558889B2 (en) * 2010-04-26 2013-10-15 Sensormatic Electronics, LLC Method and system for security system tampering detection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995024702A1 (de) * 1994-03-07 1995-09-14 Sq Services Ag System und verfahren zur bildauswertung
EP1010130A4 (de) * 1996-12-23 2005-08-17 Esco Electronics Corp Niedrigfalschalarmraten-videosicherheitssystem unter verwendung von objektklassifizierung
DE19700811A1 (de) * 1997-01-13 1998-07-16 Heinrich Landert Verfahren und Vorrichtung zur Ansteuerung von Türanlage in Abhängigkeit von der Anwesenheit von Personen
US6130707A (en) * 1997-04-14 2000-10-10 Philips Electronics N.A. Corp. Video motion detector with global insensitivity

Also Published As

Publication number Publication date
EP1079350A1 (de) 2001-02-28
ES2209291T3 (es) 2004-06-16
ATE250260T1 (de) 2003-10-15
DE59907024D1 (de) 2003-10-23
DK1079350T3 (da) 2004-02-02

Similar Documents

Publication Publication Date Title
EP0939387B1 (de) Einrichtung zur Raumüberwachung
DE69815977T2 (de) Gegen globale veränderungen unempfindlicher videobewegungsdetektor
DE10011411C2 (de) Bildgebender Brandmelder
EP0986912B1 (de) Verfahren zum überwachen eines vorgegebenen überwachungsbereiches
EP0973137A1 (de) Bewegungsmelder
DE3841387C2 (de)
DE69933056T2 (de) Überwachungssystem
US5091780A (en) A trainable security system emthod for the same
EP3501018B1 (de) Präsenzdetektor unbewegter objekte
EP1061489B1 (de) Intrusionsmelder mit einer Einrichtung zur Sabotageüberwachung
DE19840873A1 (de) Verfahren und Vorrichtung zur automatischen Waldbranderkennung
DE102008001391A1 (de) Brandmeldervorrichtung sowie Verfahren zur Branddetektion
JPH0337354B2 (de)
WO2004032083A1 (de) Rauchmelder
DE102023003008A1 (de) Ein Verfahren zur Fahrzeug-Brandüberwachung und ein Fahrzeugbrandüberwachungssystem
WO2020048666A1 (de) Überwachungsvorrichtung und verfahren zur mann-über-bord-überwachung
EP1071931B1 (de) Sensorvorrichtung und verfahren zum betreiben einer sensorvorrichtung
EP1376502A1 (de) Objektschutz-Einrichtung
DE102009028212A1 (de) Verfahren zum Überwachen eines Bereichs
EP1079350B1 (de) Einrichtung zur Raumüberwachung
EP2642315B1 (de) Erkennung von Signalstörungen eines optischen Sensors hervorgerufen durch Beschädigungen oder Verdeckungen
EP1079351B1 (de) Einrichtung zur Raumüberwachung
DE102019114451A1 (de) Aktivitätsbereiche in Videoinhalten
EP0448803A2 (de) Videokontroll-Einrichtung
EP1381005A1 (de) Ereignismelder mit einer Kamera

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

17P Request for examination filed

Effective date: 20010814

AKX Designation fees paid

Free format text: AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20030917

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20030917

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20030917

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)
REF Corresponds to:

Ref document number: 59907024

Country of ref document: DE

Date of ref document: 20031023

Kind code of ref document: P

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: GERMAN

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20031217

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20031226

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2209291

Country of ref document: ES

Kind code of ref document: T3

ET Fr: translation filed
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20040717

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20040731

26N No opposition filed

Effective date: 20040618

REG Reference to a national code

Ref country code: CH

Ref legal event code: PFA

Owner name: SIEMENS BUILDING TECHNOLOGIES AG C-IPR

Free format text: SIEMENS BUILDING TECHNOLOGIES AG#BELLERIVESTRASSE 36#8034 ZUERICH (CH) -TRANSFER TO- SIEMENS BUILDING TECHNOLOGIES AG C-IPR#GUBELSTRASSE 22#6300 ZUG (CH)

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Ref country code: FR

Ref legal event code: CD

REG Reference to a national code

Ref country code: CH

Ref legal event code: PUE

Owner name: SIEMENS AKTIENGESELLSCHAFT

Free format text: SIEMENS BUILDING TECHNOLOGIES AG C-IPR#GUBELSTRASSE 22#6300 ZUG (CH) -TRANSFER TO- SIEMENS AKTIENGESELLSCHAFT#WITTELSBACHERPLATZ 2#80333 MUENCHEN (DE)

Ref country code: CH

Ref legal event code: NV

Representative=s name: SIEMENS SCHWEIZ AG, INTELLECTUAL PROPERTY

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20090514 AND 20090520

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20090709

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20090605

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20090731

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20090728

Year of fee payment: 11

BERE Be: lapsed

Owner name: *SIEMENS BUILDING TECHNOLOGIES A.G.

Effective date: 20100731

REG Reference to a national code

Ref country code: NL

Ref legal event code: SD

Effective date: 20110318

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100717

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100717

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100731

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100802

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 18

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 19

REG Reference to a national code

Ref country code: CH

Ref legal event code: PCOW

Free format text: NEW ADDRESS: WERNER-VON-SIEMENS-STRASSE 1, 80333 MUENCHEN (DE)

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20180711

Year of fee payment: 20

Ref country code: DE

Payment date: 20180920

Year of fee payment: 20

Ref country code: FR

Payment date: 20180726

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20180711

Year of fee payment: 20

Ref country code: SE

Payment date: 20180704

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20181024

Year of fee payment: 20

Ref country code: CH

Payment date: 20181005

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 59907024

Country of ref document: DE

Ref country code: NL

Ref legal event code: MK

Effective date: 20190716

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20190716

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20190716

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20200721

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20190718