WO2024012746A1 - Überwachungssystem mit einem personendetektor - Google Patents

Überwachungssystem mit einem personendetektor Download PDF

Info

Publication number
WO2024012746A1
WO2024012746A1 PCT/EP2023/062712 EP2023062712W WO2024012746A1 WO 2024012746 A1 WO2024012746 A1 WO 2024012746A1 EP 2023062712 W EP2023062712 W EP 2023062712W WO 2024012746 A1 WO2024012746 A1 WO 2024012746A1
Authority
WO
WIPO (PCT)
Prior art keywords
designed
unit
diagnostic unit
output
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2023/062712
Other languages
English (en)
French (fr)
Inventor
Maximilian Walter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Priority to CN202380053274.4A priority Critical patent/CN119452398A/zh
Priority to EP23727272.9A priority patent/EP4500488B1/de
Priority to US18/993,050 priority patent/US20260024321A1/en
Publication of WO2024012746A1 publication Critical patent/WO2024012746A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the invention relates to a surveillance system with a person detector, which is designed with an imaging sensor, preferably with a camera for recording digital image files or a laser sensor system or with a TOF (Time of Flight) camera for recording point clouds and with an evaluation unit which is designed to evaluate the image files or the point clouds and to output a position information of a person detected in a surveillance area.
  • a person detector which is designed with an imaging sensor, preferably with a camera for recording digital image files or a laser sensor system or with a TOF (Time of Flight) camera for recording point clouds and with an evaluation unit which is designed to evaluate the image files or the point clouds and to output a position information of a person detected in a surveillance area.
  • Various methods and devices for recognizing and localizing people are known from the literature, including using cameras whose video stream is analyzed image by image by an artificial neural network.
  • the neural network can provide positions and an extent (length, height) of the recognized people in a 2D image. An actual position of the person can then be determined from this position.
  • a use e.g. B. of industrial robots without a protective device in the vicinity of people requires suitable sensory environmental detection in order to safely detect people and other objects and thus be able to react appropriately in the event of an impending collision.
  • EP 3 709 106 A1 discloses a security system and a method for securing a machine with a first sensor and a second sensor.
  • DE 10 2020 133 784 B4 shows a method with a security system and a security system for locating at least one object, with at least one control and evaluation unit and a radio location system.
  • EP 2 825 812 B1 describes a device for protecting a dangerous work area of an automated machine, with at least one sensor unit, which delivers a current 3D image of the work area at defined time intervals and monitors a defined protection area.
  • EP 3 588 365 A1 a secure multi-channel evaluation is improved in that the entire data of the processing results does not have to be compared to check the integrity of the processing channels, but rather a few characteristic values which represent the information are sufficient.
  • EP 1 964 063 B1 shows a method for configuring a monitoring device for monitoring a spatial area, in particular for fail-safe monitoring of the working area of an automated machine or system.
  • fail-safe automation systems are understood to mean an industrial controller that is certified according to the IEC62061 standard and is therefore designed as a controller designed for functional safety.
  • Fail-safe automation systems control processes that can immediately assume a safe state as a result of unexpected operating behavior or a failure. These are fail-safe control processes in which an immediate shutdown to a safe state poses no danger to people or the environment. Fail-safe systems go beyond traditional safety engineering and activate far-reaching intelligent systems that go up to the electric drives and measuring systems range. The user uses fail-safe systems in applications with increased safety requirements. Thanks to improved error detection and localization in fail-safe systems using detailed diagnostic information, production can be resumed quickly after a safety-related interruption.
  • the diagnostic unit is provided with a first input channel to receive the position information and with a first output for a tested position information (P), e.g. B. a confirmation signal of the position information of the recognized person.
  • P tested position information
  • the diagnostic unit has a second output for an error signal, and the diagnostic unit is designed with a testing unit to check the output of the position information of the recognized person for plausibility using a plurality of plausibility criteria.
  • the diagnostic unit is designed for the case that at least one plausibility - activity criterion is violated, detect an error and output the error signal at the second output.
  • a third component is inserted, namely the diagnostic unit.
  • the diagnostic unit is designed to check the output of the artificial neural network (evaluation unit) for plausibility.
  • This diagnostic unit is preferably implemented using safe technology, e.g. B. with a programmable logic controller designed to be error-safe, so that it can be assumed that all errors in the diagnostic unit itself are also controlled.
  • the diagnostic unit for example: B.
  • the following plausibility checks are carried out: a) detection of people who appear or disappear in the middle of an image, b) sudden changes in position, c) speeds of people that are greater than 2m/s, d) people in areas with access restrictions (e.g. e.g. behind a fence), e) people in positions that are physically impossible (e.g. floating in the air).
  • the diagnostic unit has detected an error. She can then decide to initially tolerate this error (e.g. if a person is missing in exactly one image, but is detected again immediately afterwards in the same place), or the subsequent stored decision-making to signal a dangerous failure of recognition.
  • the detection of errors is improved in a further embodiment in that the diagnostic unit is further designed to receive and evaluate additional information and to include it in the plausibility check.
  • the monitoring system is designed with an allocation unit, which is designed to receive a control signal from the diagnostic unit in a combination of a first person detector and the second person detector, the first person detector having a first imaging sensor, preferably a first camera for recording digital image files or a first laser sensor system for recording point clouds, and is designed with a first evaluation unit, the second person detector with a second imaging sensor, preferably a second camera for recording digital image files or a second laser sensor system for recording point clouds, and is designed with a second evaluation unit, the diagnostic unit is designed to generate the control signal in such a way that an assignment from the first imaging sensor, preferably the first camera or the first laser sensor system, to the first evaluation unit or the second evaluation unit or an assignment of the second imaging sensor, preferably the second camera or the second laser sensor system, to the first evaluation unit or the second evaluation unit is specified by the control signal, and furthermore the diagnostic unit is designed to generate fourth additional information with this specification after a change in the assignment with an expectation, because the diagnostic unit is designed in such a way that
  • the diagnostic unit can e.g. B. use additional information about the number of people in the area to be monitored in order to identify an error using a plausibility check.
  • Z. B. The people at the entrance can be counted through a turnstile.
  • the diagnostic unit therefore has an expectation that is used as an additional diagnosis. For example, if there are two people in the area to be monitored, the person detector must always report exactly two people, otherwise it may... U. a dangerous failure of the function of the person detector is signaled.
  • For larger areas to be monitored e.g. an entire factory hall or a view of areas that are covered by larger objects), several people detectors must be connected together to cover the entire area.
  • a common diagnostic unit can then be used for all person detectors. In this case, this compares the total number of people identified with the known number of people. Accordingly, the diagnostic unit is designed to evaluate, as first additional information, a number of people located in the monitoring area to be monitored.
  • the monitoring system provides a further person detector, wherein the diagnostic unit is designed to use a cross-comparison between a first channel from a first person detector and a second channel from a second person detector for the position data as second additional information, the channels being designed to be diverse in relation to one another.
  • the individual channels have the highest possible degree of diversity.
  • the cameras of the individual channels view the scene from different angles, e.g. from the side (wall mounting) and from above (ceiling mounting).
  • Cameras and artificial neural network hardware from various manufacturers are used.
  • the models running on the artificial neural networks were trained and tested with different training data.
  • the object recognition models running on the artificial neural networks are different (e.g. YOLO, versus FairMOT).
  • Different measuring principles are used, e.g. RGB camera versus infrared camera, event camera versus frame camera, camera versus radar, etc.
  • the diversity allows not only random hardware errors to be detected, but also systematic errors.
  • a further degree of security can be achieved in that the diagnostic unit is now designed to generate a phantom image; the person detector has an image mixing unit which is designed to display the phantom image in the image files, whereby the phantom image is superimposed on a current camera image and thus a third additional piece of information can be evaluated.
  • the correct functioning of the evaluation unit artificial intelligence, artificial neural networks ANN hardware
  • the model configured there can be checked by feeding in so-called phantoms during operation.
  • a phantom can preferably be generated on the diagnostic unit and initially consists of a position and, if necessary, further criteria, such as type of person (e.g. male, female, diverse), clothing (lab coat, overalls), equipment carried (e.g.
  • This information is sent from the diagnostic unit to a phantom image generator, which generates a photorealistic image (2D graphics).
  • This image i.e. the phantom image
  • This image is superimposed into the actual camera image of a channel using an image mixing unit, ie the camera image is partially overlaid by the phantom image.
  • the artificial neural network associated with the channel should correctly recognize this phantom, which can now be reliably checked as additional information by the monitoring unit or diagnostic unit. If the phantom or the phantom image is not recognized, a failure of the person detector can be signaled.
  • the position of the phantom in the phantom image as well as additional criteria changes regularly (e.g. a different phantom could be used for each image or the phantom changes after a fixed time interval, e.g. every 5 seconds).
  • a different phantom could be used for each image or the phantom changes after a fixed time interval, e.g. every 5 seconds.
  • Another advantageous option would be to combine the various criteria during the term in such a way that at least all possible pairs of two criteria (e.g. type of person and clothing or clothing and equipment carried) occur at least once per unit of time. The remaining criteria are then chosen randomly.
  • the phantom image generator only generates phantoms in positions where there are no real people in order to have as little influence on the quality of recognition of the real people.
  • the allocation unit could, for example, use a round-robin method, thereby detecting possible errors that exist between the cameras and the artificial neural networks.
  • the round-trip method consists in the fact that the association between the camera and the artificial neural network is not fixed statically, but rather changes regularly at the request of the diagnostic unit. Z. B. for each image or after a predetermined time interval. With each change, the diagnostic unit has a fixed expectation from the last cycle, which was determined on the other artificial neural network. If the expectation does not match the output of the person detector, a failure can be signaled.
  • the diagnostic unit By checking the concentricity process by the diagnostic unit, further errors can be discovered. Since the diagnostic unit is implemented using safe F technology according to the IEC standard 61508, it cannot happen that the concentricity procedure freezes due to an error and is no longer effective. A further level of security can be achieved if the imaging sensor in the system, preferably the camera or the laser sensor system, is designed with an actuator and the diagnostic unit is designed to control the actuator via control commands in such a way that a section, preferably a camera section or a laser scanning area of the monitoring area changes by a predetermined area, this change being able to be evaluated as fifth additional information in the diagnostic unit.
  • a camera section can then be changed regularly using the actuator.
  • the engine could also e.g. B. change the focal length, the viewing direction or the position of the camera. The change should be small so that the camera always has the area to be monitored in the image area. If a person is standing e.g. B. in the same place, the person detector must always provide a slightly different position depending on the current camera section. This can be evaluated as the fifth additional information. In this way, e.g. B. Errors in which the camera image is frozen can be reliably detected.
  • Control over the current surveillance area or Image area is the responsibility of the diagnostic unit. This selects a viewing angle, sends the corresponding signals to the actuator, and can correct the positions provided by the person detector accordingly.
  • the monitoring system is designed with a display device in the monitoring area, the display device being arranged in such a way that the imaging sensor, preferably the camera or the laser sensor system, detects a display of the display device, the diagnostic unit is also designed to output a symbol sequence as a display on the display device, the evaluation unit being designed to recognize this symbol sequence and to communicate this to the diagnostic unit as sixth additional information.
  • the diagnostic unit can e.g. B. cause a symbol sequence to be displayed (e.g. three-digit numbers), this is displayed on the display device and can be captured by the camera and this symbol sequence must be recognized in the evaluation unit by the artificial neural network. In this way, the diagnostic unit can check whether the person detector is actually working with the real image data.
  • the diagnostic unit causes the displayed symbol sequence to change regularly. This makes it possible to check whether the person detector is working with current image information. In addition, in this way the reaction time of the person detector can be continuously checked during the running time.
  • 6 shows the monitoring system with an additional display of a symbol sequence and 7 shows a diagnostic unit with the test unit and the additional information to be evaluated.
  • a monitoring system 1 is divided into three essential components.
  • a first component El forms a first camera 3a
  • a second component E2 forms a first evaluation unit 5a
  • a third component E3 forms a diagnostic unit 6.
  • the monitoring system 1 is thus designed with a first person detector 2a.
  • the person detector 2a has the first camera 3a for recording digital image files.
  • the person detector 2a can also have a laser sensor system 4a for recording point clouds D2a.
  • the first evaluation unit 5a is designed to evaluate the image files Dia or the point clouds D2a and to output a position information P of a person M detected in a monitoring area FOV.
  • the monitoring system 1 comprising the first component El and the second component E2 is known according to the prior art.
  • the third component E3 is now added to the monitoring system 1 as a diagnostic unit 6.
  • the diagnostic unit 6 checks the outputs of the evaluation unit 5a for plausibility.
  • the evaluation unit 5a is designed as an artificial neural network ANN and this advantageously works in a stateless manner, which is used for later plausibility checks.
  • the diagnostic unit 6 has a first input channel 7a.
  • the position information P is received via the input channel 7a.
  • the diagnostic unit 6 can output a confirmation signal 9 of the position information P of the recognized person M.
  • the diagnostic unit 6 can output an error signal 11 at a second output 10 for an error signal 11.
  • the diagnostic unit 6 is designed with a testing unit 12 to check the output of the position information P of the recognized person M for plausibility using a plurality of plausibility criteria Gl, ..., Ci. Furthermore, the diagnostic unit 6 is designed with the testing unit 12 in the event that at least one plausibility test Criterion Cl, ..., Ci is violated, an error is detected and the error signal 11 is output at the second output 10.
  • the diagnostic unit 6 or The testing unit 12 is further designed to receive and evaluate additional information Z1, ..., Zi and to include it in the plausibility check.
  • a first additional piece of information Z I is supplied to the diagnostic unit 6 via a turnstile DK.
  • the DK turnstile determines the number of people in the area to be monitored. For example, if there are two people in the area to be monitored, the person detector 2a must always report exactly two people. The diagnostic unit 6 can then use this first additional information Z I to detect errors.
  • a decision-making unit 20 can be arranged downstream of the monitoring system 1.
  • the decision unit 20 receives the confirmation signal 9 and the error signal 11. If the diagnostic unit 6 has detected an error, the decision-making unit 20 can decide to initially tolerate this error, e.g. B. if a person is missing in exactly one image, but is immediately detected again in the same place in the next image. Otherwise, the downstream decision unit 20 can also signal a dangerous failure of the person detector.
  • FIG. 2 shows the possibility of using a second additional information Z2 via a cross comparison between a first channel Kl from a first person detector 2a and a second channel 2 from a second person detector 2a for the position data P.
  • the first channel K1 and the second channel K2 are designed to be diverse in relation to one another.
  • a cross-comparison means KV constantly compares the first position data Pa and the second position data Pb and generates the second additional information Z2 from this. Random hardware errors in the individual components E1, E2 could then be uncovered.
  • FIG. 3 shows the possibility of generating third additional information Z3 by forming phantom images G1, G2.
  • the person detector 2a has an image mixing unit 30, which is designed to display the phantom image G1, G2 in the image files Dia, whereby a current camera image is superimposed by the phantom image G1, G2 and thus a third additional information Z3 can be evaluated in the diagnostic unit 6.
  • the diagnostic unit 6 has a phantom image generator PBG.
  • the phantom image generator PBG generates, for example, a first phantom image G1 and a second phantom image G2.
  • the phantom images G1, G2 are processed via a display unit 31 in such a way that they can be processed accordingly in the image mixing unit 30.
  • the assignment unit 40 is designed to receive a control signal C from the diagnostic unit 6 in a network 41 of the first person detector 2a and the second person detector 2b, the first person detector 2a having a first camera 3a for recording digital image files and having a first evaluation unit 5a is designed.
  • the second person detector 2b is designed with a second camera 3b and a second evaluation unit 5b.
  • the diagnostic unit 6 is designed to generate the control signal C in such a way that an assignment ASM from the first camera 3 to the first evaluation unit 5a or to the second evaluation unit 5b is given.
  • the assignment ASM can further include that the second camera 3b is assigned to the first evaluation unit 5a.
  • the assignment ASM is therefore specified by the control signal C, which is generated in the diagnostic unit 6.
  • the diagnostic unit 6 is designed to generate fourth additional information Z4 with this specification by changing the assignment ASM with an expectation.
  • the diagnostic unit 6 is designed in such a way that it generates an expectation from the ASM after each change in the assignment can compare recognized position inputs P from the previous assignment ASM with the recognized position inputs P from the currently existing assignment ASM. If the expectations do not match, error signal 11 is output.
  • FIG. 5 shows a further measure to improve error detection.
  • the monitoring system 1 now has an actuator Ml, which is designed to act on the camera 3a in such a way that a camera section 52 or a laser scanning area 53 of the monitoring area FOV changes by a predetermined area.
  • Z. B. A first monitoring area F0V1 and a second monitoring area F0V2 can span.
  • the diagnostic unit 6 is designed to control the actuator Ml via control commands 50 in such a way that the camera section changes by a predetermined range, this change being able to be evaluated as fifth additional information Z5 in the diagnostic unit 6.
  • FIG. 6 Another measure is shown in FIG. 6.
  • a display device 60 is arranged in the monitoring area FOV in such a way that the camera 3a captures a display 61 of the display device 60.
  • the diagnostic unit 60 is further designed to output a symbol sequence 62 as a display 61 on the display device 60 .
  • the evaluation unit 5 is designed to recognize this symbol sequence 62 “735” and to communicate this to the diagnostic unit 6 as sixth additional information Z 6.
  • a diagnostic unit 6 can be shown in FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Überwachungssystem (1) mit einem Personendetektor (2a), welcher ausgestaltet ist - mit einem bildgebenden Sensor zur Aufnahme von digitalen Bilddateien (D1a) oder von Punktewolken (D2a) und - mit einer Auswerteeinheit (5a), welche ausgestaltet ist die Bilddateien (D1a) oder die Punktewolken (D2a) auszuwerten und eine Positionsangabe (P) einer in einem Überwachungsbereich (FOV) erkannten Person (M) auszugeben, wobei - eine Diagnoseeinheit (6) mit einem ersten Eingangskanal (7a) um die Positionsangabe (P) zu empfangen und einem ersten Ausgang (8) für eine geprüfte Positionsangabe (P) der erkannten Person (M) und einem zweiten Ausgang (10) für ein Fehlersignal (11), wobei die Diagnoseeinheit (6) ausgestaltet ist mit einer Prüfeinheit (12) die Ausgabe der Positionsangabe (P) der erkannten Person (M) mit einer Mehrzahl an Plausibilitätskriterien (C1,…,Ci) auf Plausibilität zu überprüfen, weiterhin ausgestaltet für den Fall, dass wenn mindestens ein Plausibilitätskriterium (C1,…,Ci) verletzt ist einen Fehler zu erkennen und das Fehlersignal (11) am zweiten Ausgang (10) auszugeben.

Description

Beschreibung
Überwachungssystem mit einem Personendetektor
Die Erfindung betri f ft ein Überwachungssystem mit einem Personendetektor, welcher ausgestaltet ist mit einem bildgebenden Sensor, vorzugsweise mit einer Kamera zur Aufnahme von digitalen Bilddateien oder einem Laser-Sensorsystem oder mit einer TOF-Kamera ( Time of Flight ) zur Aufnahme von Punktewolken und mit einer Auswerteeinheit , welche ausgestaltet ist die Bilddateien oder die Punktewolken aus zuwerten und eine Positionsangabe einer in einem Überwachungsbereich erkannten Person aus zugeben .
Aus der Literatur sind verschiedene Verfahren und Vorrichtungen zur Erkennung und Lokalisierung von Personen bekannt , unter anderem unter Verwendung von Kameras , deren Videostrom Bild für Bild von einem künstlichen Neuronalen Netzwerk analysiert wird . Das Neuronale Netz kann Positionen und eine Ausdehnung ( Länge , Höhe ) der erkannten Personen in einem 2D- Bild liefern . Aus dieser Position kann dann eine tatsächliche Position der Person ermittelt werden .
Ein Einsatz z . B . von Industrierobotern ohne eine trennende Schutzeinrichtung in der Nähe des Menschen, erfordert eine geeignete sensorische Umgebungserfassung, um Personen sowie andere Obj ekte sicher detektieren und damit in einem drohenden Kollisions fall angepasst reagieren zu können .
In der Dissertation von Christina Ramer „Arbeitsraumüberwachung und autonome Bahnplanung für ein sicheres und flexibleres Roboter-Assistenz-System in der Fertigung" werden verschiedene Verfahren zur Personenerkennung mit der Auswertung von Kamerabildern mittels Neuronaler Netze beschrieben .
Die EP 3 709 106 Al of fenbart ein Sicherheitssystem und ein Verfahren zum Absichern einer Maschine mit einem ersten Sensor und einem zweiten Sensor . Die DE 10 2020 133 784 B4 zeigt ein Verfahren mit einem Sicherheitssystem und ein Sicherheitssystem zur Lokalisierung von mindestens einem Obj ekt , mit mindestens einer Steuer- und Auswerteeinheit und einem Funkortungssystem .
Die EP 2 825 812 Bl beschreibt eine Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine , mit zumindest einer Sensoreinheit , die in definierten Zeitintervallen j eweils ein aktuelles 3D Bild von dem Arbeitsbereich liefert , und einen definierten Schutzbereich überwacht .
In der EP 3 588 365 Al wird eine sichere mehrkanalige Auswertung dadurch verbessert , dass für eine Überprüfung der Integrität der Verarbeitungskanäle nicht die gesamten Daten der Verarbeitungsergebnisse verglichen werden müssen, sondern wenige Kennwerte genügen, welche die Information repräsentieren .
Die EP 1 964 063 Bl zeigt ein Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichs , insbesondere zum fehlersicheren Überwachen des Arbeitsbereichs einer automatisiert arbeitenden Maschine oder Anlage .
Im Sinne der Erfindung wird unter fehlersicherer Automatisierungssysteme ein Industriecontroller verstanden, welcher nach der Norm IEC62061 zerti fi ziert ist und damit als eine auf funktionale Sicherheit ausgelegte Steuerung ausgestaltet ist .
Fehlersichere Automatisierungssysteme steuern Prozesse , die als Ergebnis von unerwartetem Betriebsverhalten oder eines Aus falls sofort einen sicheren Zustand einnehmen können . Dies sind fehlersichere Steuerungsprozesse , bei denen ein sofortiges Herunterfahren in einen sicheren Zustand keine Gefahr für Menschen oder die Umwelt darstellt . Fehlersichere Systeme gehen über das herkömmliche Sicherheits-Engineering hinaus und aktivieren weitreichende intelligente Systeme , die bis zu den elektrischen Antrieben und Messsystemen reichen . Der Anwender setzt fehlersichere Systeme in Anwendungen mit erhöhten Si- cherheitsanf orderungen ein . Dank der verbesserten Fehlererkennung und -lokalisierung in fehlersicheren Systemen mittels detaillierter Diagnoseinformationen kann die Produktion nach einer sicherheitsbezogenen Unterbrechung schnell wieder aufgenommen werden .
Die nach dem Stand der Technik bekannten Personendetektoren erreichen heute bereits eine sehr hohe Qualität . Allerdings werden Anforderungen, die sich aus dem Kontext der „funktionalen Sicherheit" ergeben, nicht erfüllt . Zu diesen Anforderungen zählt eine sichere Diagnose , die alle denkbaren Fehler in einem Uberwachungssystem und deren Subsystemen, wie z . B . Kameras , Laserscanner, künstliche Neuronale Netzwerke , Kommunikationsstrecken, usw . aufdeckt .
Es ist daher eine Aufgabe der Erfindung ein Uberwachungssystem bereitzustellen, welches es ermöglicht , das Auftreten von Fehlern in z . B . Kamera-basierten Personendetektoren sicher zu erkennen .
Die Aufgabe wird für das eingangs genannte Uberwachungssystem durch die Merkmale des Anspruchs 1 gelöst . Die Diagnoseeinheit ist mit einem ersten Eingangskanal um die Positionsangabe zu empfangen und mit einem ersten Ausgang für eine geprüfte Positionsangabe ( P ) , z . B . ein Bestätigungssignal der Positionsangabe , der erkannten Person ausgestaltet . Die Diagnoseeinheit weist einen zweiten Ausgang für ein Fehlersignal auf , und die Diagnoseeinheit ist ausgestaltet mit einer Prüfeinheit die Ausgabe der Positionsangabe der erkannten Person mit einer Mehrzahl an Plausibilitätskriterien auf Plausibilität zu überprüfen, weiterhin ist die Diagnoseeinheit ausgestaltet für den Fall , dass wenn mindestens ein Plausibili- tätskriterium verletzt ist , einen Fehler zu erkennen und das Fehlersignal an dem zweiten Ausgang aus zugeben . Um das Auftreten von Fehlern in einem Kamera-basierten Personendetektor sicher zu erkennen, wird zusätzlich zu der ersten Komponente des Personendetektors , nämlich der Kamera und der zweiten Komponente , nämlich der Auswerteeinheit , vorzugsweise ausgebildet als ein künstliches neuronales Netz , eine dritte Komponente eingefügt , nämlich die Diagnoseeinheit . Die Diagnoseeinheit ist dazu ausgestaltet die Ausgaben des künstlichen neuronalen Netzes (Auswerteeinheit ) auf Plausibilität zu überprüfen . Vorzugsweise ist diese Diagnoseeinheit in sicherer Technik realisiert , z . B . mit einer auf Fehlersicherheit ausgestalteten speicherprogrammierbaren F-Steuerung, so das angenommen werden kann, dass sämtliche Fehler der Diagnoseeinheit selbst ebenfalls beherrscht werden .
Auf der Diagnoseeinheit können z . B . folgende Plausibilitätsprüfungen durchgeführt werden : a) Erkennen von Personen, die in der Mitte eines Bildes erscheinen oder verschwinden, b) sprunghafte Positionsänderungen, c) Geschwindigkeiten von Personen, die größer sind als 2m/ s , d) Personen in Bereichen mit Zutrittsbeschränkungen ( z . B . hinter einem Zaun) , e ) Personen an Positionen, die physikalisch unmöglich sind ( z . B . in der Luft schwebend) .
Diese Prüfungen machen es sich zu Nutze , dass das künstliche neuronale Netz zustandslos arbeitet und Bild für Bild getrennt analysiert wird . Daher können Fehler im künstlichen neuronalen Netz oder in der Kamera in vielen Fällen daran erkannt werden, dass das gelieferte Ergebnis in der Sequenz inkonsistent wird .
Schlägt mindestens eine der Plausibilitätsprüfungen fehl , hat die Diagnoseeinheit einen Fehler erkannt . Sie kann dann entscheiden, diesen Fehler zunächst zu tolerieren ( z . B . wenn eine Person in genau einem Bild fehlt , aber unmittelbar darauf an derselben Stellen wieder detektiert wird) , oder der nach- gelagerten Entscheidungs findung einen gefährlichen Aus fall des Erkennens zu signalisieren .
Das Erkennen von Fehlern wird in einer weiteren Ausgestaltung dadurch verbessert , dass die Diagnoseeinheit weiterhin ausgestaltet ist , Zusatzinformationen entgegenzunehmen und aus zuwerten und in die Plausibilitätsprüfung mit einzubeziehen .
Erfindungsgemäß ist das Überwachungssystem mit einer Zuweisungseinheit ausgestaltet , welche ausgestaltet ist in einem Verbund von einem ersten Personendetektor und dem zweiten Personendetektor ein Kontrollsignal von der Diagnoseeinheit entgegenzunehmen, wobei der erste Personendetektor mit einem ersten bildgebenden Sensor, vorzugsweise einer ersten Kamera zur Aufnahme von digitalen Bilddateien oder einem ersten Laser-Sensorsystem zur Aufnahme von Punktewolken, und mit einer ersten Auswerteeinheit ausgestaltet ist , der zweite Personendetektor mit einem zweiten bildgebenden Sensor, vorzugsweise einer zweiten Kamera zur Aufnahme von digitalen Bilddateien oder einem zweiten Laser-Sensor-System zur Aufnahme von Punktewolken, und mit einer zweiten Auswerteeinheit ausgestaltet ist , die Diagnoseeinheit ist dabei ausgestaltet das Kontrollsignal derart zu generieren, dass eine Zuordnung von dem ersten bildgebenden Sensor, vorzugsweise der ersten Kamera bzw . dem ersten Laser-Sensor-System, zu der ersten Auswerteeinheit oder der zweiten Auswerteeinheit oder eine Zuordnung von dem zweiten bildgebenden Sensor, vorzugsweise der zweiten Kamera bzw . dem zweiten Laser-Sensor-System, zu der ersten Auswerteeinheit oder der zweiten Auswerteeinheit von dem Kontrollsignal vorgegeben ist , und weiterhin ist die Diagnoseeinheit ausgestaltet , mit dieser Vorgabe nach einer Änderung der Zuordnung mit einer Erwartungshaltung eine vierte Zusatzinformation zu generieren, denn die Diagnoseeinheit ist derart ausgestaltet , dass nach j edem Wechsel der Zuordnung eine Erwartungshaltung aus den erkannten Positionsangaben aus der vorangegangenen Zuordnung mit den erkannten Positionsangaben aus der gerade bestehenden Zuordnung verglichen wird, stimmt die Erwartungshaltung nicht überein, wird das Fehlersignal ausgegeben .
So kann die Diagnoseeinheit z . B . zusätzliche Informationen über die Anzahl der sich im zu überwachenden Bereich befindenden Personen dazu heranziehen, um mit einer Plausibilitätsprüfung eventuell einen Fehler zu erkennen . Z . B . können die Personen am Eingang durch ein Drehkreuz gezählt werden . Die Diagnoseeinheit verfügt somit über eine Erwartungshaltung die als zusätzliche Diagnose verwendet wird . Befinden sich beispielsweise zwei Personen im zu überwachenden Bereich, muss der Personendetektor auch immer genau zwei Personen melden, andernfalls wird u . U . ein gefährlicher Aus fall der Funktion des Personendetektors signalisiert . Bei größeren zu überwachenden Bereichen ( z . B . eine gesamte Fabrikhalle oder ein Blick auf Bereiche die von größeren Obj ekten verdeckt sind) müssen mehrere Personendetektoren zusammengeschaltet werden, die insgesamt den gesamten Bereich abdecken . Für sämtliche Personendetektoren kann dann eine gemeinsame Diagnoseeinheit verwendet werden . Diese vergleicht in diesem Fall die Zahl der insgesamt erkannten Personen mit der bekannten Personenzahl . Demnach ist die Diagnoseeinheit dazu ausgestaltet , als eine erste Zusatzinformation eine Anzahl der sich im zu überwachenden Überwachungsbereich befindenden Personen aus zuwerten .
Das Überwachungssystems sieht einen weiteren Personendetektor vor, wobei die Diagnoseeinheit ausgestaltet ist , als eine zweite Zusatzinformation einen Kreuzvergleich zwischen einem ersten Kanal von einem ersten Personendetektor und einem zweiten Kanal von einem zweiten Personendetektor für die Positionsdaten heranzuziehen, wobei die Kanäle diversitär zueinander ausgestaltet sind .
Mit dieser technischen Lösung können zufällige Hardwarefehler in einzelnen Komponenten ( z . B . Kameras , oder Kl-Hardware ) durch die Verwendung mehrerer Erkennungskanäle und eines Kreuzvergleich in der Diagnoseeinheit erkannt werden . Der Kreuzvergleich prüft, ob die zusammengehörigen Kanäle dieselbe Anzahl von Personen an denselben Positionen liefern. Andernfalls wird der Ausfall eines Personendetektors signalisiert .
Vorteilhafterweise verfügen die einzelnen Kanäle über einen möglichst hohen Grad an Diversität. Z.B. a) Die Kameras der einzelnen Kanäle betrachten die Szene aus unterschiedlichen Blickwinkeln, z.B. von der Seite (Wandmontage) und von oben (Deckenmontage) . b) Es werden Kameras und künstliche neuronale Netzwerkhardware verschiedener Hersteller verwendet. c) Die auf den künstlichen neuronalen Netzen laufenden Modelle wurden mit unterschiedlichen Trainingsdaten trainiert und getestet. d) Die auf den künstlichen neuronalen Netzwerken laufenden Modelle zur Objekterkennung sind unterschiedlich (z.B. YOLO, versus FairMOT) . e) Es werden unterschiedliche Messprinzipien eingesetzt, z.B. RGB-Kamera versus Inf rarotkamera, Eventkamera versus Framekamera, Kamera versus Radar etc..
Durch die Diversität lassen sich nicht nur zufällige Hardwarefehler, sondern auch systematische Fehler erkennen.
Noch einen weiteren Grad an Sicherheit erreicht man dadurch, dass die Diagnoseeinheit nun ausgestaltet ist, ein Phantombild zu generieren, dabei weist der Personendetektor eine Bildmischeinheit auf, welche ausgestaltet ist, das Phantombild in die Bilddateien einzublenden, wodurch ein aktuelles Kamerabild durch das Phantombild überlagert wird und damit eine dritte Zusatzinformation auswertbar ist. Für jeden einzelnen Kanal lässt sich die korrekte Funktionsweise der Auswerteeinheit (künstliche Intelligenz, künstliche neuronale Netzwerke KNN-Hardware ) sowie des dort konfigurierten Modells durch das Einspeisen von sogenannten Phantomen im laufenden Betrieb prüfen. Ein Phantom kann vorzugsweise auf der Diagnoseeinheit generiert werden und besteht zunächst aus einer Position und gegebenenfalls weiteren Kriterien, wie Personentyp (z.B. männlich, weiblich, divers) , Kleidung (Laborkittel, Overall) , mitgeführter Ausrüstung (z.B. Schutzhelm, Handwagen) ausgeführte Tätigkeit (z.B. Gehen, Stehen, Knien) . Diese Informationen werden von der Diagnoseeinheit an einen Phantombildgenerator gesendet, der daraus ein fotorealistisches Abbild (2D-Grafik) generiert. Dieses Abbild, also das Phantombild, wird mit Hilfe einer Bildmischeinheit in das tatsächliche Kamerabild eines Kanals eingeblendet, d.h., das Kamerabild wird durch das Phantombild teilweise überlagert. Das dem Kanal zugehörige künstliche neuronale Netzwerk sollte dieses Phantom korrekt erkennen, was von der Überwachungsein- heit bzw. der Diagnoseeinheit nun als Zusatzinformation sicher überprüft werden kann. Sollte das Phantom bzw. das Phantombild nicht erkannt werden, kann wiederum ein Ausfall des Personendetektors signalisiert werden.
Vorteilhafterweise ändert sich die Position des Phantoms in dem Phantombild sowie zusätzliche Kriterien regelmäßig (z.B. könnte für jedes Bild ein unterschiedliches Phantom verwendet werden oder das Phantom ändert sich nach einen festen Zeitintervall, z.B. alle 5 Sekunden) . Dadurch wird erreicht, dass unterschiedliche Aspekte des Erkennens des Personendetektors regelmäßig geprüft werden (z.B. wird mindestens einmal pro Stunde geprüft, ob der Personendetektor eine männliche Person im Overall erkennt, die einen Helm trägt und Arbeiten am Boden ausführt) .
Auch wäre es möglich, in einer weiteren vorteilhaften Ausbildung die verschiedenen Kriterien während der Laufzeit zufällig miteinander zu kombinieren. Dies ist insbesondere dann sinnvoll, wenn die Anzahl der möglichen Kombinationen so groß ist , dass eine systematische Generierung aller Kombinationen nicht mehr möglich ist .
Eine weitere vorteilhafte Ausprägung wäre es , die verschiedenen Kriterien während der Lauf zeit so zu kombinieren, dass zumindest alle möglichen Paare von zwei Kriterien ( z . B . Personentyp und Kleidung oder Kleidung und mitgeführte Ausrüstung) pro Zeiteinheit mindestens einmal vorkommen . Die übrigen Kriterien werden dann wiederum zufällig gewählt .
Eine weitere Möglichkeit wäre es , dass die Diagnoseeinheit bzw . der Phantombildgenerator nur Phantome an Positionen generiert , an denen sich keine echten Personen befinden, um die Erkennungsqualität der echten Personen möglichst wenig zu beeinflussen .
Die Zuweisungseinheit könnte beispielsweise ein Rundlauf- Verfahren (Round-Robin) verwenden, dabei können mögliche Fehler, welche zwischen den Kameras und den künstlichen neuronalen Netzwerken bestehen, aufgedeckt werden . Das Rundlauf- Verfahren besteht darin, dass die Zuordnung zwischen Kamera und künstlichen neuronalem Netzwerk nicht statisch festgelegt wird, sondern sich auf Anforderung der Diagnoseeinheit regelmäßig ändert . Z . B . für j edes Bild oder nach einen zuvor festgelegten Zeitintervall . Bei j edem Wechsel hat die Diagnoseeinheit eine feste Erwartungshaltung aus dem letzten Zyklus , der auf dem j eweils anderen künstlichen neuronalen Netzwerk ermittelt wurde . Stimmt die Erwartung nicht mit der Ausgabe des Personendetektors überein, kann ein Aus fall signalisiert werden .
Durch die Kontrolle des Rundlauf-Verfahrens durch die Diagnoseeinheit können so weitere Fehler aufgedeckt werden . Da die Diagnoseeinheit wiederum in sicherer F-Technik nach der IEC- Norm 61508 realisiert ist , kann es deshalb nicht vorkommen, dass das Rundlaufverfahren durch einen Fehler einfriert und nicht mehr wirksam ist . Ein weiteres Maß an Sicherheit erreicht man, wenn in dem System der bildgebende Sensor, vorzugsweise die Kamera oder das Laser-Sensor-System, mit einem Aktor ausgestaltet ist und die Diagnoseeinheit ausgestaltet ist , über Steuerbefehle den Aktor derart anzusteuern, dass sich ein Ausschnitt , vorzugsweise ein Kameraausschnitt oder ein Laser-Scanbereich des Über- wachungsbereichs , um einen vorgegebenen Bereich ändert , wobei diese Änderung als eine fünfte Zusatzinformation in der Diagnoseeinheit auswertbar ist .
Mit dem Aktor kann dann ein Kameraausschnitt regelmäßig geändert werden . Der Motor könnte auch z . B . die Brennweite , die Blickrichtung oder die Position der Kamera verändern . Die Veränderung sollte gering sein, so dass die Kamera in allen Fällen den zu überwachenden Bereich immer im Bildbereich hat . Steht eine Person z . B . an derselben Stelle , muss der Personendetektor in Abhängigkeit zum aktuellen Kameraausschnitt dennoch stets eine leicht unterschiedliche Position liefern . Dies kann als die fünfte Zusatzinformation ausgewertet werden . Auf diese Weise können z . B . Fehler, bei denen das Kamerabild eingefroren ist , sicher erkannt werden .
Die Kontrolle über den aktuellen Überwachungsbereich bzw . Bildbereich liegt in der Verantwortung der Diagnoseeinheit . Dieser wählt einen Blickwinkel aus , sendet die entsprechenden Signale an den Aktor, und kann die vom Personendetektor gelieferte Positionen entsprechend korrigieren .
Um eine Rechtzeitigkeit des Uberwachungssystems zu überprüfen ist das Uberwachungssystem mit einem Anzeigegerät im Überwachungsbereich ausgestaltet , wobei das Anzeigegerät derart angeordnet ist , dass der bildgebende Sensor, vorzugsweise die Kamera oder das Laser-Sensor-System, eine Anzeige des Anzeigegerätes erfasst , die Diagnoseeinheit ist weiterhin dazu ausgestaltet auf dem Anzeigegerät eine Symbolsequenz als Anzeige aus zugeben, wobei die Auswerteeinheit ausgestaltet ist , diese Symbolsequenz zu erkennen und dies als sechste Zusatzinformation der Diagnoseeinheit mitzuteilen . Die Diagnoseeinheit kann z . B . eine Anzeige einer Symbolsequenz ( z . B . dreistellige Zahlen) veranlassen, dieses wird auf dem Anzeigegerät zur Anzeige gebracht und kann von der Kamera erfasst werden und in der Auswerteeinheit durch das künstliche neuronale Netzwerk muss diese Symbolsequenz erkannt werden . Auf diese Weise kann die Diagnoseeinheit überprüfen, ob der Personendetektor tatsächlich mit den realen Bilddaten arbeitet .
In einer weiteren vorteilhaften Ausprägung veranlasst die Diagnoseeinheit eine regelmäßige Änderung der angezeigten Symbolsequenz . Dadurch kann überprüft werden, ob der Personendetektor mit aktuellen Bildinformationen arbeitet . Außerdem kann auf diese Weise die Reaktions zeit des Personendetektors zur Lauf zeit kontinuierlich überprüft werden .
Die Zeichnung zeigt mehrere Aus führungsbeispiele und Ausgestaltungen der Erfindung . Dabei zeigt die
FIG 1 ein Überwachungssystem mit den wesentlichen drei Komponenten,
FIG 2 das Überwachungssystem in einer zweikanaligen Ausgestaltung mit einem Kreuzvergleich,
FIG 3 das Überwachungssystem mit einer Möglichkeit Phantombildern einzuspeisen,
FIG 4 das Überwachungssystem mit dem Einsatz eines Round- Robin-Ver fahrens ,
FIG 5 das Überwachungssystem mit der Möglichkeit über einen Motor eine Kameraeinstellung zu verändern,
FIG 6 das Überwachungssystem mit einem zusätzlichen Einblenden einer Symbolsequenz und FIG 7 eine Diagnoseeinheit mit der Prüfeinheit und den auszuwertenden Zusatzinformationen .
Gemäß FIG 1 ist ein Überwachungssystem 1 in drei wesentlichen Komponenten unterteilt . Eine erste Komponente El bildet eine erste Kamera 3a, eine zweite Komponente E2 bildet eine erste Auswerteeinheit 5a und eine dritte Komponente E3 bildet eine Diagnoseeinheit 6 . Das Überwachungssystem 1 ist damit mit einem ersten Personendetektor 2a ausgestaltet . Der Personendetektor 2a weist die erste Kamera 3a zur Aufnahme von digitalen Bilddateien Dia auf . Optional kann der Personendetektor 2a auch ein Laser-Sensor-System 4a zur Aufnahme von Punktewolken D2a aufweisen . Die erste Auswerteeinheit 5a ist ausgestaltet , die Bilddateien Dia oder die Punktewolken D2a aus zuwerten und eine Positionsangabe P einer in einem Überwa- chungsbereich FOV erkannten Person M aus zugeben .
Das Überwachungssystem 1 umfassend die erste Komponente El und die zweite Komponente E2 ist gemäß dem Stand der Technik bekannt . Erfindungsgemäß wird dem Überwachungssystem 1 nun die dritte Komponente E3 als Diagnoseeinheit 6 hinzugefügt . Die Diagnoseeinheit 6 prüft die Ausgaben der Auswerteeinheit 5a auf Plausibilität . Die Auswerteeinheit 5a ist als ein künstliches neuronales Netzwerk KNN ausgestaltet und dieses arbeitet vorteilhafterweise zustandslos , welches den späteren Plausibilitätsprüfungen zu Nutze kommt . Um die Daten entgegenzunehmen, weist die Diagnoseeinheit 6 einen ersten Eingangskanal 7a auf . Über den Eingangskanal 7a wird die Positionsangabe P empfangen . An einem ersten Ausgang 8 kann die Diagnoseeinheit 6 ein Bestätigungssignal 9 der Positionsangabe P der erkannten Person M ausgeben . An einem zweiten Ausgang 10 für ein Fehlersignal 11 kann die Diagnoseeinheit 6 ein Fehlersignal 11 ausgeben . Die Diagnoseeinheit 6 ist ausgestaltet mit einer Prüfeinheit 12 die Ausgabe der Positionsangabe P der erkannten Person M mit einer Mehrzahl an Plausibi- litätskriterien Gl , ..., Ci auf Plausibilität zu überprüfen . Weiterhin ist die Diagnoseeinheit 6 mit der Prüfeinheit 12 ausgestaltet , für den Fall , dass mindestens ein Plausibilitäts- kriterium Cl , ..., Ci verletzt ist , einen Fehler zu erkennen und das Fehlersignal 11 am zweiten Ausgang 10 aus zugeben .
Die Diagnoseeinheit 6 bzw . die Prüfeinheit 12 ist weiterhin ausgestaltet , Zusatzinformationen Z l , ..., Zi entgegenzunehmen und aus zuwerten und in die Plausibilitätsprüfung mit einzubeziehen . Eine erste Zusatzinformation Z I wird über ein Drehkreuz DK der Diagnoseeinheit 6 zugeführt . Das Drehkreuz DK ermittelt die Anzahl der sich ihm zu überwachenden Bereich befindenden Personen . Befinden sich beispielsweise zwei Personen im zu überwachenden Bereich, muss der Personendetektor 2a auch immer genau zwei Personen melden . Mit dieser ersten Zusatzinformation Z I kann dann die Diagnoseeinheit 6 Fehler f eststellen .
Zur besseren Entscheidungs findung kann dem Überwachungssystem 1 noch eine Entscheidungseinheit 20 nachgeordnet sein . Die Entscheidungseinheit 20 nimmt das Bestätigungssignal 9 und das Fehlersignal 11 entgegen . Hat die Diagnoseeinheit 6 einen Fehler erkannt , so kann die Entscheidungseinheit 20 entscheiden, diesen Fehler zunächst zu tolerieren, z . B . wenn eine Person in genau einem Bild fehlt , aber unmittelbar in dem nächsten Bild an derselben Stelle wieder detektiert wird . Andernfalls kann die nachgelagerte Entscheidungseinheit 20 auch einen gefährlichen Aus fall des Personendetektors signalisieren .
Mit der FIG 2 wird die Möglichkeit aufgezeigt eine zweite Zu- sat zinf ormation Z2 über einen Kreuzvergleich zwischen einem ersten Kanal Kl von einem ersten Personendetektor 2a und einem zweiten Kanal 2 von einem zweiten Personendetektor 2a für die Positionsdaten P heranzuziehen . Der erste Kanal Kl und der zweite Kanal K2 sind diversitär zueinander ausgestaltet . Ein Kreuzvergleichsmittel KV vergleicht ständig die ersten Positionsdaten Pa und die zweiten Positionsdaten Pb und generiert daraus die zweite Zusatzinformation Z2 . Zufällige Hardwarefehler in den einzelnen Komponenten E1 , E2 könnten dann auf gedeckt werden . Die FIG 3 zeigt die Möglichkeit auf , eine dritte Zusatzinformation Z3 durch die Bildung von Phantombildern G1 , G2 zu generieren . Der Personendetektor 2a weist dazu eine Bildmischeinheit 30 auf , welche ausgestaltet ist das Phantombild G1 , G2 in die Bilddateien Dia einzublenden, wodurch ein aktuelles Kamerabild durch das Phantombild G1 , G2 überlagert wird und damit eine dritte Zusatzinformation Z3 in der Diagnoseeinheit 6 auswertbar ist . Die Diagnoseeinheit 6 weist dazu einen Phantombildgenerator PBG auf . Der Phantombildgenerator PBG generiert beispielsweise ein erstes Phantombild Gl und ein zweites Phantombild G2 . Die Phantombilder G1 , G2 werden über eine Wiedergabeeinheit 31 derart aufbereitet , dass sie in der Bildmischeinheit 30 entsprechend verarbeitet werden können .
Eine weitere Möglichkeit das Erkennen von Fehlern zu verbessern zeigt die FIG 4 . Das Überwachungssystem 1 gemäß FIG 2 mit einem ersten Kanal Kl und einem zweiten Kanal K2 weist nun eine Zuweisungseinheit 40 auf . Die Zuweisungseinheit 40 ist ausgestaltet , in einem Verbund 41 von dem ersten Personendetektor 2a und dem zweiten Personendetektor 2b ein Kontrollsignal C von der Diagnoseeinheit 6 entgegenzunehmen, wobei der erste Personendetektor 2a mit einer ersten Kamera 3a zur Aufnahme von digitalen Bilddateien Dia und mit einer ersten Auswerteeinheit 5a ausgestaltet ist . Der zweite Personendetektor 2b ist mit einer zweiten Kamera 3b und einer zweiten Auswerteeinheit 5b ausgestaltet . Die Diagnoseeinheit 6 ist dabei ausgestaltet das Kontrollsignal C derart zu generieren, dass eine Zuordnung ASM von der ersten Kamera 3 zu der ersten Auswerteeinheit 5a oder zu der zweiten Auswerteeinheit 5b gegeben ist . Die Zuordnung ASM kann weiter beinhalten, dass die zweite Kamera 3b der ersten Auswerteeinheit 5a zugeordnet ist . Die Zuordnung ASM wird also von dem Kontrollsignal C, welches in der Diagnoseeinheit 6 generiert wird, vorgegeben . Die Diagnoseeinheit 6 ist dazu ausgestaltet mit dieser Vorgabe mit einer Änderung der Zuordnung ASM mit einer Erwartungshaltung eine vierte Zusatzinformation Z4 zu generieren . Die Diagnoseeinheit 6 ist derart ausgestaltet , dass sie nach j edem Wechsel der Zuordnung ASM eine Erwartungshaltung aus den erkannten Positionseingaben P aus der vorangegangenen Zuordnung ASM mit den erkannten Positionseingaben P aus der gerade bestehenden Zuordnung ASM vergleichen kann . Stimmt die Erwartungshaltung nicht überein wird das Fehlersignal 11 ausgegeben .
Die FIG 5 zeigt eine weitere Maßnahme , um die Fehlererkennung zu verbessern . Das Überwachungssystem 1 weist nun einen Aktor Ml auf , welcher ausgestaltet ist auf die Kamera 3a derart einzuwirken, dass sich ein Kameraausschnitt 52 oder ein Laserscanbereich 53 des Überwachungsbereiches FOV um einen vorgegebenen Bereich ändert . Z . B . kann sich ein erster Überwa- chungsbereich F0V1 und ein zweiter Überwachungsbereich F0V2 aufspannen . Die Diagnoseeinheit 6 ist ausgestaltet , über Steuerbefehle 50 den Aktor Ml derart anzusteuern, dass sich der Kameraausschnitt um einen vorgegebenen Bereich ändert , wobei diese Änderung als eine fünfte Zusatzinformation Z5 in der Diagnoseeinheit 6 auswertbar ist .
Eine weitere Maßnahme wird mit FIG 6 dargestellt . In dem Überwachungsbereich FOV wird ein Anzeigegerät 60 derart angeordnet , dass die Kamera 3a eine Anzeige 61 des Anzeigegeräts 60 erfasst . Die Diagnoseeinheit 60 ist weiterhin dazu ausgestaltet , auf dem Anzeigegerät 60 eine Symbolsequenz 62 als Anzeige 61 aus zugeben . Die Auswerteeinheit 5 ist ausgestaltet , diese Symbolsequenz 62 „735" zu erkennen und dies als sechste Zusatzinformation Z 6 der Diagnoseeinheit 6 mitzuteilen .
Zusammenfassend kann in der FIG 7 eine Diagnoseeinheit 6 gezeigt werden, welche durch die Prüfeinheit 12 alle Plausibi- litätsprüfungen Cl , ..., Cn und alle Zusatzinformationen Z 1 , ..., Z 6 auswertet .

Claims

Patentansprüche
1. Überwachungssystem (1) mit einem ersten Personendetektor (2a) , welcher ausgestaltet ist mit einem bildgebenden Sensor zur Aufnahme von digitalen Bilddateien (Dia) oder von Punktewolken (D2a) und mit einer Auswerteeinheit (5a) , welche ausgestaltet ist die Bilddateien (Dia) oder die Punktewolken (D2a) auszuwerten und eine Positionsangabe (P) einer in einem Überwachungsbereich (FOV) erkannten Person (M) auszugeben, weiterhin mit einer Diagnoseeinheit (6) mit einem ersten Eingangskanal (7a) um die Positionsangabe (P) zu empfangen und einem ersten Ausgang (8) für eine geprüfte Positionsangabe (P) der erkannten Person (M) und einem zweiten Ausgang (10) für ein Fehlersignal (11) , wobei die Diagnoseeinheit (6) ausgestaltet ist mit einer Prüfeinheit (12) die Ausgabe der Positionsangabe (P) der erkannten Person (M) mit einer Mehrzahl an Plausibilitätskriterien (CI,..., Ci) auf Plausibilität zu überprüfen, weiterhin ausgestaltet für den Fall, dass wenn mindestens ein Plausibilitätskriterium (CI,..., Ci) verletzt ist einen Fehler zu erkennen und das Fehlersignal (11) am zweiten Ausgang (10) auszugeben, wobei die Diagnoseeinheit (6) weiterhin ausgestaltet ist Zu- sat zinf ormationen (Zl,...,Zi) entgegen zu nehmen und auszuwerten und in die Plausibilitätsprüfung mit einzubeziehen, weiterhin mit einem weiteren Personendetektor (2b) , wobei die Diagnoseeinheit (6) ausgestaltet ist als eine Zusatzinformation (Z2) einen Kreuzvergleich zwischen einem ersten Kanal (Kl) von einem ersten Personendetektor (2a) und einem zweiten Kanal (K2) von einem zweiten Personendetektor (2b) für die Positionsdaten (P) heranzuziehen, wobei die Kanäle (K1,K2) diversitär zueinander ausgestaltet sind, d a d u r c h g e k e n n z e i c h n e t , dass eine Zuweisungseinheit (40) vorhanden ist, welche ausgestaltet ist in einem Verbund (41) von dem ersten Personendetektor (2a) und dem zweiten Personendetektor (2b) ein Kontrollsignal (C) von der Diagnoseeinheit (6) entgegenzunehmen, wobei der erste Personendetektor (2a) mit einem ersten bildgebenden Sensor zur Aufnahme von digitalen Bilddateien (Dia) oder Punktewolken (D2a) und mit einer ersten Auswerteeinheit (5a) ausgestaltet ist, der zweite Personendetektor (2a) mit einem zweiten bildgebenden Sensor zur Aufnahme von digitalen Bilddateien (Dia) oder Punktewolken (D2b) und mit einer zweiten Auswerteeinheit (5b) ausgestaltet ist, die Diagnoseeinheit (6) ist dabei ausgestaltet das Kontrollsignal (C) derart zu generieren, dass eine Zuordnung (ASM) von dem ersten bildgebenden Sensor zu der ersten Auswerteeinheit (5a) oder der zweiten Auswerteeinheit (5a) oder eine Zuordnung (ASM) von dem zweiten bildgebenden Sensor zu der ersten Auswerteeinheit (5a) oder der zweiten Auswerteeinheit (5a) von dem Kontrollsignal (C) vorgegeben ist, und weiterhin ist die Diagnoseeinheit ausgestaltet mit dieser Vorgabe nach einer Änderung der Zuordnung (ASM) mit einer Erwartungshaltung eine vierte Zusatzinformation zu generieren, denn die Diagnoseeinheit (6) ist derart ausgestaltet, dass nach jedem Wechsel der Zuordnung (ASM) eine Erwartungshaltung aus den erkannten Positionsangaben (P) aus der vorangegangenen Zuordnung (ASM) mit den erkannten Positionsangaben (P) aus der gerade bestehenden Zuordnung (ASM) verglichen wird, stimmt die Erwartungshaltung nicht überein, wird das Fehlersignal (11) ausgegeben .
2. Überwachungssystem (1) nach Anspruch 1, wobei die Diagnoseeinheit (6) ausgestaltet ist als eine erste Zusatzinformation (ZI) eine Anzahl der sich im zu überwachenden Überwa- chungsbereich (FOV) befindenden Personen auszuwerten.
3. Überwachungssystem (1) nach einem der Ansprüche 1 oder 2, wobei die Diagnoseeinheit (6) ausgestaltet ist ein Phantombild (Gl, G2 ) zu generieren, dabei weist der Personendetektor (2) eine Bildmischeinheit (30) auf, welche ausgestaltet ist das Phantombild (Gl, G2 ) in die Bilddateien (Dia) einzublenden, wodurch ein aktuelles Kamerabild durch das Phantombild (Gl, G2 ) überlagert wird und damit eine weitere Zusatzinformation (Z3) auswertbar ist.
4. Überwachungssystem (1) nach einem der Ansprüche 1 bis 3, wobei der bildgebende Sensor mit einem Aktor (Ml) ausgestaltet ist und die Diagnoseeinheit (6) ausgestaltet ist über Steuerbefehle (50) den Aktor (Ml) derart anzusteuern, dass sich ein Ausschnitt des Überwachungsbereichs (FOV) um einen vorgegebenen Bereich ändert, wobei diese Änderung als eine fünfte Zusatzinformation (Z5) in der Diagnoseeinheit (6) auswertbar ist.
5. Überwachungssystem (1) nach einem der Ansprüche 1 bis 4, wobei in dem Überwachungsbereich (FOV) ein Anzeigegerät (60) derart angeordnet ist, dass der bildgebende Sensor eine Anzeige (61) des Anzeigegeräts (60) erfasst, die Diagnoseeinheit (6) ist weiterhin dazu ausgestaltet auf dem Anzeigegerät (60) eine Symbolsequenz (62) als Anzeige (61) auszugeben, wobei die Auswerteeinheit (5) ausgestaltet ist diese Symbolsequenz (62) zu erkennen und dies als sechste Zusatzinformationen (Z6) der Diagnoseeinheit (6) mitzuteilen.
6. Überwachungssystem (1) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Diagnoseeinheit (6) als ein Industriecontroller ausgestaltet ist, welcher der Norm IEC 61508 zertifiziert ist und damit als eine auf funktionale Sicherheit ausgelegte Steuerung ausgestaltet ist.
7. Überwachungssystem (1) nach einem der Ansprüche 1 bis 6, wobei die Diagnoseeinheit ausgestaltet ist folgende Plausibi- litätsprüfungen durchzuführen: a) Erkennen von Personen, die in der Mitte des Bildes erscheinen oder verschwinden, b) Erkennen von sprunghaften Positionsänderungen, c) Erkennen von Geschwindigkeiten von Personen, die größer sind als 2m/s, d) Erkennen von Personen in Bereichen mit Zutrittsbeschränkungen und e) Erkennen von Personen an Positionen, die physikalisch unmöglich sind.
PCT/EP2023/062712 2022-07-13 2023-05-12 Überwachungssystem mit einem personendetektor Ceased WO2024012746A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380053274.4A CN119452398A (zh) 2022-07-13 2023-05-12 具有人员检测器的监控系统
EP23727272.9A EP4500488B1 (de) 2022-07-13 2023-05-12 Überwachungssystem mit einem personendetektor
US18/993,050 US20260024321A1 (en) 2022-07-13 2023-05-12 Surveillance System Having a Person Detector

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22184577.9A EP4307249A1 (de) 2022-07-13 2022-07-13 Überwachungssystem mit einem personendetektor
EP22184577.9 2022-07-13

Publications (1)

Publication Number Publication Date
WO2024012746A1 true WO2024012746A1 (de) 2024-01-18

Family

ID=82594809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/062712 Ceased WO2024012746A1 (de) 2022-07-13 2023-05-12 Überwachungssystem mit einem personendetektor

Country Status (4)

Country Link
US (1) US20260024321A1 (de)
EP (2) EP4307249A1 (de)
CN (1) CN119452398A (de)
WO (1) WO2024012746A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4667809A1 (de) 2024-06-20 2025-12-24 Siemens Aktiengesellschaft Anordnung, verfahren und system zur überwachung eines sicherheitsrelevanten bereichs

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023113963A1 (de) 2023-05-26 2024-11-28 Pilz Gmbh & Co. Kg System und Verfahren zur sicherheitsgerichteten Überwachung einer technischen Anlage
DE102024113138A1 (de) * 2024-05-10 2025-11-13 Sick Ag Zählvorrichtung für ein sicherheitssystem zur absicherung eines gefahrenbereichs in der fabrikautomation und verfahren zum sicheren erfassen von passagen über eine grenze zwischen einem sicheren und einem nicht sicheren bereich

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1964063B1 (de) 2005-12-22 2018-03-21 Pilz GmbH & Co. KG Verfahren zum konfigurieren einer überwachungseinrichtung zum überwachen eines raumbereichs
EP2825812B1 (de) 2012-03-16 2018-09-05 Pilz GmbH & Co. KG Verfahren und vorrichtung zum absichern eines gefährlichen arbeitsbereichs einer automatisiert arbeitenden maschine
EP3588365A1 (de) 2018-06-25 2020-01-01 Sick AG Optoelektronischer sensor und verfahren zum sicheren auswerten von messdaten
DE102019124301A1 (de) * 2018-09-12 2020-03-12 Hyundai Mobis Co., Ltd. Vorrichtung und Verfahren zur Gewährleistung der Fail-Safe-Funktion eines autonomen Fahrsystems
EP3709106A1 (de) 2019-03-11 2020-09-16 Sick Ag Absichern einer maschine
DE102020133784B3 (de) 2020-12-16 2022-01-20 Sick Ag Sicherheitssystem und ein Verfahren mit einem Sicherheitssystem

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819713B2 (en) * 2016-02-26 2017-11-14 BOT Home Automation, Inc. Sharing video footage from audio/video recording and communication devices
WO2018052323A1 (en) * 2016-09-16 2018-03-22 Motorola Solutions, Inc. System and method for fixed camera and unmanned mobile device collaboration to improve identification certainty of an object
US11436827B1 (en) * 2020-02-25 2022-09-06 Tp Lab, Inc. Location tracking system using a plurality of cameras
US12417632B2 (en) * 2020-05-15 2025-09-16 Tyco Fire & Security Gmbh Systems and methods of identifying persons-of-interest
US12211280B2 (en) * 2022-03-07 2025-01-28 Sensormatic Electronics, LLC Vision system for classifying persons based on visual appearance and dwell locations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1964063B1 (de) 2005-12-22 2018-03-21 Pilz GmbH & Co. KG Verfahren zum konfigurieren einer überwachungseinrichtung zum überwachen eines raumbereichs
EP2825812B1 (de) 2012-03-16 2018-09-05 Pilz GmbH & Co. KG Verfahren und vorrichtung zum absichern eines gefährlichen arbeitsbereichs einer automatisiert arbeitenden maschine
EP3588365A1 (de) 2018-06-25 2020-01-01 Sick AG Optoelektronischer sensor und verfahren zum sicheren auswerten von messdaten
DE102019124301A1 (de) * 2018-09-12 2020-03-12 Hyundai Mobis Co., Ltd. Vorrichtung und Verfahren zur Gewährleistung der Fail-Safe-Funktion eines autonomen Fahrsystems
EP3709106A1 (de) 2019-03-11 2020-09-16 Sick Ag Absichern einer maschine
DE102020133784B3 (de) 2020-12-16 2022-01-20 Sick Ag Sicherheitssystem und ein Verfahren mit einem Sicherheitssystem

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4667809A1 (de) 2024-06-20 2025-12-24 Siemens Aktiengesellschaft Anordnung, verfahren und system zur überwachung eines sicherheitsrelevanten bereichs

Also Published As

Publication number Publication date
EP4500488B1 (de) 2025-11-19
EP4307249A1 (de) 2024-01-17
CN119452398A (zh) 2025-02-14
EP4500488C0 (de) 2025-11-19
US20260024321A1 (en) 2026-01-22
EP4500488A1 (de) 2025-02-05

Similar Documents

Publication Publication Date Title
EP4500488B1 (de) Überwachungssystem mit einem personendetektor
EP1964063B1 (de) Verfahren zum konfigurieren einer überwachungseinrichtung zum überwachen eines raumbereichs
EP1543270B2 (de) Verfahren und vorrichtung zum absichern eines gefahrenbereichs
WO2019081135A1 (de) Überwachungsvorrichtung, industrieanlage, verfahren zur überwachung sowie computerprogramm
DE102017105174B4 (de) Verfahren zum Erzeugen von Trainingsdaten für die Überwachung einer Gefahrenquelle
EP3575666B1 (de) Vorrichtung zur absicherung eines gefahrenbereichs einer anlage
EP1993081A1 (de) Optoelektronische Sensoranordnung und Verfahren zur Überwachung eines Überwachungsbereiches
EP2615418A2 (de) Verfahren zur Erhöhung der Zuverlässigkeit von Sensorsystemen
EP4102252B1 (de) Sichere überwachung eines schutzbereichs mittels einer tof-kamera
EP3150898B1 (de) Verfahren zur automatisierten steuerung einer maschinenkomponente
EP4102486A2 (de) Verfahren zum steuern einer flugbewegung eines fluggeräts sowie fluggerät
EP3588365A1 (de) Optoelektronischer sensor und verfahren zum sicheren auswerten von messdaten
DE102009026091A1 (de) Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
EP3947100B1 (de) Verfahren und einrichtung zum erzeugen eines statussignals
EP3627033B1 (de) Vorrichtung zur absicherung eines gefahrenbereichs einer anlage
EP4451070B1 (de) Überwachungssystem und verfahren zum betrieb desselben
DE102007033133A1 (de) Verfahren und Vorrichtung zur Detektion von Objekten
EP3855735A1 (de) Absichern einer maschine
EP4098927B1 (de) Sensoranordnung und verfahren zum betrieb einer sensoranordnung
EP3789832B1 (de) Vorrichtung und verfahren zur ausführung einer sicherheitsfunktion
DE102024113138A1 (de) Zählvorrichtung für ein sicherheitssystem zur absicherung eines gefahrenbereichs in der fabrikautomation und verfahren zum sicheren erfassen von passagen über eine grenze zwischen einem sicheren und einem nicht sicheren bereich
DE102009050850B4 (de) Verfahren und Vorrichtung zum Überwachen von Schutz- und Standardbereichen
EP4427890A1 (de) System zur optischen überwachung eines arbeitsraums
DE202015102019U1 (de) Kamera zur Aufnahme von Bildern eines Erfassungsbereichs
DE102012111201A1 (de) Sensorsystem sowie Sensoreinrichtung dafür

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23727272

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023727272

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023727272

Country of ref document: EP

Effective date: 20241031

WWE Wipo information: entry into national phase

Ref document number: 202380053274.4

Country of ref document: CN

Ref document number: 18993050

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380053274.4

Country of ref document: CN

WWG Wipo information: grant in national office

Ref document number: 2023727272

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 18993050

Country of ref document: US