EP3523177B1 - Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr - Google Patents

Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr Download PDF

Info

Publication number
EP3523177B1
EP3523177B1 EP17832743.3A EP17832743A EP3523177B1 EP 3523177 B1 EP3523177 B1 EP 3523177B1 EP 17832743 A EP17832743 A EP 17832743A EP 3523177 B1 EP3523177 B1 EP 3523177B1
Authority
EP
European Patent Office
Prior art keywords
track
image
bib
rail
sfz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP17832743.3A
Other languages
English (en)
French (fr)
Other versions
EP3523177A2 (de
Inventor
Andreas Schönberger
Christopher Drexler
Andreas Schaefer-Enkeler
Jan Winhuysen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3523177A2 publication Critical patent/EP3523177A2/de
Application granted granted Critical
Publication of EP3523177B1 publication Critical patent/EP3523177B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection

Definitions

  • Method, device and railway vehicle in particular rail vehicle, for obstacle detection in railway traffic, in particular in rail traffic
  • the invention relates to a method for obstacle detection in rail traffic, in particular in rail traffic, according to the preamble of patent claim 1, a device for obstacle detection in rail traffic, in particular in rail traffic, according to the preamble of patent claim 6 and a railway vehicle for obstacle detection in rail traffic, in particular a rail vehicle for obstacle detection in rail traffic, according to the preamble of patent claim 12.
  • railway vehicles are rail-based means of transport that move, for example, rolling on or under one or two guide rails (tracks), suspended above or below a magnetic field, or suspended from steel cables.
  • rail-based means of transport the most common are rail vehicles based on a wheel-rail system, which either have their own traction (railcar) or are pulled or pushed by a locomotive, and which predominantly use steel wheels with a flange on two steel rails or tracks.
  • a method and optical route inspection system for examining routes travelled by a vehicle e.g. a train or a motor vehicle, is known, in which a route feature of interest, e.g. a measuring distance between route sections, is determined by obtaining field of view image data from a camera mounted on board the vehicle and a pixel/intensity-based examination of the image data in the vehicle. or a specific object on the route, e.g. persons or obstacles, can be identified and, depending on this, a warning signal is generated and, as a result, the vehicle is controlled in such a way that the vehicle is automatically slowed down by manually or automatically applying the brakes.
  • a route feature of interest e.g. a measuring distance between route sections
  • a method and assistance system for automatically supporting the driver of a track-bound vehicle e.g., a rail vehicle.
  • an impending collision is detected when the object is located in a sub-volume occupied by the vehicle, and information about the collision is output.
  • a region of interest along a route of the track-bound vehicle is detected, and a free space is determined in the area in which the vehicle occupies the sub-volume of the free space. It is then determined whether there are any objects in the area with which a collision between the vehicle and the vehicle is to be avoided. This makes it possible to detect impending object collisions, thereby improving the reliability of object collision detection for vehicles.
  • a scanning laser beam obstacle detection system for rail vehicles e.g., a train
  • a processor e.g., a central processing unit
  • the light detector receives light echoes from a scanned laser beam emitted by the laser source and converts the light echoes into electrical signals. This improves the safety of rail vehicles and ensures safe railway operations by preventing accidents on the rails caused by train derailment, reducing the risk of obstacles being caught underneath the train, and detecting general threats to the train.
  • the object underlying the invention is to specify a method, a device and a railway vehicle, in particular a rail vehicle, for obstacle detection in rail traffic, in particular in rail traffic, with which obstacles in rail traffic, when railway vehicles are traveling on railway lines in the railway network, or obstacles in rail traffic, when rail vehicles are traveling on railway lines in the rail network, are automatically detected.
  • the idea underlying the invention according to independent claims 1, 6 and 12 is to identify, on the basis of several images of a route area in front of a railway vehicle in an image area marked in the images, which essentially shows a lane used by the railway vehicle, by image analysis, the lane visually positioned by the marking and to compare it with stored known image meta-information or with stored known image meta-information and additional information and to identify in an image area section of the marked image area by an object recognition method whether an object, such as a person, an animal, a fallen tree, etc., is located in the lane, wherein an obstacle in the image area, preferably is marked in the image area section when the object is detected by the object detection method.
  • the image metainformation literally contains feature and property data of the images captured from the route area.
  • the basic principle of the invention is to use metadata about the route, e.g. the route, in combination with sensors in the railway vehicle as well as calculation and evaluation algorithms to improve the detection of objects and persons and to enable the differentiation between permissible and impermissible objects and persons.
  • the aim is to contribute to fully automated driving without additional investments in the route infrastructure.
  • pattern recognition algorithms or pattern comparison algorithms are used across the board for the route area, the area "in front of the vehicle” (in the direction of travel).
  • a radar for detecting metallic objects can be combined with video cameras and image acquisition devices such as thermal imaging cameras for detecting people.
  • the currently used track is marked in the respective image by image analysis with the help of external metaformations.
  • each image recording device e.g., an image acquisition device
  • object detection methods to determine whether an object or person is present in the lane/track. This means that only the image section containing the lane/track being used and the critical area to the left and right of it are viewed.
  • one or both of the following pattern matching methods are used.
  • the recognition quality is increased by integrating external information or additional information.
  • a check is carried out to determine whether the relevant image section contains patterns that represent people or objects, such as fallen trees or preceding railway vehicles, e.g., rail vehicles or trains. If so, an obstacle or potential obstacle is marked.
  • an expected pattern such as a continuous track or regular rail supports in the image(s). If this is not the case, an image database is used to determine whether the irregularity was expected (this information can be obtained, for example, during initial runs with a train driver). If the irregularity was not expected, a potential obstacle is marked.
  • the obstacle marking results from the different image acquisition devices are combined.
  • the different information sources are combined, for example, by using probabilistic image processing methods such as hidden Markov models. combined to minimize false detection and to exclude "false negatives", i.e. the erroneous assumption that there is no object in the lane/track area, although it is actually there.
  • an obstacle detection device to be designed and function as a virtual machine in the sense of a "Software Defined Signal Recognition of Rail Traffic Systems”.
  • FIGURE 1 shows a railway vehicle-based detection of an obstacle in rail traffic BVK, when on a sectionally represented railway line BST of a railway network BNE a railway vehicle BFZ approaches an object OBJ located as an obstacle on the lane FS of the railway line BST, in the case shown a tree that has fallen onto the lane FS.
  • the lane-related railway line BST of the railway network BNE is a rail line SST of a rail network SNE, on which a rail vehicle SFZ is traveling on a track GL in rail traffic SVK for rail-vehicle-based obstacle detection and is approaching the object OBJ located as an obstacle on the track GL, in the illustrated case the tree that has fallen onto the track GL.
  • rail traffic SVK with the rail vehicle SFZ traveling on the rail line SST of the rail network SNE
  • any other arbitrary short- or long-distance rail traffic system is conceivable and imaginable as a further embodiment of the invention based on the discussion at the beginning.
  • a magnetic levitation transport system (Stw.: Transrapid, Maglev, etc.) with a correspondingly comparable infrastructure consisting of a rail network, rail line, and rail vehicle could also be considered.
  • an obstacle detection device for the rail-based detection of an obstacle is housed in a TRW railcar of the SFZ rail vehicle with a TFS driver's cab and an integrated AZE display device, in which the FZF driver's workplace is located.
  • the HEV obstacle detection device includes an image recording device (BAZG), preferably designed as a sensor, which can be configured as a conventional video camera, laser sensor, thermal imaging camera, radar device, infrared camera, etc., and is also referred to as an image acquisition device because it acquires images.
  • BAZG image recording device
  • the image recording device BAZG is used to record from the rail vehicle SFZ, e.g. from the perspective of the railcar driver FZF in the driver's cab TFS of the railcar TRW and/or from a stationary, lane-observing position in or on the Vehicle SFZ, from a route area FSB located in front of the rail vehicle SFZ, preferably oriented to the speed of the rail vehicle SFZ, a plurality of images BI FSB representing the route area FSB can be captured.
  • the BI FSB images of the FSB route area contain an image area BIB with an image area section BIB AS , which represents the track GL in use as well as an area critical for SVK rail traffic.
  • This area essentially indicates a critical perimeter for SVK rail traffic, essentially to the left and right of the GL track in the part of the FSB route area shown by the image area BIB of the BI FSB images of the FSB route area.
  • This means that the FSB route area also includes the area critical for SVK rail traffic.
  • FIGURE 2 shows the basic structure of the obstacle detection device HEV for the FIGURE 1 Rail-based obstacle detection of the rail vehicle SFZ, which is traveling on the track GL and is approaching the object OBJ, in the case shown the fallen tree, which is an obstacle on the track GL.
  • the starting point for obstacle detection is, according to the explanations of the FIGURE 1 the image recording device BAZG, which records the images BI FSB of the route area FSB for obstacle detection.
  • the image recording device BAZG is preferably designed to be pivotable for alignment with the image object.
  • the obstacle detection device HEV
  • the obstacle detection device to contain multiple image recording devices (BAZG) of the same type, e.g., multiple video cameras, or devices of different types, e.g., multiple video cameras, laser sensors, radar-based sensors, radio-based positioning and distance measurement sensors, infrared cameras, and/or thermal imaging cameras, which record the images (BI FSB) .
  • BAZG image recording devices
  • Such multiple image recording or image acquisition may be relevant for redundancy purposes, among other things.
  • the images thus recorded are stored by the BAZG image recording device in an image storage device BSPE.
  • This BSPE image storage device is either connected to the BAZG image recording device as a component of the HEV obstacle detection device according to option "A” or, according to option "B", is assigned to or connectable to the BAZG image recording device outside the HEV obstacle detection device, e.g., as a storage database in the railcar or in a data cloud.
  • the image recording device BAZG is connected to a calculation/evaluation device BAWE, which is also a component of the obstacle detection device HEV.
  • the calculation/evaluation device BAWE like the image recording device BAZG, is either connected to the image storage device BSPE according to option "A" or assigned to the image storage device BSPE or connectable to it according to option "B".
  • an information database IDB can, for example, be integrated with the image storage device BSPE as a structural unit in a common storage device.
  • the storage device not explicitly shown can, in turn, like the image storage device BSPE, either be connected to the image recording device BAZG and the calculation/evaluation device BAWE as a component of the obstacle detection device HEV according to option "A" or be assigned to the image recording device BAZG and the calculation/evaluation device BAWE according to option "B” outside the obstacle detection device HEV in the railcar or in a data cloud or be connectable to the image recording device BAZG and the calculation/evaluation device BAWE.
  • the information storage device in the DE patent application application no. 102016224355.1
  • the corresponding international patent application application no. PCT/EP2017/081784 ; Publication No. WO 2018/104427 A1
  • the information database IDB In addition to image meta information BMI, which literally contains feature and property data of the route area FSB recorded in the images BI FSB , the information database IDB also stores additional information ZI, such as route plans or maps, etc. According to the representation in the FIGURE 2
  • the information database IDB is assigned to the obstacle detection device HEV or can be connected to it in such a way that the calculation/evaluation device BAWE accesses the image metainformation BMI and additional information ZI stored in the information database IDB for the calculation/evaluation-based obstacle detection.
  • the information database For this purpose, IDB is preferably located outside the obstacle detection device HEV, e.g. as a database, in the railcar or is designed as a data cloud.
  • the calculation/evaluation device BAWE preferably has a non-volatile, readable memory SP, in which processor-readable control program commands of a program module PGM controlling obstacle detection are stored, and a processor PZ, which executes the control program commands of the program module PGM for calculation/evaluation-supported obstacle detection.
  • the processor PZ also accesses the image recording device BAZG and the image storage device BSPE for control purposes and to read data, in addition to accessing the image metainformation BMI and the additional information ZI in the information database IDB.
  • the calculation/evaluation device BAWE or the program module PGM with the processor PZ executing the control program commands of the program module PGM for calculation/evaluation-based obstacle detection are now designed with regard to calculation/evaluation-based obstacle detection in such a way that in the images BI FSB the image area BIB is marked which shows the track GL used by the rail vehicle SFZ, whereby the track GL of the rail vehicle SFZ, which is visually positioned by the marking, is recognized by an image analysis and compared either with the stored known image metainformation BMI or with the stored known image metainformation MMI and the additional information ZI.
  • the image analysis and thus the marking is preferably carried out with the help of edge detection algorithms, in which, starting from the track GL recorded in the route area FSB in the image area BIB, the course of the track GL used by the rail vehicle SFZ is identified by a The part of the track GL that changes in the captured image is recognized as part of the captured overall image.
  • the image analysis and thus the marking is preferably carried out on the basis of the knowledge of the track GL used, because the course of the track GL used relative to a geographical position is known.
  • the track GL of the rail vehicle SFZ which is visually positioned by the marking, is recognized by the image analysis and compared either with the stored known image metainformation BMI or with the stored known image metainformation BMI and the additional information ZI, then for the image area section BIB AS of the marked image area BIB, which represents the used track GL and the area critical for rail traffic SVK, an object recognition method is used to recognize whether an object OBJ, such as a person, an animal, a fallen tree, etc., is located on the track GL, whereby an obstacle in the image area BIB, for example if it is located in the image area section BIB AS and/or if it is a potential obstacle, is marked if the object OBJ is recognized by the object recognition method.
  • an object recognition method is used to recognize whether an object OBJ, such as a person, an animal, a fallen tree, etc.
  • the object recognition method performs a pattern comparison based on a positive comparison and/or negative comparison, in which, in the case of a positive comparison, it is checked whether the image area section BIB AS contains object-specific patterns and, in the case of a negative comparison, it is checked whether the image area section BIB AS contains an expected pattern, e.g. the solid track GL used by the rail vehicle SFZ or a regularity formed by the track supports of the track FS or track supports between the parallel tracks GL.
  • an expected pattern e.g. the solid track GL used by the rail vehicle SFZ or a regularity formed by the track supports of the track FS or track supports between the parallel tracks GL.
  • the detected irregularity is compared with the expected irregularity with route images used as reference information and previously recorded in route initialization runs, whereby, if the irregularity was not expected, an obstacle is marked in the image area BIB, e.g. in the image area section BIB AS and/or as a potential obstacle.
  • the obstacle markings made for all images BI FSB in the image area BIB or the image area section BIB AS are preferably combined with a view to image processing that combines the different image sources using image processing methods such as hidden Markov models. This can, for example, minimize the probability of incorrect detection and prevent the occurrence of "false negatives," i.e., erroneous assumptions that no object is present in the lane or track area when one is actually present.
  • HEV obstacle detection device automated (autonomous) or assisted driving of the BFZ or SFZ rail vehicle along a route can be assisted or even realized without additional infrastructure. This is particularly true when the HEV obstacle detection device is implemented as a virtual machine that is designed and functions in the sense of "Software Defined Signal Recognition of Rail Traffic Systems.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Description

  • Verfahren, Vorrichtung und Bahnfahrzeug, insbesondere Schienenfahrzeug, zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr
  • Die Erfindung bezieht sich auf ein Verfahren zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 1, eine Vorrichtung zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 6 und ein Bahnfahrzeug zur Hinderniserkennung im Bahnverkehr, insbesondere ein Schienenfahrzeug zur Hinderniserkennung im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 12.
  • Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrsinfrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer oder zwei Leitschienen (Gleisen), schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen. Von den genannten spurgebundenen Verkehrs- und Transportmittel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwagen) oder von einer Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet.
  • Aus der EP 2 993 105 A2 ist ein Verfahren und optischer Fahrstreckenprüfsystem zum Untersuchen von Fahrstrecken (Routen), die mit einem Fahrzeug, z.B. einem Zug oder einem Kraftfahrzeug, befahren werden, bekannt, bei dem durch das Erhalten von Sichtfeld-Bilddaten einer an Bord des Fahrzeugs montierten Kamera und ein pixel-/intensitätsbasiertes Untersuchen der Bilddaten im Fahrzeug ein interessierendes Fahrstreckenmerkmal, z.B. eine Messentfernung zwischen Fahrstreckenabschnitten, oder ein bestimmtes Objekt auf der Fahrstrecke, z.B. Personen oder Hindernisse, identifiziert werden kann und in Anhängigkeit davon ein Warnsignal erzeugt wird und infolgedessen eine Fahrzeugsteuerung derart erfolgt, dass das Fahrzeug automatisch verlangsamt wird, indem die Bremsen manuell oder automatisch betätigt werden.
  • Aus der DE 10 2014 204 473 A1 ist ein Verfahren und Assistenzsystem zur automatischen Fahrerunterstützung eines spurgebundenen Fahrzeugs, z.B. eines Schienenfahrzeugs, bekannt, bei dem eine bevorstehende Kollision erfasst wird, wenn sich das Objekt in einem Teilvolumen befindet, das von dem Fahrzeug eingenommen wird, und bei dem Informationen über die Kollision ausgegeben werden. Dabei wird ein interessierender Bereich entlang einer Route des spurgebundenen Fahrzeugs erfasst und ein Freiraum in dem Bereich bestimmt, in dem das Fahrzeug das Teilvolumen des Freiraums einnimmt. Danach wird ermittelt, ob Objekte in dem Bereich vorhanden sind, mit denen eine Kollision des Fahrzeugs vermieden werden soll. Auf diese Weise ist es möglich, bevorstehende Objektkollisionen zu erkennen, wodurch die Zuverlässigkeit bei der Objekt-Kollision-Erkennung von Fahrzeugen verbessert wird.
  • Aus der US 2004/056182 A1 ist ein Abtastlaserstrahl-Hinderniserkennungssystem für Schienenfahrzeuge, z.B. einen Zug, mit einem Prozessor, einem Lichtdetektor und einer Laserquelle bekannt, der elektrische Signale vom dem Lichtdetektor verarbeitet, um ein Hindernis vor dem Schienenfahrzeug zu bestimmen. Der Lichtdetektor empfängt dabei Lichtechos von einem abgetasteten und von der Laserquelle emittierten Laserstrahl und wandelt die Lichtechos in elektrische Signale um. Auf diese Weise wird die Sicherheit von Schienenfahrzeugen verbessert und ein sicheren Bahnbetrieb gewährleistet, indem Unfälle auf der Schiene durch ein Entgleisen des Zuges verhindert, die Gefahr, dass Hindernissen unter den Zug geraten reduziert und generelle Bedrohungen für den Zug erkannt werden.
  • Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren, eine Vorrichtung und ein Bahnfahrzeug, insbesondere ein Schienenfahrzeug, zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr anzugeben, mit dem bzw. der Hindernisse im Bahnverkehr, wenn Bahnfahrzeuge auf Bahnstrecken im Bahnnetz unterwegs sind, respektive Hindernisse im Schienenverkehr, wenn Schienenfahrzeuge auf Schienenstrecken im Schienennetz unterwegs sind, automatisch erkannt werden.
  • Das automatische Erkennen von Hindernissen im Bahnverkehr, insbesondere im Schienenverkehr, was Gegenstand der vorliegenden Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081834 ; Veröffentlichungs-Nr. WO 2018/104454 A2 ) und der dazu prioritätsbegründenden DE-Patentanmeldung (Anmeldung-Nr. 102016224344.6 ) ist, ist im Hinblick auf ein zukünftiges automatisiertes (autonomes) oder unterstütztes Fahren von Bahnfahrzeugen im Bahnverkehr respektive Schienenfahrzeugen im Schienenverkehr ein unabdingbares MUSS.
  • So ist es für das automatisierte oder unterstützte Fahren von Bahn-/Schienenfahrzeugen notwendig, sich bewegende oder stationäre Objekte und Personen im Fahrspur-/Gleisbereich zu erkennen. Gleichzeitig ist es notwendig, zulässige Objekte und Personen (z.B. Prellbock auf der Fahrspur/dem Gleis, Wartungsarbeiter neben der Fahrspur/dem Gleis) von unzulässigen Objekten und Personen (z.B. entwurzelter Baum oder spielende Kinder) zu unterscheiden.
  • Das Problem des automatisierten oder unterstützen Fahrens wurde bisher durch aufwändige Zusatzinvestitionen in die Streckeninfrastruktur wie Induktionsschleifen, Rechner entlang der Strecke und Kommunikationsanlagen zwischen Zug und Streckenkomponenten realisiert. Weiterhin werden spezielle Schutzzäune für die Vermeidung des Zugangs zum Gleis verwendet (z.B. bekannt von Flughäfen).
  • Es ist aber nicht nur der Aspekt der Automatischen Hinderniserkennung der für das zukünftige automatisierte (autonome) oder unterstützte Fahren von Bedeutung ist, sondern auch die nachfolgenden technischen Aspekte, die allesamt mehr oder weniger in einem technischen Kontext mit der vorliegenden Patentanmeldung stehen und deshalb aufgeführt und deren Inhalte vor diesem Hintergrund zu berücksichtigen und ggf. sogar zu inkludieren sind.
  • Es handelt sich um die Aspekte:
    1. 1) Das automatische Erkennen von Signalen im Bahn-/Schienenverkehr gemäß der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2016/057804 ; Veröffentlichungs-Nr. WO 2017/174155 A1 ) und der darin offenbarten technischen Lehre.
    2. 2) Das automatische Erkennen von Gefahrensituationen im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224358.6 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081841 ; Veröffentlichungs-Nr. WO 2018/14460 A1 ) und der darin jeweils offenbarten technischen Lehre.
    3. 3) Das automatische Erkennen von Fahrspuren/Gleisen im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224335.7 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081890 ; Veröffentlichungs-Nr. WO 208/104477A1 ) und der darin jeweils offenbarten technischen Lehre.
    4. 4) Das alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224355.1 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081784 ; Veröffentlichungs-Nr. WO 2018/104427 A1 ) und der darin jeweils offenbarten technischen Lehre.
    5. 5) Das Durchführen einer fahrspur-/gleisbasierten Bildanalyse im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224331.4) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081845 ; Veröffentlichungs-Nr. WO 2018/104462 A1 ) und der darin jeweils offenbarten technischen Lehre.
  • Die vorstehend genannte kontextbezogene Aufgabe wird ausgehend von dem im Oberbegriff des Patentanspruchs 1 definierten Hinderniserkennungsverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst.
  • Darüber hinaus wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von der im Oberbegriff des Patentanspruchs 6 definierten Hinderniserkennungsvorrichtung durch die im Kennzeichen des Patentanspruches 6 angegebenen Merkmale gelöst.
  • Weiterhin wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 12 definierten Bahnfahrzeug, insbesondere Schienenfahrzeug, durch die im Kennzeichen des Patentanspruches 12 angegebenen Merkmale gelöst.
  • Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 6 und 12 zugrundeliegende Idee besteht darin, auf Basis von mehreren Bildern eines einem Bahnfahrzeug vorgelagerten Fahrstreckenbereichs in einem in den Bildern jeweils markierten Bildbereich, der im Wesentlichen eine von dem Bahnfahrzeug genutzte Fahrspur zeigt, durch Bildanalyse die durch die Markierung bildlich positionierte Fahrspur zu erkennen und mit gespeicherten bekannten Bild-Metainformationen oder mit gespeicherten bekannten Bild-Metainformationen und Zusatzinformationen abzugleichen und in einem Bildbereichsausschnitt des markierten Bildbereichs durch eine Objekterkennungsmethode zu erkennen, ob sich ein Objekt, wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf der Fahrspur befindet, wobei ein Hindernis in dem Bildbereich, vorzugsweise in dem Bildbereichsausschnitt markiert wird, wenn das Objekt durch die Objekterkennungsmethode erkannt wird. Die Bild-Metainformationen beinhalten dabei dem Wortsinn nach Merkmals- und Eigenschaftsdaten der von dem Fahrstreckenbereich erfassten Bilder.
  • Das Grundprinzip der Erfindung ist es dabei, Metadaten über die Strecke, z.B. den Streckenverlauf, in Kombination mit Sensorik im Bahnfahrzeug sowie Berechnungs- und Auswertealgorithmen zu benutzen, um die Erkennung von Objekten und Personen zu verbessern und die Unterscheidung von zulässigen und unzulässigen Objekten und Personen zu ermöglichen.
  • Ziel dabei ist es, einen Beitrag zum vollautomatisierten Fahren ohne zusätzliche Investitionen in die Streckeninfrastruktur zu ermöglichen.
  • Für das Erkennen von Objekten oder Personen auf der Fahrspur/dem Gleis oder in einem kritischen Bereich neben der Fahrspur/dem Gleis werden Mustererkennungsalgorithmen oder Mustervergleichsalgorithmen (sogenannte Pattern-Matching-Algorithmen) pauschal für den Fahrstreckenbereich, der Bereich "vor dem Fahrzeug" (in Fahrtrichtung), verwendet.
  • 1. Für die Erkennung von Objekten oder Personen auf dem Gleis in großer Entfernung arbeiten diese Algorithmen ineffizient, weil nur ein kleiner Teil des Bildes relevant ist.
  • 2. Diese Algorithmen sind nicht in der Lage, zulässige Objekte und Personen von unzulässigen Objekten und Personen zu unterscheiden.
  • Im Automotive-Umfeld mit dem Fokus auf Straßen ist es gemäß der US 6,405,128 B1 bekannt, einen sogenannten "elektronischen Horizont" auszuwerten.
  • Die automatisierte Erkennung von Objekten und Fahrspuren/Gleisen sowie die Unterscheidung zwischen zulässigen und unzulässigen Objekten/Personen lässt sich in vorteilhafter Weise zumindest teilweise durch folgende Schritte erreichen:
    1. A. In einem ersten Schritt werden mehrere Bildaufzeichnungsgeräte (z.B. Sensoren) unterschiedlicher Art (z.B. Videokamera, Lasersensoren, Infrarotkamera, Wärmebildkamera, Radar-Einrichtungen, andere Bildakquisitionsgeräte, etc.) im Bahnfahrzeug verwendet, um Bilder oder andere Informationen von der Bahn-/Schienenstrecke vor dem Bahn-/Schienenfahrzeug zu erzeugen.
  • So kann beispielsweise ein Radar für die Erkennung von metallischen Objekten, auch bei schlechtem Wetter, kombiniert werden mit Videokameras und Bildakquisitionsgeräten wie Wärmebildkameras zur Erkennung von Personen.
  • B. In einem zweiten Schritt wird in dem jeweiligen Bild das aktuell befahrene Gleis durch Bildanalyse unter Zuhilfenahme von externen Metaformationen markiert.
    • Variante 1:
  • In einem Videobild oder videoartigem Bild kann das über Kantenerkennungsalgorithmen ausgehend von den Schienen direkt vor dem Fahrzeug erfolgen. Durch die Verwendung von Zusatzinformationen, wie Schienenplänen, Kartenmaterial o.ä., kann diese Erkennung robuster durchgeführt werden. In diesem Zusammenhang wird auf das Durchführen einer fahrspur-/gleisbasierten Bildanalyse im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224331.4 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081-845 ; Veröffentlichungs-Nr. WO 2018/104462 A1 ) und der darin jeweils offenbarten technischen Lehre verwiesen.
    • Variante 2:
  • In einem Radar-basierten Bild kann das ungefähr auf Basis der Kenntnis der befahrenen Strecke erfolgen (der Fahrspur-/Gleisverlauf relativ zu einer geographischen Position ist bekannt).
  • C. In einem dritten Schritt wird fokussiert auf die befahrene Fahrspur/das befahrene Gleis pro eingesetztes Bildaufzeichnungsgerät (z.B. ein Bildakquisitionsgerät) durch Objekterkennungsmethoden erkannt, ob sich ein Objekt oder eine Person auf der Fahrspur/dem Gleis befindet. Das bedeutet, dass nur der Bildausschnitt mit der befahrenen Fahrspur/dem befahrenen Gleis und der kritische Bereich links und rechts davon betrachtet werden. Dabei werden je nach Bildakquisitionsgerät eines oder beide der nachstehenden Pattern-Matching-Verfahren eingesetzt.
  • Auch hier wird durch die Integration von externen Informationen oder den Zusatzinformationen die Erkennungsgüte erhöht.
    • C1. Positiv-Matching
  • Es wird geprüft, ob sich in dem relevanten Bildausschnitt Pattern, die zu Personen oder Objekten wie umgestürzten Bäumen oder vorausfahrenden Bahnfahrzeugen, z.B. Schienenfahrzeugen, Zügen, befinden. Falls ja, wird ein Hindernis oder ein potenzielles Hindernis markiert.
    • C2. Negativ-Matching
  • Es wird geprüft, ob ein erwartetes Pattern erkannt wird, wie z.B. durch ein durchgezogenes Gleis oder durch regelmäßige Schienenträger im Bild bzw. den Bildern. Falls das nicht der Fall ist, so wird über eine Bilddatenbank geprüft, ob die Unregelmäßigkeit erwartet wurde (diese Information kann z.B. bei Initialisierungsfahrten mit einem Triebwagenführer vorgenommen werden). Falls die Unregelmäßigkeit nicht erwartet wurde, wird ein potenzielles Hindernis markiert.
  • D. In einem vierten Schritt wird das Ergebnis der Hindernismarkierung aus den unterschiedlichen Bildakquisitionsgeräten zusammengeführt. Auch hier werden, beispielweise durch die Verwendung von probabilistischen Bildverarbeitungsmethoden, wie Hidden-Markov-Modellen, die unterschiedlichen Informationsquellen kombiniert, um eine fehlerhafte Erkennung zu minimieren und "false negatives", d.h. die fehlerhafte Annahme, dass sich kein Objekt im Fahrspur-/Gleisbereich befindet, obwohl es real vorhanden ist, auszuschließen.
  • Durch die vorstehend skizzierte Analyse von Bildern von der Strecke vor dem Bahnfahrzeug kann erreicht werden, dass:
    • Objekte und Personen im relevanten Fahrspur-/Gleisbereich effizienter erkannt werden als bisher.
    • Zulässige Objekte und Personen im Bereich vor dem Bahnfahrzeug/Schienenfahrzeug (aber eben außerhalb der befahrenen Fahrspur bzw. des befahrenen Gleises und eines kritischen Bereiches links und rechts davon) von unzulässigen Objekten und Personen auf der befahrenen Fahrspur respektive im befahrenen Gleis oder im kritischen Bereich links und rechts unterschieden werden können.
    • Objekte und Personen bei ungünstigen Sichtbedingungen zuverlässiger erkannt werden kann als durch Triebfahrzeugführer.
    • Triebfahrzeugführer nicht mehr für das Erkennen von Hindernissen benötigt werden, so dass unabhängig von deren Verfügbarkeit die befahrene Fahrspur/das befahrene Gleis erkannt werden kann.
  • Im Zuge einer vorteilhaften Weiterbildung der Erfindung können in Bezug auf die Hinderniserkennungsvorrichtung nach Anspruch 6 noch folgende zusätzlichen Komponenten - a) bis c) für das Bildaufzeichnungsgerät (z.B. das Bildakquisitionsgerät) - verwendet werden:
    1. a. Eine Korrekturkomponente, die Wetter- und Helligkeitsdaten für die Auswertung des Bildmaterials mit einbezieht. Damit kann beispielsweise bei starkem Nebel, die Auswertung von Videobildern auf die ersten 50 Meter vor dem Bahnfahrzeug bzw. Schienenfahrzeug begrenzt werden und die Geschwindigkeit des Fahrzeuges entsprechend gedrosselt werden.
    2. b. Eine Brennweiteveränderungskomponente, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Aufnahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstützen. Zum Beispiel können dann sowohl Aufnahmesituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbereich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zusätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche fokussiert werden, wie z.B. ein Bahnübergang.
    3. c. Eine Beleuchtungskomponente, beispielsweise ein Scheinwerfer der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, durch welche sich die Qualität des von dem Bildaufzeichnungsgerät bzw. Bildakquisitionsgerät bei Nacht oder schlechter Witterung aufgenommenen Bildmaterials verbessert.
    4. d. Eine landseitige Auswertestation, die über Mobilfunk angebunden ist, und Bilder aus einer Bildspeichereinrichtung entgegennimmt, für die eine Auswertung nur mit hohem Unsicherheitsfaktor möglich ist. Diese Bilder können dann von einem menschlichen Experten ausgewertet werden und diese Information kann dann wiederum in die Bildspeichereinrichtung, die einer Hinderniserkennungsvorrichtung in dem Bahn-/Schienenfahrzeug (Option "A") angeordnet oder außerhalb der Hinderniserkennungsvorrichtung, z.B. als Speicherdatenbank in dem Bahn-/Schienenfahrzeug oder z.B. als Daten-Cloud, dieser zugeordnet sein kann, zurückgespeist werden.
      1. 1. Bei hinreichender Kommunikationsbandbreite und Verfügbarkeit menschlicher Experten kann dies sogar in Echtzeit erfolgen derart, dass das Ergebnis der Auswertung zur Steuerung des Bahn-/Schienenfahrzeugs verwendet werden kann.
      2. 2. Über die landseitige Auswertestation kann darüber hinaus das Bildmaterial von Schienenfahrzeugen einer Flotte oder mehrere Flotten abgeglichen und verteilt werden.
    5. e. Ein mobiles Gerät eines Zugführers oder vergleichbaren Bahnbediensteten, der zwecks Passagierabfertigung ohnehin auf dem Schienenfahrzeug mitfährt und ähnlich wie unter d) Bilder mit einem hohen Unsicherheitsfaktor bewertet.
  • Darüber hinaus ist es möglich, dass eine Hinderniserkennungsvorrichtung als eine virtuelle Maschine im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausgebildet ist und funktioniert.
  • Weitere Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispiels der Erfindung anhand der FIGUREN 1 und 2. Diese zeigen:
    • FIGUR 1 eine bahnfahrzeugbasierte Erkennung eines Hindernisses in Gestalt eines auf einer Bahnstrecke umgestürzten Baumes,
    • FIGUR 2 einen prinzipiellen Aufbau einer Hinderniserkennungsvorrichtung für die gemäß der FIGUR 1 bahnfahrzeugbasierte Hinderniserkennung in Gestalt des auf der Bahnstrecke umgestürzten Baumes.
  • FIGUR 1 zeigt eine bahnfahrzeugbasierte Erkennung eines Hindernisses im Bahnverkehr BVK, wenn auf einer abschnittsweise dargestellten Bahnstrecke BST eines Bahnnetzes BNE ein Bahnfahrzeug BFZ sich auf einer Fahrspur FS der Bahnstrecke BST einem als Hindernis auf der Fahrspur FS befindlichen Objekt OBJ, im dargestellten Fall einem auf die Fahrspur FS umgestürzten Baum, nähert.
  • Gemäß dem vorliegenden Ausführungsbeispiel ist die fahrspurbezogene Bahnstrecke BST des Bahnnetzes BNE eine Schienenstrecke SST eines Schienennetzes SNE, auf dem im Schienenverkehr SVK zur schienenfahrzeugbasierte Hinderniserkennung ein Schienenfahrzeug SFZ auf einem Gleis GL unterwegs ist und sich dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem auf das Gleis GL umgestürzten Baum, nähert. An die Stelle des dargestellten Schienenverkehrs SVK mit dem auf der Schienenstrecke SST des Schienennetzes SNE fahrenden Schienenfahrzeugs SFZ ist auch hier wieder aufgrund der eingangs geführter Diskussion auch jedes andere x-beliebige kurz- oder langstreckenbasierte Bahnverkehrssystem als weiteres Ausführungsbeispiel der Erfindung denk- und vorstellbar. So käme ebenso z.B. ein Magnetschwebebahn-Verkehrssystem (Stw.: Transrapid, Maglev etc.) mit einer entsprechend vergleichbaren Infrastruktur, bestehend aus Bahnnetz, Bahnstrecke und Bahnfahrzeug, in Frage.
  • In dem in der FIGUR 1 dargestellten Schienenverkehrssystem ist in einem Triebwagen TRW des Schienenfahrzeugs SFZ mit einem Triebführerstand TFS und einer integrierter Anzeigeeinrichtung AZE, in dem sich der Arbeitsplatz des Fahrzeugführers FZF befindet, für die schienenfahrzeugbasierte Erkennung eines Hindernisses eine Hinderniserkennungsvorrichtung HEV untergebracht. Die Hinderniserkennungsvorrichtung HEV beinhaltet hierfür ein vorzugsweise als Sensor ausgebildetes Bildaufzeichnungsgerät BAZG, das z.B. als gewöhnliche Videokamera, Lasersensor, Wärmebildkamera, Radar-Einrichtung, Infrarotkamera etc., ausgebildet ist und wegen Akquirierung von Bildern auch als Bildakquisitionsgerät bezeichnet wird.
  • Mit dem Bildaufzeichnungsgerät BAZG sind, wenn sich das auf dem Gleis GL fahrende Schienenfahrzeug SFZ dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem umgestürzten Baum, nähert, von dem Schienenfahrzeug SFZ aus, z.B. aus der Perspektive des Triebwagenführers FZF in dem Triebführerstand TFS des Triebwagens TRW und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug SFZ, von einem dem Schienenfahrzeug SFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Schienenfahrzeugs SFZ orientierenden, Fahrstreckenbereich FSB eine Vielzahl von den Fahrstreckenbereich FSB repräsentierenden Bildern BIFSB erfassbar.
  • In den Bildern BIFSB des Fahrstreckenbereichs FSB ist ein Bildbereich BIB mit einem Bildbereichsausschnitt BIBAS enthalten, der das benutzte Gleis GL sowie einen für den Schienenverkehr SVK kritischen Bereich repräsentiert, durch den ein für den Schienenverkehr SVK kritischer Umkreis im Wesentlichen links und rechts des Gleises GL in dem durch den Bildbereich BIB der Bilder BIFSB des Fahrstreckenbereichs FSB gezeigten Teil des Fahrstreckenbereich FSB angegeben wird. D.h. der Fahrstreckenbereich FSB umfasst auch den für den Schienenverkehr SVK kritischen Bereich.
  • Wie jetzt aufgrund der Bilder BIFSB des Fahrstreckenbereichs FSB mit dem darin enthaltenen Bildbereich BIB und dem Bildbereichsausschnitt BIBAS die Hinderniserkennung durchgeführt wird, wird nachfolgend mit der Beschreibung von FIGUR 2 erläutert.
  • FIGUR 2 zeigt den prinzipiellen Aufbau der Hinderniserkennungsvorrichtung HEV für die gemäß der FIGUR 1 schienenfahrzeugbasierte Hinderniserkennung des Schienenfahrzeugs SFZ, das auf dem Gleis GL unterwegs ist und sich dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem umgestürzten Baum, nähert.
  • Ausgangspunkt für die Hinderniserkennung bildet dabei gemäß den Ausführungen zu der FIGUR 1 das Bildaufzeichnungsgerät BAZG, das die Bilder BIFSB des Fahrstreckenbereichs FSB für die Hinderniserkennung erfasst.
  • Das Bildaufzeichnungsgerät BAZG ist dazu vorzugsweise für die Ausrichtung auf das Bildobjekt schwenkbar ausgebildet.
  • Ferner ist es möglich und u.U. auch aus erfassungstechnischen Gründen sinnvoll, dass mehrere Bildaufzeichnungsgeräte BAZG gleicher Bauart, z.B. mehrere Videokameras, oder Geräte unterschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte, auf funkbasierte Ortung und Abstandsmessung beruhende Sensoren, Infrarotkameras und/oder Wärmebildkameras, in der Hinderniserkennungsvorrichtung HEV enthalten sind, die die Bilder BIFSB aufnehmen. Eine derartige mehrfache Ausführung der Bildaufzeichnung bzw. Bildakquirierung ist kann u.a. für Redundanzzwecke relevant sein.
  • Um die Qualität der mit dem Bildaufzeichnungsgerät BAZG aufgezeichneten oder akquirierten Bilder weiterhin zu verbessern, sind in dem Bildaufzeichnungsgerät BAZG vorzugsweise folgende Komponenten enthalten:
    1. 1. Eine Korrekturkomponente KOK, mit der Wetter- und Helligkeitsdaten für die Auswertung des Bildmaterials einbezogen werden. Mit dieser Komponente ist es z.B. möglich, bei starkem Nebel die Auswertung von Videobildern auf die ersten 50 Meter vor dem Schienenfahrzeug zu begrenzen und die Geschwindigkeit des Schienenfahrzeuges entsprechend zu drosseln.
    2. 2. Eine Brennweiteveränderungskomponente BVK, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Aufnahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstützen. Dadurch können dann sowohl Aufnahmesituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbereich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zusätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche entlang der Schienenstrecke SST im Schienennetz SNE fokussiert werden, wie z.B. ein Bahnübergang.
    3. 3. Eine Beleuchtungskomponente BLK, die beispielsweise als ein Scheinwerfer ausgebildet ist, der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, und durch die sich die Qualität des von dem Bildaufzeichnungsgerät bzw. dem Bildakquisitionsgerät BAZG bei Nacht oder schlechter Witterung aufgenommenen Bildmaterials verbessert.
  • Die so aufgenommenen Bilder werden von dem Bildaufzeichnungsgerät BAZG in eine Bildspeichereinrichtung BSPE gespeichert. Diese Bildspeichereinrichtung BSPE ist entweder gemäß Option "A" als Komponente der Hinderniserkennungsvorrichtung HEV mit dem Bildaufzeichnungsgerät BAZG entsprechend verbunden oder gemäß Option "B" außerhalb der Hinderniserkennungsvorrichtung HEV, z.B. als Speicherdatenbank, in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG zugeordnet bzw. mit diesem verbindbar.
  • Für die Auswertung der aufgezeichneten bzw. akquirierten Bilder zum Erkennen von Objekten, die Hindernisse für den Schienenverkehr entlang der Schienenstrecke darstellen, z.B. der auf das Gleis umgefallene Baum gemäß der FIGUR 1, ist das Bildaufzeichnungsgerät BAZG mit einer Berechnungs-/Auswerteeinrichtung BAWE verbunden, die ebenfalls eine Komponente der Hinderniserkennungsvorrichtung HEV ist. Zu diesem Zweck ist die Berechnungs-/Auswerteeinrichtung BAWE, wie das Bildaufzeichnungsgerät BAZG, entweder gemäß der Option "A" mit der Bildspeichereinrichtung BSPE verbunden oder gemäß Option "B" der Bildspeichereinrichtung BSPE zugeordnet bzw. mit dieser verbindbar. Auf diese Weise entsteht eine Funktionsteileinheit aus der Berechnungs-/Auswerteeinrichtung BAWE, dem Bildaufzeichnungsgerät BAZG und der Bildspeichereinrichtung BSPE, bei der die genannten Komponenten der Hinderniserkennungsvorrichtung HEV für eine berechnungs-/auswertegestützte Hinderniserkennung teilfunktional zusammenwirken.
  • Für die Bildung einer vollständigen Funktionseinheit zur berechnungs-/auswertegestützten Hinderniserkennung, bei der die daran beteiligten Teileinheiten funktional zusammenwirken, wird die genannte Funktionsteileinheit durch eine weitere Teileinheit, eine Informationsdatenbank IDB, erweitert. Die Informationsdatenbank IDB kann dabei beispielsweise mit der Bildspeichereinrichtung BSPE als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sein. Diese in der FIGUR 2 nicht explizit dargestellte Speichervorrichtung kann ihrerseits wiederum, wie die Bildspeichereinrichtung BSPE, entweder gemäß Option "A" als Komponente der Hinderniserkennungsvorrichtung HEV mit dem Bildaufzeichnungsgerät BAZG und der Berechnungs-/Auswerteeinrichtung BAWE entsprechend verbunden oder gemäß Option "B" außerhalb der Hinderniserkennungsvorrichtung HEV in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG und der Berechnungs-/Auswerteeinrichtung BAWE zugeordnet bzw. mit diesem verbindbar sein. In diesem Zusammenhang wird auf die Informationsspeichereinrichtung in der DE-Patentanmeldung (Anmeldung-Nr. 102016224355.1 ) und der dazu korrespondierenden Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081784 ; Veröffentlichungs-Nr. WO 2018/104427 A1 ) zum alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, verwiesen.
  • In der Informationsdatenbank IDB sind neben Bild-Metainformationen BMI, die dem Wortsinn nach Merkmals- und Eigenschaftsdaten des in den Bilder BIFSB erfassten Fahrstreckenbereichs FSB beinhalten, Zusatzinformationen ZI, wie z.B. Fahrstreckenplänen oder Kartenmaterial, etc., gespeichert. Gemäß der Darstellung in der FIGUR 2 ist die Informationsdatenbank IDB der Hinderniserkennungsvorrichtung HEV in der Weise zugeordnet bzw. mit dieser verbindbar, als die Berechnungs-/Auswerteeinrichtung BAWE für die berechnungs-/auswertegestützte Hinderniserkennung auf die in der Informationsdatenbank IDB gespeicherten Bild-Metainformationen BMI und Zusatzinformationen ZI zugreift. Die Informationsdatenbank IDB ist dazu vorzugsweise außerhalb der Hinderniserkennungsvorrichtung HEV, z.B. als Datenbank, in dem Triebwagen angeordnet oder ist als Daten-Cloud ausgebildet.
  • Für die berechnungs-/auswertegestützte Hinderniserkennung weist die Berechnungs-/Auswerteeinrichtung BAWE vorzugsweise einen nicht-flüchtigen, lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines die Hinderniserkennung steuernden Programm-Moduls PGM gespeichert sind, und einen Prozessor PZ, der die Steuerprogrammbefehle des Programm-Moduls PGM zur berechnungs-/auswertegestützten Hinderniserkennung ausführt, auf. Dazu greift der Prozessor PZ zusätzlich - neben den Zugriffen auf die Bild-Metainformationen BMI und die Zusatzinformationen ZI in der Informationsdatenbank IDB - zu Steuerungszwecken und zum Auslesen von Daten auf das Bildaufzeichnungsgerät BAZG und die Bildspeichereinrichtung BSPE zu.
  • Die Berechnungs-/Auswerteeinrichtung BAWE bzw. das Programm-Modul PGM mit dem die Steuerprogrammbefehle des Programm-Moduls PGM zur berechnungs-/auswertegestützten Hinderniserkennung ausführenden Prozessor PZ sind jetzt bezüglich der berechnungs-/auswertegestützten Hinderniserkennung derart ausgebildet, dass in den Bildern BIFSB jeweils der Bildbereich BIB markiert wird, der das von dem Schienenfahrzeug SFZ benutzte Gleis GL zeigt, wobei das durch die Markierung bildlich positionierte Gleis GL des Schienenfahrzeugs SFZ durch eine Bildanalyse erkannt und entweder mit den gespeicherten bekannten Bild-Metainformationen BMI oder mit den gespeicherten bekannten Bild-Metainformationen MMI und den Zusatzinformationen ZI abgeglichen wird.
  • Die Bildanalyse und somit die Markierung wird vorzugsweise mit Hilfe von Kantenerkennungsalgorithmen durchgeführt, bei der ausgehend von dem in dem Fahrstreckenbereich FSB erfassten Gleis GL in dem Bildbereich BIB der Verlauf der von dem Schienenfahrzeug SFZ benutzten Gleis GL durch einen sich im erfassten Bild ändernden Bildanteil des Gleises GL zum erfassten Gesamtbild erkannt wird.
  • Darüber hinaus wird vorzugsweise, wenn die Bilder BIFSB mit RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren aufgenommen werden, die Bildanalyse und somit die Markierung auf der Basis der Kenntnis des benutzten Gleises GL durchgeführt, weil der Verlauf des benutzten Gleises GL relativ zu einer geografischen Position bekannt ist.
  • Ist das durch die Markierung bildlich positionierte Gleis GL des Schienenfahrzeugs SFZ durch die Bildanalyse erkannt und entweder mit den gespeicherten bekannten Bild-Metainformationen BMI oder mit den gespeicherten bekannten Bild-Metainformationen BMI und den Zusatzinformationen ZI abgeglichen, so wird für den Bildbereichsausschnitt BIBAS des markierten Bildbereichs BIB, der das benutzte Gleis GL sowie den für den Schienenverkehr SVK kritischen Bereich repräsentiert, durch eine Objekterkennungsmethode erkannt, ob sich ein Objekt OBJ, wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf dem Gleis GL befindet, wobei ein Hindernis in dem Bildbereich BIB, so z.B. wenn sich dieses in dem Bildbereichsausschnitt BIBAS befindet und/oder wenn es ein potentielles Hindernis ist, markiert wird, wenn das Objekt OBJ durch die Objekterkennungsmethode erkannt wird.
  • Mit der Objekterkennungsmethode wird ein Mustervergleich basierend auf einem Positiv-Vergleich und/oder Negativer-Vergleich durchgeführt, bei dem im Fall des Positiv-Vergleichs überprüft wird, ob in dem Bildbereichsausschnitt BIBAS objektspezifische Muster enthalten sind und im Fall des Negativ-Vergleichs überprüft wird, ob in dem Bildbereichsausschnitt BIBAS ein erwartetes Muster, das z.B. das durchgezogene, von dem Schienenfahrzeug SFZ benutzte Gleis GL oder eine Regelmäßigkeit, die durch Fahrspurträger der Fahrspur FS oder Gleisträger zwischen den parallel verlaufenden Gleisen GL gebildet wird, enthalten ist.
  • Endet diese Überprüfung vom Ergebnis her beim Negativ-Vergleich mit einem "NEIN", so wird die festgestellte Unregelmäßigkeit bezüglich ihres Erwartens mit als Referenzinformationen genutzte und in Fahrstrecken-Initialisierungsläufen zuvor aufgenommene Streckenbildern abgeglichen, wobei, wenn die Unregelmäßigkeit nicht erwartet wurde, ein Hindernis in dem Bildbereich BIB, z.B. in dem Bildbereichsausschnitt BIBAS und/oder als potentielles Hindernis, markiert wird.
  • Die für sämtliche Bilder BIFSB jeweils in dem Bildbereich BIB respektive dem Bildbereichsausschnitt BIBAS erfolgten Hindernismarkierungen werden vorzugsweise im Hinblick auf eine die unterschiedlichen Bildquellen kombinierende Bildverarbeitung mit Hilfe von Bildverarbeitungsmethoden, wie z.B. Hidden-Markov-Modellen, zusammengeführt. Dadurch kann z.B. erreicht werden, dass die Wahrscheinlichkeit für eine fehlerhafte Erkennung minimiert und das Auftreten von "false negatives", d.h. von fehlerhaften Annahmen, dass sich kein Objekt im Fahrspur-bzw. Gleisbereich befindet, obwohl es real vorhanden ist, verhindert wird.
  • Darüber hinaus ist für die Hinderniserkennungsvorrichtung HEV mit der integrierten oder zugeordneten Bildspeichereinrichtung BSPE für solche Bilder in der Bildspeichereinrichtung BSPE, für die eine Auswertung nur mit hohem Unsicherheitsfaktor möglich ist, eine landseitige Auswertestation AWS vorgesehen, die über Mobilfunk an die Bildspeichereinrichtung angebunden ist und von dieser die dort gespeicherten Bilder für eine modifizierte Auswertung entgegennimmt. Diese Bilder können dann von einem menschlichen Experten ausgewertet werden und diese Information kann dann wiederum in die Bildspeichereinrichtung BSPE zurückgespeist werden.
    1. 1. Bei hinreichender Kommunikationsbandbreite und Verfügbarkeit menschlicher Experten kann dies sogar in Echtzeit erfolgen derart, dass das Ergebnis der Auswertung zur Steuerung des Bahn-/Schienenfahrzeugs verwendet werden kann.
    2. 2. Über die landseitige Auswertestation AWS kann darüber hinaus das Bildmaterial von Schienenfahrzeugen einer Flotte oder mehrere Flotten abgeglichen und verteilt werden.
  • Alternativ zu der Auswertestation AWS für die modifizierte Auswertung von Bildern, für die eine Auswertung nur mit hohem Unsicherheitsfaktor möglich ist, ist es auch möglich, dass ein Zugführer oder ein vergleichbarer Bahnbediensteten, der zwecks Passagierabfertigung ohnehin auf dem Schienenfahrzeug mitfährt, mit einem mobilen Gerät Bilder mit einem hohen Unsicherheitsfaktor bewertet, so wie dies der menschliche Experte bezüglich der Bilder in der Auswertestation AWS tut.
  • Mit der wie vorstehend beschriebenen Hinderniserkennungsvorrichtung HEV kann ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs BFZ bzw. des Schienenfahrzeugs SFZ ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assistiert bzw. sogar realisiert werden. Dies ist insbesondere dann gegeben, wenn die Hinderniserkennungsvorrichtung HEV als eine virtuelle Maschine realisiert ist, die im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausgebildet ist und funktioniert.

Claims (10)

  1. Verfahren zur Hinderniserkennung im Bahnverkehr (BVK), insbesondere im Schienenverkehr (SVK),
    dadurch gekennzeichnet, dass
    a) von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagenführers (FZF, TFS, TRW) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug (BFZ, SFZ), von einem dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten, insbesondere sich an die Geschwindigkeit des Bahnfahrzeuges (BFZ, SFZ) orientierenden, Fahrstreckenbereich (FSB) eine Vielzahl von den Fahrstreckenbereich (FSB) repräsentierenden Bildern (BIFSB) erfasst wird,
    b) in den Bildern (BIFSB) jeweils ein Bildbereich (BIB) markiert wird, der eine von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS), insbesondere ein Gleis (GL), zeigt, wobei die durch die Markierung bildlich positionierte Fahrspur (FS, GL) des Bahnfahrzeugs (BFZ, SFZ) durch eine Bildanalyse erkannt und entweder mit gespeicherten bekannten Bild-Metainformationen (BMI) oder mit gespeicherten bekannten Bild-Metainformationen (BMI) und Zusatzinformationen (ZI), wie z.B. Fahrstreckenplänen oder Kartenmaterial, abgeglichen wird,
    c) für ein Bildbereichsausschnitt (BIBAS) des markierten Bildbereichs (BIB), der die genutzte Fahrspur (FS, GL) sowie einen für den Bahnverkehr (BVK, SVK) kritischen Bereich repräsentiert, durch eine Objekterkennungsmethode erkannt wird, ob sich ein Objekt (OBJ), wie z.B. eine Person, ein Tier, ein umgestürzter Baum, auf der Fahrspur (FS, GL) befindet, wobei ein Hindernis in dem Bildbereich (BIB), vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potentielles Hindernis, markiert wird, wenn das Objekt (OBJ) durch die Objekterkennungsmethode erkannt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass
    die Bilder (BIFSB) mit mehreren Bildaufzeichnungsgeräten (BAZG) unterschiedlicher Bauart, z.B. mit Videokameras, Lasersensoren, RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren, Infrarotkamera, und/oder Wärmebildkameras, aufgenommen werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass
    wenn die Bilder (BIFSB) mit RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren aufgenommen werden, die Bildanalyse auf der Basis der Kenntnis der benutzten Fahrspur (FS, GL) durchgeführt wird, weil der Verlauf der benutzten Fahrspur (FS, GL) relativ zu einer geografischen Position bekannt ist.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass
    mit der Objekterkennungsmethode ein Mustervergleich basierend auf einem Positiv-Vergleich und/oder Negativ-Vergleich durchgeführt wird, bei dem
    a) beim Positiv-Vergleich überprüft wird, ob in dem Bildbereichsausschnitt (BIBAS) objektspezifische Muster enthalten sind und
    b) beim Negativ-Vergleich
    b1) überprüft wird, ob in dem Bildbereichsausschnitt (BIBAS) ein erwartetes Muster, vorzugsweise die durchgezogene, von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS, GL) oder eine Regelmäßigkeit, die durch Fahrspurträger der Fahrspur (FS) respektive Gleisträger zwischen den parallel verlaufenden Gleisen (GL) gebildet wird, enthalten ist,
    b2) für den Fall, dass die Überprüfung vom Ergebnis mit einem "NEIN" endet, wird die festgestellte Unregelmäßigkeit bezüglich ihres Erwartens mit als Referenzinformationen genutzte und in Fahrstrecken-Initialisierungsläufen zuvor aufgenommene Streckenbildern abgeglichen,
    b3) für den Fall, dass die Unregelmäßigkeit nicht erwartet wurde, wird ein Hindernis in dem Bildbereich (BIB), vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potenzielles Hindernis, markiert.
  5. Vorrichtung (HEV) zur Hinderniserkennung im Bahnverkehr (BVK), insbesondere im Schienenverkehr (SVK),
    dadurch gekennzeichnet, dass
    a) mindestens ein Bildaufzeichnungsgerät (BAZG), mit dem von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ) aus, insbesondere aus der Perspektive eines Triebwagenführers (FZF, TFS, TRW) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug (BFZ, SFZ), von einem dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten, insbesondere sich an die Geschwindigkeit des Bahnfahrzeuges (BFZ, SFZ) orientierenden, Fahrstreckenbereich (FSB) eine Vielzahl von den Fahrstreckenbereich (FSB) repräsentierenden Bildern (BIFSB) erfassbar und in einer Bildspeichereinrichtung (BSPE) speicherbar sind,
    b) eine Berechnungs-/Auswerteeinrichtung (BAWE), die verbunden und funktional zusammenwirkend mit dem Bildaufzeichnungsgerät (BAZG), der Bildspeichereinrichtung (BSPE) und einer Informationsdatenbank (IDB), wobei vorzugsweise beide, die Bildspeichereinrichtung (BSPE) und die Informationsdatenbank (IDB), als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sind, derart, insbesondere mit einem nicht-flüchtigen, lesbaren Speicher (SP), in dem prozessorlesbare Steuerprogrammbefehle eines die Hinderniserkennung steuernden Programm-Moduls (PGM) gespeichert sind, und einem Prozessor (PZ), der die Steuerprogrammbefehle des Programm-Moduls (PGM) zur berechnungs-/auswertegestützten Hinderniserkennung ausführt, ausgebildet ist, dass in den Bildern (BIFSB) jeweils ein Bildbereich (BIB) markiert wird, der eine von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS), insbesondere ein Gleis (GL), zeigt, wobei die durch die Markierung bildlich positionierte Fahrspur (FS, GL) des Bahnfahrzeugs (BFZ, SFZ) durch eine Bildanalyse erkannt und entweder mit gespeicherten bekannten Bild-Metainformationen (BMI) oder mit gespeicherten bekannten Bild-Metainformationen (BMI) und Zusatzinformationen (ZI), wie z.B. Fahrstreckenplänen oder Kartenmaterial, abgeglichen wird,
    c) die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass für ein Bildbereichsausschnitt (BIBAS) des markierten Bildbereichs (BIB), der die benutzte Fahrspur (FS, GL) sowie einen für den Bahnverkehr (BVK, SVK) kritischen Bereich repräsentiert, durch eine Objekterkennungsmethode erkannt wird, ob sich ein Objekt (OBJ), wie z.B. eine Person, ein Tier, ein umgestürzter Baum, auf der Fahrspur (FS, GL) befindet, wobei ein Hindernis in dem Bildbereich (BIB), vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potentielles Hindernis, markiert wird, wenn das Objekt (OBJ) durch die Objekterkennungsmethode erkannt wird.
  6. Vorrichtung (HEV) nach Anspruch 5, dadurch gekennzeichnet, dass
    mehrere Bildaufzeichnungsgeräte (BAZG) unterschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte, auf funkbasierte Ortung und Abstandsmessung beruhende Sensoren, Infrarotkamera, und/oder Wärmebildkameras, enthalten sind, die die Bilder (BIFSB) aufnehmen.
  7. Vorrichtung (HEV) nach Anspruch 6, dadurch gekennzeichnet, dass
    die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass, wenn die Bilder (BIFSB) mit RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren aufgenommen werden, die Bildanalyse auf der Basis der Kenntnis der benutzten Fahrspur (FS, GL) durchgeführt wird, weil der Verlauf der benutzten Fahrspur (FS, GL) relativ zu einer geografischen Position bekannt ist.
  8. Vorrichtung (HEV) nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass
    die Berechnungs-/Auswerteeinrichtung (BAWE) derart ausgebildet ist, dass mit der Objekterkennungsmethode ein Mustervergleich basierend auf einem Positiv-Vergleich und/oder Negativer-Vergleich durchgeführt wird, bei dem
    a) beim Positiv-Vergleich überprüft wird, ob in dem Bildbereichsausschnitt (BIBAS) objektspezifische Muster enthalten sind und
    b) beim Negativ-Vergleich
    b1) überprüft wird, ob in dem Bildbereichsausschnitt (BIBAS) ein erwartetes Muster, vorzugsweise die durchgezogene, von dem Bahnfahrzeug (BFZ, SFZ) benutzte Fahrspur (FS, GL) oder eine Regelmäßigkeit, die durch Fahrspurträger der Fahrspur (FS) respektive Gleisträger zwischen den parallel verlaufenden Gleisen (GL) gebildet wird, enthalten ist,
    b2) für den Fall, dass die Überprüfung vom Ergebnis mit einem "NEIN" endet, wird die festgestellte Unregelmäßigkeit bezüglich ihres Erwartens mit als Referenzinformationen genutzte und in Fahrstrecken-Initialisierungsläufen zuvor aufgenommene Streckenbildern abgeglichen,
    b3) für den Fall, dass die Unregelmäßigkeit nicht erwartet wurde, wird ein Hindernis in dem Bildbereich (BIB), vorzugsweise in dem Bildbereichsausschnitt (BIBAS) und/oder als potenzielles Hindernis, markiert.
  9. Vorrichtung (HEV) nach einem der Ansprüche 5 bis 8,
    dadurch gekennzeichnet, dass
    das Bildaufzeichnungsgerät (BAZG) schwenkbar ausgebildet ist.
  10. Bahnfahrzeug (BFZ) zur Hinderniserkennung im Bahnverkehr (BVK), insbesondere Schienenfahrzeug (SFZ) zur Hinderniserkennung im Schienenverkehr (SVK), dadurch gekennzeichnet, dass
    eine Vorrichtung (HEV) zur Hinderniserkennung nach einem der Ansprüche 5 bis 9 in das Bahnfahrzeug (BFZ, SFZ) integriert ist.
EP17832743.3A 2016-12-07 2017-12-07 Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr Active EP3523177B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016224344 2016-12-07
PCT/EP2017/081834 WO2018104454A2 (de) 2016-12-07 2017-12-07 Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr

Publications (2)

Publication Number Publication Date
EP3523177A2 EP3523177A2 (de) 2019-08-14
EP3523177B1 true EP3523177B1 (de) 2025-05-07

Family

ID=61017881

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17832743.3A Active EP3523177B1 (de) 2016-12-07 2017-12-07 Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr

Country Status (5)

Country Link
EP (1) EP3523177B1 (de)
CN (1) CN110087970A (de)
ES (1) ES3036523T3 (de)
RU (1) RU2719499C1 (de)
WO (1) WO2018104454A2 (de)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018215697A1 (de) 2018-09-14 2020-03-19 Siemens Mobility GmbH Automatisiertes fahrzeugseitiges Steuerungssystem für ein Schienenfahrzeug
IL263848A (en) * 2018-12-19 2020-06-30 Elta Systems Ltd System for obstacle detection
RS20190601A1 (sr) * 2019-05-16 2020-11-30 Babic Milovan Postupak i univerzalni uređaj za bezbedno upravljanje železničkim vozilima/vozovima nastao korišćenjem optoelektronskog uređaja dan/noć za prepoznavanje objekata sa daljinomerom i uređaja za geografsko pozicioniranje objekata na zemlji
EP3756971A1 (de) * 2019-06-24 2020-12-30 Mitsubishi Electric R & D Centre Europe B.V. Verfahren zur übertragung von hinderniserkennungsverbesserungsdaten an ein sich bewegendes beförderungsmittel
CN110889319A (zh) * 2019-09-04 2020-03-17 昆山研祥智能科技有限公司 道路状况检测方法及系统
CN110435689B (zh) * 2019-09-09 2020-12-08 中铁电气化局集团西安电气化工程有限公司 基于模块化控制的智能障碍探测车的探测方法
CA3155506A1 (en) 2019-11-20 2021-05-27 David Beach High-integrity object detection system and method
CA3157233A1 (en) 2019-12-09 2021-06-17 Alon Green System and method for vehicle control
CN111079827B (zh) * 2019-12-13 2023-04-07 中国铁道科学研究院集团有限公司电子计算技术研究所 一种铁路数据状态评估方法及系统
RU2742960C1 (ru) * 2020-09-25 2021-02-12 Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" Бортовая информационная система
DE102021200767A1 (de) * 2021-01-28 2022-07-28 Siemens Mobility GmbH Selbstlernendes Warnsystem für Schienenfahrzeuge
GB2604882A (en) 2021-03-17 2022-09-21 Siemens Mobility Ltd Real-time computer vision-based track monitoring
EP4124542A1 (de) * 2021-07-30 2023-02-01 Siemens Mobility GmbH Verfahren und vorrichtung zum erkennen von hindernissen auf einer strecke
RU2766936C1 (ru) * 2021-10-19 2022-03-16 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» Устройство контроля за управлением локомотивом и бдительностью машиниста
CN114397672A (zh) * 2021-12-14 2022-04-26 卡斯柯信号有限公司 一种基于定位技术的列车主动障碍物检测方法及装置
CN114401387A (zh) * 2022-02-09 2022-04-26 上海亚冠智慧轨道交通科技有限公司 轨道交通线路异物入侵监测系统和方法
CN114739384A (zh) * 2022-03-04 2022-07-12 净豹智能机器人(台州)有限公司 一种快速特征估计的无人驾驶车辆定位系统及方法
EP4299411A1 (de) * 2022-06-29 2024-01-03 Siemens Mobility GmbH Verfahren und vorrichtung zum erkennen von hindernissen in einem gefahrenraum
DE102023204214A1 (de) * 2023-05-08 2024-11-14 Siemens Mobility GmbH Validierung einer Objekterkennungseinrichtung eines Schienenfahrzeugs
EP4509382A1 (de) * 2023-08-16 2025-02-19 Siemens Aktiengesellschaft Verfahren zum bestimmen einer störung einer bahninfrastruktur mittels einer erfassungsvorrichtung eines zuges, computerprogrammprodukt, computerlesbares speichermedium sowie erfassungsvorrichtung
FR3158943A1 (fr) * 2024-02-07 2025-08-08 Société d’Ingénierie, de Construction et d’Exploitation de la Ferromobile - SICEF Dispositif électronique et procédé de reconnaissance d’obstacle(s) sur une voie ferrée, programme d’ordinateur et système associés

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405128B1 (en) 1999-12-20 2002-06-11 Navigation Technologies Corp. Method and system for providing an electronic horizon in an advanced driver assistance system architecture
US20040056182A1 (en) * 2002-09-20 2004-03-25 Jamieson James R. Railway obstacle detection system and method
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN201825066U (zh) * 2010-10-20 2011-05-11 成都可益轨道技术有限公司 机车地面信号及障碍物自动识别系统
DE102014206473A1 (de) * 2014-04-03 2015-10-08 Bombardier Transportation Gmbh Automatische Assistenz eines Fahrers eines fahrspurgebundenen Fahrzeugs, insbesondere eines Schienenfahrzeugs
JP6697797B2 (ja) * 2014-09-08 2020-05-27 トランスポーテーション アイピー ホールディングス，エルエルシー 光学経路調査システム及び方法
CN105083324A (zh) * 2015-07-28 2015-11-25 陕西西北铁道电子有限公司 车载光学探测机构结合辅助摄像的机车防撞方法及装置
CN105701844B (zh) * 2016-01-15 2018-11-27 苏州大学 基于颜色特征的障碍物或阴影检测方法
CN109415071A (zh) 2016-04-08 2019-03-01 西门子移动有限责任公司 用于轨道交通、特别是铁路交通中的信号识别的方法、装置和轨道车辆，特别是铁路车辆
CN205601869U (zh) * 2016-05-18 2016-09-28 苏州华兴致远电子科技有限公司 车载运行环境安全监测系统

Also Published As

Publication number Publication date
ES3036523T3 (en) 2025-09-19
CN110087970A (zh) 2019-08-02
EP3523177A2 (de) 2019-08-14
WO2018104454A3 (de) 2018-08-23
RU2719499C1 (ru) 2020-04-20
WO2018104454A2 (de) 2018-06-14

Similar Documents

Publication Publication Date Title
EP3523177B1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr
EP3523176B1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur gefahrensituationserkennung im bahnverkehr, insbesondere im schienenverkehr
DE69731009T2 (de) System zum Erkennen von Hindernissen
DE102017203654B4 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Fahrzeug auf einer Straße und Fahrerassistenzsystem
EP3523175A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurbasierten bildanalyse im bahnverkehr, insbesondere zur gleisbasierten bildanalyse im schienenverkehr
WO2018104477A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurerkennung im bahnverkehr, insbesondere zur gleiserkennung im schienenverkehr
WO2017174155A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur signalerkennung im bahnverkehr, insbesondere schienenverkehr
DE102008041679A1 (de) Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung
WO2014032664A1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
EP1286181A1 (de) Führung von Kraftfahrzeugen
DE102013104088A1 (de) Verfahren zur automatischen Detektion von charakteristischen Elementen, insbesondere eines Bahnübergangs, und Einrichtung dafür
EP4029758A1 (de) Sicherheitskritische bordseitige überwachung der umgebung eines schienenfahrzeugs
WO2018095681A1 (de) Verfahren zur positionsbestimmung eines schienenfahrzeugs und schienenfahrzeug mit positionsbestimmungseinrichtung
EP3802257A1 (de) Steuerung eines kraftfahrzeugs
DE102007009772A1 (de) Vorrichtung und Verfahren zur Ermittlung einer gleisselektiven Ortungsinformation
WO2020224853A1 (de) Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug
DE102020005763A1 (de) Verfahren zur Steuerung eines Fahrzeugs
WO2018228757A1 (de) Verfahren, computer-programm-produkt und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurerkennung im bahnverkehr, insbesondere zur gleiserkennung im schienenverkehr
WO2018104427A1 (de) Verfahren, vorrichtung und schienenfahrzeug zur positionsbestimmung im schienenverkehr
DE102019206348A1 (de) Verfahren und Computer-Programm-Produkt zum Erkennen von Signalzeichen zur Verkehrssteuerung spurgebundener Fahrzeuge sowie Signalzeichenerkennungssystem und Spurgebundenes Fahrzeug, insbesondere Schienenfahrzeug
DE102016216528A1 (de) Verfahren und Vorrichtung zum Ermitteln des Ortes eines Fahrzeugs, insbesondere eines Schienenfahrzeugs
DE102023120364B3 (de) Verfahren zum kartenbasierten Lokalisieren von einem Fahrzeug aus, sowie Fahrzeug
EP3947101A1 (de) Verfahren und computer-programm-produkt zur positionsbestimmung spurgebundener fahrzeuge sowie positionsbestimmungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
WO2019145232A1 (de) Verfahren zur verkehrsüberwachung und verkehrsüberwachungsanlage

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190508

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210510

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20241217

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502017016847

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502017016847

Country of ref document: DE

Owner name: SIEMENS MOBILITY GMBH, DE

Free format text: FORMER OWNER: SIEMENS MOBILITY GMBH, 81739 MUENCHEN, DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20250507

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 3036523

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20250919

RAP4 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SIEMENS MOBILITY GMBH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250908

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250807

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250808

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250807

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250907

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20251215

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502017016847

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: U11

Free format text: ST27 STATUS EVENT CODE: U-0-0-U10-U11 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260310

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: CH

Ref legal event code: L10

Free format text: ST27 STATUS EVENT CODE: U-0-0-L10-L00 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260318

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20260320

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20260219

Year of fee payment: 9

26N No opposition filed

Effective date: 20260210

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20260310

Year of fee payment: 9