WO2017097596A2 - Verfahren und steuergerät zum erkennen einer möglichen kollision eines unbemannten luftfahrzeugs mit einem objekt - Google Patents

Verfahren und steuergerät zum erkennen einer möglichen kollision eines unbemannten luftfahrzeugs mit einem objekt Download PDF

Info

Publication number
WO2017097596A2
WO2017097596A2 PCT/EP2016/078647 EP2016078647W WO2017097596A2 WO 2017097596 A2 WO2017097596 A2 WO 2017097596A2 EP 2016078647 W EP2016078647 W EP 2016078647W WO 2017097596 A2 WO2017097596 A2 WO 2017097596A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
aircraft
trajectory
collision
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2016/078647
Other languages
English (en)
French (fr)
Other versions
WO2017097596A3 (de
Inventor
Pablo Luis Guarnizo
Gabriele Michalke
Thomas Michalke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of WO2017097596A2 publication Critical patent/WO2017097596A2/de
Publication of WO2017097596A3 publication Critical patent/WO2017097596A3/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/55—Navigation or guidance aids for a single aircraft
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/57—Navigation or guidance aids for unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/70—Arrangements for monitoring traffic-related situations or conditions
    • G08G5/72—Arrangements for monitoring traffic-related situations or conditions for monitoring traffic
    • G08G5/723—Arrangements for monitoring traffic-related situations or conditions for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/70—Arrangements for monitoring traffic-related situations or conditions
    • G08G5/74—Arrangements for monitoring traffic-related situations or conditions for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/80—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Definitions

  • the invention is based on a device or a method according to the preamble of the independent claims.
  • the subject of the present invention is also a computer program.
  • an unmanned aerial vehicle which may also be referred to as a drone
  • autonomous operation there is a risk that the aircraft collides with an object or obstacle which is in a planned trajectory of the aircraft or enters the trajectory.
  • Aircraft with an object further a control unit, which uses this method, and finally presented a corresponding computer program according to the main claims.
  • the measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.
  • a method for detecting a possible future collision of an unmanned aerial vehicle with an object comprising the following steps: Looking for at least one object in one, from a camera of the
  • a collision can be understood as an event in which the
  • Aircraft and the object come so close to each other that with a high
  • Image information may be understood as meaning a data set of image data recorded by a camera of the aircraft, the image information being assigned to individual images
  • An optical feature may be, for example, an optical flow, pattern or structure.
  • the optical flux may be a difference vector or a set of difference vectors representing a displacement of corresponding pixels in the two
  • An object information may be a parameter that has an extent and / or characterize a movement of the object.
  • a parameter as object information may be a relative speed and / or a relative distance of the object with respect to the aircraft or may designate a size or extent of the object.
  • Trajectory information may represent a planned future space requirement of the aircraft, for example in the form of an aircraft trajectory, which will most likely take the aircraft on its flight.
  • An image area of the image information may be recognized as an object if pixels in the image area have an optical mark equal to the optical feature within a tolerance range.
  • an optical tag may also be an optical flow, a pattern, or a structure.
  • an equality of the optical mark with the optical feature which is present within a tolerance range can be understood as meaning that the difference vectors of
  • Pixels in this area in their direction and their amount by no more than 20 percent, in particular by no more than 10 percent, especially not more than 5 percent from each other.
  • an object may be based on a substantially identical one
  • the search for the object can also be done by other methods.
  • the optical flow is a variant.
  • Monocameras is suitable and / or recognition of pre-already found, known and / or mapped objects are used. Under previously known, known and / or mapped objects mapped objects can be understood.
  • the optical flow results from a relative movement between a camera and imaged objects. It is irrelevant whether the
  • Camera moves toward the objects due to a self-motion, or if the objects move toward the camera.
  • a potential obstacle or collision object due to the optical flow can recognize between at least two pictures of the camera, one can
  • Collision avoidance system evaluate flow information about the optical flow to identify the obstacle or collision object.
  • Position information and direction information of the object are determined.
  • the optical flow is in this case as already briefly outlined above, for example, composed of displacement vectors, the one, a
  • Speed representing length having a direction representing orientation in space and having a position representing end point.
  • An image area recognized as an object can be compared with mapped objects to confirm the object.
  • the approach presented here can be robust.
  • Direction information of the object can be included in the trajectory information, for example, with the included airspeed, one in the
  • Trajectory information for example, contained vehicle position and / or included in the trajectory information, for example, flight direction of
  • Aircraft are compared to detect the potential future collision location and the possible future collision time. From the
  • an expected movement trajectory of the object can be calculated or extrapolated. From the
  • Airspeed, the vehicle position and / or the direction of flight can be calculated or extrapolated an expected flight trajectory. By comparing the flight trajectory with the motion trajectory, the possible future collision can be detected. In order to avoid the collision, a picture can be very simple
  • the method may include a step of receiving at least one further trajectory information of another aircraft.
  • the further trajectory information may include or contain the aforementioned information or parameters relating to the further aircraft, which have already been mentioned for the trajectory information of the aircraft.
  • the trajectory information can be compared with the further trajectory information in order to detect the possible future collision location and the possible future collision time.
  • the further trajectory information represents a further trajectory and may comprise a further airspeed, a further vehicle position and a further direction of flight of the further aircraft.
  • the further flight trajectory can be compared with the flight trajectory to detect the possible future collision.
  • the trajectory information may be determined using the optical flow.
  • the picture information of the camera is next to the
  • Cognitive objects also contain a resulting from a proper movement of the aircraft optical flow.
  • the optical flow may be evaluated with respect to pixels associated with objects associated with the ground, such as trees or buildings. It is then very easy to obtain the trajectory information of the aircraft itself on the basis of the evaluation of the "relative movement" of the aircraft with these objects connected to the ground, which can not move by the fixed connection with the ground itself and therefore the relative movement by a movement of the In particular, an aircraft direction of a direction to a point of convergence of
  • Match shift vectors of a picture background in particular where such a convergence point may represent, for example, the tree or the building.
  • the method may include a step of providing the trajectory information.
  • the own trajectory information can be provided, for example, for another aircraft or a central coordination point. This can already be prevented by an appropriate disclosure of the trajectory information to the other or an additional aircraft, a possible conflict situation before the other aircraft or an additional
  • Aircraft enters the detection range of the camera.
  • the method may include a step of determining an alternative trajectory for the aircraft using the trajectory information, the
  • Object information, the possible future collision location and the possible future collision time include.
  • the aircraft may be controlled to the alternative trajectory to prevent the potential future collision.
  • the trajectory or planned trajectory can be changed until a safety distance between the object and the aircraft is maintained and thereby the alternative trajectory is determined.
  • the method may include a warning step in which a
  • Warning signal is provided about the possible future collision for the object.
  • a warning signal can be understood, for example, as an acoustic signal or an optical signal.
  • a warning sound may be provided if the object is recognized as a bird.
  • the warning signal can for example be directly from the aircraft off or be issued, for example, to a flying bird on the aircraft
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.
  • the approach presented here also provides a control device for detecting a possible future collision of an unmanned aerial vehicle with a Object, wherein the controller is adapted to the steps of a variant of a method presented here in corresponding devices
  • Embodiment of the invention in the form of a controller the object underlying the invention can be achieved quickly and efficiently.
  • a control device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the control unit may have an interface, which may be formed in hardware and / or software. In a hardware training, the interfaces may for example be part of a so-called system ASICs, the various functions of the
  • Control unit includes.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • Aircraft comprising the following features: a camera for providing image information; a controller according to the approach presented here; and an evasive means for influencing the trajectory of the aircraft, in particular in response to a provided by the control unit
  • Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the above described embodiments, in particular when the program product or program is executed on a computer or a device.
  • a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory
  • 1 is an illustration of an unmanned aerial vehicle with a
  • Control unit for detecting a possible future collision according to an embodiment
  • FIG. 2 is an overview view of a collision avoidance system according to an embodiment
  • FIG. 3 is an illustration of an unmanned aerial vehicle having an ion avoidance system according to one embodiment
  • FIG. 5 shows an illustration of a modified trajectory for avoiding a collision according to an exemplary embodiment
  • Fig. 6 is an illustration of an unmanned aerial vehicle prior to a possible future collision with a bird
  • Fig. 7 is an illustration of an autonomous flight of an unmanned vehicle
  • Aircraft with a collision avoidance system Aircraft with a collision avoidance system according to a
  • FIG. 8 is an illustration of configuration levels of a collision avoidance system for an unmanned aerial vehicle according to an embodiment.
  • FIG. 9 is a flowchart of a method for detecting a possible future collision according to an exemplary embodiment.
  • the aircraft 100 may be referred to as a drone 100.
  • the aircraft 100 is a quadrocopter 100.
  • the control device 102 has a search device 104, an allocation device 106 and a comparison device 108.
  • the controller 102 is on
  • the controller 102 may be referred to as a collision detection system 102.
  • the aircraft 100 has at least one camera 112 for providing image information 114.
  • the camera 112 is aligned in a main flight direction 116 of the aircraft 100 and maps an area of the aircraft 100 in front of the aircraft 100 in the image information 114.
  • the image information 114 consists of a sequence of individual images that yield a video or moving image of the environment.
  • the camera 112 forms an object 118 in the image information 114 by way of example here.
  • a relative movement between the camera 112 and the imaged object 118 it is imaged in the frames at different locations and with a different imaging size.
  • a displacement vector results between image coordinates at which in the
  • the entirety of the displacement vectors is referred to as a variant of an optical feature 120, which in the present case can also be referred to as optical flow.
  • the search for the object can also be done by other methods.
  • the use of the optical flow is just a variant.
  • a classifier cascade or a pattern recognition, "structure from motion", which is particularly suitable for monocameras and / or recognition of mapped objects can be used.
  • the search device 104 is configured to search the object 118 or objects in the image information 114. For this purpose, the search device 104 reads in the image information 114 and the optical flow 120. This is a
  • Image area 122 of the image information 114 is recognized as the object 118 when pixels in the image area 122 have a similar optical flux 120.
  • the displacement vectors may have a similar length.
  • the displacement vectors may have a
  • the allocation device 106 is designed to associate object information 124 to the object 118 or the objects using the optical flow 120. In this case, a speed information 126, a position information 128 and a direction information 130 of the object 118 are determined from the optical flow 120 of the image points representing the detected object 118.
  • the comparison device 108 is configured to compare the object information 124 with a trajectory information 132 of the aircraft 100. At this time, the speed information 126, the position information 128 and the direction information 130 of the object 118 become at an airspeed
  • the object information 124 and the trajectory information 132 are extrapolated. A possible future collision can then be detected if the extrapolated object information 124 and the extrapolated
  • Trajectory information 132 is a future shortfall of one
  • Collision time 142 are sent to an alternate device 144 of the
  • the evasion device 144 is configured to use the trajectory information 132, the potential future collision location 140, and the possible future ones
  • Collision time 142 a future trajectory of the aircraft 100 to
  • FIG. 2 shows an overview representation of a collision avoidance system 110 according to one exemplary embodiment.
  • the collision avoidance system 110 is substantially similar to the collision avoidance system of FIG. 1.
  • the camera 112 provides an RGB signal 114. If the camera 112 is not an RGB camera, the signal 114 may also be a signal that is not configured as an RGB signal.
  • the search device 104 and the object recognition and object classification associating device 106 are summarized here. As in FIG. 1, the speed information 126, the position information 128, and the
  • Direction information 130 for the comparator 108 is provided. In the comparison device 108, this information with the
  • Airspeed 134, the vehicle position 136 and the flight direction 138 of the trajectory information 132 of the aircraft 100 compared to obtain the possible future collision location 140 and the possible future collision time 142.
  • the avoidance device 144 is designed to be direct
  • Target speeds 200 to influence the rotors of the quadrocopter 100 to dissuade the quadrocopter 100 from its collision course For this purpose a change of the flight trajectory and a speed change of the rotors are calculated by an algorithm.
  • the aircraft 100 includes a base sensor 202 that provides actual attitude information 204 about an attitude of the aircraft
  • Aircraft 100 for the comparator 108 provides.
  • the position information 204 comprises a position, an orientation and a speed of the aircraft 100.
  • the base sensor 202 may comprise, for example, radar, ultrasound and / or infrared.
  • the attitude information 204 may also represent a position, orientation, and speed of the object.
  • the location information 204 is used in the comparator 108 to determine the possible future collision location 140 and the possible future collision time 142.
  • an algorithm for matching the object information 124 out of the camera with the sensor data 204 is carried out in the comparison device 108.
  • Movement data of the object adjusted, wherein the movement data once over the object information 124 and once via the sensor data 204 are adjusted.
  • the trajectory of the aircraft 100 is checked for speed, position, direction and attitude.
  • the object is also checked for speed, position, direction and / or position.
  • a time-to-collision 142 and a position-of-collision 140 are calculated.
  • the aircraft 100 includes a map module 206.
  • the map module 206 is configured to provide geographic data 208 to the search engine 104 and the mapper 106.
  • the card module 206 receives card data over a wireless data connection, such as cellular.
  • a wireless data connection such as cellular.
  • the image information 114 is used to capture the environment of the aircraft 100.
  • an inverse perspective can be generated which corresponds to an equalized view of the environment.
  • Allocation means 106 carried out a three-dimensional measurement of the detected objects, from which geographic data of the environment can be generated again.
  • 3 shows an illustration of an unmanned aerial vehicle 100 having a collision avoidance system 110 according to one embodiment.
  • the aircraft 100 or the drone 100 is, as in FIGS. 1 and 2, a rotorcraft, in particular a multicopter 100.
  • the aircraft 100 can also be a fixed-wing aircraft.
  • the drone 100 here has a sensor 300 for detecting the environment.
  • the sensor 300 may be a camera 112 as in FIGS. 1 and 2.
  • the sensor 300 may be a laser sensor.
  • the drone 100 has a radar 302, which is also designed to detect the environment.
  • the radar 302 has a greater range than the sensor 300.
  • the radar 302 is also independent of viewing conditions, as the radar waves can penetrate, for example, fog, clouds and smoke.
  • the drone 100 here has two downwardly directed ground detection sensors 304.
  • the ground detection sensors 304 are ultrasonic sensors 304.
  • the ultrasonic sensors 304 are arranged diametrically opposite to a fuselage of the drone 100.
  • the drone 100 has a wireless version in a further expansion stage
  • Transponder 306 which communicates with a ground station 308 (which in the following description also synonymously as Monsham,
  • the ground station monitors the airspace to detect and resolve potential conflicts between the drone 100 and other aircraft.
  • Ground station 308 are then granted or detained clearances for the airspace. Thus, a potential for conflict between several autonomous drones is greatly reduced.
  • the drone 100 has a transponder 312 for communicating drone to drone. Be via the transponder 312 also provided scheduled flight information and received scheduled flight information from other drones.
  • the flight control module 310 detects future conflicts between the involved drones and adjusts a planned flight path accordingly. Likewise, the other drones may adjust their flight paths if, for example, the drone 100 has assigned a higher priority.
  • the figure shows the eMSS system 110 with possible components.
  • the five advanced levels are marked differently.
  • FIG. 4 shows a representation of a sequence of steps for detecting a possible future collision according to an exemplary embodiment.
  • an aircraft 100 is shown having an aligned camera 112 as shown in FIG.
  • a single image 402 with displacement vectors 404 representing the optical flow 120 is shown.
  • the displacement vectors 404 are shown here for a single moving object 118 in the frame 402.
  • Object 118 is illustratively a moving road vehicle.
  • the displacement vectors 404 of the object are similar.
  • Displacement vectors 404 of the object 118 represent the optical flow 120 of the object 118 between the displayed frame 402 and a previous frame. In this case, the displacement vectors 404 all have a similar length, which is a speed of the object 118
  • the displacement vectors 404 all converge in a common vanishing point.
  • the object 118 can thus be recognized as a region in which the optical flow 120 is similar.
  • a tree 406 and a human 408 are arranged in a planned aircraft trajectory of the aircraft 100.
  • the tree 406 and the human 408 are recognized as objects 118 by evaluating the optical flow 120 and a possible future collision location as well as a possible future collision time is determined.
  • approaches 410 become responsive to the determination
  • Security system presented via camera 112 and basic sensors. For example, applications that require flying around people 408, such as delivery drones, are thus enabled.
  • the copter 100 is equipped with a camera 112 which takes a camera image in the direction of flight. Since most unmanned aerial vehicles are already equipped with cameras,
  • pixels in fast approaching objects 118 also move rapidly from one image 402 to the next, represented by the long vectors 404.
  • the pixels move slowly so that the algorithm computes short vectors 404. From this approach, objects 118 can be detected and their distance or time-to-collision calculated. These data are compared with the air trajectory of the copter 100. If a collision is predicted, a controller can change the trajectory of the unmanned aerial vehicle and directly access the speed controls of the rotors which directly affect airspeed and heading.
  • the unmanned aerial vehicle 100 is with others
  • Basic sensors such as radar, ultrasound, infrared and inertial sensors.
  • the collision avoidance system can access all sensor signals.
  • a reconciliation or fusion of sensor data is performed that provides a robust and low-dead-time estimate of the position, extent, and state of motion of the detected objects 118.
  • the unmanned aerial vehicle 100 includes a 360 ° camera 112.
  • the evaluation of the camera image is always carried out at least in the direction of flight or in the direction of the known flight trajectory of the unmanned aerial vehicle 100.
  • the camera 112 can also be aligned in accordance with the currently prevailing gravitational force. In this way, a simple attitude estimation of the unmanned aerial vehicle 100 in the world becomes possible.
  • the evaluation of the camera image that is, the calculation of the optical flow and the algorithm for object recognition including comparison with other sensor data and the change of the flight trajectory can be done on a system on chip.
  • the collision avoidance system is thus dependent on the sensor set-up and is inexpensive.
  • FIG. 5 shows a representation of a modified trajectory 500 for avoiding a collision according to one exemplary embodiment. This corresponds to the
  • the tree 406 is located within a tolerance range around a planned trajectory 502 or planned trajectory 502. Using the approach presented here, the tree 406 and the human 408 are objects 118 been recognized. With the tree 406 threatens a possible future collision. Therefore, a change in the flight trajectory 502 in the area of the tree 406 is changed.
  • the modified trajectory 500 describes an arc over the tree 406.
  • Standing objects 406 can be detected by comparing the expected optical flux with the measured optical flux. This is possible knowing the position and the movement as well as the profile of the landscape. This information can be found in detailed 3-D maps. In a simple form, the rough altitude of the
  • Critik Rundmaschinen how the time-to-brake or how much time the aircraft has 100 still available to avoid by collapsing in the air, the collision, or the time-to-steer or how much time the aircraft 100 still available has to be calculated by a steering intervention 500 to avoid the collision. Falling below thresholds to the aforementioned Critik Rund Chesdorfe is a situation with risk of collision.
  • the unmanned aerial vehicle 100 may then decelerate, remain in the air, or autonomously change its trajectory 502. With vertical wings it is also possible to stand still. Depending on the classified object type, the evasive maneuver 500 can be adjusted accordingly. For curious birds may sound a warning tone.
  • FIG. 6 shows an illustration of an unmanned aerial vehicle 100 before a possible future collision with a bird 600.
  • the bird 600 flies in the area of a planned trajectory 502 of the aircraft 100 Comparing the planned trajectory 502 with an aircraft trajectory 602 of the bird 600, it is recognized that a probability of the collision decreases as the bird 600 evades in front of the aircraft 100. Dodge can be assisted by emitting an audible warning.
  • a bird of prey warning call may be played to scare off the bird 600.
  • dynamic object 600 When a moving, dynamic object 600 is in the trajectory 502 of the unmanned aerial vehicle 100, the object 600 is detected as dynamic via the optical flow and the time-to-collision time is calculated.
  • a so-called focus-of-expansion can be used.
  • all stationary objects generate flux vectors that emerge from a point in the image, the focus of expansion.
  • the flow vectors of dynamic objects 600 show a direction deviating from focus-of-expansion by the object movement 602.
  • a threshold on the thus calculable directional error is used to detect dynamic objects 600.
  • the algorithm may calculate whether an object 600 is moving out of the trajectory 502 of the unmanned aerial vehicle and thus no collision is taking place.
  • the condition of the unmanned aircraft that is, its speed, position and trajectory are therefore at the
  • the unmanned aerial vehicle therefore requires
  • FIG. 7 shows an illustration of an autonomous flight of an unmanned aerial vehicle 100 having a collision avoidance system according to one embodiment.
  • an available airspace is divided into cloud zones 700, 702.
  • Each cloud zone 700, 702 is monitored by a central coordinator 308.
  • the task of the central coordinator 308 is the monitoring of the airspace.
  • Aircraft 100, 704 may be monitored to provide at least the flight information to the central coordinator 308. Early collision detection between flying aircraft 100, 704 is possible. These will be releases for the flight in a Cloud Zone 700, 702 granted. If a potential collision 706 is detected, then
  • Avoidance trajectories 500 are calculated for collision avoidance.
  • the first aircraft 100 flies in the first cloud zone 700 and shares its flight plan with the responsible cloud zone coordinator 308.
  • Aircraft 704 intends to fly into the first cloud zone 700, requesting permission to do so. Therefore, the second aircraft 704 shares its flight plan with the responsible cloud zone coordinator 308.
  • the cloud zone coordinator 308 detects a potential collision 706 between both aircraft 100, 704.
  • the cloud zone coordinator 308 transmits a second aircraft 704 to the aircraft new flight route 500 to avoid the collision with the first aircraft 100.
  • the first aircraft 100 continues to fly undisturbed and detects an unexpected object 318 with the sensors on board.
  • the first aircraft 100 calculates a new flight route 500. Then, the first aircraft 100 flies farther into the second cloud zone 702 and shares its flight plan with the new one
  • the concept with the "cloud zones" 700, 702 resembles the radio cells of a mobile radio network.
  • a collision avoidance system 110 for an unmanned aerial vehicle builds on an automated detection 800 of a possible future collision with an object, as described for example in Figures 4 to 6.
  • a system 110 which ensures collision-free flight for unmanned aerial vehicles.
  • the approach presented here ensures that no collision with other unmanned aerial vehicles and stationary or moving objects can occur.
  • the system 110 uses object recognition or cloud communication components such as sensors, a camera, object recognition algorithms, airspace monitoring services, and software that monitors airspace and resolves conflicts between unmanned aerial vehicles.
  • object recognition or cloud communication components such as sensors, a camera, object recognition algorithms, airspace monitoring services, and software that monitors airspace and resolves conflicts between unmanned aerial vehicles.
  • a description is given of the module levels of the eMSS system for early detection and avoidance of collisions.
  • the collision avoidance system 110 may be referred to as Non Co-Operative Sensor System 800. Be here
  • RGB-D cameras RGB-D cameras, ultrasonic sensors or lasers. Use cases include, for example, the monitoring of agricultural fields, indoor mapping and fire fighting.
  • the system is advantageous when the airspace is limited and known.
  • the collision avoidance system 110 may be referred to as Cloud Based Traffic Control System 802.
  • the pre-programmed trajectory is shared with a central coordinator, who the
  • the aircraft has a transponder for communication with the central coordinator.
  • This second stage 802 can be used to monitor bridges, to monitor a factory site or to inspect oil rigs.
  • the collision avoidance system 110 may be referred to as Cloud Solves Conflict Situations in Real Time 804.
  • the pre-programmed trajectory is shared with a central coordinator, who
  • Central Coordinator calculates in real time the avoidance trajectories and transmits them to the affected aircraft in collision conflict, which can immediately implement the evasive maneuver. There are no waiting times here. A central coordinator required.
  • the third stage 804 can be delivered within localities, to monitor construction sites or to monitor crowds of people.
  • the collision avoidance system 110 may be referred to as UAV-to-UAV communication 806.
  • an uncontrolled airspace such as an area without a cloud coordinator, such as delivery docks in remote areas or sea rescue
  • an enhanced or modified approach is required to calculate conflicts between multiple flying objects.
  • the pre-programmed trajectory is shared with other participants in the airspace. Subsequently, an agreement is made between the aircraft on the evasion trajectory.
  • Level 806 can be used to deliver in remote locations or to monitor livestock.
  • the collision avoidance system 110 may be referred to as radar / ACAS 808.
  • a system for integrating the aircraft into civil airspace, in which manned aircraft also fly, is integrated into the collision avoidance system 110. It is to be expected that unmanned aircraft will always have to avoid manned aircraft. This is an installation of either a radar to detect other aircraft and their
  • the fifth stage 808 can be used for border surveillance and the provision of Internet in remote locations.
  • a collision avoidance system 110 that relies on sensors such as cameras,
  • Precision Farming associated with the lowest module level 800, which requires only “non-cooperative” sensor system and requires the least complexity of the security system 110.
  • an unmanned aerial vehicle is used, for example, for parcel delivery, then the demands on the system 110 will increase.
  • delivery of the 3rd module stage 804 "cloud solves conflict situtations" is assigned here.
  • An unmanned aerial vehicle should in this case fly within localities, that is, with overflight of humans.
  • other flight participants like other unmanned
  • Aircraft expected in the airspace that can not be known in advance. It is also expected that the structure within the airspace will constantly change, for example by adding buildings in construction areas. In order to meet these new challenges, in addition to the module 800, a system 110 is needed, the potential for conflict with other flight participants 100% risk-free. Since the flight plan is known from an unmanned aerial vehicle in advance, the flight plan can be used with a
  • Central coordinator who can calculate and solve possible conflicts in advance. That is, permission to fly and enter a defined airspace is only granted if the desired trajectory is free of other unmanned aerial vehicles.
  • This system 110 is more reliable than the sensor-based system 800 and extends the subordinate module stages 800, 802. Both examples provide the benefit and advantage of a modular design
  • each advanced level can contain the previous system level.
  • a security platform for unmanned aerial vehicles is presented.
  • the security platform includes security features, such as
  • the method 900 may be performed on an aircraft controller, such as shown in FIG. 1.
  • the method 900 includes a step 902 of searching, a step 904 of matching, and a step 906 of comparing.
  • step 902 of the search at least one object is read in by a camera of the aircraft
  • the at least one object is under
  • step 904 of the assignment at least one object information is added to the at least one object
  • step 906 of the comparison the at least one object information is compared with a trajectory information of the aircraft in order to detect a possible future collision location and a possible future collision time of the possible future collision.
  • Aircraft unmanned aerial vehicle, UAV.
  • Unmanned aerial vehicles such as quadrocopters, multicopters or UAVs (Unmanned Aerial Vehicles) will often be used in the future, as they have a very wide range of possible applications.
  • security and privacy are important, so that no collisions and crashes, no abuse of the drone and the protection of privacy are guaranteed.
  • the safety of unmanned aerial vehicles can be improved by using distance sensors such as infrared sensors, radar or ultrasound.
  • the approach presented here includes a camera-based concept for
  • Collision avoidance based on the evaluation of a camera image by image processing algorithms. Almost all unmanned aircraft have already installed a camera or have a gimbal or a suspension for attaching cameras. Based on a sequence of camera images, the optical flux can be calculated. This can be used to estimate the time to collision (time-to-collision) and to separate dynamic objects from the background.
  • an object classification can be made.
  • objects classified as self-moving objects such as birds, other unmanned aerial vehicles, hot-air balloons or paragliders can be classified.
  • a calculation of the inverse perspective or a so-called bird's eye view can take place if a height and position of the camera or of the aircraft is known.
  • a metric, distortion-free top view of the environment can be generated in
  • Connection with a map can be used for localization.
  • Movement stereo a three-dimensional extent of objects are determined.
  • the aforementioned image processing algorithms can be calculated online using an embedded system (on-chip system) on board the unmanned aerial vehicle and used for object movement detection.
  • an embedded system on-chip system
  • embedded systems such as those in
  • Smartphones and tablets are used, low cost, since the processors have low unit costs, have a low power loss and have a low weight. Thereby no active cooling is necessary and the embedded systems can be removed from the battery of the
  • Driver assistance such as the evaluation of a camera image, the object recognition and collision avoidance with a new technology that combines unmanned aerial vehicle.
  • the peculiarities of the platform unmanned Aircraft allow a number of algorithms that are not common or possible in driving assistance.
  • a calculation of a three-dimensional collision-avoiding trajectory takes place.
  • the approach presented here allows for the autonomous flying of drones, as the collision avoidance for unmanned aerial vehicles adds a safety aspect that was previously not taken into account.
  • an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (900) zum Erkennen einer möglichen zukünftigen Kollision (706) eines unbemannten Luftfahrzeugs (100) mit einem Objekt (118), wobei das Verfahren (900) einen Schritt (902) des Suchens, einen Schritt (904) des Zuordnens und einen Schritt (906) des Vergleichens aufweist. Im Schritt (902) des Suchens wird zumindest ein Objekt (118) in einer, von einer Kamera (112) des Luftfahrzeugs (100) eingelesenen Bildinformation (114) unter Verwendung eines optischen Merkmals (120) in einer Bildsequenz aus zumindest zwei Einzelbildern (402) der Bildinformation (114) gesucht. Im Schritt (904) des Zuordnens wird zumindest eine Objektinformation (124) zu dem zumindest einen Objekt (118) unter Verwendung des optischen Merkmals (120) zugeordnet. Im Schritt (906) des Vergleichens wird die zumindest eine Objektinformation (124) mit einer Flugbahninformation (132) des Luftfahrzeugs (100) verglichen, um einen möglichen zukünftigen Kollisionsort (140) und eine mögliche zukünftige Kollisionszeit (142) der möglichen zukünftigen Kollision (706) zu erkennen.

Description

Beschreibung Titel
Verfahren und Steuergerät zum Erkennen einer möglichen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt
Stand der Technik
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Bei einem unbemannten Luftfahrzeug, das auch als Drohne bezeichnet werden kann, besteht bei einem autonomen Betrieb die Gefahr, dass das Luftfahrzeug mit einem Objekt oder Hindernis kollidiert, welches sich in einer geplanten Flugbahn des Luftfahrzeugs befindet beziehungsweise in die Flugbahn gerät.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen einer möglichen zukünftigen Kollision eines unbemannten
Luftfahrzeugs mit einem Objekt, weiterhin ein Steuergerät, das dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Es wird ein Verfahren zum Erkennen einer möglichen zukünftigen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt vorgestellt, wobei das Verfahren die folgenden Schritte aufweist: Suchen von zumindest einem Objekt in einer, von einer Kamera des
Luftfahrzeugs eingelesenen Bildinformation unter Verwendung eines optischen Merkmals in einer Bildsequenz aus zumindest zwei Einzelbildern der
Bildinformation;
Zuordnen von zumindest einer Objektinformation zu dem zumindest einen Objekt unter Verwendung des optischen Merkmals; und
Vergleichen der zumindest einen Objektinformation mit einer
Flugbahninformation des Luftfahrzeugs, um einen möglichen zukünftigen
Kollisionsort und eine mögliche zukünftige Kollisionszeit der möglichen zukünftigen Kollision zu erkennen.
Unter einer Kollision kann ein Ereignis verstanden werden, bei dem das
Luftfahrzeug und das Objekt einander so nahe kommen, dass mit einer hohen
Wahrscheinlichkeit eine Berührung zwischen dem Luftfahrzeug und dem Objekt stattfindet. Insbesondere kann eine zukünftige mögliche Kollision erkannt werden, wenn ein Sicherheitsabstand zwischen dem Luftfahrzeug und dem Objekt unterschritten würde. Unter einer Bildinformation kann ein Datensatz von Bilddaten verstanden werden, die von einer Kamera des Luftfahrzeugs aufgezeichnet wurden, wobei die Bildinformation Einzelbilder zu
unterschiedlichen Aufnahmezeitpunkten oder eine aus Einzelbildern bestehende Bildsequenz enthält, die eine Bewegung des Objektes im Umfeld des
Luftfahrzeugs abbildet. Ein optisches Merkmal kann beispielsweise ein optischer Fluss, ein Muster oder eine Struktur sein. Der optische Fluss kann beispielsweise ein Differenzvektor oder eine Menge von Differenzvektoren sein, die eine Verschiebung von einander entsprechenden Bildpunkten in den zwei
Einzelbildern repräsentieren, die je von der Kamera des Luftfahrzeugs aufgenommen wurden. Solche einander entsprechende Bildpunkte in den zwei Einzelbildern können beispielsweise Ecken oder Kanten von in den Einzelbildern abgebildeten Objekten sein, wobei die Lage der Ecken oder Kanten in dem ersten der Einzelbilder erfasst wird und mit einer Lage dieser Ecken oder Kanten in dem zweiten der Einzelbilder verglichen wird, um aus der unterschiedlichen Lage der Ecken oder Kanten in den Einzelbildern je einen Differenzvektor zu ermitteln. Eine Objektinformation kann ein Parameter sein, der eine Ausdehnung und/oder eine Bewegung des Objekts charakterisier. Beispielsweise kann ein solcher Parameter als Objektinformation eine Relativgeschwindigkeit und/oder ein Relativabstand des Objektes in Bezug zum Luftfahrzeug sein oder eine Größe oder Ausdehnung des Objektes bezeichnen. Eine Flugbahninformation kann einen geplanten zukünftigen Platzbedarf des Luftfahrzeugs repräsentieren, beispielsweise in der Form einer Flugtrajektorie, die das Luftfahrzeug bei seinem Flug höchstwahrscheinlich nehmen wird.
Ein Bildbereich der Bildinformation kann als Objekt erkannt werden, wenn Bildpunkte in dem Bildbereich ein optisches Kennzeichen aufweisen, das dem optischen Merkmal innerhalb eines Toleranzbereichs gleich ist. Unter einem optischen Kennzeichen kann beispielsweise ebenfalls ein optischer Fluss, ein Muster oder eine Struktur sein. Unter einer innerhalb eines Toleranzbereichs vorliegenden Gleichheit des optischen Kennzeichens mit dem optischen Merkmal kann beispielsweise verstanden werden, dass sich die Differenzvektoren von
Bildpunkten in diesem Bereich in ihrer Richtung und ihrem Betrag um nicht mehr als beispielsweise 20 Prozent, insbesondere um nicht mehr als 10 Prozent, speziell um nicht mehr als 5 Prozent voneinander unterscheiden. Beispielsweise kann ein Objekt anhand einer im Wesentlichen übereinstimmenden
Geschwindigkeit und Richtung der das Objekt repräsentierenden Bildpunkte
(beispielsweise in der Bildinformation) erkannt werden.
Das Suchen des Objektes kann auch durch andere Methoden erfolgen. Der optische Fluss ist eine Variante. Ebenso kann eine Klassifizierer- Kaskade oder eine Mustererkennung,„Structure from Motion", was insbesondere für
Monokameras geeignet ist und/oder eine Erkennung von vorab bereits aufgefundenen, bekannten und/oder kartierten Objekten verwendet werden. Unter vorab bereits aufgefundenen, bekannten und/oder kartierten Objekten können gemappte Objekte verstanden werden.
Der optische Fluss resultiert dabei aus einer Relativbewegung zwischen einer Kamera und abgebildeten Objekten. Dabei ist es unerheblich, ob sich die
Kamera aufgrund einer Eigenbewegung auf die Objekte zu bewegt, oder ob sich die Objekte auf die Kamera zu bewegen. So wie ein Bediener eines Fluggeräts ein mögliches Hindernis oder Kollisionsobjekt aufgrund des optischen Flusses zwischen zumindest zwei Bildern der Kamera erkennen kann, kann ein
Kollisionsvermeidungssystem eine Flussinformation über den optischen Fluss auswerten, um das Hindernis beziehungsweise Kollisionsobjekt zu identifizieren.
Wenn eine extrapolierte momentane Flugbahn einen Sicherheitsbereich um das Hindernis oder Kollisionsobjekt verletzt, kann eine mögliche zukünftige Kollision erkannt werden.
Aus dem optischen Fluss der Bildpunkte, die das erkannte Objekt repräsentieren, können als Objektinformationen eine Geschwindigkeitsinformation, eine
Positionsinformation und eine Richtungsinformation des Objekts ermittelt werden. Der optische Fluss setzt sich hierbei wie vorstehend bereits kurz umrissen beispielsweise aus Verschiebungsvektoren zusammen, die eine, eine
Geschwindigkeit repräsentierende Länge, eine, eine Richtung repräsentierende Ausrichtung im Raum und einen, eine Position repräsentierenden Endpunkt aufweisen.
Ein als Objekt erkannter Bildbereich kann mit gemappten Objekten verglichen werden, um das Objekt zu bestätigen. Dadurch kann der hier vorgestellte Ansatz robust sein.
Die Geschwindigkeitsinformation, die Positionsinformation und die
Richtungsinformation des Objekts können mit einer in der Flugbahninformation beispielsweise enthaltenen Fluggeschwindigkeit, einer in der
Flugbahninformation beispielsweise enthaltenen Fahrzeugposition und/oder einer in der Flugbahninformation beispielsweise enthaltenen Flugrichtung des
Luftfahrzeugs verglichen werden, um den möglichen zukünftigen Kollisionsort und die mögliche zukünftige Kollisionszeit zu erkennen. Aus der
Geschwindigkeitsinformation, der Positionsinformation und/oder der
Richtungsinformation des Objekts kann eine erwartete Bewegungstrajektorie des Objekts berechnet, beziehungsweise extrapoliert werden. Aus der
Fluggeschwindigkeit, der Fahrzeugposition und/oder der Flugrichtung kann eine erwartete Flugtrajektorie berechnet beziehungsweise extrapoliert werden. Durch einen Vergleich der Flugtrajektorie mit der Bewegungstrajektorie kann die mögliche zukünftige Kollision erkannt werden. Um die Kollision zu vermeiden, kann somit sehr einfach ein Bild
beziehungsweise Video einer Kamera an Bord des Luftfahrzeugs zu einem Bediener oder einem Steuergerät in dem Luftfahrzeug gesendet werden, damit der Bediener oder das Steuergerät die Flugbahn des Luftfahrzeugs bei Bedarf korrigieren kann.
Das Verfahren kann einen Schritt des Empfangens zumindest einer weiteren Flugbahninformation eines weiteren Luftfahrzeugs aufweisen. Die weitere Flugbahninformation kann dabei die vorstehend genannten Informationen oder Parameter bezüglich des weiteren Luftfahrzeugs aufweisen oder enthalten, die zur Flugbahninformation des Luftfahrzeugs bereits genannt wurden. Dabei kann ferner die Flugbahninformation mit der weiteren Flugbahninformation verglichen werden, um den möglichen zukünftigen Kollisionsort und die mögliche zukünftige Kollisionszeit zu erkennen. Die weitere Flugbahninformation repräsentiert eine weitere Flugtrajektorie und kann eine weitere Fluggeschwindigkeit, eine weitere Fahrzeugposition und eine weitere Flugrichtung des weiteren Luftfahrzeugs umfassen. Die weitere Flugtrajektorie kann mit der Flugtrajektorie verglichen werden, um die mögliche zukünftige Kollision zu erkennen.
Die Flugbahninformation kann unter Verwendung des optischen Flusses bestimmt werden. In der Bildinformation der Kamera ist neben den zu
erkennenden Objekten auch ein aus einer Eigenbewegung des Luftfahrzeugs resultierender optischer Fluss enthalten. Beispielsweise kann in diesem Fall der optische Fluss in Bezug auf Bildpunkte ausgewertet werden, die Objekten zugeordnet sein, die mit dem Untergrund verbunden sind wie beispielsweise Bäume oder Gebäude. Daraus kann dann sehr einfach die Flugbahninformation des Luftfahrzeugs selbst anhand der Auswertung der„Relativbewegung" des Luftfahrzeugs mit diesen mit dem Boden verbundenen Objekten gewonnen werden, die sich durch die feste Verbindung mit dem Boden nicht selbst bewegen können und die Relativbewegung daher durch eine Bewegung des Luftfahrzeugs gegenüber diesen Objekten resultiert. Insbesondere kann eine Flugrichtung einer Richtung zu einem Konvergenzpunkt von
Verschiebungsvektoren eines Bildhintergrunds entsprechen, insbesondere wobei ein solcher Konvergenzpunkt beispielsweise der Baum oder das Gebäude darstellen kann.
Das Verfahren kann einen Schritt des Bereitstellens der Flugbahninformation umfassen. Die eigene Flugbahninformation kann beispielsweise für ein anderes Luftfahrzeug oder eine zentrale Koordinationsstelle bereitgestellt werden. Damit kann durch eine entsprechende Bekanntgabe der Flugbahninformation an das andere oder ein zusätzliches Luftfahrzeug eine mögliche Konfliktsituation bereits verhindert werden, bevor das andere Luftfahrzeug oder ein zusätzliches
Luftfahrzeug in den Erfassungsbereich der Kamera gerät.
Das Verfahren kann einen Schritt des Bestimmens einer alternativen Flugbahn für das Luftfahrzeug unter Verwendung der Flugbahninformation, der
Objektinformationen, des möglichen zukünftigen Kollisionsorts und der möglichen zukünftigen Kollisionszeit umfassen. Das Luftfahrzeug kann auf die alternative Flugbahn gesteuert werden, um die mögliche zukünftige Kollision zu verhindern. Die Flugbahn beziehungsweise geplante Flugtrajektorie kann so lange verändert werden, bis ein Sicherheitsabstand zwischen dem Objekt und dem Luftfahrzeug gewahrt bleibt und hierdurch die alternative Flugbahn bestimmt wird.
Das Verfahren kann einen Schritt des Warnens aufweisen, in dem ein
Warnsignal über die mögliche zukünftige Kollision für das Objekt bereitgestellt wird. Unter einem Warnsignal kann beispielsweise ein akustisches Signal oder ein optisches Signal verstanden werden. Insbesondere kann ein Warnton bereitgestellt werden, wenn das Objekt als Vogel erkannt wird. Das Warnsignal kann beispielsweise direkt vom Luftfahrzeug aus aus- oder abgegeben werden, beispielsweise um einen auf das Luftfahrzeug zu fliegenden Vogel zu
verscheuchen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät zum Erkennen einer möglichen zukünftigen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt, wobei das Steuergerät ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen
durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese
Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des
Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Weiterhin wird ein Kollisionsvermeidungssystem für ein unbemanntes
Luftfahrzeug vorgestellt, wobei das Kollisionsvermeidungssystem die folgenden Merkmale aufweist: eine Kamera zum Bereitstellen einer Bildinformation; ein Steuergerät gemäß dem hier vorgestellten Ansatz; und eine Ausweicheinrichtung zum Beeinflussen der Flugbahn des Luftfahrzeugs, insbesondere ansprechend auf ein vom Steuergerät bereitgestelltes
Steuersignal.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 eine Darstellung eines unbemannten Luftfahrzeugs mit einem
Steuergerät zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel;
Fig. 2 eine Übersichtsdarstellung eines Kollisionsvermeidungssystems gemäß einem Ausführungsbeispiel;
3 eine Darstellung eines unbemannten Luftfahrzeugs mit einem isionsvermeidungssystem gemäß einem Ausführungsbeispiel;
Fig. 4 eine Darstellung einer Abfolge von Schritten zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel;
Fig. 5 eine Darstellung einer geänderten Flugbahn zum Vermeiden einer Kollision gemäß einem Ausführungsbeispiel;
Fig. 6 eine Darstellung eines unbemannten Luftfahrzeugs vor einer möglichen zukünftigen Kollision mit einem Vogel;
Fig. 7 eine Darstellung eines autonomen Flugs eines unbemannten
Luftfahrzeugs mit einem Kollisionsvermeidungssystem gemäß einem
Ausführungsbeispiel;
Fig. 8 eine Darstellung von Ausbaustufen eines Kollisionsvermeidungssystems für ein unbemanntes Luftfahrzeug gemäß einem Ausführungsbeispiel; und
Fig. 9 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel. In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser
Elemente verzichtet wird.
Fig. 1 zeigt eine Darstellung eines unbemannten Luftfahrzeugs 100 mit einem Steuergerät 102 zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel. Das Luftfahrzeug 100 kann als Drohne 100 bezeichnet werden. Hier ist das Luftfahrzeug 100 ein Quadrokopter 100. Das Steuergerät 102 weist eine Sucheinrichtung 104, eine Zuordnungseinrichtung 106 und eine Vergleichseinrichtung 108 auf. Das Steuergerät 102 ist ein
Bestandteil eines Kollisionsvermeidungssystems 110 (das in der nachfolgenden Beschreibung auch synonym als eMSS-System 110, eMSS = expandable
Modular Safety System, engl, erweiterbares modulares Sicherheitssystem bezeichnet werden kann) des Luftfahrzeugs 100. Das Steuergerät 102 kann als Kollisionserkennungssystem 102 bezeichnet werden. Das Luftfahrzeug 100 weist zumindest eine Kamera 112 zum Bereitstellen einer Bildinformation 114 auf. Die Kamera 112 ist in eine Hauptflugrichtung 116 des Luftfahrzeugs 100 ausgerichtet und bildet eine vor dem Luftfahrzeug 100 liegende Umgebung des Luftfahrzeugs 100 in der Bildinformation 114 ab. Die Bildinformation 114 besteht aus einer Abfolge von Einzelbildern, die ein Video beziehungsweise Bewegtbild der Umgebung ergeben.
Die Kamera 112 bildet hier beispielhaft ein Objekt 118 in der Bildinformation 114 ab. Bei einer Relativbewegung zwischen der Kamera 112 und dem abgebildeten Objekt 118 wird es in den Einzelbildern an verschiedenen Stellen und mit einer unterschiedlichen Abbildungsgröße abgebildet. Mit anderen Worten ergibt sich jeweils ein Verschiebungsvektor zwischen Bildkoordinaten, an denen in den
Einzelbildern jeweils ein Merkmal des Objekts 118 abgebildet ist. Eine
Gesamtheit der Verschiebungsvektoren wird als eine Variante eines optischen Merkmals 120 bezeichnet, die vorliegend auch als optischer Fluss bezeichnet werden kann. Das Suchen des Objektes kann auch durch andere Methoden erfolgen. Die Verwendung des optischen Flusses ist lediglich eine Variante. Ebenso kann eine Klassifizierer- Kaskade oder eine Mustererkennung,„Structure from Motion", was insbesondere für Monokameras geeignet ist und/oder eine Erkennung von gemappten Objekte verwendet werden.
Alle diese exemplarisch verwendeten Ansätze oder Kombinationen daraus sind unter der Bezeichnung eines optischen Merkmals zu verstehen, wobei in der folgenden Beschreibung die Variante unter Verwendung des optischen Flusses verwendet wird.
Die Sucheinrichtung 104 ist dazu ausgebildet, das Objekt 118 beziehungsweise Objekte in der Bildinformation 114 zu suchen. Dazu liest die Sucheinrichtung 104 die Bildinformation 114 und den optischen Fluss 120 ein. Dabei wird ein
Bildbereich 122 der Bildinformation 114 als das Objekt 118 erkannt, wenn Bildpunkte in dem Bildbereich 122 einen ähnlichen optischen Fluss 120 aufweisen. Beispielsweise können die Verschiebungsvektoren eine ähnliche Länge aufweisen. Ebenso können die Verschiebungsvektoren einen
gemeinsamen Fluchtpunkt aufweisen. Die Zuordnungseinrichtung 106 ist dazu ausgebildet, unter Verwendung des optischen Flusses 120 Objektinformationen 124 zu dem Objekt 118 beziehungsweise den Objekten zuzuordnen. Dabei werden eine Geschwindigkeitsinformation 126, eine Positionsinformation 128 und eine Richtungsinformation 130 des Objekts 118 aus dem optischen Fluss 120 der, das erkannte Objekt 118 repräsentierenden Bildpunkte ermittelt. Die Vergleichseinrichtung 108 ist dazu ausgebildet, die Objektinformationen 124 mit einer Flugbahninformation 132 des Luftfahrzeugs 100 zu vergleichen. Dabei werden die Geschwindigkeitsinformation 126, die Positionsinformation 128 und die Richtungsinformation 130 des Objekts 118 mit einer Fluggeschwindigkeit
134, einer Fahrzeugposition 136 und einer Flugrichtung 138 des Luftfahrzeugs 100 verglichen, um einen möglichen zukünftigen Kollisionsort 140 und eine mögliche zukünftige Kollisionszeit 142 der möglichen zukünftigen Kollision zu erkennen.
Die Objektinformationen 124 und die Flugbahninformationen 132 werden extrapoliert. Eine mögliche zukünftige Kollision kann dann erkannt werden, wenn die extrapolierten Objektinformationen 124 und die extrapolierten
Flugbahninformationen 132 ein zukünftiges Unterschreiten eines
Sicherheitsabstands anzeigen. Der mögliche zukünftige Kollisionsort 140 und die mögliche zukünftige
Kollisionszeit 142 werden an eine Ausweicheinrichtung 144 des
Kollisionsvermeidungssystems 110 weitergeleitet. Die Ausweicheinrichtung 144 ist dazu ausgebildet, unter Verwendung der Flugbahninformation 132, des möglichen zukünftigen Kollisionsorts 140 und der möglichen zukünftigen
Kollisionszeit 142 eine zukünftige Flugbahn des Luftfahrzeugs 100 zu
beeinflussen, um der Kollision auszuweichen.
Fig. 2 zeigt eine Übersichtsdarstellung eines Kollisionsvermeidungssystems 110 gemäß einem Ausführungsbeispiel. Das Kollisionsvermeidungssystem 110 entspricht im Wesentlichen dem Kollisionsvermeidungssystem in Fig. 1. Hier stellt die Kamera 112 ein RGB-Signal 114 bereit. Sollte es sich bei der Kamera 112 nicht um eine RGB-Kamera handeln, kann es sich bei dem Signal 114 auch um ein Signal handeln, das dann nicht als RGB-Signal ausgestaltet ist. Die Sucheinrichtung 104 und die Zuordnungseinrichtung 106 zur Objekterkennung und Objektklassifizierung sind hier zusammengefasst. Wie in Fig. 1 werden die Geschwindigkeitsinformation 126, die Positionsinformation 128 und die
Richtungsinformation 130 für die Vergleichseinrichtung 108 bereitgestellt. In der Vergleichseinrichtung 108 werden diese Informationen mit der
Fluggeschwindigkeit 134, der Fahrzeugposition 136 und der Flugrichtung 138 der Flugbahninformationen 132 des Luftfahrzeugs 100 verglichen, um den möglichen zukünftigen Kollisionsort 140 und die mögliche zukünftige Kollisionszeit 142 zu erhalten. Hier ist die Ausweicheinrichtung 144 dazu ausgebildet, direkt
Solldrehzahlen 200 der Rotoren des Quadrokopters 100 zu beeinflussen, um den Quadrokopter 100 von seinem Kollisionskurs abzubringen. Dazu werden eine Änderung der Flugtrajektorie und eine Drehzahländerung der Rotoren über einen Algorithmus berechnet.
In einem Ausführungsbeispiel weist das Luftfahrzeug 100 eine Basissensorik 202 auf, die eine tatsächliche Lageinformation 204 über eine Fluglage des
Luftfahrzeugs 100 für die Vergleichseinrichtung 108 bereitstellt. Dabei umfasst die Lageinformation 204 eine Position, eine Ausrichtung und Geschwindigkeit des Luftfahrzeugs 100. Die Basissensorik 202 kann beispielsweise Radar, Ultraschall und/oder Infrarot umfassen. Die Lageinformation 204 kann auch eine Position, eine Ausrichtung und Geschwindigkeit des Objekts repräsentieren.
Die Lageinformation 204 wird in der Vergleichseinrichtung 108 dazu verwendet, um den möglichen zukünftigen Kollisionsort 140 und die mögliche zukünftige Kollisionszeit 142 zu bestimmen.
Mit anderen Worten wird in der Vergleichseinrichtung 108 ein Algorithmus zum Abgleich der Objektinformationen 124 aus der Kamera mit den Sensorikdaten 204 ausgeführt. Dabei werden die Flugbahn des Luftfahrzeugs 100 und
Bewegungsdaten des Objekts abgeglichen, wobei die Bewegungsdaten einmal über die Objektinformationen 124 und einmal über die Sensorikdaten 204 abgeglichen werden. Die Flugbahn des Luftfahrzeugs 100 wird bezüglich der Geschwindigkeit, Position, Richtung und Lage überprüft. Das Objekt wird ebenfalls bezüglich der Geschwindigkeit, Position, Richtung und/oder Lage überprüft. Es wird eine time-to-collision 142 und eine position-of-collision 140 berechnet.
In einem Ausführungsbeispiel weist das Luftfahrzeug 100 ein Kartenmodul 206 auf. Das Kartenmodul 206 ist dazu ausgebildet geografische Daten 208 für die Sucheinrichtung 104 und die Zuordnungseinrichtung 106 bereitzustellen.
Beispielsweise empfängt das Kartenmodul 206 Kartendaten über eine drahtlose Datenverbindung, wie beispielsweise Mobilfunk. Unter Verwendung der geografischen Daten 208 wird die Bildinformation 114 zum Erfassen der Umgebung des Luftfahrzeugs 100 verwendet. Dabei kann beispielsweise eine inverse Perspektive erzeugt werden, die einer entzerrten Ansicht der Umgebung entspricht.
In einem Ausführungsbeispiel wird in der Sucheinrichtung 104 und der
Zuordnungseinrichtung 106 eine dreidimensionale Vermessung der erfassten Objekte ausgeführt, woraus wieder geografische Daten der Umgebung erzeugt werden können. Fig. 3 zeigt eine Darstellung eines unbemannten Luftfahrzeugs 100 mit einem Kollisionsvermeidungssystem 110 gemäß einem Ausführungsbeispiel. Das Luftfahrzeug 100 beziehungsweise die Drohne 100 ist wie in den Figuren 1 und 2 ein Drehflügler, insbesondere ein Multikopter 100. Das Luftfahrzeug 100 kann auch ein Starrflügler sein. In einer ersten Ausbaustufe weist die Drohne 100 hier einen Sensor 300 zum Erfassen der Umgebung auf. Der Sensor 300 kann wie in den Figuren 1 und 2 eine Kamera 112 sein. Ebenso kann der Sensor 300 ein Lasersensor sein.
In einer erweiterten Ausbaustufe weist die Drohne 100 ein Radar 302 auf, das ebenso dazu ausgebildet ist, die Umgebung zu erfassen. Dabei weist das Radar 302 eine größere Reichweite als der Sensor 300 auf. Das Radar 302 ist auch unabhängig von Sichtbedingungen, da die Radarwellen beispielsweise Nebel, Wolken und Rauch durchdringen können.
Um einen Boden zu erfassen, weist die Drohne 100 hier zwei nach unten gerichtete Bodenerfassungssensoren 304 auf. Die Bodenerfassungssensoren 304 sind hier Ultraschallsensoren 304. Um eine räumliche Lage der Drohne 100 zu erfassen, sind die Ultraschallsensoren 304 an einem Rumpf der Drohne 100 diametral gegenüberliegend angeordnet.
Die Drohne 100 weist in einer weiteren Ausbaustufe einen drahtlosen
Transponder 306 auf, der eine Kommunikation mit einer Bodenstation 308 (der in der nachfolgenden Beschreibung auch synonym als Zentralkoordinator,
Informationsdienst oder Cloud-Zone-Koordinator bezeichnet werden kann) aufrechterhält. Die Bodenstation überwacht dabei den Luftraum, um potenzielle Konflikte zwischen der Drohne 100 und anderen Luftfahrzeugen zu erkennen und zu lösen. Dazu stellt ein Flugkontrollmodul 310 der Drohne 100 über den Transponder 306 geplante Fluginformationen zur Verfügung. Von der
Bodenstation 308 werden dann Freigaben für den Luftraum erteilt oder zurückgehalten. So wird ein Konfliktpotenzial zwischen mehreren autonomen Drohnen stark verringert.
In einer weiteren Ausbaustufe weist die Drohne 100 einen Transponder 312 zur Kommunikation von Drohne zu Drohne auf. Über den Transponder 312 werden ebenfalls geplante Fluginformationen zur Verfügung gestellt und geplante Fluginformationen von anderen Drohnen empfangen. Das Flugkontrollmodul 310 erkennt zukünftige Konflikte zwischen den beteiligten Drohnen und passt einen geplanten Flugpfad entsprechend an. Ebenso können die anderen Drohnen ihre Flugpfade anpassen, wenn die Drohne 100 beispielsweise eine höhere Priorität zugewiesen hat.
In der Abbildung ist das eMSS System 110 mit möglichen Komponenten dargestellt. Die fünf Aufbaustufen sind unterschiedlich gekennzeichnet.
Fig. 4 zeigt eine Darstellung einer Abfolge von Schritten zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel. In dieser Darstellung ist ein Luftfahrzeug 100 mit einer in Flugrichtung ausgerichteten Kamera 112, wie in Fig. 1 dargestellt. Durch eine Relativbewegung zwischen dem Luftfahrzeug 100 und Objekten 118 in einem Erfassungsbereich 400 der
Kamera 112 ergibt sich ein optischer Fluss 120 zwischen Einzelbildern der Kamera 112.
Beispielhaft ist ein Einzelbild 402 mit den optischen Fluss 120 repräsentierenden Verschiebungsvektoren 404 dargestellt. Die Verschiebungsvektoren 404 sind hier für ein einzelnes bewegtes Objekt 118 in dem Einzelbild 402 dargestellt. Das Objekt 118 ist hier zur Veranschaulichung ein fahrendes Straßenfahrzeug. Die Verschiebungsvektoren 404 des Objekts sind ähnlich. Die
Verschiebungsvektoren 404 des Objekts 118 repräsentieren den optischen Fluss 120 des Objekts 118 zwischen dem dargestellten Einzelbild 402 und einem vorhergehenden Einzelbild. Dabei weisen die Verschiebungsvektoren 404 alle eine ähnliche Länge auf, was eine Geschwindigkeit des Objekts 118
repräsentiert. Weiterhin konvergieren die Verschiebungsvektoren 404 alle in einem gemeinsamen Fluchtpunkt. Das Objekt 118 kann also als Bereich erkannt werden, in dem der optische Fluss 120 ähnlich ist.
In einer geplanten Flugtrajektorie des Luftfahrzeugs 100 sind ein Baum 406 und ein Mensch 408 angeordnet. Analog zu dem dargestellten Einzelbild 402 werden der Baum 406 und der Mensch 408 durch Auswerten des optischen Flusses 120 als Objekte 118 erkannt und ein möglicher zukünftiger Kollisionsort sowie eine mögliche zukünftige Kollisionszeit bestimmt. Um die mögliche Kollision zu vermeiden, werden ansprechend auf das Bestimmen Ansätze 410 zur
Kollisionsvermeidung ausgeführt. Diese Ansätze 410 werden bereits im
Straßenverkehr angewendet. Hier werden die Ansätze 410 um die dritte
Dimension beziehungsweise Raumrichtung erweitert, was eine Vielzahl von Möglichkeiten zum Vermeiden der zukünftigen Kollision bietet.
Durch den hier vorgestellten Ansatz werden autonome Flüge ohne
Eingreifmöglichkeit des Steuerers ermöglicht. Es wird ein redundantes
Sicherheitssystem via Kamera 112 und Basissensorik vorgestellt. Beispielsweise werden so Anwendungen, die das Fliegen in der Nähe von Personen 408 erfordern, wie Auslieferdrohnen ermöglicht.
Es wird eine Kombination von Ansätzen und Lösungen aus der Fahrerassistenz mit einem unbemannten Luftfahrzeug 100 vorgeschlagen. Hierfür können bekannte Algorithmen aus der Fahrerassistenz erweitert sowie neue Algorithmen hinzugefügt werden. In Fig. 4 ist das Ergebnis des angewandten Algorithmus aus der Fahrerassistenz zur Kollisionsvermeidung im Straßenverkehr für die
Umsetzung auf dem unbemannten Luftfahrzeug 100 dargestellt.
Es ist schematisch die Funktion des Kollsionsvermeidungssystems für unbemannte Luftfahrzeuge dargestellt. Der Kopter 100 ist mit einer Kamera 112 ausgestattet, die ein Kamerabild in Flugrichtung aufnimmt. Da die meisten unbemannten Luftfahrzeuge bereits mit Kameras ausgestattet sind,
beispielsweise für Luftaufnahmen oder dem First Person View, also Bilder aus Sicht des Flugobjekts für den Pilot, entstehen keine Zusatzkosten für die
Sensorik des Kollisionsvermeidungssystems.
Dabei erfolgt eine Auswertung des optischen Flusses 120 zur Objekterkennung. Das ist ein Ansatz aus der Fahrerassistenz, der für den Einsatz im Quadrokopter 100 angepasst ist.
Wie hier links unten und rechts oben dargestellt, bewegen sich Bildpunkte bei sich schnell nähernden Objekten 118 von einem Bild 402 zum nächsten ebenfalls schnell, dargestellt durch die langen Vektoren 404. Bei entfernten Objekten 118, die sich langsam nähern, bewegen sich die Bildpunkte langsam, sodass der Algorithmus kurze Vektoren 404 berechnet. Aus diesem Ansatz können Objekte 118 erkannt und deren Abstand beziehungsweise die time-to-collision berechnet werden. Diese Daten werden mit der Flugtraktorie des Kopters 100 verglichen. Falls eine Kollision vorhergesagt wird, kann ein Regler die Flugbahn des unbemannten Luftfahrzeugs ändern und greift direkt auf die Drehzahlregelungen der Rotoren zu, die direkt Fluggeschwindigkeit und Flugrichtung beeinflussen.
In einer Erweiterung ist das unbemannte Luftfahrzeug 100 mit weiterer
Basissensorik, wie Radar, Ultraschall, Infrarot und Inertialsensorik ausgestattet. Das System zur Kollisionsvermeidung kann auf alle Sensorsignale zugreifen. Es wird ein Abgleich beziehungsweise eine Fusion von Sensordaten durchgeführt, der eine robuste und totzeitarme Schätzung der Position, Ausdehnung und des Bewegungszustands der erkannten Objekte 118 ermöglicht.
In einem Ausführungsbeispiel weist das unbemannte Luftfahrzeug 100 eine 360°- Kamera 112 auf. Die Auswertung des Kamerabildes erfolgt immer zumindest in der Flugrichtung beziehungsweise in Richtung der bekannten Flugtrajektorie des unbemannten Luftfahrzeugs 100. Die Kamera 112 kann auch entsprechend der aktuell herrschenden Schwerkraft ausgerichtet werden. Auf diese Weise wird eine einfache Lageschätzung des unbemannten Luftfahrzeugs 100 in der Welt möglich.
Die Auswertung des Kamerabildes, das heißt, die Berechnung des optischen Flusses und des Algorithmus zur Objekterkennung inklusive Abgleich mit weiteren Sensordaten und die Änderung der Flugtrajektorie kann auf einem System on Chip erfolgen. Das Kollisionsvermeidungssystem ist damit abhängig vom Sensor set-up und ist kostengünstig.
Fig. 5 zeigt eine Darstellung einer geänderten Flugbahn 500 zum Vermeiden einer Kollision gemäß einem Ausführungsbeispiel. Dabei entspricht die
Darstellung im Wesentlichen der Darstellung in Fig. 4. Der Baum 406 befindet sich innerhalb eines Toleranzbereichs um eine geplante Flugbahn 502 beziehungsweise geplante Flugtrajektorie 502. Unter Verwendung des hier vorgestellten Ansatzes sind der Baum 406 und der Mensch 408 als Objekte 118 erkannt worden. Mit dem Baum 406 droht eine mögliche zukünftige Kollision. Daher erfolgt eine Änderung der Flugtrajektorie 502 im Bereich des Baums 406 abgeändert. Hier beschreibt die geänderte Flugbahn 500 einen Bogen über den Baum 406.
Stehende Objekte 406 können erkannt werden, indem der erwartete optische Fluss mit dem gemessenen optischen Fluss verglichen wird. Das ist unter Kenntnis der Position und der Bewegung sowie dem Profil der Landschaft möglich. Diese Informationen können aus detaillierten 3-D-Karten entnommen werden. In einer einfachen Ausprägung genügt bereits die grobe Höhenlage der
Landschaft. Ergeben sich zusammenhängende Bildregionen, in denen der gemessene Fluss in einer vergleichbaren Art vom erwarteten Fluss abweicht, wird die Bildregion als Objektkandidat weiterbetrachtet.
Eine Berechnung von 3-D-lnformationen aus einer Folge von Monobildern ist unter Verwendung eines Verfahren, wie "Structure-from-Motion" möglich. Damit kann ein Hindernis 406 grob in 3-D vermessen werden. Auf Basis der
Hindernisvermessung ist dann wieder die Planung einer 3-D Ausweichtrajektorie 500 möglich.
Weitere Kritikalitätsmaße wie die Time-To-Brake beziehungsweise wie viel Zeit das Luftfahrzeug 100 noch zur Verfügung hat, um durch ein Abbremsen in der Luft die Kollision zu vermeiden, oder die Time-To-Steer beziehungsweise wie viel Zeit das Luftfahrzeug 100 noch zur Verfügung hat, um durch einen Lenkeingriff 500 die Kollision zu vermeiden, werden berechnet. Bei Unterschreiten von Schwellwerten auf die genannten Kritikalitätsmaße liegt eine Situation mit Kollisionsgefahr vor. Das unbemannte Luftfahrzeug 100 kann dann abbremsen, in der Luft stehen bleiben oder seine Trajektorie 502 autonom ändern. Bei Vertikalflüglern ist auch das stehen bleiben möglich. Abhängig von der klassifizierten Objektart, kann das Ausweichmanöver 500 entsprechend angepasst werden. Für neugierige Vögel reicht eventuell ein Warnton.
Fig. 6 zeigt eine Darstellung eines unbemannten Luftfahrzeugs 100 vor einer möglichen zukünftigen Kollision mit einem Vogel 600. Der Vogel 600 fliegt im Bereich einer geplanten Flugbahn 502 des Luftfahrzeugs 100. Durch den Vergleich der geplanten Flugbahn 502 mit einer Flugtrajektorie 602 des Vogels 600 wird erkannt, dass eine Wahrscheinlichkeit für die Kollision abnimmt, da der Vogel 600 vor dem Luftfahrzeug 100 ausweicht. Das Ausweichen kann unterstützt werden, indem ein akustisches Warnsignal ausgesandt wird.
Beispielsweise kann ein Warnruf eines Raubvogels abgespielt werden, um den Vogel 600 zu verscheuchen.
Wenn sich ein bewegtes, dynamisches Objekt 600 in der Flugbahn 502 des unbemannten Luftfahrzeugs 100 befindet, wird das Objekt 600 über den optischen Fluss als dynamisch erkannt und es wird die "time-to-collision" beziehungsweise die mögliche zukünftige Kollisionszeit berechnet. Hierbei kann ein sogenannter Focus-of-Expansion genutzt werden. Im Falle einer bewegten Kamera erzeugen alle stationären Objekte Flussvektoren, die aus einem Punkt im Bild hervorgehen, dem Focus-of-Expansion. Die Flussvektoren dynamischer Objekte 600 zeigen durch die Objektbewegung 602 eine vom Focus-of- Expansion abweichende Richtung. Ein Schwellwert auf den so berechenbaren Richtungsfehler dient zur Erkennung dynamischer Objekte 600.
Ebenso kann der Algorithmus berechnen, ob sich ein Objekt 600 aus der Flugbahn 502 des unbemannten Luftfahrzeugs heraus bewegt und somit keine Kollision stattfindet. Der Zustand des unbemannten Luftfahrzeugs, das heißt, seine Geschwindigkeit, Lage und seine Flugbahn werden daher an den
Algorithmus übergeben. Das unbemannte Luftfahrzeug benötigt daher
Sensordaten dieser Größen.
Fig. 7 zeigt eine Darstellung eines autonomen Flugs eines unbemannten Luftfahrzeugs 100 mit einem Kollisionsvermeidungssystem gemäß einem Ausführungsbeispiel. Dabei ist ein verfügbarer Luftraum in Cloud-Zones 700, 702 geteilt. Jede Cloud-Zone 700, 702 wird von einem Zentralkoordinator 308 überwacht. Die Aufgabe des Zentralkoordinators 308 ist die Überwachung des Luftraums. Dabei können Luftfahrzeuge 100, 704 überwacht werden, zumindest die Fluginformationen für den Zentralkoordinator 308 bereitstellen. Es ist eine frühzeitige Kollisionserkennung zwischen fliegenden Luftfahrzeugen 100, 704 möglich. Dazu werden Freigaben für den Flug in einer Cloud Zone 700, 702 erteilt. Falls eine mögliche Kollision 706 erkannt wird, werden
Ausweichtrajektorien 500 zur Kollisionsvermeidung berechnet.
Hier fliegt das erste Luftfahrzeug 100 in der ersten Cloud-Zone 700 und teilt seinen Flugplan mit dem zuständigen Cloud-Zone-Koordinator 308. Das zweite
Luftfahrzeug 704 will in die erste Cloud-Zone 700 hineinfliegen und fordert dafür die Erlaubnis an. Dafür teilt das zweite Luftfahrzeug 704 seinen Flugplan mit dem zuständigen Cloud-Zone-Koordinator 308. Der Cloud-Zone-Koordinator 308 erkennt eine mögliche Kollision 706 zwischen beiden Luftfahrzeugen 100, 704. Der Cloud-Zone-Koordinator 308 überträgt dem zweiten Luftfahrzeug 704 eine neue Flugroute 500, um die Kollision mit dem ersten Luftfahrzeug 100 zu vermeiden. Das erste Luftfahrzeug 100 fliegt weiter ungestört und erkennt ein unerwartetes Objekt 318 mit den Sensoren an Bord. Das erste Luftfahrzeug 100 berechnet eine neue Flugroute 500. Dann fliegt das erste Luftfahrzeug 100 weiter in die zweite Cloud-Zone 702 und teilt seinen Flugplan mit dem neuen
zuständigen Zentralkoordinator 308. Das Konzept mit dem "Cloudzonen" 700, 702 ähnelt den Funkzellen eines Mobilfunknetzes.
Fig. 8 zeigt ein Konzeptdiagramm von Ausbaustufen eines
Kollisionsvermeidungssystems 110 für ein unbemanntes Luftfahrzeug gemäß einem Ausführungsbeispiel. Das Kollisionsvermeidungssystem 110 baut dabei auf einer automatisierten Erkennung 800 einer möglichen zukünftigen Kollision mit einem Objekt auf, wie sie beispielsweise in den Figuren 4 bis 6 beschrieben ist.
Es wird ein System 110 vorgeschlagen, das einen kollisionsfreien Flug für unbemannte Luftfahrzeuge sicherstellt. Der hier vorgestellte Ansatz stellt sicher, dass keine Kollision mit anderen unbemannten Luftfahrzeugen und stationären oder sich bewegenden Objekten vorkommen kann. Das System 110 verwendet Komponenten zur Objekterkennung oder Cloud-Kommunikation, wie Sensoren, eine Kamera, Algorithmen zur Objekterkennung, Service zum Überwachen von Luftraum und Software, die den Luftraum überwacht und Konflikte zwischen unbemannten Luftfahrzeugen löst. Es erfolgt eine Beschreibung der Modulstufen des eMSS Systems für die Früherkennung und Vermeidung von Kollisionen.
In einer ersten Ausbaustufe 800 kann das Kollisionsvermeidungssystenn 110 als Non Co-Operative Sensor System 800 bezeichnet werden. Hier werden
Kollisionen durch Objekterkennung und Abstandsmessung zwischen
unbemanntem Luftfahrzeug und Hindernis vorausberechnet. Es gibt keine Kommunikation mit dem Hindernis. Dabei wird die Ausweichtrajektorie ohne eine Absprache mit dem anderen Objekt auf der Flugbahn ausgewählt, was trotz Ausweichtrajektorie zur Kollision führen könnte. Typische Sensoren dafür sind
RGB-D Kameras, Ultraschallsensoren oder Laser. Anwendungsfälle umfassen beispielsweise die Überwachung von Agrarfeldern, Indoor Kartierung und Feuerbekämpfung. Das System ist dann vorteilhaft, wenn der Luftraum eingeschränkt und bekannt ist.
In einer zweiten Ausbaustufe 802 kann das Kollisionsvermeidungssystenn 110 als Cloud Based Traffic Control System 802 bezeichnet werden. Hier wird die vorprogrammierte Flugbahn mit einem Zentralkoordinator geteilt, der die
Flugerlaubnis für einen bestimmten Luftraum erteilt. Wenn ein unbemanntes Luftfahrzeug keine Erlaubnis bekommt, dann wartet es an der Grenze zum
Luftraum, bis die Flugbahn innerhalb des Luftraums wieder frei ist. Durch die Wartezeit werden die Flugzeiten verlängert und damit die Reichweite gekürzt. In einem Ausführungsbeispiel weist das Luftfahrzeug einen ein Transponder zur Kommunikation mit dem Zentralkoordinator auf. Diese zweite Ausbaustufe 802 kann zur Überwachung von Brücken, zur Überwachung eines Werksgeländes oder zur Inspektion von Ölplattformen verendet werden.
In einer dritten Ausbaustufe 804 kann das Kollisionsvermeidungssystenn 110 als Cloud Solves Conflict Situations in Real Time 804 bezeichnet werden. Hier wird die vorprogrammierte Flugbahn mit einem Zentralkoordinator geteilt, der
Zentralkoordinator berechnet in Echtzeit die Ausweichtrajektorien und überträgt diese zu den betroffenen Luftfahrzeugen im Kollisionskonflikt, die sofort das Ausweichmanöver umsetzen können. Hier gibt es keine Wartezeiten mehr. Ein Zentralkoordinator erforderlich. Die dritte Ausbaustufe 804 kann bei Lieferung innerhalb Ortschaften, zur Überwachung von Baustellen oder zur Überwachung von Menschenansammlungen verwendet werden.
In einer vierten Ausbaustufe 806 kann das Kollisionsvermeidungssystem 110 als UAV-To-UAV Communication 806 bezeichnet werden. Für den Fall, dass das Luftfahrzeug aus der Cloud-zone in einen nicht kontrollierten Luftraum eintritt, beispielsweise in einen Bereich ohne Cloudkoordinator, wie bei Lieferdrohen in entlegenen Gebieten oder Seerettung, wird ein erweitertes beziehungsweise modifiziertes Konzept zur Berechnung von Konflikten zwischen mehreren Flugobjekten verlangt. Hier wird die vorprogrammierte Flugbahn mit anderen Teilnehmern im Luftraum geteilt. Anschließend wird eine Vereinbarung zwischen den Luftfahrzeugen über die Ausweichtrajektorie getroffen. Die vierte
Ausbaustufe 806 kann zur Lieferung in entlegenen Orten oder zur Überwachung von Tierbestand verwendet werden.
In einer fünften Ausbaustufe 808 kann das Kollisionsvermeidungssystem 110 als Radar/ACAS 808 bezeichnet werden. In der letzten Aufbaustufe 808 ist ein System zur Integration des Luftfahrzeugs in den zivilen Luftraum, in dem auch bemannte Luftfahrzeuge fliegen, in das Kollisionsvermeidungssystem 110 integriert. Dabei ist zu erwarten, dass unbemannte Luftfahrzeuge immer bemannten Luftfahrzeugen auszuweichen haben. Dafür ist ein Einbau entweder eines Radars zur Erkennung von anderen Flugzeugen und deren
Geschwindigkeit sinnvoll, da über die Doppler-Spur sehr schnell der Flugzeugtyp und damit die wichtigste Information das heißt, die Größe erkannt werden kann. Alternativ kann ein ACAS-System eingebaut werden. Die fünfte Ausbaustufe 808 kann zur Grenzüberwachung und zum Bereitstellen von Internet in entlegenen Orten verwendet werden.
Da unbemannte Luftfahrzeuge in sehr unterschiedliche Anwendungen eingesetzt werden können, stellen nicht alle Einsatzbereiche beziehungsweise
Anwendungen die gleichen Anforderungen an das System 110 zur
Kollisionsvermeidung. Daher wird hier eine umfassende und modular aufbaubare Sicherheitsplattform 110 vorgeschlagen. Mit der zunehmenden Komplexität der Aufgabe, die ein unbemanntes Luftfahrzeug durchführen soll, steigt gleichzeitig die Komplexität und Reichweite des Sicherheitssystems, das in Luftfahrzeug eingebaut werden kann und das Luftfahrzeug während des Fluges unterstützt.
Wird ein unbemanntes Luftfahrzeug beispielsweise für die Ermittlung von Dünger- und Wasserbedarf auf Agrarfeldern eingesetzt, dann sind die
Anforderungen an das Kollisionsvermeidungssystem 110 eher gering, da der Luftraum eingeschränkt und kontrollierbar ist. Mit anderen Worten ist die Anzahl der Flugteilnehmer bekannt und kann vom Grundstückseigentümer nach aktueller Gesetzeslage beeinflusst werden, da er Flüge über seinem Grundstück zulassen oder ablehnen kann. Außerdem sind mögliche Hindernisse in der
Flugbahn beziehungsweise stationäre Objekte wie beispielsweise Strommasten oder Bäume generell bekannt. Kollisionsgefahr besteht durch unerwartete Flugobjekte, beispielsweise durch Vögel. Unter solchen Voraussetzungen ist ein System 110 zur Kollisionsvermeidung, das auf Sensoren wie Kameras,
Ultraschallsensoren oder Laser basiert, ausreichend. Die Sensoren übernehmen die Objekterkennung und Abstandsmessung. Es kann aber nicht sichergestellt werden, dass durch die Ausweichtrajektorie neue Kollisionskonflikte zu erwarten sind, da die Trajektorie des unerwarteten Objektes nicht bekannt ist. Dennoch ist das Risiko von Kollisionen durch das "non-comparative sensor System" 800 erheblich reduziert. Hier ist daher die beispielhaft beschriebene Anwendung
"Precision Farming" der untersten Modulebene 800 zugeordnet, die lediglich "non-cooperative" Sensor Systems benötigt und die geringste Komplexität des Sicherheitssystems 110 erfordert. Wird jedoch ein unbemanntes Luftfahrzeug beispielsweise zur Paketlieferung eingesetzt, dann werden die Anforderungen an das System 110 zunehmen. Beispielhaft ist hier der Anwendungsfall "delivery" der 3. Modulstufe 804 "cloud solves conflict situtations" zugeordnet. Ein unbemanntes Luftfahrzeug soll in diesem Fall innerhalb von Ortschaften fliegen, das heißt, mit Überflug von Menschen. Zudem werden auch andere Flugteilnehmer, wie andere unbemannte
Luftfahrzeuge im Luftraum erwartet, die nicht im Vorfeld bekannt sein können. Es ist auch zu erwarten, dass sich die Struktur innerhalb des Luftraumes ständig ändert, beispielsweise durch Zubau von Gebäuden in Baugebieten. Um diesen neuen Herausforderungen gerecht zu werden, wird zusätzlich zu dem Modul 800 auch ein System 110 benötigt, das Konfliktpotenzial mit anderen Flugteilnehmern zu 100% risikofrei lösen kann. Da der Flugplan von einem unbemannten Luftfahrzeug im Vorfeld bekannt ist, kann der Flugplan mit einem
Zentralkoordinator geteilt werden, der mögliche Konflikte im Voraus berechnen und lösen kann. Das heißt, Flugerlaubnis und Eintritt in einen definierten Luftraum wird nur erteilt, wenn die angestrebte Flugbahn frei von anderen unbemannten Luftfahrzeugen ist. Dieses System 110 ist zuverlässiger als das sensorbasierte System 800 und erweitert die unterlagerten Modulstufen 800, 802. Beide Beispiele begründen den Nutzen und Vorteil eines modular aufbaubaren
Systems 110 zur Kollisionsvermeidung für unbemannte Luftfahrzeuge. Bei dem hier vorgestellten System 110 kann jede Aufbaustufe die vorherige Systemstufe enthalten. Mit anderen Worten wird eine Sicherheitsplattform für unbemannte Flugobjekte vorgestellt. Die Sicherheitsplattform umfasst Sicherheitsfunktionen, wie
Kollisionsvermeidung, zuverlässige Sensorik und ausfallsichere Komponenten.
Fig. 9 zeigt ein Ablaufdiagramm eines Verfahrens 900 zum Erkennen einer möglichen zukünftigen Kollision gemäß einem Ausführungsbeispiel. Das Verfahren 900 kann auf einem Steuergerät eines Luftfahrzeugs, wie es beispielsweise in Fig. 1 dargestellt ist, ausgeführt werden. Das Verfahren 900 weist einen Schritt 902 des Suchens, einen Schritt 904 des Zuordnens und einen Schritt 906 des Vergleichens auf. Im Schritt 902 des Suchens wird zumindest ein Objekt in einer, von einer Kamera des Luftfahrzeugs eingelesenen
Bildinformation gesucht. Dabei wird das zumindest eine Objekt unter
Verwendung eines optischen Flusses in einer Bildsequenz aus zumindest zwei Einzelbildern der Bildinformation gesucht. Im Schritt 904 des Zuordnens wird zu dem zumindest einen Objekt zumindest eine Objektinformation unter
Verwendung des optischen Flusses zugeordnet. Im Schritt 906 des Vergleichens wird die zumindest eine Objektinformation mit einer Flugbahninformation des Luftfahrzeugs verglichen, um einen möglichen zukünftigen Kollisionsort und eine mögliche zukünftige Kollisionszeit der möglichen zukünftigen Kollision zu erkennen. Es wird eine automatisierte Kollisionsvermeidung für ein unbemanntes
Luftfahrzeug (unmanned aerial vehicle, UAV) vorgestellt.
Unbemannte Luftfahrzeuge, wie Quadrokopter, Multikopter oder Drohnen (UAVs, Unmanned Aerial Vehicles) werden in Zukunft häufig Verwendung finden, da sie sehr vielfältige Einsatzmöglichkeiten haben. Beim Betrieb der Luftfahrzeuge sind Safety, Security und Privacy wichtig, also dass keine Kollisionen und Abstürze, kein Missbrauch der Drohne und der Schutz der Privatsphäre gewährleistet sind.
Aktuell ist es beispielsweise in Deutschland gestattet unbemannte Luftfahrzeuge lediglich außerhalb geschlossener Ortschaften, nicht über Personen, und nicht autonom, sondern nur in Sichtkontakt und mit Eingriffsmöglichkeit für den Steuerer zu fliegen. Zudem sind für gewerbliche Zwecke Flugerfahrung und eine Aufstiegsgenehmigung nötig. Dies ist unter anderem der Tatsache geschuldet, dass handelsübliche unbemannte Luftfahrzeuge zwar autonom fliegen könnten, jedoch kein Konzept zur Vermeidung von Kollisionen aufweisen.
Die Sicherheit von unbemannten Luftfahrzeugen kann verbessert werden, indem Abstandssensorik wie Infrarotsensoren, Radar oder Ultraschall zum Einsatz kommen.
Konventionelle Autopilotsysteme arbeiten bei einem detektierten Objekt über die Weitergabe von Warnsignalen an den Piloten und sind somit auf das richtige Reagieren des Piloten angewiesen.
Um zukünftigen Sicherheitsanforderungen gerecht zu werden, können unbemannte Luftfahrzeuge mit dem hier beschriebenen Konzept zur
automatisierten Kollisionsvermeidung ausgerüstet werden. Der hier vorgestellte Ansatz umfasst ein kamerabasiertes Konzept zur
Kollisionsvermeidung, basierend auf der Auswertung eines Kamerabildes durch Bildverarbeitungsalgorithmen. Nahezu alle unbemannten Luftfahrzeuge haben bereits eine Kamera verbaut oder verfügen über einen Gimbal beziehungsweise eine Aufhängung zum Anbringen von Kameras. Auf Basis einer Folge von Kamerabildern kann der optische Fluss berechnet werden. Dieser kann verwendet werden, um die Zeit bis zu einer Kollision zu schätzen (Time-To-Collision) sowie um dynamische Objekte vom Hintergrund zu separieren.
Weiterhin kann eine Objektklassifikation vorgenommen werden. Dabei können insbesondere spezifisch unter Verwendung des optischen Flusses als eigenbewegt erkannte Objekte, wie Vögel, andere unbemannte Luftfahrzeuge, Heißluftballons oder Gleitschirmflieger klassifiziert werden.
Es kann eine Berechnung der inversen Perspektive beziehungsweise einer sogenannten Bird's eye view erfolgen, wenn eine Höhe und Lage der Kamera beziehungsweise des Luftfahrzeugs bekannt ist. Damit kann eine metrische, verzerrungsfreie Draufsicht auf die Umgebung generiert werden, die in
Verbindung mit einer Karte zur Lokalisierung genutzt werden kann.
Ferner kann unter Verwendung von Structure-From-Motion oder
Bewegungsstereo eine dreidimensionale Ausdehnung von Objekten bestimmt werden.
Die genannten Bildverarbeitungsalgorithmen können mithilfe eines embedded System (System on Chip) an Bord des unbemannten Luftfahrzeugs online berechnet und zur Objektbewegungserkennung eingesetzt werden. Durch die Verwendung solcher embedded Systems, wie sie beispielsweise in
Smartphones und Tablets verwendet werden, entstehen geringe Kosten, da die Prozessoren geringe Stückkosten aufweisen, eine geringe Verlustleistung aufweisen und ein geringes Gewicht haben. Dabei ist keine aktive Kühlung notwendig und die embedded Systems können aus der Batterie des
unbemannten Luftfahrzeugs versorgt werden.
Bei dem hier vorgestellten Ansatz werden Lösungsansätze aus der
Fahrerassistenz, wie die Auswertung eines Kamerabildes, die Objekterkennung und die Kollisionsvermeidung mit einer neuen Technologie, dem unbemannten Luftfahrzeug kombiniert. Die Besonderheiten der Plattform unbemanntes Luftfahrzeug ermöglichen jedoch eine Reihe von Algorithmen, die so in der Fahrassistenz nicht verbreitet beziehungsweise möglich sind. Insbesondere erfolgt bei einem Flugobjekt eine Berechnung einer dreidimensionalen kollisionsvermeidenden Trajektorie.
Bei der Anwendung auf ein unbemanntes Luftfahrzeug werden die aus der Fahrerassistenz bekannten Kritikalitätsmaße zur Situationsbewertung erweitert. Insbesondere werden neue Luftfahrzeug-spezifische Bewegungsmodelle erstellt. Neue Maße werden hinzugefügt, beispielsweise erfolgt ein Ausweichen nach oben durch Anlegen der Maximalspannung auf die Rotor-Motoren. Ein
Ausweichen nach unten erfolgt dagegen durch Anhalten oder starkes Abbremsen der Rotoren ohne Absturz des unbemannten Luftfahrzeugs.
Durch den hier vorgestellten Ansatz wird das autonome Fliegen von Drohnen ermöglicht, da die Kollisionsvermeidung für unbemannte Luftfahrzeuge einen Sicherheitsaspekt hinzufügt, dem zuvor nicht Rechnung getragen wurde.
Bewegte und unvorhergesehene Objekte innerhalb der Flugbahn werden erkannt und die Kollision vermieden.
Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Verfahren (900) zum Erkennen einer möglichen zukünftigen Kollision (706) eines unbemannten Luftfahrzeugs (100) mit einem Objekt (118), wobei das Verfahren (900) die folgenden Schritte aufweist: Suchen (902) von zumindest einem Objekt (118) in einer, von einer
Kamera (112) des Luftfahrzeugs (100) eingelesenen Bildinformation (114) unter Verwendung eines optischen Merkmals (120) in einer Bildsequenz aus zumindest zwei Einzelbildern (402) der Bildinformation (114);
Zuordnen (904) von zumindest einer Objektinformation (124) zu dem zumindest einen Objekt (118) unter Verwendung des optischen
Merkmals (120); und Vergleichen (906) der zumindest einen Objektinformation (124) mit einer
Flugbahninformation (132) des Luftfahrzeugs (100), um einen möglichen zukünftigen Kollisionsort (140) und eine mögliche zukünftige
Kollisionszeit (142) der möglichen zukünftigen Kollision (706) zu erkennen.
2. Verfahren (900) gemäß Anspruch 1, bei dem im Schritt (902) des
Suchens ein Bildbereich (122) der Bildinformation (114) als Objekt (118) erkannt wird, wenn Bildpunkte in dem Bildbereich (122) ein optisches Kennzeichen aufweisen, das dem optischen Merkmal und/oder des optischen Flusses innerhalb eines Toleranzbereichs gleich ist.
3. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (902) des Suchens ein als Objekt (118) erkannter Bildbereich (122) mit vorab bereits aufgefundenen, bekannten und/oder kartierten Objekten verglichen wird, um das Objekt (118) zu bestätigen.
4. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (904) des Zuordnens aus dem optischen Merkmal (120) der Bildpunkte, die das erkannte Objekt (118) repräsentieren, als Objektinformationen (124) eine Geschwindigkeitsinformation (126), eine Positionsinformation (128) und/oder eine Richtungsinformation (130) des Objekts (118) ermittelt werden.
5. Verfahren (900) gemäß Anspruch 4, bei dem im Schritt (906) des
Vergleichens die Geschwindigkeitsinformation (126), die
Positionsinformation (128) und/oder die Richtungsinformation (130) des Objekts (118) mit einer in der Flugbahninformation (132) enthaltenen Fluggeschwindigkeit (134), einer in der Flugbahninformation (132) enthaltenen Fahrzeugposition (136) und/oder einer in der
Flugbahninformation (132) enthaltenen Flugrichtung (138) des
Luftfahrzeugs (100) verglichen werden, um den möglichen zukünftigen Kollisionsort (140) und die mögliche zukünftige Kollisionszeit (142) zu erkennen.
6. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Empfangens zumindest einer weiteren
Flugbahninformation eines weiteren Luftfahrzeugs (704), wobei im Schritt (906) des Vergleichens ferner die Flugbahninformation (132) mit der weiteren Flugbahninformation verglichen wird, um den möglichen zukünftigen Kollisionsort (140) und die mögliche zukünftige Kollisionszeit (142) zu erkennen.
7. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (902) des Suchens die Flugbahninformation (132) unter Verwendung des optischen Merkmals (120) bestimmt wird.
8. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Bereitstellens der Flugbahninformation (132).
9. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Bestimmens einer alternativen Flugbahn (500) für das Luftfahrzeug (100) unter Verwendung der Flugbahninformation (132), der Objektinformationen (124), des möglichen zukünftigen Kollisionsorts (140) und der möglichen zukünftigen Kollisionszeit (142), wobei das Luftfahrzeug (100) auf die alternative Flugbahn (500) gesteuert wird, um die mögliche zukünftige Kollision (706) zu verhindern.
10. Verfahren (900) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Warnens, in dem ein Warnsignal über die mögliche zukünftige Kollision (706) für das Objekt (118) bereitgestellt wird.
11. Steuergerät (102) zum Erkennen einer möglichen zukünftigen Kollision (706) eines unbemannten Luftfahrzeugs (100) mit einem Objekt (118), wobei das Steuergerät (102) eingerichtet ist, das Verfahren (900) gemäß einem der vorangegangenen Ansprüche auszuführen.
12. Kollisionsvermeidungssystem (110) für ein unbemanntes Luftfahrzeug (100), wobei das Kollisionsvermeidungssystem (110) die folgenden Merkmale aufweist: eine Kamera (112) zum Bereitstellen einer Bildinformation (114); ein Steuergerät (1029 gemäß Anspruch 11; und eine Ausweicheinrichtung (144) zum Beeinflussen der Flugbahn (502) des Luftfahrzeugs (100).
13. Computerprogramm, das dazu eingerichtet ist, das Verfahren (900) gemäß einem der vorangegangenen Ansprüche auszuführen.
14. Maschinenlesbares Speichermedium, auf dem das Computerprog
nach Anspruch 13 gespeichert ist.
PCT/EP2016/078647 2015-12-10 2016-11-24 Verfahren und steuergerät zum erkennen einer möglichen kollision eines unbemannten luftfahrzeugs mit einem objekt Ceased WO2017097596A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015224796.1A DE102015224796A1 (de) 2015-12-10 2015-12-10 Verfahren und Steuergerät zum Erkennen einer möglichen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt
DE102015224796.1 2015-12-10

Publications (2)

Publication Number Publication Date
WO2017097596A2 true WO2017097596A2 (de) 2017-06-15
WO2017097596A3 WO2017097596A3 (de) 2017-07-27

Family

ID=57485448

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/078647 Ceased WO2017097596A2 (de) 2015-12-10 2016-11-24 Verfahren und steuergerät zum erkennen einer möglichen kollision eines unbemannten luftfahrzeugs mit einem objekt

Country Status (2)

Country Link
DE (1) DE102015224796A1 (de)
WO (1) WO2017097596A2 (de)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107703519A (zh) * 2017-10-17 2018-02-16 杭州瓦屋科技有限公司 基于激光位移传感器的植保无人机障碍物检测方法
CN109859533A (zh) * 2017-11-30 2019-06-07 英特尔公司 基于视觉的协作冲突避免
US10757485B2 (en) 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
CN111880556A (zh) * 2020-07-02 2020-11-03 西安理工大学 一种基于无线紫外光的无人机集群内防碰撞系统及方法
CN112017482A (zh) * 2019-05-28 2020-12-01 沃科波特有限公司 避免飞行器与其他飞行物体发生碰撞的方法和系统
US11163317B2 (en) 2018-07-31 2021-11-02 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
US11181929B2 (en) 2018-07-31 2021-11-23 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
CN114500736A (zh) * 2020-10-23 2022-05-13 广州汽车集团股份有限公司 一种智能终端运动轨迹决策方法及其系统、存储介质
CN118466575A (zh) * 2024-05-27 2024-08-09 深圳市星辰智途科技有限公司 无人机碰撞预测及避障方法及其相关设备
CN120071686A (zh) * 2025-03-26 2025-05-30 砺剑(青岛)装备技术有限公司 一种低空飞行安全协导系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016218852A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
CN114594785B (zh) * 2022-01-17 2023-07-14 北京理工大学 基于混合整数二阶锥优化的无人机避障实时轨迹规划方法
DE102023200083A1 (de) * 2023-01-05 2024-07-11 Volkswagen Aktiengesellschaft Einbindung von vulnerablen Verkehrsteilnehmern in ein V2X-System
CN117150339A (zh) * 2023-08-28 2023-12-01 西北工业大学 一种基于测角数据的航天器运动样式识别方法
DE102023135902A1 (de) * 2023-12-20 2025-06-26 Endress+Hauser SE+Co. KG Drohnen-basierte Füllgut-Bestimmung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7876258B2 (en) * 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
EP2115665A1 (de) * 2007-02-06 2009-11-11 AAI Corporation Verwendung eines polarisierungsdifferenzierungsverfahrens zur erkennung, erfassung und vermeidung von systemen
EP2187233B1 (de) * 2008-11-12 2013-03-20 Saab Ab Entfernungsschätzungsvorrichtung
US8234068B1 (en) * 2009-01-15 2012-07-31 Rockwell Collins, Inc. System, module, and method of constructing a flight path used by an avionics system
US8788121B2 (en) * 2012-03-09 2014-07-22 Proxy Technologies, Inc. Autonomous vehicle and method for coordinating the paths of multiple autonomous vehicles
US9875661B2 (en) * 2014-05-10 2018-01-23 Aurora Flight Sciences Corporation Dynamic collision-avoidance system and method
JP6181300B2 (ja) * 2014-09-05 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の速度を制御するシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10757485B2 (en) 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
CN107703519A (zh) * 2017-10-17 2018-02-16 杭州瓦屋科技有限公司 基于激光位移传感器的植保无人机障碍物检测方法
CN107703519B (zh) * 2017-10-17 2020-04-28 杭州瓦屋科技有限公司 基于激光位移传感器的植保无人机障碍物检测方法
CN109859533A (zh) * 2017-11-30 2019-06-07 英特尔公司 基于视觉的协作冲突避免
US11163317B2 (en) 2018-07-31 2021-11-02 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
US11181929B2 (en) 2018-07-31 2021-11-23 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
CN112017482A (zh) * 2019-05-28 2020-12-01 沃科波特有限公司 避免飞行器与其他飞行物体发生碰撞的方法和系统
CN112017482B (zh) * 2019-05-28 2023-08-11 沃科波特有限公司 避免飞行器与其他飞行物体发生碰撞的方法和系统
CN111880556A (zh) * 2020-07-02 2020-11-03 西安理工大学 一种基于无线紫外光的无人机集群内防碰撞系统及方法
CN114500736A (zh) * 2020-10-23 2022-05-13 广州汽车集团股份有限公司 一种智能终端运动轨迹决策方法及其系统、存储介质
CN114500736B (zh) * 2020-10-23 2023-12-05 广州汽车集团股份有限公司 一种智能终端运动轨迹决策方法及其系统、存储介质
CN118466575A (zh) * 2024-05-27 2024-08-09 深圳市星辰智途科技有限公司 无人机碰撞预测及避障方法及其相关设备
CN120071686A (zh) * 2025-03-26 2025-05-30 砺剑(青岛)装备技术有限公司 一种低空飞行安全协导系统

Also Published As

Publication number Publication date
WO2017097596A3 (de) 2017-07-27
DE102015224796A1 (de) 2017-06-14

Similar Documents

Publication Publication Date Title
WO2017097596A2 (de) Verfahren und steuergerät zum erkennen einer möglichen kollision eines unbemannten luftfahrzeugs mit einem objekt
US20220004201A1 (en) Obstacle-avoidance control method for unmanned aerial vehicle (uav), flight controller and uav
EP3545381B1 (de) Unbemanntes luftfahrzeug mit einer modularen schwarmsteuereinheit
DE102017116421B4 (de) Verfahren und Steuervorrichtung für ein autonomes und/oder teilautonomes Transportfahrzeug
EP3762913B1 (de) Luftlageinformations- und verkehrsmanagementsystem für unbemannte und bemannte luftfahrzeuge
DE102021133739A1 (de) Steuern eines autonomen fahrzeugs unter verwendung einer näheregel
DE102020102624A1 (de) Fortschrittliche vermeidung von kollisionen mit wildtieren für fahrzeuge
DE112017006890B4 (de) Koordination von luftfahrzeugen und bodenfahrzeugen
DE112014001058T5 (de) Verfahren und System zur Steuerung autonomer Fahrzeuge
CN115602003B (zh) 无人驾驶航空器飞行避障方法、系统和可读存储介质
DE602004011611T2 (de) System und Methode zur automatischen Kollisionsvermeidung für Flugzeuge
DE102022113892A1 (de) Systeme und verfahren für landezonenvorgänge von dienstleistungsdrohnen
DE202022105719U1 (de) Semantische Anpassung von Zustellpunken eines unbemannten Luftfahrzeugs
DE102022127513B3 (de) Verfahren und System zum Bereitstellen eines freien Weges für ein Einsatzfahrzeug
DE202022105778U1 (de) Semantischer Abbruch von unbemannten Luftfahrzeuglieferungen
DE102016008553B4 (de) System umfassend ein Kraftfahrzeug und ein unbemanntes Luftfahrzeug und Verfahren zum Erfassen von Gegebenheiten in einer Umgebung eines Kraftfahrzeugs
DE102023111700A1 (de) Algorithmus zum erzeugen von planungsbasierten aufmerksamkeitssignalen
DE112021004698T5 (de) Steuervorrichtung für ein unbemanntes fluggerät und speichermedium
DE202022105781U1 (de) Bewegungsbahnen für unbemannte Luftfahrzeuge zum Versetzen und Rückgängigmachen des Versetzens
DE102022113890A1 (de) Systeme und verfahren zum betreiben von drohnenflügen über öffentlichen strassen
WO2016165883A1 (de) Unbemanntes flugobjekt und system zur vermeidung von kollisionen in lufträumen mit unbemannten flugobjekten
DE102024113471A1 (de) Fernsteuerung
DE102017108130A1 (de) Verfahren zur Datenfusion eines Datensatzes, entsprechende Recheneinheit und Fahrzeug welches mit einer entsprechenden Recheneinheit ausgestattet ist sowie Computerprogramm
DE102018211905A1 (de) Steuereinrichtung für ein unbemanntes Luftfahrzeug
DE102015224803A1 (de) Verfahren und Steuergerät zum Ermitteln einer alternativen Flugbahn eines Luftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16805996

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16805996

Country of ref document: EP

Kind code of ref document: A2