WO2020160863A1

WO2020160863A1 - Vorrichtung zur routenplanung für eine landmaschine basierend auf sensordaten und bildsegmentierung

Info

Publication number: WO2020160863A1
Application number: PCT/EP2020/050345
Authority: WO
Inventors: Zhihu Chen; Marcus Hiemer
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-02-08
Filing date: 2020-01-09
Publication date: 2020-08-13
Anticipated expiration: 2021-08-08
Also published as: DE102019201632A1

Abstract

Vorrichtung (10) zur assistierten Routenplanung für eine Landmaschine (50), umfassend eine Eingabeschnittstelle (12) zum Eingeben von Bilddaten betreffend eine von der Landmaschine (50) zu bearbeitende landwirtschaftliche Nutzfläche (60) sowie zum Eingeben von vordefinierten Karteninformationen der landwirtschaftlichen Nutzfläche (60), eine Aktualisierungseinheit (14) zum Aktualisieren der eingegebenen Karteninformationen basierend auf einer Segmentierung der eingegebenen Bilddaten, eine Routenplanungseinheit (16) zum Erstellen einer Fahrroute der Landmaschine (50) basierend auf den aktualisierten Karteninformationen und eine Ausgabeschnittstelle (18) zum Ausgeben der erstellten Fahrroute zur Steuerung der Landmaschine (50).

Description

Vorrichtung zur Routenplanunq für eine Landmaschine basierend auf Sensordaten und Bildseqmentierunq

Die vorliegende Erfindung betrifft eine Vorrichtung zur Routenplanung für eine Landmaschine nach Anspruch 1 . Die Erfindung betrifft ferner die Verwendung einer solchen Vorrichtung in einer Landmaschine nach Anspruch 1 3. Außerdem betrifft die Erfindung ein Verfahren zur Routenplanung für eine Landmaschine nach An spruch 14. Schließlich betrifft die Erfindung ein Computerprogrammprodukt nach An spruch 15.

In landwirtschaftlichen Bereichen spielt die Bearbeitung von landwirtschaftlichen Nutzflächen eine zentrale Rolle. Beispielsweise müssen bei der Ernte von Gras und Getreide, aber auch von Feldfrüchten das Erntegut in einer bestimmten Form (etwa reihenförmig) abgelegt bzw. geschwadet werden. Für solche Zwecke werden Land maschinen eingesetzt, die entlang einer bestimmten Fahrroute auf der landwirtschaft lichen Nutzfläche fahren und gleichzeitig Letztere landwirtschaftlich bearbeiten.

Es besteht ein steigender Bedarf, derartige landwirtschaftlichen Bearbeitungsvor gänge zumindest teilweise zu automatisieren. Hierdurch kann das Schwaden der landwirtschaftlichen Nutzfläche fahrerlos durchgeführt werden. Auf diese Weise kann einerseits die Effizienz dieser Vorgänge aufgrund der verlängerten Einsatzzeit der Landmaschinen, andererseits aber auch die Sicherheit dieser Vorgänge gesteigert werden.

Aus dem Stand der Technik sind Lösungen bekannt, landwirtschaftliche Bearbei tungsvorgänge autonom zu gestalten. So ist aus WO 2018/087546 ein roboterbasier tes Früchteerntesystem umfassend einen autonomen Roboter bekannt.

Allerdings sind die aus dem Stand der Technik bekannten Systeme in ihrem Automa tisierungsgrad begrenzt, sodass viele Vorgänge weiterhin von Menschen bezie hungsweise Fahrern der Landmaschinen durchgeführt werden müssen. Diese be kannten Systeme sind hinsichtlich der Effizienz und Sicherheit der landwirtschaftli chen Bearbeitungsvorgänge daher nachteilig. Auch basieren die bekannten Systeme überwiegend auf dem Global Positioning Sys tem (GPS), was hinsichtlich der Lizenzgebühren zur Erlangung von Satellitendaten kostenspielig ist.

Aufgabe der vorliegenden Erfindung ist daher, die bekannten Systeme zur Bearbei tung von landwirtschaftlichen Nutzflächen dahingehend zu verbessern, um den Au tomatisierungsgrad der Bearbeitungsvorgänge bei gleichzeitiger Kostenreduzierung zu erhöhen.

Die Aufgabe wird gelöst durch eine Vorrichtung zur Routenplanung für eine Landma schine mit den Merkmalen des Anspruchs 1 . Ferner wird die Aufgabe gelöst durch die Verwendung einer solchen Vorrichtung in einer Landmaschine mit den Merkma len des Anspruchs 13. Außerdem wird die Aufgabe gelöst durch ein Verfahren zur Routenplanung für eine Landmaschine mit den Merkmalen des Anspruchs 14.

Schließlich wird die Aufgabe gelöst durch ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 15.

Wenn die Landmaschine zur Bearbeitung der landwirtschaftlichen Nutzfläche einge setzt wird, ist zwecks Sicherstellung der Bearbeitungsqualität die Fahrroute der Landmaschine zunächst zu bestimmen. Hierzu werden die vordefinierten Kartenin formationen der zu bearbeitenden Nutzfläche über die Eingabeschnittstelle der Rou tenplanungsvorrichtung eingespeist. Bei den Karteninformationen handelt es sich um Informationen betreffend die geographischen Gegebenheiten und/oder landwirt schaftlichen Nutzungsdaten der zu bearbeitenden Nutzfläche wiedergeben.

Zusätzlich ist zumindest ein Sensor zur Erzeugung der einzugebenden Bilddaten vorgesehen. Der Sensor kann eine Kamera, ein Radarsensor, ein Light-Detection- and-Ranging-Sensor (Lidarsensor) und/oder ein Ultraschallsensor sein. Der Sensor kann beispielsweise an der Landmaschine angebracht sein um einen Nahbereich der Landmaschine zu erfassen. Alternativ kann es sich auch um ein von der Landma schine separates, zentrales Sensorsystem zur Überwachung der zu bearbeitenden Landmaschine handeln. Die hierdurch erzeugten Bilddaten der zu bearbeitenden Nutzfläche beziehungsweise des Nahbereiches der Landmaschine werden ebenfalls über die Eingabeschnittstelle der Routenplanungsvorrichtung eingespeist.

Die Aktualisierungseinheit verarbeitet die eingegebenen Karteninformationen und Bilddaten um die Karteninformationen basierend auf einer Segmentierung der Bildda ten zu aktualisieren. Die Segmentierung ist vorzugsweise eine semantische Segmen tierung. Die Segmentierung kann von einer in der Routenplanungsvorrichtung inte grierten Segmentierungseinheit oder alternativ von einer externen Segmentierungs einheit durchgeführt werden. Dabei werden Pixel- und/oder Voxeidaten aus den Bild daten klassifiziert, um unterschiedliche Bereiche in den Pixel- beziehungsweise Vo- xeldaten anhand von vordefinierten Klassifizierungskriterien zu erkennen und vonei nander zu unterscheiden. Vorzugsweise findet hierbei eine Objekterkennung statt, um etwa diejenigen Flächen, auf denen sich das zu schwadende Erntegut befindet, von restlichen Flächen (beispielsweise bereits bearbeiteten oder leerstehenden Flä chen) hervorzuheben.

Die Aktualisierungseinheit verwendet das Ergebnis der Segmentierung, um die vor definierten Karteninformationen zu modifizieren/ergänzen. Vorzugsweise werden In formationen betreffend in den Bilddaten erkannte Objekte, die aus den vordefinierten Karteninformationen nicht hervorgehen, in die Karteninformationen aufgenommen. Hierbei werden die Lagedaten der Objekte von der Aktualisierungseinheit abgelesen, wobei die Objektinformationen entsprechend den abgelesenen Lagedaten in die Kar teninformationen integriert werden.

Die Routenplanungseinheit verwendet die auf diese Weise aktualisierten Kartenin formationen um eine Fahrroute für die Landmaschine zu erstellen. Hierbei werden die zuvor aus den vordefinierten Karteninformationen nicht hervorgehenden, jedoch vom Sensor erfassten Objekte mitberücksichtigt, um etwa eine Kollision mit einer Grenzbebauung und/oder einem anderen Fahrzeug auf der Nutzfläche zu vermeiden und/oder um die effizienteste Fahrroute zu identifizieren. Die hierdurch erstellte Fahrroute wird von der Routenplanungseinheit an die Ausga beschnittstelle weitergegeben und über diese an eine Steuereinheit ausgegeben, um die Landmaschine in ihrer Fahrbewegung entsprechend zu steuern.

Die erfindungsgemäße Routenplanung der Landmaschine basiert daher auf einer Aktualisierung von vordefinierten Karteninformationen der zu bearbeitenden landwirt schaftlichen Nutzfläche, wobei die Aktualisierung wiederum auf einer Bildsegmentie rung der vom Sensor erzeugten Bilddaten beruht. Im Vergleich zu den aus dem Stand der Technik bekannten Systemen werden die aktuelle Lage der Nutzfläche hinsichtlich Nutzungssituation und geografischer Gegebenheiten besser berücksich tigt. Außerdem werden Sensoren wie Kamera eingesetzt, die einen Nahbereich der Landmaschine erfassen. Somit kann die Routenplanung mit erhöhter Genauigkeit und Zuverlässigkeit und zugleich reduzierten Kosten bewerkstelligt werden. Auch ist eine vollständige Automatisierung der Routenfindung, insbesondere eine autonome Führung der Landmaschine, hierdurch zu erreichen.

Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen an gegeben.

In einer bevorzugten Ausgestaltung enthalten die eingegebenen Karten Informationen eine vordefinierte Rasterkarte der landwirtschaftlichen Nutzfläche, wobei die Aktuali sierungseinheit dazu ausgebildet ist, basierend auf der Segmentierung der eingege benen Bilddaten die vordefinierte Rasterkarte zu aktualisieren.

Eine Rasterkarte (Englisch: "grid map") ist eine zweidimensionale Karte, auf der eine Raster- oder Gitterform bestehend aus quadratischen Raster- beziehungsweise Git tereinheiten visuell "gelegt" ist. Somit wird die zu bearbeitende Nutzfläche in Flä cheneinheiten unterteilt, die den Raster- beziehungsweise Gittereinheiten entspre chen. Diese bildhafte Unterteilung der Nutzfläche erhöht die Komptabilität der Karten informationen mit den Sensorbilddaten hinsichtlich der Visualisierung und somit für die Aktualisierung der Karteninformationen vorteilhaft. In einer weiteren bevorzugten Ausgestaltung enthält die vordefinierte Rasterkarte mehrere Rastereinheiten, denen ein oder mehrere Attribute der landwirtschaftlichen Nutzfläche zugewiesen sind.

Das Attribut beziehungsweise die mehreren Attribute können die Lagedaten der je weiligen Rastereinheiten in einem Bildkoordinatensystem des Sensors und/oder ei nem vom Sensor unabhängigen, globalen Weltkoordinatensystem umfassen. Alter nativ oder zusätzlich können das Attribut beziehungsweise die mehreren Attribute die Nutzungssituation, insbesondere die Pflanzenbezeichnung, die Bezeichnung und/oder Menge der verwendeten chemischen/biologischen Stoffe, die Zusammen setzung der Erde der jeweiligen Rastereinheiten der Nutzfläche betreffen. Auch kön nen das Attribut beziehungsweise die mehreren Attribute die auf dieser Rastereinheit der Nutzfläche bereits durchgeführten und/oder geplanten landwirtschaftlichen Bear beitungsvorgänge betreffen. Diese Maßnahme verbessert die Automatisierung der Routenplanung.

In einer weiteren bevorzugten Ausgestaltung ist die Aktualisierungseinheit dazu aus gebildet, das Attribut beziehungsweise die Attribute und/oder eine Abmessung der mehreren Rastereinheiten basierend auf der Segmentierung der eingegebenen Bild daten zu aktualisieren.

Hierdurch kann vermieden werden, dass der Routenplanung bereits abgelaufene Daten über die Nutzfläche zugrundgelegt werden und erhöht die Zuverlässigkeit der automatisierten Routenplanung. Zugleich sind die Rastereinheiten in ihrer Abmes sung je nach gewünschtem Auflösungsgrad der Rasterkarte variabel.

In einer weiteren bevorzugten Ausgestaltung ist die Aktualisierungseinheit dazu aus gebildet, die Karteninformationen nach einer Eingabe von neuen Bilddaten und/oder nach Zurücklegen eines neuen Fahrroutenabschnittes zu aktualisieren.

Somit reagiert die Routenplanungsvorrichtung automatisch auf neue Bilddaten und/oder neu zurückgelegte Fahrroutenabschnitte um stets zuverlässige Fahrrouten zu ermitteln. Vorzugsweise ist die Aktualisierungseinheit dazu ausgebildet, innerhalb einer vordefinierten Dauer nach der Eingabe der neuen Bilddaten zu aktualisieren. Weiter vorzugsweise werden die Karten Informationen aktualisiert solange sich die Landmaschine fortbewegt.

In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung weiter eine Aufgabenerstellungseinheit zum Erstellen einer oder mehrerer Aufgaben betreffend die Bearbeitung der landwirtschaftlichen Nutzfläche basierend auf den aktualisierten Karteninformationen.

Beispielsweise kann die Aufgabenerstellungseinheit derart ausgebildet, um den meh reren Rastereinheiten jeweils eine oder mehrere landwirtschaftliche Aufgaben zuzu ordnen. Die Zuordnung basiert vorzugsweise auf der Aktualisierung der Karteninfor mationen, insbesondere der Attribute der Rastereinheiten. Beispielsweise kann vor der Aktualisierung das Attribut einer Rastereinheit die Aufgabe "Gras mähen" lauten. Für den Fall, dass das Gras vor der Erfassung der dieser Rastereinheit entsprechen den Flächeneinheit der Nutzfläche bereits gemäht wurde, wird durch die Aktualisie rungseinheit die Karteninformationen bzw. die Rasterkarte entsprechend aktualisiert. Auf diese Weise wird als aktualisiertes Attribut eine neue Aufgabe erstellt, die bei spielsweise "Samen streuen" oder "weiter fahren" lautet. Mit dieser Maßnahme kön nen die zu vergebenden Aufgaben auf die aktuelle Gegebenheit der Nutzfläche an gepasst werden. Die Bewirtschaftung der Nutzfläche mittels der Landmaschine ist daher zuverlässiger. Vorzugsweise ist die Aufgabenerstellungseinheit dazu ausgebil det, beim Fahrtrichtungswechsel der Landmaschine zumindest einer der Rasterein heiten eine neue Aufgabe zuzuordnen.

In einer weiteren bevorzugten Ausgestaltung ist die Routenplanungseinheit dazu ausgebildet ist, eine von der Landmaschine auf der landwirtschaftlichen Nutzfläche zurückgelegte oder geplante Strecke in der erstellten Fahrroute zu berücksichtigen.

Somit ist es möglich, die bereits befahrene Route zu registrieren um gegebenenfalls diese wieder abzu rufen. Zugleich ist aufgrund der aktualisierten Karteninformationen eine noch zu befahrende Route erstellbar, sodass die Landmaschine selbständig beziehungsweise autonom ihren Fahrauftrag auf der Nutzfläche ausführt. In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung ferner eine Lo kalisierungseinheit zum Lokalisieren der Landmaschine basierend auf der Segmen tierung der eingegebenen Bilddaten.

Die Lokalisierungseinheit kann beispielsweise den vom Sensor erfassten Bildinhalt, der mit Hilfe der Segmentierung und der damit einhergehenden Objektklassifizierung analysierbar ist, mit den vordefinierten Karteninformationen vergleichen und darauf basierend die Rastereinheit der Nutzfläche, in der sich die Landmaschine gerade befindet, feststellen. Dies erhöht die Genauigkeit der Lokalisierung der Landmasch i ne.

In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung ferner eine Segmentierungseinheit zum Segmentieren der eingegebenen Bilddaten.

Auf diese Weise ist die erfindungsgemäße Routenplanungsvorrichtung in der Lage, selbständig die Segmentierung der eingegebenen Bilddaten durchzuführen, was die Routenplanung effizienter werden lässt.

In einer weiteren bevorzugten Ausgestaltung ist die Segmentierungseinheit dazu ausgebildet, in den eingegebenen Bilddaten ein auf der landwirtschaftlichen Nutzflä che befindliches Fahrzeug, insbesondere eine zusätzliche Landmaschine, und/oder einer Grenzlinie der landwirtschaftlichen Nutzfläche zu erkennen.

Durch die Erkennung des anderen Fahrzeugs beziehungsweise der anderen Land maschine kann beim Erstellen der Fahrroute das Fahrzeug beziehungsweise die Landmaschine berücksichtigt werden, um eine Kollision zu vermeiden. Durch die Er kennung der Grenzlinie der Nutzfläche kann die Fahrroute derart erstellt werden, dass diese zumindest teilweise entlang der erkannten Grenzlinie verläuft. Dies ergibt eine zuverlässige Routenplanung.

In einer weiteren bevorzugten Ausgestaltung ist die Routenplanungseinheit dazu ausgebildet ist, einen vordefinierten minimalen Abstand zwischen der Landmaschine und einer durch die Segmentierung der Bilddaten erkannten Grenzlinie der landwirt schaftlichen Nutzfläche in der erstellten Fahrroute zu berücksichtigen.

Diese Maßnahme führt vorteilhafterweise dazu, dass der vordefinierte minimale Ab stand von der Grenzlinie durch die Landmaschine beim Fahren entlang der erstellten Fahrroute eingehalten wird. Etwaige Kollisionen mit Gegenständen außerhalb der Grenzlinie können reduziert oder gar vermieden werden. Auf diese Weise ist die Si cherheit des landwirtschaftlichen Bearbeitungsvorgangs erhöht. Auch steigert diese Maßnahme die Genauigkeit der Lokalisierung der Landmaschine in der longitudina len Richtung (entlang der Fahrroute) und/oder lateralen Richtung (quer zur Fahrrou te).

In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung zumindest ei nen Sensor zum Erzeugen der einzugebenden Bilddaten.

Auf diese Weise ist der Sensor in der erfindungsgemäßen Routenplanungsvorrich tung integriert, sodass ein externer Sensor zur Erzeugung der Bilddaten entbehrlich ist. Dies erhöht die Einfachheit der Routenplanung.

Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit de nen die Verfahrensschritte des erfindungsgemäßen Verfahrens zur Routenplanung für eine Landmaschine ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.

Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Bei spiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbe griff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hard ware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.

Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfah- ren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogramm produkt einen technischen Effekt hervor, nämlich die bekannten Systeme zur Bear beitung von landwirtschaftlichen Nutzflächen dahingehend zu verbessern, um den Automatisierungsgrad der Bearbeitungsvorgänge bei gleichzeitiger Kostenreduzie rung zu erhöhen.

Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Vorrichtung zur Routenplanung für eine Landmaschine ausgeführt.

Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrie ben, zum Beispiel in Python.

Die Erfindung wird in den Figuren beispielhaft erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zur Rou tenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel;

Fig. 2 eine schematische Darstellung eines erfindungsgemäßen Verfahrens zur Rou tenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel;

Fig. 3 eine schematische Darstellung der erfindungsgemäßen Routenplanung;

Fig. 4 eine weitere schematische Darstellung der erfindungsgemäßen Routenpla nung;

Fig. 5 eine weitere schematische Darstellung der erfindungsgemäßen Routenpla nung;

Fig. 6 eine weitere schematische Darstellung der erfindungsgemäßen Routenpla nung; Fig. 7 eine weitere schematische Darstellung der erfindungsgemäßen Routenpla nung;

Fig. 8 eine weitere schematische Darstellung der erfindungsgemäßen Routenpla nung;

Fig. 9 eine weitere schematische Darstellung der erfindungsgemäßen Routenpla nung; und

Fig. 10 eine weitere schematische Darstellung der erfindungsgemäßen Rou tenplanung.

Fig .1 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 10 zur Routenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel.

Die Vorrichtung 10 umfasst eine Eingabeschnittstelle 12a zum Eingeben von Bildda ten, die von einem Sensor 22 erzeugt worden sind. Die Bilddaten betreffen eine von einer Landmaschine 50 (in Fig. 1 nicht gezeigt) zu bearbeitende landwirtschaftliche Nutzfläche 60 (in Fig. 1 nicht gezeigt). Eine weitere Eingabeschnittstelle 12b dient zum Eingeben von vordefinierten Karten Informationen der landwirtschaftlichen Nutz fläche 60. Die Karteninformationen umfassen vorzugsweise eine Rasterkarte mit mehreren Rastereinheiten, wobei jeder der Rastereinheiten weiter vorzugsweise ein Attribut oder mehrere Attribute zugeordnet sind. Die Attribute können Informationen wie Gegebenheiten des der zugehörigen Rastereinheit entsprechenden Teils der Nutzfläche hinsichtlich der geografischen Beschaffenheit, der Nutzungssituation, ins besondere die Pflanzenbezeichnung, die Bezeichnung und/oder Menge der verwen deten chemischen/biologischen Stoffe, die Zusammensetzung der Erde der jeweili gen Rastereinheiten der Nutzfläche betreffen.

Die Vorrichtung 10 umfasst ferner eine Aktualisierungseinheit 14 zum Aktualisieren der eingegebenen Karteninformationen basierend auf einer Segmentierung der ein gegebenen Bilddaten. Die Segmentierung kann von einer in Fig. 1 nicht gezeigten, in der Vorrichtung 10 integrierten Segmentierungseinheit durchgeführt werden. Alterna tiv können Segmentierungsergebnisse von einer externen Einheit, etwa einem Cloud-Server oder einem Speichermedium, erlangt werden. Die Segmentierung ist vorzugsweise eine semantische Segmentierung.

Die Vorrichtung 10 umfasst außerdem eine Routenplanungseinheit 16 zum Erstellen einer Fahrroute der Landmaschine 50 basierend auf den aktualisierten Karteninfor mationen. Die Routenplanungseinheit 16 vergleicht beispielsweise die vordefinierten Karteninformationen mit den segmentierten Bilddaten, um eine Abweichung zwi schen beiden Datensätzen zu identifizieren. Die Routenplanungseinheit 16 ergänzt die vordefinierten Karteninformationen mit zusätzlichen Informationen aus den seg mentierten Bilddaten. Vorzugsweise werden hierdurch die Rastereinheiten der Ras terkarte, insbesondere die Attribute der Rastereinheiten zumindest teilweise aktuali siert. Anhand der hierdurch aktualisierten Karteninformationen, insbesondere der aktualisierten Rasterkarte, wird die Fahrroute erstellt.

Die Vorrichtung 10 umfasst schließlich eine Ausgabeschnittstelle 18 zum Ausgeben der erstellten Fahrroute zur Steuerung der Landmaschine 50. Die Landmaschine 50 ist somit in der Lage, die erstellte Fahrroute auszuführen.

Fig. 2 zeigt eine schematische Darstellung eines erfindungsgemäßen Verfahrens zur Routenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel. In einem ersten Schritt S1 werden Bilddaten betreffend eine von der Landmaschine 50 zu be arbeitende landwirtschaftliche Nutzfläche 60 sowie vordefinierte Karteninformationen der landwirtschaftlichen Nutzfläche 60 eingegeben. In einem zweiten Schritt S2 wer den die eingegebenen Karteninformationen basierend auf einer Segmentierung der eingegebenen Bilddaten aktualisiert. In einem dritten Schritt S3 wird eine Fahrroute der Landmaschine 50 basierend auf den aktualisierten Karteninformationen erstellt.

In einem vierten Schritt S4 wird die erstellte Fahrroute zur Steuerung der Landma schine 50 ausgegeben. In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnli che Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.

Fig. 3 zeigt eine schematische Darstellung einer landwirtschaftlichen Nutzfläche 60, wobei die schematische Darstellung mit einer Rasterkarte versehen ist. Die Raster karte weist eine Mehrzahl von quadratischen Rastereinheiten auf, die über die ge samte Nutzfläche 60 verteilt sind. Darüber hinaus erstrecken sich die Rastereinheiten auch über einen die Nutzfläche 60 umschließenden Randbereich. Die Landmaschine 50 befindet sich in dieser Darstellung auf der ersten Rastereinheit rechts unten der Nutzfläche 60. Die Rasterkarte bildet zumindest einen Teil der Karteninformationen, die die erfindungsgemäße Vorrichtung 10 über ihre Eingabeschnittstelle 12 erhält.

Die Vorrichtung 10 ist vorzugsweise in der Landmaschine 50 integriert.

Mit Hilfe eines in Fig. 1 nicht eingezeichneten, vorzugsweise in der Landmaschine 50 integrierten Umfeldsensors 20 werden Bilddaten betreffend einen Nahbereich auf der Nutzfläche 50 in unmittelbarer Nähe der Landmaschine 50 erzeugt. Diese Bilddaten werden dazu verwendet, die vordefinierte Rasterkarte zu aktualisieren. Anhand der aktualisierten Rasterkarten wird eine Fahrroute für die Landmaschine 50 erstellt.

Vorzugsweise sind ein oder mehrere Attribute den einzelnen Rastereinheiten zuge ordnet. Das Attribut beziehungsweise die mehreren Attribute können die Lagedaten der jeweiligen Rastereinheiten in einem Bildkoordinatensystem des Sensors 20 und/oder einem vom Sensor unabhängigen, globalen Weltkoordinatensystem umfas sen. Alternativ oder zusätzlich können das Attribut beziehungsweise die mehreren Attribute die Nutzungssituation, insbesondere die Pflanzenbezeichnung, die Be zeichnung und/oder Menge der verwendeten chemischen/biologischen Stoffe, die Zusammensetzung der Erde der jeweiligen Rastereinheiten der Nutzfläche betreffen. Auch können das Attribut beziehungsweise die mehreren Attribute die auf dieser Rastereinheit der Nutzfläche bereits durch geführten und/oder geplanten landwirt schaftlichen Bearbeitungsvorgänge betreffen. Diese Bearbeitungsvorgänge können beispielsweise "das Gras mähen", "die Samen streuen" und/oder "weiter fahren" lauten. Die Bilddaten werden segmentiert, um auf der Nutzfläche, insbesondere etwaige im vom Sensor 20 erfassten Nahbereich der Nutzfläche 60 befindliche Objekte, etwa andere Fahrzeuge, Menschen, Bebauungen, Bepflanzungen, zu erkennen. In Fig. 3 ist eine Grenzlinie 62 ersichtlich, die eine rechte Kante der Nutzfläche 60 markiert. Diese Grenzlinie 62 wird mittels Segmentierung, insbesondere einer semantischen Segmentierung, der vom Sensor 20 erzeugten Bilddaten erkannt. Die Routenpla nungseinheit 16 der erfindungsgemäßen Vorrichtung 10 ist vorzugsweise dazu aus gebildet, die Fahrroute derart zu erstellen, dass die Landmaschine 50 entlang der Grenzlinie 62 sich fortbewegt. Eine hierdurch erstellte Fahrroute 62' ist ebenfalls in Fig. 3 gezeigt.

Fig. 4 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Dort befindet sich die Landmaschine 50 auf der aus Fig. 3 zu entnehmenden und in Fig. 4 teilwei se eingezeichneten Fahrroute 62'. Der von der Landmaschine 50 zurückgelegte Ab schnitt 51 der Fahrroute 62' ist ebenfalls eingezeichnet.

Fig. 5 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Fig. 5 zeigt konkret ein Zwischenergebnis der landwirtschaftlichen Bearbeitung der Nutzfläche 60 durch die Landmaschine 50 mit Hilfe der erfindungsgemäßen Vorrichtung 10. Insbe sondere ist eine Trennung zwischen einem bearbeiteten Teil 68 und einem noch zu bearbeitenden Teil 66 gezeigt.

In Fig. 5 befindet sich die Landmaschine 50 an einem Ende des von der Landma schine 50 zurückgelegten Abschnittes 51 der Fahrroute 62', die entlang einer weite ren Grenzlinie 62 verläuft. In einer zur Grenzlinie 62 im Wesentlichen senkrechten Richtung ist eine weitere Grenzlinie 64 mittels der Segmentierung der sensorbasier ten Bilddaten erkannt. Anhand der weiteren Grenzlinie 64 wird die Fahrroute 62' der art erstellt, dass diese eine an den Verlauf der beiden Grenzlinien 62, 64 angepasste Kurve enthält. Somit ist die erfindungsgemäße Vorrichtung 10 im Allgemeinen, ins besondere unabhängig von in Fig. 5 gezeigten konkreten Nutzfläche 60, dazu aus gebildet, die Fahrroute derart zu erstellen, dass diese an die mittels der Segmentie rung der Bilddaten erkannten Objekte angepasst ist. Fig. 6 zeigt eine weitere Funktion der erfindungsgemäßen Vorrichtung 10, nämlich die Optimierung der erstellten Fahrroute. Anhand der Segmentierung der sensorba sierten Bilddaten erkennt die Vorrichtung 10 vier potentielle Fahrrouten 52, 54, 56, 58 zur Fortsetzung der bereits zurückgelegten Fahrroute 51 für die weitere Bearbeitung der Nutzfläche 60. Jede dieser vier potentiellen Fahrroute 52, 54, 56, 58 schließt an einen geraden Abschnitt 53, 55, 57, 59 an, der entlang einer Reihe der Rastereinhei ten verläuft. Aus diesen vier potentiellen Fahrrouten 52, 54, 56, 58 wird anhand einer Kostenfunktionsberechnung, bei der beispielsweise die für das Befahren der Fahr route benötigte Zeit, die Streckenlänge oder der Kraftstoffverbrauch minimiert wird, die günstigste Fahrroute identifiziert. Die identifizierte Fahrroute wird an die Steue rungseinheit 32 der Landmaschine 50 ausgegeben, damit diese den entsprechenden Fahrauftrag ausführt.

Fig. 7 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Insbesondere ist die Routenplanungseinheit 16 dazu ausgebildet, beim Erstellen der Fahrroute ein weiteres Fahrzeug 61 , welches sich auf der Nutzfläche befindet, zu berücksichtigen. Dies dient dazu, eine Kollision mit dem weiteren Fahrzeug 61 zu vermeiden.

Fig. 8 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Eine weitere Grenzlinie 67, die beim Fahren auf der Nutzfläche 60, insbesondere im zu bearbei tenden Teil 66 der Nutzfläche 60 erkannt worden ist, ist hier gezeigt. Die erfindungs gemäße Vorrichtung 10 ist somit in der Lage, die Karten Informationen zu aktualisie ren, solange sich die Landmaschine 50 auf der Nutzfläche 60 fortbewegt und neue Bilddaten vom Sensor erzeugt und der Vorrichtung 10 eingespeist werden.

Fig. 9 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Die dort bei spielhaft gezeigte Fahrroute 51 hat einen schlangenförmigen Verlauf, aufgrund des sen der zu bearbeitende Teil 66 der Nutzfläche 60 in mehrere Teile 66a, 66b, 66c, 66d aufgeteilt ist. Auch hier ist die erfindungsgemäße Vorrichtung 10 in der Lage, mehrere potentiellen Fahrrouten 69, 71 , 73 zu berechnen und die beste Fahrroute hiervon, wie oben beschrieben, auszuwählen und ein entsprechendes Steuersignal zu erzeugen, welches an die Steuerungseinheit der Landmaschine 50 ausgegeben wird. Fig. 10 zeigt drei weitere schematische Darstellungen der Nutzfläche. In Fig. 10A bewegt sich eine erste Landmaschine 50a entlang einer ersten Fahrroute 51a und führt die Aufgabe "das Gras mähen" aus. Dadurch entsteht eine gemähte Feldober fläche 72a. In Fig. 10B führt eine zweite Landmaschine 50b die Aufgabe "das ge mähte Gras Schwaden" entlang einer zweiten Fahrroute 51 b aus. Dadurch entstehen eine Mehrzahl von Schwaden 72b. In Fig. 10C führt eine dritte Landmaschine 50c die Aufgabe "die Schwaden einsammeln" entlang einer dritten Fahrroute 50c aus.

Die Festlegung der Aufgaben erfolgt, wie oben beschrieben, vorzugsweise dadurch, dass den einzelnen relevanten Rastereinheiten der Rasterkarte aktualisiert werden. Insbesondere werden anhand der Segmentierung der vom Sensor 20 erzeugten Bilddaten die den einzelnen Rastereinheiten gemäß der vordefinierten Karteninfor mationen zugeordneten Attribute aktualisiert. Alternativ oder zusätzlich können auch neue Attribute auf Basis der Bildsegmentierung den Rastereinheiten neu zugeordnet werden. Die Attribute können beispielsweise eine oder mehrere Aufgaben, die auf dem den jeweiligen Rastereinheiten zugehörigen Teilen der Nutzfläche 60 von der Landmaschine durchzuführen sind, betreffen.

Bezuqszeichen Routenplanungsvorrichtung

, 12a, 12b Eingabeschnittstelle

Aktualisierungseinheit

Routenplanungseinheit

Ausgabeschnittstelle

Sensor

Steuerungseinheit einer Landmaschine

, 50a, 50b, 50c Landmaschine

, 52, 53, 54, 55, 56, 57, 58, 59, 62', 69, 71 , 73

Fahrroute

Nutzfläche

, 64 Grenzlinie

, 66a, 66b, 66c zu bearbeitender Teil der Nutzfläche bearbeiteter Teil der Nutzflächea1 gemähtes Gras

b Schwaden

bis S4 Verfahrensschritte

Claims

Patentansprüche

1. Vorrichtung (10) zur Routenplanung für eine Landmaschine (50), umfassend: eine Eingabeschnittstelle (12) zum Eingeben von Bilddaten betreffend eine von der Landmaschine (50) zu bearbeitende landwirtschaftliche Nutzfläche (60) so wie zum Eingeben von vordefinierten Karteninformationen der landwirtschaftlichen Nutzfläche (60);

eine Aktualisierungseinheit (14) zum Aktualisieren der eingegebenen Kartenin formationen basierend auf einer Segmentierung der eingegebenen Bilddaten;

eine Routenplanungseinheit (16) zum Erstellen einer Fahrroute der Landma schine (50) basierend auf den aktualisierten Karteninformationen; und

eine Ausgabeschnittstelle (18) zum Ausgeben der erstellten Fahrroute zur Steuerung der Landmaschine (50).

2. Vorrichtung (10) nach Anspruch 1 , wobei die eingegebenen Karteninformationen eine vordefinierte Rasterkarte der landwirtschaftlichen Nutzfläche (60) enthalten, wo bei die Aktualisierungseinheit (14) dazu ausgebildet ist, basierend auf der Segmen tierung der eingegebenen Bilddaten die vordefinierte Rasterkarte zu aktualisieren.

3. Vorrichtung (10) nach Anspruch 2, wobei die vordefinierte Rasterkarte mehrere Rastereinheiten enthält, denen ein oder mehrere Attribute der landwirtschaftlichen Nutzfläche zugewiesen sind.

4. Vorrichtung (10) nach Anspruch 3, wobei die Aktualisierungseinheit (14) dazu aus gebildet ist, das Attribut beziehungsweise die Attribute und/oder eine Abmessung der mehreren Rastereinheiten basierend auf der Segmentierung der eingegebenen Bild daten zu aktualisieren.

5. Vorrichtung (10) nach einem der Ansprüche 1 bis 4, wobei die Aktualisierungsein heit (14) dazu ausgebildet ist, die Karteninformationen nach einer Eingabe von neu en Bilddaten und/oder nach Zurücklegen eines neuen Fahrroutenabschnittes zu ak tualisieren.

6. Vorrichtung (10) nach einem der Ansprüche 1 bis 5, weiter umfassend eine Aufga benerstellungseinheit zum Erstellen einer oder mehrerer Aufgaben betreffend die Bearbeitung der landwirtschaftlichen Nutzfläche (60) basierend auf den aktualisierten Karteninformationen.

7. Vorrichtung (10) nach einem der Ansprüche 1 bis 6, wobei die Routenplanungs einheit (16) dazu ausgebildet ist, die Fahrroute für eine von der Landmaschine (50) auf der landwirtschaftlichen Nutzfläche (60) zurückgelegte Strecke und/oder für eine von der Landmaschine (50) auf der landwirtschaftlichen Nutzfläche (60) noch zu be fahrende Strecke zu erstellen.

8. Vorrichtung (10) nach einem der Ansprüche 1 bis 7, weiter umfassend eine Lokali sierungseinheit (15) zum Lokalisieren der Landmaschine (50) basierend auf der Segmentierung der eingegebenen Bilddaten.

9. Vorrichtung (10) nach einem der Ansprüche 1 bis 8, weiter umfassend eine Seg mentierungseinheit zum Segmentieren der eingegebenen Bilddaten.

10. Vorrichtung (10) nach Anspruch 9, wobei die Segmentierungseinheit dazu aus gebildet ist, in den eingegebenen Bilddaten ein auf der landwirtschaftlichen Nutzflä che (60) befindliches Fahrzeug, insbesondere eine zusätzliche Landmaschine, und/oder einer Grenzlinie (62) der landwirtschaftlichen Nutzfläche (60) zu erkennen.

1 1 . Vorrichtung (10) nach einem der Ansprüche 1 bis 10, wobei die Routenplanungs einheit (16) dazu ausgebildet ist, einen vordefinierten minimalen Abstand zwischen der Landmaschine (50) und einer durch die Segmentierung der Bilddaten erkannten Grenzlinie (62) der landwirtschaftlichen Nutzfläche (60) in der erstellten Fahrroute zu berücksichtigen.

12. Vorrichtung (10) nach einem der Ansprüche 1 bis 1 1 , weiter umfassend zumin dest einen Sensor (22) zum Erzeugen der einzugebenden Bilddaten.

13. Verwendung einer Vorrichtung (10) nach einem der Ansprüche 1 bis 12 in einer Landmaschine (50).

14. Verfahren zur Routenplanung für eine Landmaschine (50), umfassend:

einen ersten Schritt (S1 ), in dem Bilddaten betreffend eine von der Landma schine (50) zu bearbeitende landwirtschaftliche Nutzfläche (60) sowie vordefinierte Karteninformationen der landwirtschaftlichen Nutzfläche (60) eingegeben werden; einen zweiten Schritt (S2), in dem die eingegebenen Karteninformationen ba sierend auf einer Segmentierung der eingegebenen Bilddaten aktualisiert werden; einen dritten Schritt (S3), in dem eine Fahrroute der Landmaschine (50) basie rend auf den aktualisierten Karteninformationen erstellt wird; und

einen vierten Schritt (S4), in dem die erstellte Fahrroute zur Steuerung der Landmaschine (50) ausgegeben wird.

15. Computer-Programm-Produkt, das in einem Datenträger gespeichert und dazu ausgebildet ist, um das Verfahren nach Anspruch 14 durchzuführen, wenn das Com- puter-Programm-Produkt durch einen Rechner ausgeführt wird.