DE102022133473A1

DE102022133473A1 - Arbeitsfahrzeug mit einem arbeitsgerät und sensoren zur aufrechterhaltung einer sicht auf einen bereich von interesse während der gesamten bewegung des arbeitsgeräts

Info

Publication number: DE102022133473A1
Application number: DE102022133473.2A
Authority: DE
Inventors: Giovanni A Wuisan; Rachel Bruflodt; Graham S Brett
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2022-03-04
Filing date: 2022-12-15
Publication date: 2023-09-07
Also published as: US12209389B2; US20230279644A1; CN116695819A

Abstract

Ein Arbeitsfahrzeug ist mit einem ersten Abschnitt, der einen Rahmen aufweist, der durch Bodeneingriffseinheiten getragen wird, und einer Fahrerkabine mit einer ersten (vorderen) Seite und gegenüberliegenden zweiten und dritten Seiten, die jeweilige (d. h. linke und rechte) Sichtfelder aufweisen, versehen. Die Sicht eines Bedieners in der Fahrerkabine auf mindestens einen ersten Abschnitt des Geländes in der Nähe des Rahmens (d. h. einen Bereich von Interesse) wird während zumindest eines Teils einer Bewegungsbahn eines zweiten Abschnitts des Arbeitsfahrzeugs (z. B. einer Auslegeranordnung) verdeckt. Mindestens eine Bildgebungsvorrichtung ist am Arbeitsfahrzeug angebracht und stellt ein Sichtfeld bereit, das den Bereich von Interesse während der gesamten Bewegungsbahn des zweiten Abschnitts umfasst.

Description

Die vorliegende Offenbarung betrifft selbstfahrende Arbeitsfahrzeuge, die dazu ausgelegt sind, dem menschlichen Bediener ein verbessertes Betriebsbewusstsein zu vermitteln. Insbesondere betrifft die vorliegende Offenbarung Systeme und Verfahren zur automatischen Aufrechterhaltung eines Sichtfeldes, das einen Bereich von Interesse relativ zum Arbeitsfahrzeug unabhängig von der Position einer bewegbaren Anbauvorrichtung oder eines anderen Fahrzeugabschnitts relativ zu einem Hauptrahmen des Arbeitsfahrzeugs umfasst.
Die hier erörterten Arbeitsfahrzeuge betreffen aus den weiter unten beschriebenen Gründen in erster Linie Kompaktlader und Raupenlader, können aber in verschiedenen Ausführungsformen auch auf andere Arbeitsfahrzeuge mit Auslegeranordnungen oder dergleichen angewendet werden, die während des Betriebs bewegt werden, um das Gelände oder die entsprechende Arbeitsumgebung in irgendeiner Weise zu verändern, und die insbesondere das Sichtfeld des Fahrers während dieser Bewegungen zumindest teilweise verdecken.
Im Bereich solcher Arbeitsfahrzeuge besteht ein ständiger Bedarf an Lösungen, die dem Fahrer ein besseres Betriebsbewusstsein vermitteln. Ein Problem für den Bediener besteht darin, dass selbst unter idealen Bedingungen die Umgebung des Arbeitsfahrzeugs von der Fahrerkabine aus nur begrenzt eingesehen werden kann und dass zu verschiedenen Zeitpunkten während der Bewegung eines Abschnitts des Arbeitsfahrzeugs, wie z. B. eines schwenkbaren, teleskopierbaren oder gelenkigen Arbeitsgeräts (z. B. einer Auslegeranordnung), das Sichtfeld des Bedieners auf das Gelände seitlich des Arbeitsfahrzeugs fast vollständig verdeckt sein kann. Während dies bei bestimmten Arbeitsfahrzeugen kein Problem darstellen mag, sind Kompaktlader und Raupenlader die wichtigsten Beispiele für Arbeitsfahrzeuge, bei denen zumindest ein Abschnitt der Auslegeranordnung das Sichtfeld des Fahrers auf beiden Seiten des Arbeitsfahrzeugs in Fahrtrichtung durchquert. Infolgedessen kann der Bediener aus einer typischen Arbeitsposition heraus externe Objekte, die durch das Arbeitsgerät in seinem Sichtfeld verdeckt werden, nicht ausreichend erkennen.
Eine mögliche Lösung für dieses Problem wäre eine Bildgebungsvorrichtung, die an einem Arm montiert ist, der hoch über das Arbeitsfahrzeug ragt, aber aus verschiedenen Gründen kann dies in einer Arbeitsumgebung als unpraktisch angesehen sein.
Die vorliegende Offenbarung bietet eine Verbesserung herkömmlicher Systeme zumindest teilweise durch Einbau eines Erkennungssystems (d. h. einschließlich eines oder mehrerer bildgebender Vorrichtungen wie Kameras, Lidar-Sensoren und dergleichen) in Verbindung mit dem Arbeitsfahrzeug in einer solchen Weise, dass ein Sichtfeld für einen vorbestimmten Bereich von Interesse zu einer oder mehreren Seiten des Arbeitsfahrzeugs während der gesamten Bewegungsbahn eines darauf montierten Arbeitsgeräts (z.B. einer Auslegeranordnung) aufrechterhalten wird.
Gemäß einer ersten Ausführungsform eines Arbeitsfahrzeugs wie hier offenbart wird ein erster Abschnitt, der einen Rahmen umfasst, durch eine Vielzahl von Bodeneingriffseinheiten getragen und umfasst eine Fahrerkabine, die durch den Rahmen getragen wird und eine erste Seite mit einem vorderen Sichtfeld und gegenüberliegende zweite und dritte Seiten mit jeweiligen seitlichen Sichtfeldern aufweist. Ein zweiter Abschnitt des Arbeitsfahrzeugs ist relativ zum ersten Abschnitt bewegbar, wobei ein vorbestimmter Bereich von Interesse entsprechend mindestens einem ersten Abschnitt des Geländes bezüglich des Rahmens über das vordere Sichtfeld und/oder die seitlichen Sichtfelder während zumindest eines Teils einer Bewegungsbahn des zweiten Abschnitts verdeckt wird. Eine Bildgebungsvorrichtung ist jedoch am Arbeitsfahrzeug angebracht und stellt ein Sichtfeld bereit, das den zumindest ersten Abschnitt des Geländes während der gesamten Bewegungsbahn des zweiten Abschnitts des Arbeitsfahrzeugs umfasst.
In einer zweiten Ausführungsform können weitere beispielhafte Aspekte gemäß der oben genannten ersten Ausführungsform beinhalten, dass der zweite Abschnitt eine Auslegeranordnung umfasst, die durch den Rahmen getragen wird und dazu ausgelegt ist, ein Arbeitswerkzeug an einem abgelegenen Ende desselben selektiv zwischen einer Bodeneingriffsposition und einer maximal angehobenen Position an gegenüberliegenden Enden der Bewegungsbahn zu bewegen, und dass die Bildgebungsvorrichtung an dem Maschinenrahmen an einer Stelle, die in einer Längsrichtung des Arbeitsfahrzeugs hinter der Fahrerkabine liegt, angebracht ist.
In einer dritten Ausführungsform kann ein weiterer beispielhafter Aspekt gemäß der oben genannten ersten Ausführungsform beinhalten, dass die Bildgebungsvorrichtung am zweiten Abschnitt angebracht ist und sich relativ zum Rahmen und zum Gelände zusammen mit der Bewegungsbahn des zweiten Abschnitts bewegt. Der zweite Abschnitt kann beispielsweise ein Arbeitsgerät umfassen, das durch den Rahmen getragen wird und dazu ausgelegt ist, ein Arbeitswerkzeug an einem abgelegenen Ende desselben selektiv zwischen einer Bodeneingriffsposition und einer maximal angehobenen Position an gegenüberliegenden Enden der Bewegungsbahn zu bewegen. Solch ein Arbeitsgerät kann beispielsweise eine Auslegeranordnung umfassen, wobei die Bildgebungsvorrichtung an der Auslegeranordnung angebracht ist und sich relativ zum Rahmen und zum Gelände zusammen mit der Bewegungsbahn der Auslegeranordnung bewegt. In einer alternativen Ausführungsform, bei der das Arbeitsfahrzeug einen Bagger umfasst, wird der zumindest erste Abschnitt des Geländes in der Nähe des Rahmens über das vordere Sichtfeld von der Fahrerkabine durch die Auslegeranordnung während zumindest eines Teils der Bewegungsbahn der Auslegeranordnung verdeckt.
In einer vierten Ausführungsform können weitere beispielhafte Aspekte gemäß der oben genannten dritten Ausführungsform ferner eine Verarbeitungseinheit (z. B. die als eine Fahrzeugsteuervorrichtung umgesetzt ist oder anderweitig eine Fahrzeugsteuervorrichtung enthält) in funktionaler Kommunikation mit der Bildgebungsvorrichtung zur Aufnahme von Bilddaten davon enthalten, wobei die Steuervorrichtung dazu ausgelegt ist, Ausgangssignale, die Bildern des zumindest ersten Abschnitts des Geländes entsprechen, an eine Anzeigeeinheit, die beispielsweise in der Fahrerkabine positioniert sein kann, zu erzeugen.
Die Steuervorrichtung kann beispielsweise dazu ausgelegt sein, die Bilddaten zu verarbeiten und die Ausgangssignale zur Erzeugung eines Bilds, das eine Draufsicht (die auch als sogenannte „Vogelperspektive“ bezeichnet werden kann) auf den zumindest ersten Abschnitt des Geländes umfasst, zu generieren.
In einer fünften Ausführungsform können weitere beispielhafte Aspekte gemäß der oben genannten vierten Ausführungsform beinhalten, dass die Steuervorrichtung dazu ausgelegt ist, die Bilddaten dynamisch zu verarbeiten, wobei Bildanzeigeparameter, die dem zumindest ersten Abschnitt des Geländes zugeordnet sind, während der gesamten Bewegungsbahn des zweiten Abschnitts des Arbeitsfahrzeugs beibehalten werden.
Die Steuervorrichtung kann beispielsweise dazu ausgelegt sein, die Bilddaten basierend auf einer aktuellen Position der Bildgebungsvorrichtung entlang der Bewegungsbahn des zweiten Abschnitts des Arbeitsfahrzeugs dynamisch zu verarbeiten.
Bei weiteren beispielhaften Aspekten gemäß der fünften Ausführungsform kann das Arbeitsfahrzeug ferner einen oder mehrere kinematische Sensoren umfassen, die an dem Arbeitsfahrzeug positioniert und mit der Steuervorrichtung verbunden sind, wobei die Steuervorrichtung dazu ausgelegt ist, die aktuelle Position der Bildgebungsvorrichtung in einem lokalen Bezugssystem über zumindest Signale aus dem einen oder den mehreren kinematischen Sensoren zu bestimmen.
Der eine oder die mehreren kinematischen Sensoren können beispielsweise in die Bildgebungsvorrichtung integriert sein.
Der eine oder die mehreren kinematischen Sensoren können einen ersten Positionssensor, der an dem ersten Abschnitt des Arbeitsfahrzeugs angebracht ist, und einen zweiten Positionssensor, der an dem zweiten Abschnitt des Arbeitsfahrzeugs angebracht ist, umfassen.
In einer sechsten Ausführungsform können weitere beispielhafte Aspekte gemäß der oben genannten fünften Ausführungsformen beinhalten, dass die dynamische Verarbeitung der Bilddaten dynamisches Schneiden der Bilddaten aus dem Sichtfeld der Bildgebungsvorrichtung und in Bezug auf den zumindest ersten Abschnitt des Geländes umfasst.
Das dynamische Schneiden der Bilddaten gemäß der sechsten Ausführungsform kann zumindest zum Teil über Abruf und Implementierung eines oder mehrerer Modelle entsprechend einer aktuellen Position der Bildgebungsvorrichtung entlang der Bewegungsbahn des zweiten Abschnitts des Arbeitsfahrzeugs erzielt werden.
Das Arbeitsfahrzeug gemäß der sechsten Ausführungsform kann einen oder mehrere kinematische Sensoren umfassen, die an dem Arbeitsfahrzeug positioniert und mit der Steuervorrichtung verbunden sind, wobei die Steuervorrichtung dazu ausgelegt ist, die aktuelle Position der Bildgebungsvorrichtung in einem lokalen Bezugssystem über zumindest Signale aus dem einen oder den mehreren kinematischen Sensoren zu bestimmen.
Der eine oder die mehreren kinematischen Sensoren können beispielsweise in die Bildgebungsvorrichtung integriert sein.
Der eine oder die mehreren kinematischen Sensoren können einen ersten Positionssensor, der an dem ersten Abschnitt des Arbeitsfahrzeugs angebracht ist, und einen zweiten Positionssensor, der an dem zweiten Abschnitt des Arbeitsfahrzeugs angebracht ist, umfassen.
Für einen Fachmann werden bei der Lektüre der folgenden Offenbarung in Verbindung mit den beigefügten Zeichnungen zahlreiche Zielsetzungen, Merkmale und Vorteile der hier dargelegten Ausführungsformen ohne Weiteres ersichtlich sein.

1 ist eine perspektivische Ansicht einer Ausführungsform eines Kompaktladers als Arbeitsfahrzeug gemäß der vorliegenden Offenbarung.
2 ist eine Seitenansicht, die eine weitere Ausführungsform eines Kompaktladers als Arbeitsfahrzeug gemäß der vorliegenden Offenbarung zeigt.
3 ist ein grafisches Diagramm, das ein beispielhaftes Steuerungssystem für ein Arbeitsfahrzeug der vorliegenden Offenbarung darstellt.
4 ist eine Seitenansicht, die ein beispielhaftes Arbeitsfahrzeug gemäß der Ausführungsform von 1 darstellt, wobei sich die Auslegeranordnung in einer abgesenkten Position befindet.
5 ist eine Seitenansicht, die ein beispielhaftes Arbeitsfahrzeug gemäß der Ausführungsform von 1 darstellt, bei dem sich die Auslegeranordnung in einer Zwischenposition entlang einer Bahn der verfügbaren Bewegung befindet.
6 ist eine Seitenansicht, die ein beispielhaftes Arbeitsfahrzeug gemäß der Ausführungsform von 1 darstellt, wobei sich die Auslegeranordnung in einer angehobenen Position befindet.
7 ist eine schematische Draufsicht, die eine beispielhafte Ansicht von oben auf einen Bereich von Interesse darstellt, der dem Gelände in der Nähe des beispielhaften Arbeitsfahrzeugs gemäß der Ausführungsform von 1 entspricht, wobei sich die Auslegeranordnung in der in 4 dargestellten abgesenkten Position befindet.
8 ist eine schematische Draufsicht, die eine beispielhafte Ansicht von oben auf einen Bereich von Interesse darstellt, der dem Gelände in der Nähe des beispielhaften Arbeitsfahrzeugs gemäß der Ausführungsform von 1 entspricht, wobei sich die Auslegeranordnung in der in 5 dargestellten Zwischenposition befindet.
9 ist eine schematische Draufsicht, die eine beispielhafte Ansicht von oben auf einen Bereich von Interesse darstellt, der dem Gelände in der Nähe des beispielhaften Arbeitsfahrzeugs gemäß der Ausführungsform von 1 entspricht, wobei sich die Auslegeranordnung in der in 6 dargestellten angehobenen Position befindet.
10 ist ein Flussdiagramm, das ein beispielhaftes Verfahren gemäß der vorliegenden Offenbarung darstellt.

In den Zeichnungen, insbesondere in 1, ist ein repräsentatives Arbeitsfahrzeug dargestellt und allgemein mit der Nummer 100 bezeichnet. 1 zeigt einen Kompaktraupenlader, aber es versteht sich, dass das Arbeitsfahrzeug 100 eines von vielen Arten von Arbeitsfahrzeugen sein kann, einschließlich und ohne Einschränkung eines Kompaktladers, eines Baggerladers, eines Frontladers, eines Bulldozers und anderer Baufahrzeuge, die Unterschiede in ihren jeweiligen Komponenten in Bezug auf den Kompaktraupenlader aufweisen und wie durch einen Fachmann erkannt werden kann. Das Arbeitsfahrzeug 100 hat wie gezeigt einen sich in Längsrichtung 115 erstreckenden Rahmen 110 mit einem vorderen Endteilabschnitt 120 und einem hinteren Endteilabschnitt 125. Das Arbeitsfahrzeug enthält einen Bodeneingriffsmechanismus 155, der den Rahmen 110 und eine auf dem Rahmen 110 getragene Fahrerkabine 160 trägt, wobei der Bodeneingriffsmechanismus 155 dazu ausgelegt ist, den Rahmen 110 auf einer Oberfläche 135 zu tragen.
Ein Motor 165 (nicht dargestellt) ist mit dem Rahmen 110 gekoppelt und zum Bewegen des Arbeitsfahrzeugs 100 betreibbar. Das abgebildete Arbeitsfahrzeug verfügt über Raupen, aber andere Ausführungsformen können ein oder mehrere Räder enthalten, die mit der Oberfläche 135 in Kontakt kommen. Das Arbeitsfahrzeug 100 kann dazu betrieben werden, in die Oberfläche 135 einzugreifen und Material zu schneiden und zu bewegen, um einfache oder komplexe Merkmale auf der Oberfläche zu erzielen. Wie hier verwendet, können die Richtungen des Fahrzeugs 100 aus der Perspektive eines in der Fahrerkabine 160 sitzenden Bedieners angegeben werden; die linke Seite des Arbeitsfahrzeugs 100 befindet sich links von einem solchen Bediener, die rechte Seite des Arbeitsfahrzeugs befindet sich rechts von einem solchen Bediener, die Vorderseite oder der Bug des Arbeitsfahrzeugs ist die Richtung, in die ein solcher Bediener blickt, die Rückseite oder das Heck des Arbeitsfahrzeugs befindet sich hinter einem solchen Bediener, die Oberseite des Arbeitsfahrzeugs befindet sich über einem solchen Bediener, und die Unterseite des Arbeitsfahrzeugs befindet sich unter einem solchen Bediener. Zum Wenden kann der Bodeneingriffsmechanismus 155 auf der linken Seite des Arbeitsfahrzeugs mit einer anderen Geschwindigkeit oder in einer anderen Richtung als der Bodeneingriffsmechanismus 155 auf der rechten Seite des Arbeitsfahrzeugs 100 betrieben werden. Bei einem herkömmlichen Kompaktraupenlader kann der Bediener von der Fahrerkabine 160 aus die Bedienelemente betätigen, um die Raupen auf der rechten oder linken Seite des Arbeitsfahrzeugs 100 anzusteuern. Die Drehung des Arbeitsfahrzeugs kann als Rollen 130 oder Rollrichtung, Nicken 145 oder Nickrichtung und Gieren 140 oder Gierrichtung bezeichnet werden.
Das Arbeitsfahrzeug 100 umfasst eine Auslegeranordnung 170, die mit dem Rahmen 110 gekoppelt ist. Eine Anbauvorrichtung 105 oder ein Arbeitswerkzeug kann schwenkbar an einem vorderen Abschnitt 175 der Auslegeranordnung 170 befestigt sein, während ein hinterer Abschnitt 180 der Auslegeranordnung 170 schwenkbar mit dem Rahmen 110 verbunden ist. Der Rahmen 110 besteht wie dargestellt aus einem Hauptrahmen 112 und einem Raupenrahmen 114. Die Anbauvorrichtung 105 ist als Löffel dargestellt, kann aber ferner oder alternativ eine beliebige Anzahl von Arbeitswerkzeugen sein, wie z. B. ein Schild, Gabeln, eine Schnecke, ein Bohrer oder ein Hammer, um nur einige Möglichkeiten zu nennen. Die Anbauvorrichtung 105 kann mit der Auslegeranordnung 170 über eine Anbauvorrichtungskupplung 185 gekoppelt sein, die mit einem fern gelegenen Abschnitt der Hubarme 190 oder genauer gesagt einem Abschnitt der Auslegerarme im vorderen Abschnitt 175 der Auslegeranordnung 170 gekoppelt werden kann.
Die Auslegeranordnung 170 umfasst ein erstes Paar Hubarme 190, die schwenkbar an dem Rahmen 110 (jeweils einer auf einer linken und einer rechten Seite der Fahrerkabine 160) gekoppelt sind und durch ein Paar erster Hydraulikzylinder 200 relativ zum Rahmen 110 bewegbar sind, wobei das Paar erster Hydraulikzylinder 200 üblicherweise auch als ein Paar Hubzylinder (einer an jeden Auslegerarm gekoppelt) für einen Kompaktraupenlader bezeichnet werden kann. Die Anbauvorrichtungskupplung 185 kann mit einem vorderen Teilabschnitt 193 des Paars von Hubarmen 190 gekoppelt sein, die durch ein Paar zweiter Hydraulikzylinder 205, die bei einem Kompaktraupenlader als Kippzylinder bezeichnet werden können, relativ zum Rahmen 110 bewegbar sind. Der Rahmen 110 des Arbeitsfahrzeugs 100 umfasst ferner eine Hydraulikkupplung 210 am vorderen Teilabschnitt 120 des Arbeitsfahrzeugs 100, um einen oder mehrere hydraulische Hilfszylinder (nicht dargestellt) zu koppeln, um die Bewegung einer Anbauvorrichtung 105 zu bewirken oder dessen Hilfsfunktionen zu betätigen. Die Anbauvorrichtungskupplung 185 ermöglicht die mechanische Verbindung der Anbauvorrichtung 105 mit dem Rahmen 110. Die Hydraulikkupplung 210 ermöglicht im Gegensatz zur Anbauvorrichtungskupplung 185 das hydraulische Koppeln eines oder mehrerer Hilfshydraulikzylinder der Anbauvorrichtung 105 an das Hydrauliksystem (Gerätesteuerungssystem) 326 (siehe 3) des Arbeitsfahrzeugs 100. Es versteht sich, dass nicht alle Anbauvorrichtungen einen oder mehrere Hilfshydraulikzylinder aufweisen und daher die Hydraulikkupplung 210 möglicherweise nicht verwenden. In der in 1 dargestellten Konfiguration, in der ein Löffel 168 an einen Kompaktraupenlader gekoppelt ist, verwendet den Löffel keine Hydraulikkupplung und weist auch keine Hilfshydraulikzylinder auf. Alternativ dazu kann die Hydraulikkupplung 210 beispielsweise eine Greiferanbauvorrichtung öffnen oder schließen oder eine Walzenbürste als Anbauvorrichtung drehen.
Jeder der beiden ersten Hydraulikzylinder 200, der beiden zweiten Hydraulikzylinder 205 und von Hilfszylindern, die sich gegebenenfalls an der Anbauvorrichtung 105 befinden, kann ein doppelt wirkender Hydraulikzylinder sein. Ein Ende jedes Zylinders kann als Kopfende und das dem Kopfende gegenüberliegende Ende jedes Zylinders als Stangenende bezeichnet werden. Sowohl das Kopfende als auch das Stangenende können fest mit einer anderen Komponente gekoppelt sein, z. B. mit einer Bolzenkupplung oder einem Bolzenlager, um nur zwei Beispiele für Drehverbindungen zu nennen. Als doppelt wirkender Hydraulikzylinder kann jeder eine Kraft in Ausfahr- oder Einzugrichtung ausüben. Wenn Hydraulikflüssigkeit unter Druck in eine Kopfkammer der Zylinder geleitet wird, wird tendenziell eine Kraft in Ausfahrrichtung ausgeübt, während das Leiten von Hydraulikflüssigkeit unter Druck in eine Stangenkammer der Zylinder tendenziell eine Kraft in Einzugrichtung ausübt. Die Kopfkammer und die Stangenkammer können sich beide in einem Zylinderrohr des Hydraulikzylinders befinden und können beide Teil eines größeren Hohlraums sein, der durch einen bewegbaren Kolben getrennt ist, der mit einer Stange des Hydraulikzylinders verbunden ist. Die Volumina der Kopfkammer und der Stangenkammer ändern sich mit der Bewegung des Kolbens, während die Bewegung des Kolbens zu einem Ausfahren oder Einziehen des Hydraulikzylinders führt.
Bei einem Arbeitsfahrzeug 100 wie in 1 dargestellt und ferner in Anbetracht der verschiedenen möglichen Positionen der Auslegeranordnung 170 und insbesondere ihrer Hubarme 190 über eine verfügbare Bewegungsbahn (siehe z. B. 4-6) ist es verständlich, dass die Auslegeranordnung 170 das seitliche Sichtfeld eines Bedieners, der in der Fahrerkabine 160 sitzt, während verschiedener Abschnitte der verfügbaren Bewegungsbahn zumindest teilweise verdeckt.
2 stellt eine Variante des Arbeitsfahrzeugs 100 in Bezug auf die Ausführungsform von 1 dar, zumindest insofern, als ein hinterer Abschnitt des Rahmens 110 einen erhöhten Sockel (oder Turm) bildet, auf dem eine Bildgebungsvorrichtung 304 gemäß der vorliegenden Offenbarung direkt angebracht und so ausgerichtet werden kann, dass sie ein Sichtfeld auf die jeweilige Seite des Arbeitsfahrzeugs 100 bietet, das über die gesamte verfügbare Bewegungsbahn der Auslegeranordnung 170 nicht verdeckt wird. Während ein Standort in der Mitte des Arbeitsfahrzeugs 100, z. B. in einer Linie mit der Fahrerkabine 160, aus verschiedenen Gründen, einschließlich der erforderlichen Bildverarbeitung, bevorzugt sein kann, kann eine Bildgebungsvorrichtung 304, die sich am hinteren Turm eines Arbeitsfahrzeugs 100, wie z. B. eines herkömmlichen Kompaktladers mit kleinem Rahmen, befindet, gemäß der vorliegenden Offenbarung bereitgestellt und verwendet werden, ohne dass die teilweise verdeckte Sicht oder der Hilfsteleskoparm alternativer Lösungen auftreten.
Für jede der in den 1 und 2 dargestellten Ausführungsformen eines Arbeitsfahrzeugs 100 umfasst eine weitere hier beschriebene Lösung das Anbringen einer Bildgebungsvorrichtung 304 an der Auslegeranordnung 170 selbst. In bestimmten Ausführungsformen kann es vorteilhaft sein, die Bildgebungsvorrichtung 304 oben auf dem Hubarm 190 so anzuordnen, dass die Bildgebungsvorrichtung 304 während der gesamten verfügbaren Bewegungsbahn des Hubarms 190 so nahe wie möglich an einer zentralen Position relativ zur Fahrerkabine 160 bleibt.
In den oben genannten Ausführungsformen, in denen das Arbeitsfahrzeug 100 ein Kompaktlader ist, kann ein erster Abschnitt des Arbeitsfahrzeugs 100 als einschließlich des Hauptrahmens 110 definiert sein, während ein zweiter Abschnitt des Arbeitsfahrzeugs zumindest die Auslegeranordnung 170 umfasst, die durch den Rahmen 110 getragen wird und relativ zu diesem bewegbar ist. In verschiedenen alternativen Ausführungsformen (in den Figuren nicht dargestellt) kann das Arbeitsfahrzeug 100 ein Bagger, eine Planierraupe, ein knickgelenkter Muldenkipper oder dergleichen sein. Bei einem Bagger beispielsweise umfasst der erste Abschnitt des Arbeitsfahrzeugs 100 den Rahmen, der die Fahrerkabine trägt, während der zweite Abschnitt die Auslegeranordnung umfasst, der durch den Rahmen getragen wird, aber sich nach vorne und in die Mitte erstreckt, sodass die Auslegeranordnung die Sicht aus einer anderen Perspektive als beispielsweise bei einem Kompaktraupenlader verdeckt. Als weiteres, nicht einschränkendes Beispiel kann die Bildgebungsvorrichtung an einem der beiden Abschnitte eines Gelenkfahrzeugs, z. B. eines Muldenkippers, angebracht werden.
Wie in 3 schematisch veranschaulicht, enthält das Arbeitsfahrzeug 100 ein Steuerungssystem 300 mit einer Verarbeitungseinheit, die durch eine Arbeitsfahrzeugsteuervorrichtung 302 umgesetzt sein kann oder sonst eine Arbeitsfahrzeugsteuervorrichtung 302 umfassen kann. Die Steuervorrichtung 302 kann Teil der Fahrzeugsteuereinheit oder ein separates Steuermodul sein. Die Steuervorrichtung 302 kann die Benutzeroberfläche 306 enthalten und gegebenenfalls in der Fahrerkabine 160 an einem Bedienfeld angebracht sein. In gewissen Ausführungsformen innerhalb des Schutzumfangs der vorliegenden Offenbarung kann die Verarbeitungseinheit einen oder mehrere Prozessoren umfassen, die bezüglich des Arbeitsfahrzeugs entfernt positioniert sind oder unabhängig bezüglich des Arbeitsfahrzeugs, wie z. B eine mobile Vorrichtung.
Die Steuervorrichtung 302 ist dazu ausgelegt, Eingangssignale aus einer Bildgebungsvorrichtung 304 zu empfangen. Die Ausgangssignale aus der Bildgebungsvorrichtung 304 können direkt an die Steuervorrichtung 302 oder beispielsweise über zwischengeschaltete Komponenten für die Analog-Digital-Wandlung und/oder die Videoschnittstelle (nicht dargestellt) weitergeleitet werden. Bestimmte zusätzliche Sensoren (nicht dargestellt) können funktional mit der Steuervorrichtung 302 verknüpft sein und zum Erfassen der Betriebsbedingungen und/oder der Kinematik des Fahrzeugs vorgesehen sein. In einer Ausführungsform kann zumindest ein kinematischer Sensor, z. B. ein Drehsensor, zum Verfolgen der Position der Bildgebungsvorrichtung 304 in Bezug auf einen vorbestimmten Bereich von Interesse 340 vorgesehen sein.
In einer bestimmten beispielhaften Ausführungsform können Fahrzeugkinematiksensoren zum Verfolgen einer Position der Bildgebungsvorrichtung 304 relativ zu einem vorbestimmten Bereich von Interesse 340 in Form von Trägheitsmesseinheiten (jeweils eine IMU) vorgesehen sein, die in die Bildgebungsvorrichtung 304 integriert und/oder separat zumindest am Rahmen 110 des Arbeitsfahrzeugs 100 und ferner am Hubarm 190 oder einer anderen relevanten Komponente, an der die Bildgebungsvorrichtung 304 angebracht ist, montiert sind. IMU enthalten eine Anzahl von Sensoren, einschließlich, aber nicht beschränkt auf, Beschleunigungsmesser, die (unter anderem) die Geschwindigkeit und Beschleunigung messen, Gyroskope, die (unter anderem) die Winkelgeschwindigkeit und Winkelbeschleunigung messen, und Magnetometer, die (unter anderem) die Stärke und Richtung eines Magnetfelds messen. Allgemein liefert ein Beschleunigungsmesser Messungen in Bezug auf (unter anderem) die durch die Schwerkraft verursachte Kraft, während ein Gyroskop Messungen in Bezug auf (unter anderem) die Bewegung eines starren Körpers liefert. Das Magnetometer liefert Messungen der Stärke und der Richtung des Magnetfelds, (unter anderem) in Bezug auf bekannte interne Konstanten oder in Bezug auf ein bekanntes, genau gemessenes Magnetfeld. Das Magnetometer liefert Messungen eines Magnetfelds, um Informationen über die Position oder Winkelausrichtung der IMU zu erhalten; ähnlich wie das Magnetometer liefert auch das Gyroskop Informationen über die Position oder Winkelausrichtung der IMU. Dementsprechend kann das Magnetometer anstelle des Gyroskops oder in Kombination mit dem Gyroskop und ergänzend zum Beschleunigungsmesser verwendet werden, um lokale Informationen und Koordinaten über die Position, Bewegung und Ausrichtung der IMU zu erhalten.
In einer anderen Ausführungsform können nicht-kinematische Sensoren zur Positionserfassung eingesetzt werden, wie zum Beispiel Markierungen oder andere maschinenlesbare Komponenten, die an dem Arbeitsfahrzeug 100 angebracht oder aufgedruckt sind und sich im Sichtfeld der Bildgebungsvorrichtung 304 befinden. In einem Beispiel können April-Tags oder ein Äquivalent vorgesehen sein, sodass Datenverarbeitungselemente je nachdem, wie die Markierung im Sichtfeld der Bildgebungsvorrichtung 304 erscheint, einen Abstand zur Markierung und/oder eine Ausrichtung der Markierung relativ zur Bildgebungsvorrichtung 304 berechnen können, um die Position der Bildgebungsvorrichtung 304 räumlich zu bestimmen. Als weiteres Beispiel können Maschinenlerntechniken basierend auf Eingaben für zwei oder mehr bekannte Komponenten des Arbeitsfahrzeugs 100, wie beispielsweise eine vordere Kabinenhalterung und ein hinterer Kotflügel, implementiert sein, sodass die Datenverarbeitungseinheiten eine Position der Bildgebungsvorrichtung 304 anhand eines Abstands zwischen den zwei oder mehr Komponenten und ihrer jeweiligen Positionen im Sichtfeld der Bildgebungsvorrichtung 304 räumlich bestimmen können.
Weitere Sensoren, die funktionell mit der Steuervorrichtung 302 verknüpft sind und optional für die hier beschriebenen Funktionen oder anderweitig vorgesehen sein können, umfassen beispielsweise Global-Positioning-System(GPS)-Sensoren, Fahrzeuggeschwindigkeitssensoren, Ultraschallsensoren, Laserscanner, Radarwellensender und -empfänger, Wärmesensoren, Bildgebungsvorrichtungen, Sensoren für strukturiertes Licht und andere optische Sensoren, und während einer oder mehrere dieser Sensoren diskreter Natur sein können, kann sich ein Sensorsystem auch auf Signale beziehen, die aus einer zentralen Maschinensteuereinheit bereitgestellt werden.
Die Bildgebungsvorrichtung 304 kann Videokameras umfassen, die dazu ausgelegt sind, einen Originalbildstrom aufzuzeichnen und entsprechende Daten an die Steuervorrichtung 302 zu übertragen. Alternativ oder zusätzlich kann die Bildgebungsvorrichtung 304 eines oder mehr von einer digitalen (CCD/CMOS-)Kamera, einer Infrarotkamera, Stereokamera, PMD-Kamera, hochauflösenden LiDAR(Light Detection and Ranging)-Scannern, Radardetektoren, Laserscannern und dergleichen im Schutzbereich der vorliegenden Offenbarung enthalten. Die Anzahl und Ausrichtung der Bildgebungsvorrichtungen 304 kann je nach Art des Arbeitsfahrzeugs 100 und den relevanten Anwendungen variieren, kann aber zumindest in Bezug auf ein Sichtfeld 330 längs am Arbeitsfahrzeug 100 vorgesehen und dazu ausgelegt sein, Daten im Zusammenhang mit der seitlichen Umgebung und nahe befindlichen Objekten zu erfassen.
In einer Ausführungsform kann die Bildgebungsvorrichtung 304 ein Ultraweitwinkelobjektiv (z. B. ein „Fischaugen“-Objektiv) mit einem ausreichend breiten Sichtfeld enthalten, um einen Bereich von Interesse 340 an einer beliebigen Position entlang einer verfügbaren Bewegungsbahn (falls vorhanden) einer Komponente zu erfassen, an der die Bildgebungsvorrichtung 304 montiert ist, und um Bilddaten bereitzustellen, die den Bereich von Interesse umfassen, der auf eine Ebene für Bilddatenverarbeitungsfunktionen projiziert wird, wie an anderer Stelle hier näher beschrieben.
In einer Ausführungsform kann die Bildgebungsvorrichtung 304 mit einem Zoomobjektiv ausgestattet sein, sodass das Sichtfeld und dementsprechend die Ausgabebilddaten aus der Bildgebungsvorrichtung 304 die Bewegung der Position der Bildgebungsvorrichtung relativ zum Bereich von Interesse kompensieren. Eine solche Ausführungsform kann die Notwendigkeit einer Datenverarbeitung stromabwärts der Bildgebungsvorrichtung zur Größenänderung des Sichtfeldes eliminieren oder zumindest verringern.
In einer weiteren Ausführungsform kann eine einzelne Bildgebungsvorrichtung 304 verwendet werden, die jedoch mit einer bewegbaren/drehbaren Halterung versehen ist, sodass das Sichtfeld dynamisch ist, um einem Bereich von Interesse während der Bewegung (falls vorhanden) der Komponente zu entsprechen, auf der die Bildgebungsvorrichtung 304 montiert ist. In einer weiteren Ausführungsform kann eine Vielzahl von Bildgebungsvorrichtungen 304 vorgesehen sein, sodass die Auswahl einer bestimmten Bildgebungsvorrichtung und ihres entsprechenden Sichtfelds implementiert werden kann, um die Bilddaten für einen Bereich von Interesse zu optimieren.
Es versteht sich natürlich, dass eine oder mehrere der vorhergehenden Ausführungsformen in Bezug auf die Bildgebungsvorrichtung 304 kombiniert werden können, um entsprechende Merkmale für ein Verfahren, wie es im Folgenden beschrieben wird, bereitzustellen.
Beispielsweise kann ein Zoomobjektiv zusammen mit einer Schwenkbasis vorgesehen sein, sodass die Bildgebungsvorrichtung während der gesamten Bewegung (falls vorhanden) des Elements des Arbeitsfahrzeugs 100, an dem die Bildgebungsvorrichtung angebracht ist, kontinuierlich auf denselben Bereich von Interesse gerichtet ist.
Der Fachmann weiß, dass die Bilddatenverarbeitungsfunktionen in einer bestimmten Bildgebungsvorrichtung gesondert in einer gegebenen Bildgebungsvorrichtung ausgeführt werden können, wenn sie richtig konfiguriert ist, aber die meisten, wenn nicht alle, Bilddatenverarbeitungsfunktionen können im Allgemeinen durch die Steuervorrichtung 302 oder einen anderen stromabwärts befindlichen Datenprozessor ausgeführt werden. Beispielsweise können Bilddaten aus einer oder mehreren Bildgebungsvorrichtungen 304 für die Generierung dreidimensionaler Punktwolken, die Bildsegmentierung, die Abgrenzung und Klassifizierung von Objekten und dergleichen bereitgestellt werden, wobei die in der Technik bekannten Bilddatenverarbeitungswerkzeuge in Kombination mit den offenbarten Zielsetzungen verwendet werden.
Die Steuervorrichtung 302 des Arbeitsfahrzeugs 100 kann dazu ausgelegt sein, Ausgaben, wie weiter unten beschrieben, für eine Benutzeroberfläche 306 zu erzeugen, die einer Anzeigeeinheit 310 zur Anzeige für den menschlichen Bediener zugeordnet ist. Die Steuervorrichtung 302 kann dazu ausgelegt sein, Eingaben aus der Benutzeroberfläche 306, z. B. Benutzereingaben, die über die Benutzeroberfläche 306 bereitgestellt werden, zu empfangen. In 3 nicht speziell dargestellt, kann die Steuervorrichtung 302 des Arbeitsfahrzeugs 100 in einigen Ausführungsformen außerdem Eingaben aus entfernten Vorrichtungen, die einem Benutzer zugeordnet sind, über eine betreffende Benutzeroberfläche, z. B. eine Anzeigeeinheit mit Touchscreen-Oberfläche, empfangen und Ausgaben für diese Vorrichtungen erzeugen. Die Datenübertragung zwischen beispielsweise dem Fahrzeugsteuerungssystem und einer entfernten Benutzeroberfläche kann in Form eines drahtlosen Kommunikationssystems und zugehöriger Komponenten erfolgen, wie sie in der Technik allgemein bekannt sind. In bestimmten Ausführungsformen können eine entfernte Benutzeroberfläche und Fahrzeugsteuerungssysteme für die jeweiligen Arbeitsfahrzeuge weiter koordiniert werden oder auf andere Weise mit einem entfernten Server oder einer anderen Rechenvorrichtung für die Durchführung von Vorgängen in einem System, wie hier offenbart, interagieren.
Die Steuervorrichtung 302 kann dazu ausgelegt sein, Steuersignale zum Steuern des Betriebs der jeweiligen Aktuatoren oder Signale für die indirekte Steuerung über zwischengeschaltete Steuereinheiten zu erzeugen, die einem Maschinenlenksystem 324, einem Maschinenarbeitsgerätesteuerungssystem 326 und/oder einem Maschinenantriebssteuerungssystem 328 zugeordnet sind. Die Steuervorrichtung 302 kann beispielsweise über einen Kabelbaum mit den jeweiligen Komponenten dieser und/oder anderer Systeme elektrisch verbunden sein, sodass Nachrichten, Befehle und elektrische Energie zwischen der Steuervorrichtung 302 und dem Rest des Arbeitsfahrzeugs 100 übertragen werden können. Die Steuervorrichtung 302 kann über ein Controller Area Network (CAN) mit anderen Steuervorrichtungen, wie beispielsweise dem Motorsteuergerät (ECU), gekoppelt sein und kann dann über das CAN Nachrichten senden und empfangen, um mit anderen Komponenten des CAN zu kommunizieren.
Die Steuervorrichtung 302 kann einen Prozessor 312, ein computerlesbares Medium 314, eine Kommunikationseinheit 316, einen Datenspeicher 318, wie z. B. ein Datenbanknetzwerk, und die bereits genannte Benutzeroberfläche 306 oder ein Bedienfeld 306 mit einer Anzeigevorrichtung 310 umfassen oder ihr zugeordnet sein. Eine Ein-/Ausgabevorrichtung 308, wie z. B. eine Tastatur, ein Joystick oder ein anderes Benutzeroberflächenwerkzeug, ist vorgesehen, damit der Bediener Anweisungen in die Steuervorrichtung eingeben kann. Es versteht sich von selbst, dass die hier beschriebene Steuervorrichtung eine einzelne Steuervorrichtung sein kann, die die gesamte beschriebene Funktionalität aufweist, oder mehrere Steuervorrichtungen umfassen kann, wobei die beschriebenen Funktionen auf die mehreren Steuervorrichtungen verteilt sind.
Verschiedene Operationen, Schritte oder Algorithmen, die im Zusammenhang mit der Steuervorrichtung 302 beschrieben sind, können direkt in Hardware, in einem Computerprogrammprodukt wie einem Softwaremodul, das durch den Prozessor 312 ausgeführt wird, oder in einer Kombination aus beidem verkörpert sein. Das Computerprogrammprodukt kann sich in einem RAM-Speicher, einem Flash-Speicher, einem ROM-Speicher, einem EPROM-Speicher, einem EEPROM-Speicher, in Registern, auf einer Festplatte, einer Wechselplatte oder in einer anderen Form eines computerlesbaren Mediums 314 befinden, das in der Technik bekannt ist. Ein beispielhaftes computerlesbares Medium kann mit dem Prozessor gekoppelt sein, sodass der Prozessor Informationen aus dem Speicher/Speichermedium lesen und in dieses schreiben kann. Alternativ kann das Medium auch in den Prozessor integriert sein. Der Prozessor und das Medium können in einer anwendungsspezifischen integrierten Schaltung (Application-Specific Integrated Circuit, ASIC) untergebracht sein. Die ASIC kann sich in einem Benutzerendgerät befinden. Alternativ können der Prozessor und das Medium als separate Komponenten in einem Benutzerendgerät untergebracht sein.
Der Begriff „Prozessor“ 312 kann sich hier zumindest auf allgemeine oder spezielle Verarbeitungsvorrichtungen und/oder Logik beziehen, die dem Fachmann bekannt sind, einschließlich, aber nicht beschränkt auf einen Mikroprozessor, einen Mikrocontroller, eine Zustandsmaschine und dergleichen. Ein Prozessor kann auch als eine Kombination von Rechenvorrichtungen implementiert sein, z. B. als eine Kombination aus einem DSP und einem Mikroprozessor, einer Vielzahl von Mikroprozessoren, einem oder mehreren Mikroprozessoren in Verbindung mit einem DSP-Kern oder einer anderen derartigen Konfiguration.
Die Kommunikationseinheit 316 kann die Kommunikation zwischen der Steuervorrichtung und externen Systemen oder Vorrichtungen unterstützen oder bereitstellen und/oder eine Kommunikationsschnittstelle zu den internen Komponenten des Arbeitsfahrzeugs unterstützen oder bereitstellen. Die Kommunikationseinheit kann drahtlose Kommunikationssystemkomponenten (z. B. über ein Mobilfunkmodem, WLAN, Bluetooth oder dergleichen) und/oder einen oder mehrere drahtgebundene Kommunikationsanschlüsse wie universelle serielle Busanschlüsse umfassen.
Der Datenspeicher 318 kann in einer Ausführungsform dazu ausgelegt sein, zumindest Echtzeit- und/oder historische Datensätze bezüglich Maschinenparametern 320 und Echtzeit- und/oder historische Datensätze bezüglich Bilddatenparametern 322 in selektiv abrufbarer Form zu empfangen und zu speichern, beispielsweise als Eingaben für die Entwicklung von Modellen, wie sie hier näher beschrieben sind, um Positionen der Auslegeranordnung und einer darauf montierten Bildgebungsvorrichtung mit entsprechenden Abschnitten von aufgenommenen Bildern in einem Sichtfeld für die Bildgebungsvorrichtung zu korrelieren. Der hier beschriebene Datenspeicher kann, sofern nicht anders angegeben, im Allgemeinen Hardware wie flüchtige oder nichtflüchtige Speichervorrichtungen, Laufwerke, Speicher oder andere Speichermedien sowie eine oder mehrere darauf befindliche Datenbanken umfassen.
Beispielsweise ist in einer Ausführungsform wie in den 4-9 dargestellt eine Bildgebungsvorrichtung 304 am Hubarm 190 der Auslegeranordnung 170 eines Arbeitsfahrzeugs 100 so angebracht, dass ein Sichtfeld 330 für die Bildgebungsvorrichtung 304 zumindest die Gesamtheit eines Bereichs von Interesse 340 über eine verfügbare Bewegungsbahn für die Auslegeranordnung 170 umfasst. Wie in 7 dargestellt, befinden sich der Ausleger 170 und dementsprechend die Bildgebungsvorrichtung 304 in der niedrigsten verfügbaren Position (wie in 4 genauer dargestellt), und der vorbestimmte Bereich von Interesse 340 nimmt zwar einen verhältnismäßig großen Abschnitt des Sichtfelds 330 ein, wird jedoch dadurch vollständig erfasst. Wie in 8 dargestellt, befinden sich die Auslegeranordnung 170 und dementsprechend die Bildgebungsvorrichtung 304 in einer Zwischenposition entlang der verfügbaren Bewegungsbahn (wie in 5 genauer dargestellt), und der vorbestimmte Bereich von Interesse 340 nimmt einen kleineren Abschnitt des Sichtfelds 330 ein und wird dadurch immer noch vollständig erfasst. Schließlich werden, wie in 9 dargestellt, die Auslegeranordnung 170 und die Bildgebungsvorrichtung 304 auf die höchste verfügbare Position angehoben (wie in 6 genauer dargestellt), und der vorbestimmte Bereich von Interesse 340 nimmt einen noch kleineren Abschnitt des Sichtfelds 330 ein.
Beim Anheben des Hubarms 190 und der Bildgebungsvorrichtung 304 entlang der verfügbaren Bewegungsbahn werden diese Komponenten nicht nur angehoben, sondern auch relativ zur Bodenoberfläche 135 geschwenkt. Dementsprechend ist in verschiedenen Ausführungsformen die Bildgebungsvorrichtung 304 nicht nur direkt über dem Bereich von Interesse 340 angebracht und nach unten gerichtet, sondern kann so positioniert und ausgerichtet sein, dass der Bereich von Interesse 340 während der gesamten Schwenkbewegung der Auslegeranordnung 170 erfasst wird, selbst wenn dies bedeutet, dass der Bereich von Interesse 340 in einem Abschnitt des Sichtfelds 330 beginnt und in einem anderen Abschnitt des Sichtfelds 330 endet. Die Bildgebungsvorrichtung 304 muss möglicherweise anhand der Art des Arbeitsfahrzeugs 100 und/oder des gewünschten Bereichs von Interesse so ausgewählt werden, dass sie einen ausreichend weiten Winkel für ihr Sichtfeld aufweist, was beispielsweise von der verfügbaren Bewegung der Auslegeranordnung 170 abhängt.
Es dürfte klar sein, dass die Position und Größe des durch die jeweilige Bildgebungsvorrichtung 304 erfassten Sichtbereichs 330 normalerweise von der Anordnung und Ausrichtung der Kamera auf dem Rahmen 110 oder der Auslegeranordnung 170 und ferner vom Kameraobjektivsystem, insbesondere der Brennweite des Kameraobjektivs, abhängen kann.
Die Positionen und Größen der Sichtbereiche in den 7-9 sollten daher nur als Beispiele angesehen werden, da sie bei einer bestimmten Implementierung für eine beliebige Anzahl von Parametern variieren können.
Unter Bezugnahme auf 10 kann nun ein beispielhaftes Verfahren 400 zur visuellen Darstellung zumindest eines Abschnitts des Geländes in der Nähe eines Arbeitsfahrzeugs 100 beschrieben werden, insbesondere in Bezug auf eine Ausführungsform, wie sie zuvor erörtert wurde, bei der die Bildgebungsvorrichtung 304 an der Auslegeranordnung 170 eines solchen Arbeitsfahrzeugs 100 angebracht ist (Schritt 410). Wie bereits erwähnt, ist die Bildgebungsvorrichtung 304 vorzugsweise so angebracht, dass die aus der Bildgebungsvorrichtung 304 (Schritt 415) empfangenen Daten, die einem Sichtfeld 330 der Bildgebungsvorrichtung entsprechen, zu jedem Zeitpunkt während einer verfügbaren Bewegungsbahn für die Auslegeranordnung 170 zumindest einen vorbestimmten Bereich von Interesse 340 umfassen.
In einer Ausführungsform werden Eingangsdaten aus der Bildgebungsvorrichtung 340 bearbeitet, um Ausgangssignale zu erzeugen, die einer repräsentativen Anzeige des Bereichs von Interesse 340 für eine Anzeigeeinheit 310 entsprechen, wobei die Bildanzeigeparameter, die den Umfangskonturen des Bereichs von Interesse 340 zugeordnet sind, im Wesentlichen über die gesamte verfügbare Bewegungsbahn der Auslegeranordnung 170 beibehalten werden. Mit anderen Worten, wenn die Auslegeranordnung 170 aus einer anfänglichen (d. h. niedrigsten) Position in eine höchste Position angehoben wird, würde der Bereich von Interesse 340 einen zunehmend kleineren Anteil des gesamten Sichtfelds 330 ausmachen, wogegen es bei einer solchen Ausführungsform erwünscht ist, eine konsistente Anzeige der Konturen des Bereichs von Interesse während einer solchen Bewegung beizubehalten.
Ein Bereich von Interesse 340, wie in den 7-9 dargestellt, kann zwar rechteckige Grenzen aufweisen, aber es versteht sich von selbst, dass die Grenzen eines Bereichs von Interesse zahlreiche andere Formen annehmen können, wie beispielsweise ein Polygon, eine Ellipse, einen Kreis oder dergleichen.
Zur Erleichterung einer solchen Bildverarbeitung kann das Verfahren 400 das Empfangen von Eingangssignalen aus einem oder mehreren kinematischen Sensoren am Rahmen 110, an der Auslegeranordnung 170 und dergleichen und/oder von Eingangssignalen aus anderen Komponenten wie beispielsweise einer zentralen Fahrzeugsteuereinheit oder einer Benutzeroberfläche umfassen, um eine Position der Auslegeranordnung 170 und die entsprechende Position der Bildgebungsvorrichtung 304 zu bestimmen, während sie sich entlang ihrer verfügbaren Bewegungsbahn bewegt (Schritt 430). In einer Ausführungsform können Modelle iterativ entwickelt und im Laufe der Zeit trainiert werden (Schritt 435), um beispielsweise die jeweiligen identifizierten Positionen der Auslegeranordnung 170 usw. mit den Konturen eines vorbestimmten Bereichs von Interesse 340 zu korrelieren. In einigen Fällen kann der Bereich von Interesse 340 durch den Benutzer ausgewählt oder anderweitig angepasst werden, wobei alternative oder zusätzliche Modelle trainiert werden können, um geeignete entsprechende Bildverarbeitungsfaktoren für eine bestimmte Position bereitzustellen. Ausreichend trainierte Modelle können dann basierend auf einer ermittelten Position in Echtzeit (Schritt 440) für die dynamische Bildverarbeitung und -kompensation abrufbar ausgewählt werden.
In einer Ausführungsform des in 10 dargestellten Verfahrens 400 umfasst die dynamische Bildkompensation der Eingangsdaten das dynamische Beschneiden und Größenändern der rohen Eingangsdaten (Schritt 450) aus dem Sichtfeld 330 der Bildgebungsvorrichtung 340 und in Bezug auf den Bereich von Interesse 340. Die Bildverarbeitungstechniken können ferner eine geometrische und räumliche Übersetzung der Eingangsdaten mittels eines geeigneten Modells umfassen, das basierend auf der bestimmten aktuellen Position der Bildgebungsvorrichtung 304 ausgewählt wird. Beispielsweise können Abbildungsfunktionen verwendet werden, um veränderliche Ausrichtungen der Bildgebungsvorrichtung 304 und des entsprechenden Sichtfelds 330 sowie die erforderlichen projektiven Transformationen zu berücksichtigen, um eine gemeinsame Betrachtungsebene für die Anzeige an die Benutzer zu erhalten.
Der Fachmann wird verstehen, dass zusätzliche Bildverarbeitungstechniken eingesetzt werden können, um visuelle Verzerrungen in den Rohbilddaten zu beseitigen. Bei Bildgebungsvorrichtungen 304 mit Ultraweitwinkelobjektiven können die resultierenden Bilddaten beispielsweise tonnenförmige Verzerrungseffekte enthalten, die zumindest teilweise von der relativen Position des Bereichs von Interesse 340 innerhalb des gesamten Sichtfelds abhängen, sodass der Bereich von Interesse größer erscheint, wenn er sich in der Mitte des Sichtfelds befindet, und kleiner erscheint, wenn er in Bezug auf das Sichtfeld eher am Rand liegt.
Beispielhafte Algorithmen, die einer oder mehreren der oben genannten Bildverarbeitungstechniken zugeordnet sind, können in bestimmten Ausführungsformen im Laufe der Zeit für bestimmte Positionen und Ausrichtungen der Bildgebungsvorrichtung 304 als Teil des Modellentwicklungs- und Trainingsprozesses entwickelt und verbessert werden, wobei die Verarbeitungsanforderungen und das Fehlerpotenzial für nachfolgende Iterationen des Verfahrens wünschenswerterweise minimiert werden können.
In Schritt 460 des Verfahrens 400 werden Ausgangssignale für eine oder mehrere Anzeigeeinheiten generiert, beispielsweise für eine Bordanzeigeeinheit 310 in der Fahrerkabine 160, wobei jede dieser Anzeigeeinheiten dazu ausgelegt sein kann, den Bereich von Interesse 340 mit konsistenten Konturparametern unabhängig von der tatsächlichen Position der Auslegeranordnung 170 relativ zu ihrer verfügbaren Bewegungsbahn visuell darstellt. Mit anderen Worten, in zumindest einer ersten Konfiguration der Anzeigeeinheit, die beispielsweise durch einen Benutzer auswählbar ist, bleiben die Konturen des Bereichs von Interesse 340 in Bezug auf einen Abschnitt der Anzeige im Wesentlichen unverändert, auch wenn die Bildgebungsvorrichtung 304 selbst angehoben oder abgesenkt ist, wobei der Bereich von Interesse 340 einen verhältnismäßig kleineren oder größeren Abschnitt des Sichtfelds 330 für die Bildgebungsvorrichtung 304 einnimmt, aber vor allem unabhängig von seiner relativen Positionierung im gesamten Sichtfeld als Bereich von Interesse beibehalten wird.
Die Bildverarbeitung und die entsprechenden Ausgangssignale an die Anzeigeeinheit gemäß zumindest der dargestellten Ausführungsform können ferner eine Benutzerauswahl aus einer Vielzahl von Anzeigeansichten ermöglichen. Der Benutzer kann zum Beispiel eine perspektivische Ansicht des Bereichs von Interesse auswählen (Schritt 472). Als weiteres Beispiel kann der Benutzer eine Ansicht von oben (hier auch als Draufsicht oder so genannte „Vogelperspektive“ bezeichnet) auswählen, die zumindest den Bereich von Interesse umfasst (Schritt 474) und beispielsweise Ausgangssignale enthalten kann, die zumindest Bildgebungsvorrichtungen 304 auf gegenüberliegenden Seiten des Arbeitsfahrzeugs 100 entsprechen und zu einer einzelnen Anzeige zusammengefügt werden. Als weiteres Beispiel könnte der Benutzer eine geteilte Ansicht (Schritt 476) auswählen, die den Bereich von Interesse 340 in zumindest einem ersten Abschnitt der Anzeigevorrichtung enthält. In Ausführungsformen, in denen eine erste Bildgebungsvorrichtung 304 an der Auslegeranordnung 170 auf einer ersten (z. B. linken) Seite des Arbeitsfahrzeugs 100 und eine zweite Bildgebungsvorrichtung 304 an der Auslegeranordnung 170 auf einer zweiten (z. B. rechten) Seite des Arbeitsfahrzeugs 100 vorgesehen ist, kann eine geteilte Ansicht die Anzeige eines jeweiligen Bereichs von Interesse für die linke und die rechte Seite in jeweiligen Abschnitten der Anzeige ermöglichen, und/oder eine Draufsicht kann die Anzeige beider jeweiliger Bereiche von Interesse auf einem einzelnen Abschnitt der Anzeige ermöglichen.
Es zeigt sich also, dass eine Einrichtung und/oder Verfahren gemäß der vorliegenden Offenbarung die genannten Ziele und Vorteile sowie die damit inhärent verbundenen Vorteile ohne weiteres erreichen. Während bestimmte bevorzugte Ausführungsformen der Offenbarung für die vorliegenden Zwecke veranschaulicht und beschrieben wurden, können durch den Fachmann zahlreiche Änderungen an der Anordnung und Konstruktion von Abschnitten und Schritten vorgenommen werden, die durch den Schutzbereich und den Geist der vorliegenden Offenbarung, wie sie durch die beigefügten Ansprüche definiert sind, abgedeckt werden. Jedes offenbarte Merkmal oder jede offenbarte Ausführungsform kann mit jedem der anderen offenbarten Merkmale oder Ausführungsformen kombiniert werden, sofern nicht ausdrücklich etwas anderes angegeben ist.

Claims

Arbeitsfahrzeug (100), das Folgendes umfasst: einen ersten Abschnitt, der einen Rahmen (110) umfasst, durch eine Vielzahl von Bodeneingriffseinheiten (155) getragen; eine Fahrerkabine (160), die durch den Rahmen getragen wird und eine erste Seite mit einem vorderen Sichtfeld und gegenüberliegende zweite und dritte Seiten mit jeweiligen seitlichen Sichtfeldern aufweist; einen zweiten Abschnitt (170), der relativ zum ersten Abschnitt bewegbar ist, wobei ein vorbestimmter Bereich von Interesse entsprechend mindestens einem ersten Abschnitt des Geländes (340) bezüglich des Rahmens über das vordere Sichtfeld und/oder die seitlichen Sichtfelder von dem zweiten Abschnitt während zumindest eines Teils einer Bewegungsbahn des zweiten Abschnitts verdeckt wird; und eine Bildgebungsvorrichtung (304), die am Arbeitsfahrzeug angebracht ist und ein Sichtfeld (330) aufweist, das den zumindest ersten Abschnitt des Geländes während der gesamten Bewegungsbahn des zweiten Abschnitts des Arbeitsfahrzeugs umfasst.
Arbeitsfahrzeug nach Anspruch 1, wobei die Bildgebungsvorrichtung am zweiten Abschnitt angebracht ist und sich relativ zum Rahmen und zum Gelände zusammen mit der Bewegungsbahn des zweiten Abschnitts bewegt.
Arbeitsfahrzeug nach Anspruch 2, wobei der zweite Abschnitt ein Arbeitsgerät (170) umfasst, das durch den Rahmen getragen wird und dazu ausgelegt ist, ein Arbeitswerkzeug (105) an einem abgelegenen Ende desselben selektiv zwischen einer Bodeneingriffsposition und einer maximal angehobenen Position an gegenüberliegenden Enden der Bewegungsbahn zu bewegen.
Arbeitsfahrzeug nach Anspruch 3, wobei das Arbeitsgerät eine Auslegeranordnung (170) umfasst und die Bildgebungsvorrichtung an der Auslegeranordnung angebracht ist und sich relativ zum Rahmen und zum Gelände zusammen mit der Bewegungsbahn der Auslegeranordnung bewegt.
Arbeitsfahrzeug nach Anspruch 4, wobei der zumindest erste Abschnitt des Geländes in der Nähe des Rahmens über eins oder mehrere der seitlichen Sichtfelder von der Fahrerkabine durch die Auslegeranordnung während zumindest eines Teils der Bewegungsbahn der Auslegeranordnung verdeckt wird.
Arbeitsfahrzeug nach Anspruch 4, wobei das Arbeitsfahrzeug einen Bagger umfasst und der zumindest erste Abschnitt des Geländes in der Nähe des Rahmens über das vordere Sichtfeld von der Fahrerkabine durch die Auslegeranordnung während zumindest eines Teils der Bewegungsbahn der Auslegeranordnung verdeckt wird.
Arbeitsfahrzeug nach einem der Ansprüche 1-6, das ferner eine Verarbeitungseinheit in funktionaler Kommunikation mit der Bildgebungsvorrichtung zur Aufnahme von Bilddaten davon umfasst, wobei der Prozessor dazu ausgelegt ist, Ausgangssignale, die Bildern des zumindest ersten Abschnitts des Geländes entsprechen, an eine Anzeigeeinheit (310) zu erzeugen.
Arbeitsfahrzeug nach Anspruch 7, wobei die Verarbeitungseinheit eine Arbeitsfahrzeugsteuervorrichtung (302) umfasst.
Arbeitsfahrzeug nach Anspruch 7 oder Anspruch 8, wobei die Verarbeitungseinheit dazu ausgelegt ist, die Bilddaten zu verarbeiten und die Ausgangssignale zur Erzeugung eines Bilds, das eine Draufsicht auf den zumindest ersten Abschnitt des Geländes umfasst, zu generieren.
Arbeitsfahrzeug nach einem der Ansprüche 7-9, wobei die Verarbeitungseinheit dazu ausgelegt ist, die Bilddaten dynamisch zu verarbeiten, wobei Bildanzeigeparameter, die dem zumindest ersten Abschnitt des Geländes zugeordnet sind, während der gesamten Bewegungsbahn des zweiten Abschnitts beibehalten werden.
Arbeitsfahrzeug nach Anspruch 10, wobei die Verarbeitungseinheit dazu ausgelegt ist, die Bilddaten basierend auf einer aktuellen Position der Bildgebungsvorrichtung entlang der Bewegungsbahn des zweiten Abschnitts dynamisch zu verarbeiten.
Arbeitsfahrzeug nach Anspruch 11, das ferner einen oder mehrere kinematische Sensoren umfasst, die an dem Arbeitsfahrzeug positioniert und mit der Verarbeitungseinheit verbunden sind, wobei die Verarbeitungseinheit dazu ausgelegt ist, die aktuelle Position der Bildgebungsvorrichtung in einem lokalen Bezugssystem über zumindest Signale aus dem einen oder den mehreren kinematischen Sensoren zu bestimmen.
Arbeitsfahrzeug nach Anspruch 12, wobei der eine oder die mehreren kinematischen Sensoren in die Bildgebungsvorrichtung integriert sind.
Arbeitsfahrzeug nach Anspruch 12, wobei der eine oder die mehreren kinematischen Sensoren einen ersten Positionssensor, der an dem ersten Abschnitt des Arbeitsfahrzeugs angebracht ist, und einen zweiten Positionssensor, der an dem zweiten Abschnitt des Arbeitsfahrzeugs angebracht ist, umfassen.
Arbeitsfahrzeug nach einem der Ansprüche 10-14, wobei die dynamische Verarbeitung der Bilddaten dynamisches Schneiden der Bilddaten aus dem Sichtfeld der Bildgebungsvorrichtung und in Bezug auf den zumindest ersten Abschnitt des Geländes umfasst, und wobei das dynamische Schneiden der Bilddaten zumindest zum Teil über Abruf und Implementierung eines oder mehrerer Modelle entsprechend einer aktuellen Position der Bildgebungsvorrichtung entlang der Bewegungsbahn des zweiten Abschnitts erzielt wird.