AT527033A4

AT527033A4 - Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft

Info

Publication number: AT527033A4
Application number: ATA50361/2023A
Authority: AT
Inventors: Gridling Peter
Original assignee: Frequentis Ag
Priority date: 2023-05-09
Filing date: 2023-05-09
Publication date: 2024-10-15
Also published as: WO2024229492A1; AU2024268551A1; AT527033B1; EP4710558A1

Abstract

Verfahren sowie Terminal zur Darstellung und Aktualisierung eines Panoramabildes (2) einer Landschaft, mit einem Anzeigemittel sowie mit mindestens einer Kamera (1), mit deren Bildwinkel ein Ausschnitt (6) aus dem Bildwinkel des Panoramabilds erfassbar ist, wobei die Position der Kamera im Bereich des Bildwinkels des Panoramabildes steuerbar ist, mit dem Schritt: (i) Anzeigen des Panoramabildes am Anzeigemittel, gekennzeichnet durch die Schritte: (ii) Schwenken der Kamera in eine vorbestimmte Position und Erstellen einer Aufnahme, (iii) Vergleich von Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes, an dessen Stelle Aufnahme gefügt werden soll, (iv) entweder Einfügen der Aufnahme an die Stelle des Ausschnitts des Panoramabildes, wenn die Referenzwerte erfüllt sind, (v) oder Anpassung der Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt des Panoramabildes gefügt wird.

Description

Die Erfindung betrifft ein Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft, mit einem Anzeigemittel sowie mit mindestens einer Kamera, mit deren Bildwinkel ein Ausschnitt aus dem Bildwinkel des Panoramabilds erfassbar ist, wobei die Position der Kamera im Bereich des Bildwinkels des Panoramabildes steuerbar ist, mit dem Schritt: (i) Anzeigen des Panoramabildes am Anzeigemittel. Die Erfindung betrifft zudem ein Terminal zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft umfassend mindestens einer Kamera, mit deren Bildwinkel ein Ausschnitt aus dem Bildwinkel des Panoramabilds erfassbar ist, und einen Anzeigemittel, auf welchem das Panoramabild darstellbar ist, wobei zwischen Kamera und Anzeigemittel eine Steuerungs- und Verarbeitungseinheit geschaltet ist, die dazu ausgebildet ist, (I) das Panoramabild am Anzeigemittel

anzuzeigen.

Im Stand der Technik werden in verschiedenen Anwendungen, wie z.B. BroadcastProduktionen oder Remote Air Traffic Control (ATC) Tower, Live-Panorama-Videos verwendet, die von einem ersten Set an Kameras (den Panoramakameras) erzeugt wird. Gleichzeitig werden zusätzliche PTZ-Kameras eingesetzt, um mit diesen Details der in den Panorama-Videos abgebildeten Szenerie mit größerem Zoom-Faktor (und damit besser für den Betrachter erkennbar) darzustellen (Beispiel: Ein landendes Flugzeug in einem Panorama-Video einer Remote ATC Tower Anwendung, das der Lotse im Detail sehen muss, um beurteilen zu können, ob das Fahrwerk dieses Flugzeuges ausgefahren ist). Die Panoramakameras sind dazu in unmittelbarer Nähe, idealerweise direkt unter oder über der zu steuerbaren PTZ- Kamera angeordnet. Dies hat folgende Nachteile: Es ist ein zweites Kamerasystem zur Aufnahme des Panorama-Videos notwendig; Kamera-Systeme zur Aufnahme von Panoramen mit einem Bildwinkel von mehr als 180° sind sehr teuer; die Kamera — z.B. eine PTZKamera — und das Panorama-Kamerasystem müssen manuell zueinander kalibriert werden, was zeitaufwendig ist und immer wiederholt werden muss, wenn es zu einer Positions- oder Ausrichtungsänderung einer der beiden Kameras kommt; die Bildverarbeitung zur Panorama-Generierung verursacht einen Delay bei der

Videoanzeige, was die präzise Steuerung der PTZ-Kamera beeinträchtigt; die

Die CN112991175 lehrt ein Verfahren und ein System, um aus einem Set von Einzelaufnahmen einer Kamerafahrt mit einer PTZ-Kamera ein Panoramabild zu erstellen. Dabei werden benachbarte Einzelaufnahmen überlappend derart arrangiert, dass die Bildinhalte keine Brüche erfahren. Nachteilig ist hier, dass keine Lösung dazu vorliegt, das einmal erstellte Panoramabild nach nützlichen Gesichtspunkten zu

aktualisieren.

Die CN106296584 offenbart ein Verfahren, in ein vorhandenes Panoramabild ein Videobild z.B. von einer Live-Kamera einzufügen. Diese Lösung ist starr und kann nur

eine vorgegebene Größe des Videobildes verarbeiten.

Die WO2018232412 betrifft ein Verfahren im Bereich der Kartographie, mit welchem zu Ausschnitten eines vorgegebenen Panoramabildes eine Sequenz von Bildern mit steigendem Zoom-Faktor hinterlegt ist, um in jede Position des Panoramabildes hineinzoomen zu können. Ein Verfahren zur Aktualisierung, zur Überwachung oder

Videodarstellung des Panoramas oder Teilen davon wird nicht angegeben.

Aufgabe der Erfindung ist es, die Nachteile des Standes der Technik zu überwinden sowie mit apparativ einfachen Mitteln ein Panoramabild für Überwachungs- oder Steuerungszwecke zu erzeugen und zu aktualisieren, wobei auch die Datenübertragung ressourcensparend ablaufen soll. Die Lösung soll gleichzeitig

wartungsarm, zuverlässig, einfach oder intuitiv zu bedienen und kostengünstig sein.

Das erfindungsgemäße Verfahren erreicht dies durch die Schritte: (ii) Schwenken der Kamera in eine vorbestimmte Position und Erstellen einer Aufnahme,

(li) Vergleich von Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes, an dessen Stelle die Aufnahme gefügt werden soll, (iv) entweder Einfügen der Aufnahme an die Stelle des Ausschnitts des

Panoramabildes, wenn die Referenzwerte erfüllt sind,

Bei einer vorteilhaften Ausführungsform der Erfindung wird eine Auswahl von Bildpixeln des Panoramabildes als Basis der Referenzwerte verwendet, wobei insbesondere als Referenzwerte die Kontrastwerte der Bildpixel dienen. Dadurch werden Aktualisierungen optisch gleichmäßiger und unter Vermeidung von Einfügungen fehlerhafter Aufnahmen möglich. Kontrastwerte sind dabei eine immer vorhandene und auslesbare Pixeleigenschaft.

Es ist ebenso daran gedacht, dass zuvor ein Panoramabild mit den Schritten erzeugt wird: Erstellen einer Menge von Aufnahmen durch die Kamera als Fotos im Bildwinkel des zu erzeugenden Panoramabildes durch Wiederholen der Schritte:

(a) Aufnehmen eines ersten Fotos an einer ersten Position,

(b) Ergänzung des ersten Fotos mit Metadaten,

(c) Fahren der Kamera an eine nächste Position, sowie Zusammenfügen der Aufnahmen nebeneinander mit einer vorbestimmten Überlappung und unter Verwendung der Metadaten. Damit wird ein Panoramabild überhaupt erst errichtet, und zwar in einem Format, das dem System bereits entspricht.

Es kann ebenso ein Überblenden von überlappenden Bereichen benachbarter Aufnahmen in halbtransparenter Weise erfolgen. Auch dies verbessert die optisch gleichmäßige Darstellung.

Bei einer weiteren Ausbildung des Verfahrens erfolgt ein Überblenden von überlappenden Bereichen benachbarter Aufnahmen auf 10%-30% der Fläche der Aufnahmen, was einer Balance zwischen technisch sicherer Überscheidung, aber geringen Flächenverlusten entspricht.

Bei einer vorteilhaften Ausführungsform der Erfindung ist mindestens eine Kamera

eine PTZ-Kamera, da dies ein einfach und sicher zu steuernder Kamera-Typ ist.

mehr als ein sich bewegendes Objekt im Panoramabild aktualisiert anzuzeigen.

Es kann ebenso eine Applikation vorgesehen sein, mit welcher im Panoramabild eine Geländekante am Horizont einer Landschaft ermittelt wird, und wobei der Schritt des Erstellens eines Videos durch die Kamera mit einem einstellbaren Zoom-Faktor in Abhängigkeit der Position der Kamera und des Bildwinkels der Kamera dergestalt erfolgt, dass die Geländekante, sowie ein vorbestimmter Winkelbereich des Geländes horizontal unterhalb der Geländekante, in dem Video liegen. Dadurch kann ein Operator ein fliegendes Objekt immer in Zusammenhang mit dem Boden darunter

erkennen und somit die Situation sicherer einschätzen.

Bei einer weiteren Ausbildung des Verfahrens wird mindestens ein Graphik-Overlay eingefügt, und wobei das Graphik-Overlay insbesondere Information über Objekte und/oder Ereignisse im Bereich der im Panoramabild abgebildeten Szenerie enthält, wodurch dem Operator zusätzliche wichtige Informationen über Ereignisse im Panoramabild mitgeteilt werden, so dass er diese schon beim Blick auf dieses

Panoramabild erhält und dafür nicht auf separate Anzeigeinstrumenten schauen muss.

Bei einer vorteilhaften Ausführungsform der Erfindung werden in einem oder in mehreren Bereichen des Panoramabilds Tiefeninformationen sichtbar eingefügt, um abermals dem Operator zusätzliche wichtige Informationen über Zustände von

Objekten oder Ereignisse im Panoramabild mitzuteilen.

Es ist ebenso daran gedacht, dass zusätzlich ein Video im Bildwinkel des Panoramabildes und in einem vom angezeigten Panoramabild separaten Fenster oder weiteren Anzeigemittel dargestellt wird, wobei die Bild-Auflösung der separaten Darstellung vom der Bild-Auflösung des in das Panoramabild eingefügten Videos abweicht. Auf diese Weise kann dem Operator ein gewählter Ausschnitt des Panoramabildes größer dargestellt werden, womit erreicht wird, dass der Operator in diesem größer dargestellten Ausschnitt Details besser als im Panoramabild erkennen

kann.

anzeigbar, an welcher sie noch nicht nahe genug sind, um sichtbar zu sein.

Bei einer weiteren Ausbildung des Verfahrens erfolgt die Ausrichtung der Kamera über eine Benutzerschnittstelle in Abhängigkeit von Klick- und/oder Touch-Befehlen eines Operators. Damit kann der Operator selbst sehr einfach den Ausschnitt im

Panoramabild auswählen, der zu aktualisieren ist.

Gemäß einer alternativen Ausführungsform kann die Ausrichtung der Kamera in Abhängigkeit von der Blickrichtung des Operators erfolgen, was ebenfalls eine sehr

einfache und intuitive Steuerung der Kamera-Ausrichtung durch den Operator erlaubt.

In einer weiteren Ausführungsform wird die Blickrichtung des Operators mithilfe einer vom Operator getragenen Virtual Reality-(VR-)Brille ermittelt. Vorteilhafterweise wird die Steuerung einfacher und intuitiver, der apparative Aufwand bei der Umsetzung des Verfahrens gleichzeitig geringer.

Das erfindungsgemäße Terminal löst die oben genannte Aufgabe zusammen mit den oben genannten Vorteilen dadurch, dass die Steuerungs- und Verarbeitungseinheit weiterhin dazu ausgebildet ist,

(ii) die Kamera in eine vorbestimmte Position zum Erstellen einer Aufnahme zu schwenken,

(li) Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes, an die die Aufnahme gefügt werden soll, zu vergleichen,

(iv) die Aufnahme an die Stelle des Ausschnitts des Panoramabildes einzufügen, wenn der zweite Satz von Referenzwerten erfüllt ist, oder

(v) die Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, anzupassen, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt des Panoramabildes gefügt wird.

Kamera-Typ handelt.

Es ist ebenso daran gedacht, dass die Steuerungs- und Verarbeitungseinheit mit einer Empfangsvorrichtung für Transponderdaten eines Luftfahrzeugs und/oder Radardaten verbunden ist. Dadurch werden Informationen empfangbar, die im Panoramabild

hilfreich als zusätzliche Informationen einem Operator anzeigbar sind.

Es kann ebenso die Steuerungs- und Verarbeitungseinheit mit einer Benutzerschnittstelle verbunden sein. Dadurch kann ein Operator als Benutzer selbst sehr einfach den Ausschnitt im Panoramabild auswählen, der zu aktualisieren ist.

Beispielhafte Ausführungsformen der Erfindung sind in den Zeichnungen schematisch dargestellt und werden im Folgenden unter Bezugnahme auf die Zeichnungen beispielhaft beschrieben. Es zeigen Fig. 1 bis Fig. 3 drei vereinfachte Panoramabilder, Fig. 4 das Zusammenfügen eines Panoramabildes aus drei Einzelaufnahmen, Fig. 5 ein Panoramabild mit Graphik-Overlays und Fig. 6 ein Panoramabild eines Flugfeldes mit einer hochauflösenden gezoomten Aufnahme eines Flugzeuges, sowie entsprechender Darstellung innerhalb des statischen Panoramas (auf die richtige Größe skaliert und eingebettet), sowie dessen separate Darstellung in voller Auflösung.

Das Verfahren und das Terminal bieten am Beispiel einer Flugraum- oder Flugfeldüberwachung aus der Distanz (Remote Tower Application) einen Ersatz des bandbreiten-intensiven Video-Panoramas durch ein statisches Panorama, welches ca. 80% der Übertragungsbandbreite bisheriger Remote Tower Applikationen spart. Gleichzeitig wird dem Fluglotsen ein fast gleichwertiges Situationsbewusstsein geboten, um ein bis drei simultane Flugbewegungen sicher und effizient abwickeln zu können. Die Anzahl der Flugbewegungen ist dabei von der Anzahl der eingesetzten Kameras abhängig. Ein sog. Remote Tower kann nun auch dort eingesetzt werden, wo die verfügbare Netzwerk-Bandbreite zwischen Flughafen und Standort des Terminals für die Flugsicherung gering ist. Im folgenden werden Teile eines

wenn nicht eines davon im technischen Zusammenhang auszuschließen ist.

Gemäß Fig. 1 bis Fig. 3 und folgende wird ein Verfahren zur Kamerasteuerung für eine Kamera 1, wie z.B. eine Pan-Tilt-Zoom-Kamera (kurz PTZ-Kamera), über ein 2dimensionales, statisches Panoramabild 2 angegeben. Das Panoramabild 2 wird dabei direkt von der PTZ-Kamera ohne Zuhilfenahme einer weiteren Kamera generiert und kontinuierlich erneuert. Die PTZ-Steuerung erfolgt anschließend durch Klick- oder Touch-Eingaben eines Operators über eine geeignete Benutzerschnittstelle. Diese Schnittstelle kann ein berührungsempfindlicher Bildschirm sein, auf welchem das Panoramabild 2 direkt angezeigt wird. Die PTZ-Kamera wird nach Empfang der Eingabe automatisch in die Richtung der entsprechenden Position ausgerichtet. Zusätzlich können das 2-dimensionale Panoramabild 2 mit Tiefen-Informationen hinterlegt, sowie der Zoomfaktor und der Fokus automatisch gesteuert werden.

Gemäß einer besonders einfach zu bedienenden Alternative kann vorgesehen sein, dass der Kamera in Abhängigkeit von der Blickrichtung des Operators erfolgt, wobei die Blickrichtung des Operators mit oder ohne eine vom Operator getragenen Virtual Reality-Brille (VR-Brille) ermittelt wird.

Wenn eine VR-Brille verwendet wird, die der Operator trägt, dient sie gleichzeitig als Anzeigemittel und als Steuerung der PTZ-Kamera durch den Operator. Es werden dabei die aktuelle Blickrichtung des Operators bzw. Änderungen dieser Blickrichtung mit Hilfe der Sensoren der VR-Brille erfasst und die PTZ-Kamera entsprechend dieser Blickrichtung bzw. deren Änderung ausgerichtet. In dieser Ausführungsform wird das Panoramabild 2 in der VR-Brille angezeigt. Eine VR-Brille ist mit Kipp- und Bewegungssensoren ausgestattet, die Feststellung der Blickrichtung und von Änderungen der Blickrichtung des Operators ermöglichen.

Wie in Fig. 6 gezeigt wird in das zuvor erstellte statische Panoramabild 2 ein LiveVideo der PTZ-Kamera eingeblendet, um das statische Panoramabild 2 an den Stellen, in denen gerade für den Operator wichtige Ereignisse stattfinden (z.B. ein Flugzeug fliegt) zu aktualisieren. Das Live-Video der PTZ-Kamera wird dazu

geparkten Flugzeuge am Flugfeld nicht bewegt werden.

Zur besseren Unterscheidung vom statischen Panoramabild und dem eingebetteten Live-Video, kann das Panorama-Bild auch in schwarz-weiß dargestellt werden, während das Live-Video in Farbe dargestellt wird. Zusätzlich können erst kürzlich aktualisierte Bildbereiche innerhalb des Panoramas in Farbe dargestellt werden, während Bereiche, welche bereits vor längerer Zeit aktualisiert wurden, in Graustufen dargestellt werden.

Vorbereitend wird das Panoramabild 2 generiert, indem die Kamera 1 automatisch wie in Fig. 1 bis Fig. 3 und 4 dargestellt, vorgegebene Positionen anfährt, die so definiert sind, dass sich Einzelaufnahmen 3 zwischen zwei benachbarten Positionen zu etwa 10 bis 30 Flächen-% überschneiden. An jeder Position nimmt die Kamera 1 ein statisches Bild (Einzelaufnahme 3) auf. Zudem speichert das System die MetaInformationen der Kamera 1 (horizontale und vertikale Ausrichtung, Zoom-Faktor) zu jeder Einzelaufnahme 3 ab.

Die Einzelaufnahmen 3 werden anschließend mittels eines bekannten SoftwareAlgorithmus unter Beachtung der Meta-Informationen zu dem gesamten Panoramabild

2 zusammengefügt und dem Benutzer angezeigt.

Die Anzeige kann über jedes geeignete Anzeigemittel erfolgen, wie etwa einen Bildschirm, einen berührungsempfindlichen Bildschirm, ein Bildschirm einer VR-Brille,

3 Sr

Projektor oder ähnliches.

Das erzeugte Panoramabild 2 ist 2-dimensional und zunächst statisch, d.h. unbewegt. Die Erfindung bietet den Vorteil, das Panoramabild 2 kontinuierlich an den notwendigen Positionen oder Ausschnitten 6 zu aktualisieren. Die Erfindung befasst sich mit der Aufgabe, durch welche Ereignisse konkrete Aktualisierungen des Panoramabildes 2 ausgelöst werden und wie die Aktualisierungen dann konkret und genau erfolgen.

In Fig. 4 ist zu sehen, wie aus beispielhaften drei Einzelaufnahmen 3 mit einem jeweiligen bestimmten ersten Bildwinkel ein Panoramabild 2 mit einem deutlich größeren Bildwinkel entsteht. Erfasst wird in diesem Beispiel ein Flugfeld aus Flughafenboden, der ein Gelände 7 darstellt, aus Geländekante 8 sowie aus Himmel 9.

Das Verfahren zur Panorama-Generierung läuft vollautomatisch ab. Bei der Anzeige kann das Panoramabild 2 gemäß Fig. 5 mit zusätzlichen Graphik-Overlays 10 augmentiert werden, um dem Benutzer eine bessere Orientierung im angezeigten Gelände zu ermöglichen (beispielsweise indem Bereiche, in denen Flugzeuge parken, eingefärbt oder mit einer Schraffur überlagert werden). Die Graphik-Overlays können auch Symbole und/oder Ziffern für Flugzeuge oder Flugobjekte am Himmel 9 umfassen, wobei Inhalte dieser Symbole/Ziffern beispielsweise das Funkkennzeichen, Flughöhe oder Fluggeschwindigkeit sein können. Im folgenden wird allgemein von Objekten 11 gesprochen, die sich im Sichtbereich des Panoramabildes 2 bewegen.

Zusätzlich kann das Panoramabild 2 mit zusätzlichen Tiefen-Informationen versehen werden, um eine entsprechende Einstellung des Zoom-Faktors und Fokus der Kamera 1 zu ermöglichen. Insbesondere bei kleineren Objekten (beispielsweise Drohnen oder Vögel) kann es vorkommen, dass der Autofokus der Kamera 1 nicht richtig funktioniert. Wenn Tiefeninformationen zu solchen Objekten bekannt sind, können Fokus und Zoomfaktor der Kamera 1 entsprechend dieser Tiefeninformationen eingestellt bzw.

zumindest der Autofokus damit unterstützt werden.

Bildschirm schauen muss.

Die Tiefen-Informationen werden über geeignete Schnittstellen von entsprechenden Datenquellen, wie z.B. Entfernungsmesser, Radarsystem, Bilderkennungssoftware (für Objektgrößen) eingelesen. Für statische Objekte, wie Berge oder Gebäude,

können diese Tiefeninformationen fix im System eingetragen werden.

Der Operator ist im Beispiel der „Remote Tower Application“ ein Fluglotse. Es kann

sich bei anderen Anwendungsbeispielen um jede Art von Benutzer handeln.

Die Ausrichtung der Kamera 1 erfolgt über Eingabegeräte, beispielsweise durch einen einfachen „Klick“ oder „Touch“ innerhalb des Panoramabildes 2. Die Kamera 1, wie etwa eine PTZ-Kamera, wird daraufhin exakt in diese Richtung vertikal und horizontal ausgerichtet. Wenn zusätzlich Tiefen-Informationen hinterlegt wurden, so wird entsprechend der hinterlegten Tiefen-Information auch der Zoom-Faktor und der Fokus der Kamera entsprechend eingestellt, um den angezeigten Bildinhalt genau z.B.

hinsichtlich der Schärfe anzuzeigen.

Alternatives Eingabegerät zur Ausrichtung der Kamera 1 ist ein Sensor, der die Blickrichtung des Operators auf das Panorama 2 ermittelt, wie z.B. eine Kamera, die das Gesicht des Operators aufnimmt mit einer nachgeschalteten Bilderkennungs-

Software, die die Ausrichtung der Augenachsen des Operators bestimmt.

Zusätzlich kann die Ausrichtung der Kamera 1 auch über Positionsdaten von Objekten 11, wie z.B. einem Flugzeug, welche von einem Drittsensor (z.B. Transponder, Radar, etc.) bereitgestellt werden, erfolgen. Die Darstellung des PTZ-Videobildes kann dabei in der Originalauflösung in einem separaten Fenster 4 neben dem Panoramabild 2 erfolgen (Fig. 6) — z.B. um noch mehr Informationen über das Geschehen zu vermitteln —, jedenfalls aber skaliert direkt im Panoramabild 2. Gemäß Fig. 6 entsteht für den Benutzer dadurch der Eindruck, dass er die Kamera 1 über ein Live-Panorama steuern

würde, was das System noch intuitiver in der Bedienung und Ansicht macht.

Wenn ein separates Fenster 4 vorgesehen ist, wird das Video darin in aller Regel vergrößert, also in voller Bild-Auflösung unskaliert angezeigt, während das Video, welches im Panoramabild 2 eingefügt wird, immer auf die im Panoramabild 2 passende Größe skaliert wird. Es kann also dem Operator ein gewählter Ausschnitt des Panoramabildes 2 größer dargestellt werden, womit erreicht wird, dass der Operator in diesem größer dargestellten Ausschnitt Details besser als im Panoramabild 2 erkennen kann. Ein Beispiel dafür sind die Konturen eines Flugzeugrumpfes: Im größer dargestellten Ausschnitt kann der Operator besser als im Panoramabild 2 erkennen, ob das Fahrwerk dieses Flugzeuges aus- oder eingefahren ist.

Durch die Einbindung von Drittsensoren (z.B. ADS-B-Transponder, Radar) kann das Panoramabild 2 mit zusätzlichen Echtzeitdaten von Flugzeugen und anderen Objekten 11 augmentiert werden, um das Situationsbewusstsein des Operators weiter zu erhöhen. Zusätzlich können die Positionsdaten des Drittsensors auch zur Steuerung der PTZ-Kameras hinzugezogen werden. In Fig._6 ist das Beispiel einer Kombination 12 aus Flugzeug mit beigeordnetem Graphik-Overlay im (Live-Video-) Ausschnitt 6

dargestellt. Transponder- und/oder Radardaten sind weiters zur automatischen Steuerung der

Kamera 1 verwendbar: Mithilfe solcher Daten kann die Kamera 1 automatisch in jene Bereiche verfahren werden, die gerade für den Operator wichtig sind. Beispielsweise

werden.

Durch den Einsatz von Drittsensoren wird sichergestellt, dass die Kamera 1 bereits auf das Flugzeug ausgerichtet werden kann, obwohl es im Panoramabild 2 noch nicht in Sichtweite ist. So ist es für den Operator deutlich einfacher, das Flugzeug zu finden, sobald es in den sichtbaren Bereich kommt. Bei der in den Fig. 5 und 6 gezeigten Ausführungsform sind Objekte 11 teilweise größer und deutlicher dargestellt, als sie es in natura sind, was es dem Operator ebenfalls einfacher macht, diese Objekte

verlässlich im Panoramabild 2 zu erkennen.

Es können auch zwei Kameras 1 vorhanden sein, die das Panoramabild 2 schrittweise erzeugen und anschließend schrittweise aktualisieren. Zwar wird dann der apparative Aufwand des Verfahrens und des Systems größer, jedoch können dann beispielsweise aktuelle Bewegungen zweier unabhängiger Objekte 11 im Winkelbereich des Panoramabildes 2 unabhängig voneinander als Videosequenz in das Panoramabild 2 eingefügt werden. Selbst wenn sich die Ausschnitte 6 beider Objekte 11 zu einem Zeitpunkt überschneiden sollte, stellt die Erfindung sicher, dass der optisch bessere von den beiden Ausschnitten 6 hinsichtlich z.B. Kontrast, Helligkeit und Zoom-Faktor zur Anzeige kommt — und dadurch auch in diesem besonderen Zeitpunkt beide bewegte Objekte 11 sichtbar bleiben — während der andere temporär verworfen

werden kann (siehe unten).

Wenn es sich bei den beiden Objekten 11 um Flugobjekte handelt, muss eine temporäre Überschneidung ihrer Trajektorien im Panoramabild 2 (oder auch ein Nahekommen beider Trajektorien) keine Kollision oder Kollisionsgefahr bedeuten, da die Flugobjekte z.B. hinsichtlich ihrer Raumtiefe nur aus der Perspektive des Panoramabildes 2 einen zu geringen Abstand aufweisen. Ob und wie groß dieser im zweidimensionalen Panoramabild zunächst nicht sichtbare reale räumliche Abstand ist, wird dann z.B. über einer graphisch den Objekten beigefügten Tiefeninformation und/oder einem Graphik-Overlay 10 angezeigt, so dass der Operator vor, während und

Sy 5

einzugreifen ist.

Eine wesentliche Herausforderung stellt also die Überdeckung der Ausschnitte 6 von zwei PTZ-Fenstern dar, wenn beide Kameras 1 annähernd in dieselbe Richtung ausgerichtet sind, so dass sich die beiden Bildausschnitte überlagern. Dies kann insofern relevant sein, als dass im ungünstigsten Fall, nämlich bei wenig Kontrast und Helligkeit eines Objekts 11 gegenüber dem Hintergrund oder auch einer ungünstigen Farbeinstellung der Kamera ein Objekt 11 nur von einer Kamera 1 gesehen wird, von der anderen dagegen nicht. Wenn letztere dann die Aufnahme der ersten überdeckt, ist das Objekt 11 insgesamt für den Operator nicht sichtbar.

Dieses Problem löst die Erfindung, indem folgendes Verfahren angewandt wird: Nachdem das statische Panoramabild 2 von einer Kamera 1 generiert wird, wird das Panoramabild 2 als Referenzbild verwendet. Weil das System die Position des neuen Ausschnitts 6 innerhalb des Panoramabildes 2 kennt, können vorbestimmte einzelne Pixel, Bereiche von Pixeln oder alle Pixel im PTZ-Live-Videobild den einzelnen Referenzpixeln im statischen Panoramabild 2 zugeordnet und z.B. farblich verglichen werden. Der Vergleich kann auch hinsichtlich des Kontrastes, der Helligkeit, des

Zoom-Faktors oder Kombinationen dieser Eigenschaften erfolgen.

Das System vergleicht die Mehrzahl der Pixel zwischen dem statischen Bild und dem Live-PTZ-Videobild und stellt die Farbeinstellung (und/oder Kontrasteinstellung, Helligkeitseinstellung etc.) der Kamera 1 so ein, dass die kritischen Werte der entsprechenden Pixel möglichst ident sind. Dieser Prozess wird für alle eingesetzten Kameras 1 durchgeführt, so dass alle Kameras 1 ein farblich identes Videobild (oder stehendes Bild) liefern.

Um diesen Vergleich der Pixel bestmöglich durchzuführen, muss ein ggf. vorhandener Offset, welcher durch die unterschiedlichen Kamera-Positionen verursacht wird, durch die Software ausgeglichen werden. Sollten sich zwei oder mehr Einzelaufnahmen 3 überlappen, so werden die überlappenden Bereiche halbtransparent überblendet. Software-Module für die graphische Umsetzung von Überblendungen dieser Art mit individuell einstellbaren Parametern sind im Stand der Technik zu finden. Zusätzlich

angezeigt werden.

Für die Gefahreneinschätzung bei der Beobachtung eines Objektes 11 (Flugzeug, Drohne, Vögel, etc.) ist mmer der Bezug auf die Umgebung entscheidend. Aus diesem Grund ist es notwendig, dass der Operator neben dem Objekt 11 und dessen unmittelbarer Umgebung auch die Landschaft unterhalb des Objektes 11 angezeigt bekommt. Das System ermittelt im statischen Panoramabild 2 die Geländekante 8 am Horizont. In weiterer Folge sorgt das System dafür, dass der Zoom-Faktor der PTZKameras automatisch so eingestellt wird, dass im Live-Videobild der PTZ-Kamera sowohl das Objekt 11 als auch die Geländekante 8 inkl. eines einstellbaren vertikalen Bereichs (d.h. Winkelbereich) des Geländes 7 darunter sichtbar ist. Dies funktioniert sowohl bei automatischer als auch bei manueller Nachführung einer Kamera 1. Auf diese Weise ist der Operator jederzeit und unmittelbar in der Lage, die Position des Objekts 11 in Bezug auf das Gelände 7 zu ermitteln und sinnvolle Entscheidungen hinsichtlich der Flugfeldkontrolle vorzunehmen.

1 Kamera

2 Panoramabild

3 Einzelaufnahme 4 separates Fenster 6 Ausschnitt

7 Gelände

8 Geländekante

9 Himmel

10 Graphik-Overlay 11 Objekt

12 Kombination von Flugobjekt und beigeordnetem Graphik-Overlay

Claims

1. Verfahren zur Darstellung und Aktualisierung eines Panoramabildes (2) einer Landschaft, mit einem Anzeigemittel sowie mit mindestens einer Kamera (1), mit deren Bildwinkel ein Ausschnitt (6) aus dem Bildwinkel des Panoramabilds (2) erfassbar ist, wobei die Position der Kamera (1) im Bereich des Bildwinkels des Panoramabildes (2) steuerbar ist, mit dem Schritt:

(i) Anzeigen des Panoramabildes (2) am Anzeigemittel,

gekennzeichnet durch die Schritte:

(ii) Schwenken der Kamera (1) in eine vorbestimmte Position und Erstellen einer Aufnahme,

(li) Vergleich von Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes (2), an dessen Stelle Aufnahme gefügt werden soll, (iv) entweder Einfügen der Aufnahme an die Stelle des Ausschnitts (6) des Panoramabildes (2), wenn die Referenzwerte erfüllt sind,

(v) oder Anpassung der Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt (6) des Panoramabildes (2) gefügt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Auswahl von Bildpixeln des Panoramabildes (2) als Basis der Referenzwerte verwendet wird, wobei insbesondere als Referenzwerte die Kontrastwerte der Bildpixel dienen.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zuvor ein Panoramabild (2) mit den Schritten erzeugt wird: Erstellen einer Menge von Aufnahmen durch die Kamera (1) als Fotos im Bildwinkel des zu erzeugenden Panoramabildes (2) durch Wiederholen der Schritte: (a) Aufnehmen eines ersten Fotos an einer ersten Position, (b) Ergänzung des ersten Fotos mit Metadaten, (c) Fahren der Kamera (1) an eine nächste Position, sowie Zusammenfügen der Aufnahmen nebeneinander mit einer vorbestimmten

Überlappung und unter Verwendung der Metadaten.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein Überblenden von überlappenden Bereichen benachbarter Aufnahmen auf 10%-30% der Fläche der Aufnahmen beträgt erfolgt.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mindestens eine Kamera (1) eine PTZ-Kamera ist.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass es mit mindestens zwei Kameras (1) durchgeführt wird, die jeweils Aufnahmen in Form von

Fotos und in Form von Videos erstellen.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass eine Applikation vorgesehen ist, mit welcher im Panoramabild (2) eine Geländekante 8 am Horizont einer Landschaft ermittelt wird, und wobei der Schritt des Erstellens eines Videos durch die Kamera (1) mit einem einstellbaren Zoom-Faktor in Abhängigkeit der Position der Kamera (1) und des Bildwinkels der Kamera (1) dergestalt erfolgt, dass die Geländekante (8), sowie ein vorbestimmter Winkelbereich des Geländes (7) horizontal unterhalb der Geländekante (8), in dem Video liegen.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass mindestens ein Graphik-Overlay (10) eingefügt wird, und wobei das Graphik-Overlay (10) insbesondere Information über Objekte und/oder Ereignisse im Bereich der im Panoramabild (2) abgebildeten Szenerie enthält.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass in einem oder in mehreren Bereichen des Panoramabilds (2) Tiefeninformationen

sichtbar eingefügt werden.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zusätzlich ein Video im Bildwinkel des Panoramabildes (2) und in einem vom

12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Ausrichtung der Kamera (1) in Abhängigkeit von Positionsdaten von Drittsensoren, insbesondere von mindestens einem Transponder, mindestens einem ADS-B-

Transponder und/oder mindestens einem Radar, erfolgt.

13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Ausrichtung der Kamera (1) über eine Benutzerschnittstelle in Abhängigkeit von Klick-

und/oder Touch-Befehlen eines Operators erfolgt.

14. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Ausrichtung der Kamera (1) in Abhängigkeit von der Blickrichtung des Operators

erfolgt.

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Blickrichtung des Operators mithilfe einer vom Operator getragenen Virtual Reality- (VR-)Brille ermittelt

wird.

16. Terminal zur Darstellung und Aktualisierung eines Panoramabildes 2 einer Landschaft umfassend mindestens einer Kamera (1), mit deren Bildwinkel ein Ausschnitt (6) aus dem Bildwinkel des Panoramabilds (2) erfassbar ist, und einen Anzeigemittel, auf welchem das Panoramabild (2) darstellbar ist, wobei zwischen Kamera (1) und Anzeigemittel eine Steuerungs- und Verarbeitungseinheit geschaltet ist, die dazu ausgebildet ist,

(i) das Panoramabild (2) am Anzeigemittel anzuzeigen,

gekennzeichnet dadurch, dass die Steuerungs- und Verarbeitungseinheit weiterhin dazu ausgebildet ist,

(ii) die Kamera (1) in eine vorbestimmte Position zum Erstellen einer Aufnahme zu schwenken,

(li) Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes (6) des Panoramabildes (2), an dessen Stelle Aufnahme gefügt werden soll, zu vergleichen,

(v) die Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, anzupassen, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt des Panoramabildes (2) gefügt wird.

17. Terminal nach Anspruch 16, dadurch gekennzeichnet, dass die mindestens eine

Kamera (1) eine PTZ-Kamera ist.

18. Terminal nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass die Steuerungs- und Verarbeitungseinheit mit einer Empfangsvorrichtung für

Transponderdaten eines Luftfahrzeugs und/oder Radardaten verbunden ist.

19. Terminal nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass die Steuerungs- und Verarbeitungseinheit mit einer Benutzerschnittstelle verbunden ist.

AM DS