AT527033B1 - Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft - Google Patents

Abstract

Verfahren sowie Terminal zur Darstellung und Aktualisierung eines Panoramabildes (2) einer Landschaft, mit einem Anzeigemittel sowie mit mindestens einer Kamera (1), mit deren Bildwinkel ein Ausschnitt (6) aus dem Bildwinkel des Panoramabilds erfassbar ist, wobei die Position der Kamera im Bereich des Bildwinkels des Panoramabildes steuerbar ist, mit dem Schritt: (i) Anzeigen des Panoramabildes am Anzeigemittel, gekennzeichnet durch die Schritte: (ii) Schwenken der Kamera in eine vorbestimmte Position und Erstellen einer Aufnahme, (iii) Vergleich von Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes, an dessen Stelle Aufnahme gefügt werden soll, (iv) entweder Einfügen der Aufnahme an die Stelle des Ausschnitts des Panoramabildes, wenn die Referenzwerte erfüllt sind, (v) oder Anpassung der Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt des Panoramabildes gefügt wird.

Description

Beschreibung

VERFAHREN ZUR DARSTELLUNG UND AKTUALISIERUNG EINES PANORAMABILDES ElNER LANDSCHAFT

[0001] Die Erfindung betrifft ein Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft, mit einem Anzeigemittel sowie mit mindestens einer Kamera, mit deren Bildwinkel ein Ausschnitt aus dem Bildwinkel des Panoramabilds erfassbar ist, wobei die Position der Kamera im Bereich des Bildwinkels des Panoramabildes steuerbar ist, mit dem Schritt: (i) Anzeigen des Panoramabildes am Anzeigemittel. Die Erfindung betrifft zudem ein Terminal zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft umfassend mindestens einer Kamera, mit deren Bildwinkel ein Ausschnitt aus dem Bildwinkel des Panoramabilds erfassbar ist, und einen Anzeigemittel, auf welchem das Panoramabild darstellbar ist, wobei zwischen Kamera und Anzeigemittel eine Steuerungs- und Verarbeitungseinheit geschaltet ist, die dazu ausgebildet ist, (i) das Panoramabild am Anzeigemittel anzuzeigen.

[0002] Im Stand der Technik werden in verschiedenen Anwendungen, wie z.B. Broadcast-Produktionen oder Remote Air Traffic Control (ATC) Tower, Live-Panorama-Videos verwendet, die von einem ersten Set an Kameras (den Panoramakameras) erzeugt wird. Gleichzeitig werden zusätzliche PTZ-Kameras eingesetzt, um mit diesen Details der in den Panorama-Videos abgebildeten Szenerie mit größerem Zoom-Faktor (und damit besser für den Betrachter erkennbar) darzustellen (Beispiel: Ein landendes Flugzeug in einem Panorama-Video einer Remote ATC Tower Anwendung, das der Lotse im Detail sehen muss, um beurteilen zu können, ob das Fahrwerk dieses Flugzeuges ausgefahren ist). Die Panoramakameras sind dazu in unmittelbarer Nähe, idealerweise direkt unter oder über der zu steuerbaren PTZ-Kamera angeordnet. Dies hat folgende Nachteile: Es ist ein zweites Kamerasystem zur Aufnahme des Panorama-Videos notwendig; Kamera-Systeme zur Aufnahme von Panoramen mit einem Bildwinkel von mehr als 180° sind sehr teuer; die Kamera - z.B. eine PTZ-Kamera - und das Panorama-Kamerasystem müssen manuell zueinander kalibriert werden, was zeitaufwendig ist und immer wiederholt werden muss, wenn es zu einer Positions- oder Ausrichtungsänderung einer der beiden Kameras kommt; die Bildverarbeitung zur Panorama-Generierung verursacht einen Delay bei der Videoanzeige, was die präzise Steuerung der PTZ-Kamera beeinträchtigt; die benötigte Bandbreite bei digitaler Daten-Übertragung via IP ist überproportional hoch (bis zu 80% der Gesamtvideobandbreite).

[0003] Die CN112991175 lehrt ein Verfahren und ein System, um aus einem Set von Einzelaufnahmen einer Kamerafahrt mit einer PTZ-Kamera ein Panoramabild zu erstellen. Dabei werden benachbarte Einzelaufnahmen überlappend derart arrangiert, dass die Bildinhalte keine Brüche erfahren. Nachteilig ist hier, dass keine Lösung dazu vorliegt, das einmal erstellte Panoramabild nach nützlichen Gesichtspunkten zu aktualisieren.

[0004] Die CN106296584 offenbart ein Verfahren, in ein vorhandenes Panoramabild ein Videobild z.B. von einer Live-Kamera einzufügen. Diese Lösung ist starr und kann nur eine vorgegebene Größe des Videobildes verarbeiten.

[0005] Die WO2018232412 betrifft ein Verfahren im Bereich der Kartographie, mit welchem zu Ausschnitten eines vorgegebenen Panoramabildes eine Sequenz von Bildern mit steigendem Zoom-Faktor hinterlegt ist, um in jede Position des Panoramabildes hineinzoomen zu können. Ein Verfahren zur Aktualisierung, zur Überwachung oder Videodarstellung des Panoramas oder Teilen davon wird nicht angegeben.

[0006] Aufgabe der Erfindung ist es, die Nachteile des Standes der Technik zu überwinden sowie mit apparativ einfachen Mitteln ein Panoramabild für Uberwachungs- oder Steuerungszwecke zu erzeugen und zu aktualisieren, wobei auch die Datenübertragung ressourcensparend ablaufen soll. Die Lösung soll gleichzeitig wartungsarm, zuverlässig, einfach oder intuitiv zu bedienen und kostengünstig sein.

[0007] Das erfindungsgemäße Verfahren erreicht dies durch die Schritte: (ii) Schwenken der Kamera in eine vorbestimmte Position und Erstellen einer Aufnahme,

(li) Vergleich von Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes, an dessen Stelle die Aufnahme gefügt werden soll,

(iv) entweder Einfügen der Aufnahme an die Stelle des Ausschnitts des Panoramabildes, wenn die Referenzwerte erfüllt sind,

(v) oder Anpassung der Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt des Panoramabildes gefügt wird.

[0008] Bei einer vorteilhaften Ausführungsform der Erfindung wird eine Auswahl von Bildpixeln des Panoramabildes als Basis der Referenzwerte verwendet, wobei insbesondere als Referenzwerte die Kontrastwerte der Bildpixel dienen. Dadurch werden Aktualisierungen optisch gleichmäßiger und unter Vermeidung von Einfügungen fehlerhafter Aufnahmen möglich. Kontrastwerte sind dabei eine immer vorhandene und auslesbare Pixeleigenschaft.

[0009] Es ist ebenso daran gedacht, dass zuvor ein Panoramabild mit den Schritten erzeugt wird:

[0010] Erstellen einer Menge von Aufnahmen durch die Kamera als Fotos im Bildwinkel des zu erzeugenden Panoramabildes durch Wiederholen der Schritte:

(a) Aufnehmen eines ersten Fotos an einer ersten Position,

(b) Ergänzung des ersten Fotos mit Metadaten,

(c) Fahren der Kamera an eine nächste Position, sowie Zusammenfügen der Aufnahmen nebeneinander mit einer vorbestimmten Überlappung und unter Verwendung der Metadaten. Damit wird ein Panoramabild überhaupt erst errichtet, und zwar in einem Format, das dem System bereits entspricht.

[0011] Es kann ebenso ein Überblenden von überlappenden Bereichen benachbarter Aufnahmen in halbtransparenter Weise erfolgen. Auch dies verbessert die optisch gleichmäßige Darstellung.

[0012] Bei einer weiteren Ausbildung des Verfahrens erfolgt ein Überblenden von überlappenden Bereichen benachbarter Aufnahmen auf 10%-30% der Fläche der Aufnahmen, was einer Balance zwischen technisch sicherer Überscheidung, aber geringen Flächenverlusten entspricht.

[0013] Bei einer vorteilhaften Ausführungsform der Erfindung ist mindestens eine Kamera eine PTZ-Kamera, da dies ein einfach und sicher zu steuernder Kamera-Typ ist.

[0014] Es ist ebenso daran gedacht, dass das Verfahren mit mindestens zwei Kameras durchgeführt wird, die jeweils Aufnahmen in Form von Fotos und in Form von Videos erstellen. Durch diesen apparativ kleinen Mehraufwand wird der Vorteil ermöglicht, mehr als ein sich bewegendes Objekt im Panoramabild aktualisiert anzuzeigen.

[0015] Es kann ebenso eine Applikation vorgesehen sein, mit welcher im Panoramabild eine Geländekante am Horizont einer Landschaft ermittelt wird, und wobei der Schritt des Erstellens eines Videos durch die Kamera mit einem einstellbaren Zoom-Faktor in Abhängigkeit der Position der Kamera und des Bildwinkels der Kamera dergestalt erfolgt, dass die Geländekante, sowie ein vorbestimmter Winkelbereich des Geländes horizontal unterhalb der Geländekante, in dem Video liegen. Dadurch kann ein Operator ein fliegendes Objekt immer in Zusammenhang mit dem Boden darunter erkennen und somit die Situation sicherer einschätzen.

[0016] Bei einer weiteren Ausbildung des Verfahrens wird mindestens ein Graphik-Overlay eingefügt, und wobei das Graphik-Overlay insbesondere Information über Objekte und/oder Ereignisse im Bereich der im Panoramabild abgebildeten Szenerie enthält, wodurch dem Operator zusätzliche wichtige Informationen über Ereignisse im Panoramabild mitgeteilt werden, so dass er diese schon beim Blick auf dieses Panoramabild erhält und dafür nicht auf separate Anzeigeinstrumenten schauen muss.

[0017] Bei einer vorteilhaften Ausführungsform der Erfindung werden in einem oder in mehreren Bereichen des Panoramabilds Tiefeninformationen sichtbar eingefügt, um abermals dem Operator zusätzliche wichtige Informationen über Zustände von Objekten oder Ereignisse im Panoramabild mitzuteilen.

[0018] Es ist ebenso daran gedacht, dass zusätzlich ein Video im Bildwinkel des Panoramabildes und in einem vom angezeigten Panoramabild separaten Fenster oder weiteren Anzeigemittel dargestellt wird, wobei die Bild-Auflösung der separaten Darstellung vom der Bild-Auflösung des in das Panoramabild eingefügten Videos abweicht. Auf diese Weise kann dem Operator ein gewählter Ausschnitt des Panoramabildes größer dargestellt werden, womit erreicht wird, dass der Operator in diesem größer dargestellten Ausschnitt Details besser als im Panoramabild erkennen kann.

[0019] Es kann ebenso die Ausrichtung der Kamera in Abhängigkeit von Positionsdaten von Drittsensoren, insbesondere von mindestens einem Transponder, mindestens einem ADS-BTransponder und/oder mindestens einem Radar, erfolgen. Dadurch können Entscheidungen über Positionen, die im Panoramabild aktualisiert werden sollen, automatisch getroffen werden. Zudem sind Objekte an einer Position im Panoramabild anzeigbar, an welcher sie noch nicht nahe genug sind, um sichtbar zu sein.

[0020] Bei einer weiteren Ausbildung des Verfahrens erfolgt die Ausrichtung der Kamera über eine Benutzerschnittstelle in Abhängigkeit von Klick- und/oder Touch-Befehlen eines Operators. Damit kann der Operator selbst sehr einfach den Ausschnitt im Panoramabild auswählen, der zu aktualisieren ist.

[0021] Gemäß einer alternativen Ausführungsform kann die Ausrichtung der Kamera in Abhängigkeit von der Blickrichtung des Operators erfolgen, was ebenfalls eine sehr einfache und intuitive Steuerung der Kamera-Ausrichtung durch den Operator erlaubt.

[0022] In einer weiteren Ausführungsform wird die Blickrichtung des Operators mithilfe einer vom Operator getragenen Virtual Reality-(VR-)Brille ermittelt. Vorteilhafterweise wird die Steuerung einfacher und intuitiver, der apparative Aufwand bei der Umsetzung des Verfahrens gleichzeitig geringer.

[0023] Das erfindungsgemäße Terminal löst die oben genannte Aufgabe zusammen mit den oben genannten Vorteilen dadurch, dass die Steuerungs- und Verarbeitungseinheit weiterhin dazu ausgebildet ist,

(ii) die Kamera in eine vorbestimmte Position zum Erstellen einer Aufnahme zu schwenken,

(li) Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes, an die die Aufnahme gefügt werden soll, zu vergleichen,

(iv) die Aufnahme an die Stelle des Ausschnitts des Panoramabildes einzufügen, wenn der zweite Satz von Referenzwerten erfüllt ist, oder

(v) die Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, anzupassen, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt des Panoramabildes gefügt wird.

[0024] Bei einer vorteilhaften Ausführungsform des Terminals ist die mindestens eine Kamera eine PTZ-Kamera, da es sich dabei um einen einfach und sicher zu steuernden Kamera-Typ handelt.

[0025] Es ist ebenso daran gedacht, dass die Steuerungs- und Verarbeitungseinheit mit einer Empfangsvorrichtung für Transponderdaten eines Luftfahrzeugs und/oder Radardaten verbunden ist. Dadurch werden Informationen empfangbar, die im Panoramabild hilfreich als zusätzliche Informationen einem Operator anzeigbar sind.

[0026] Es kann ebenso die Steuerungs- und Verarbeitungseinheit mit einer Benutzerschnittstelle verbunden sein. Dadurch kann ein Operator als Benutzer selbst sehr einfach den Ausschnitt im Panoramabild auswählen, der zu aktualisieren ist.

[0027] Beispielhafte Ausführungsformen der Erfindung sind in den Zeichnungen schematisch dargestellt und werden im Folgenden unter Bezugnahme auf die Zeichnungen beispielhaft beschrieben. Es zeigen Fig. 1 bis Fig. 3 drei vereinfachte Panoramabilder, Fig. 4 das Zusammenfügen eines Panoramabildes aus drei Einzelaufnahmen, Fig. 5 ein Panoramabild mit Graphik-Overlays und Fig. 6 ein Panoramabild eines Flugfeldes mit einer hochauflösenden gezoomten Aufnahme eines Flugzeuges, sowie entsprechender Darstellung innerhalb des statischen Panora-

mas (auf die richtige Größe skaliert und eingebettet), sowie dessen separate Darstellung in voller Auflösung.

[0028] Das Verfahren und das Terminal bieten am Beispiel einer Flugraum- oder Flugfeldüberwachung aus der Distanz (Remote Tower Application) einen Ersatz des bandbreiten-intensiven Video-Panoramas durch ein statisches Panorama, welches ca. 80% der Übertragungsbandbreite bisheriger Remote Tower Applikationen spart. Gleichzeitig wird dem Fluglotsen ein fast gleichwertiges Situationsbewusstsein geboten, um ein bis drei simultane Flugbewegungen sicher und effizient abwickeln zu können. Die Anzahl der Flugbewegungen ist dabei von der Anzahl der eingesetzten Kameras abhängig. Ein sog. Remote Tower kann nun auch dort eingesetzt werden, wo die verfügbare Netzwerk-Bandbreite zwischen Flughafen und Standort des Terminals für die Flugsicherung gering ist. Im folgenden werden Teile eines Panoramabildes 2 durch aktuelle Aufnahmen ersetzt, wobei mit „Aufnahme“ gleichermaßen Fotos oder Videos, d.h. Bewegtbildaufnahmen, gemeint sein können, wenn nicht eines davon im technischen Zusammenhang auszuschließen ist.

[0029] Gemäß Fig. 1 bis Fig. 3 und folgende wird ein Verfahren zur Kamerasteuerung für eine Kamera 1, wie z.B. eine Pan-Tilt-Zoom-Kamera (kurz PTZ-Kamera), über ein 2dimensionales, statisches Panoramabild 2 angegeben. Das Panoramabild 2 wird dabei direkt von der PTZ-Kamera ohne Zuhilfenahme einer weiteren Kamera generiert und kontinuierlich erneuert. Die PTZSteuerung erfolgt anschließend durch Klick- oder Touch-Eingaben eines Operators über eine geeignete Benutzerschnittstelle. Diese Schnittstelle kann ein berührungsempfindlicher Bildschirm sein, auf welchem das Panoramabild 2 direkt angezeigt wird. Die PTZ-Kamera wird nach Empfang der Eingabe automatisch in die Richtung der entsprechenden Position ausgerichtet. Zusätzlich können das 2-dimensionale Panoramabild 2 mit Tiefen-Informationen hinterlegt, sowie der Zoomfaktor und der Fokus automatisch gesteuert werden.

[0030] Gemäß einer besonders einfach zu bedienenden Alternative kann vorgesehen sein, dass der Kamera in Abhängigkeit von der Blickrichtung des Operators erfolgt, wobei die Blickrichtung des Operators mit oder ohne eine vom Operator getragenen Virtual Reality-Brille (VR-Brille) ermittelt wird.

[0031] Wenn eine VR-Brille verwendet wird, die der Operator trägt, dient sie gleichzeitig als Anzeigemittel und als Steuerung der PTZ-Kamera durch den Operator. Es werden dabei die aktuelle Blickrichtung des Operators bzw. Anderungen dieser Blickrichtung mit Hilfe der Sensoren der VRBrille erfasst und die PTZ-Kamera entsprechend dieser Blickrichtung bzw. deren Änderung ausgerichtet. In dieser Ausführungsform wird das Panoramabild 2 in der VR-Brille angezeigt. Eine VR-Brille ist mit Kipp- und Bewegungssensoren ausgestattet, die Feststellung der Blickrichtung und von Anderungen der Blickrichtung des Operators ermöglichen.

[0032] Wie in Fig. 6 gezeigt wird in das zuvor erstellte statische Panoramabild 2 ein Live- Video der PTZ-Kamera eingeblendet, um das statische Panoramabild 2 an den Stellen, in denen gerade für den Operator wichtige Ereignisse stattfinden (z.B. ein Flugzeug fliegt) zu aktualisieren. Das Live-Video der PTZ-Kamera wird dazu entsprechend dem eingestellten Zoom-Faktor skaliert und innerhalb des Panoramabildes 2 an der richtigen Position als Ausschnitt 6 angezeigt. Somit entsteht der Eindruck als würde man mit einem Live-Panorama-Video arbeiten, da jener Bereich bzw. Ausschnitt 6, den die PTZ-Kamera abdeckt, im Panoramabild 2 als Bewegtbild dargestellt wird. Das System und/oder der Operator verfügen über ausreichend Informationen über das Geschehen und das Wetter im Sichtbereich des Panoramabildes 2, um die Bereiche außerhalb des Ausschnittes 6 mit dem Live-Video als unverändert und unbewegt und daher weiterhin ausreichend aktuell anzunehmen. Zumindest für einen gewissen Zeitabschnitt können Bereiche des Panoramabildes 2 außerhalb des Ausschnittes 6 mit dem Live-Video daher unverändert als Standbild angezeigt werden. Dies ist z.B. der Fall, wenn bei unveränderlicher Wetterlage die geparkten Flugzeuge am Flugfeld nicht bewegt werden.

[0033] Zur besseren Unterscheidung vom statischen Panoramabild und dem eingebetteten LiveVideo, kann das Panorama-Bild auch in schwarz-weiß dargestellt werden, während das LiveVideo in Farbe dargestellt wird. Zusätzlich können erst kürzlich aktualisierte Bildbereiche inner-

halb des Panoramas in Farbe dargestellt werden, während Bereiche, welche bereits vor längerer Zeit aktualisiert wurden, in Graustufen dargestellt werden.

[0034] Vorbereitend wird das Panoramabild 2 generiert, indem die Kamera 1 automatisch wie in Fig. 1 bis Fig. 3 und 4 dargestellt, vorgegebene Positionen anfährt, die so definiert sind, dass sich Einzelaufnahmen 3 zwischen zwei benachbarten Positionen zu etwa 10 bis 30 Flächen-% überschneiden. An jeder Position nimmt die Kamera 1 ein statisches Bild (Einzelaufnahme 3) auf. Zudem speichert das System die Metalnformationen der Kamera 1 (horizontale und vertikale Ausrichtung, Zoom-Faktor) zu jeder Einzelaufnahme 3 ab.

[0035] Die Einzelaufnahmen 3 werden anschließend mittels eines bekannten Software-Algorithmus unter Beachtung der Meta-Informationen zu dem gesamten Panoramabild 2 zusammengefügt und dem Benutzer angezeigt.

[0036] Die Anzeige kann über jedes geeignete Anzeigemittel erfolgen, wie etwa einen Bildschirm, einen berührungsempfindlichen Bildschirm, ein Bildschirm einer VR-Brille, eine Anordnung mehrerer Bildschirme, ein Fenster in einem Bildschirm, einen Projektor oder ähnliches.

[0037] Das erzeugte Panoramabild 2 ist 2-dimensional und zunächst statisch, d.h. unbewegt. Die Erfindung bietet den Vorteil, das Panoramabild 2 kontinuierlich an den notwendigen Positionen oder Ausschnitten 6 zu aktualisieren. Die Erfindung befasst sich mit der Aufgabe, durch welche Ereignisse konkrete Aktualisierungen des Panoramabildes 2 ausgelöst werden und wie die Aktualisterungen dann konkret und genau erfolgen.

[0038] In Fig. 4 ist zu sehen, wie aus beispielhaften drei Einzelaufnahmen 3 mit einem jeweiligen bestimmten ersten Bildwinkel ein Panoramabild 2 mit einem deutlich größeren Bildwinkel entsteht. Erfasst wird in diesem Beispiel ein Flugfeld aus Flughafenboden, der ein Gelände 7 darstellt, aus Geländekante 8 sowie aus Himmel 9.

[0039] Das Verfahren zur Panorama-Generierung läuft vollautomatisch ab. Bei der Anzeige kann das Panoramabild 2 gemäß Fig. 5 mit zusätzlichen Graphik-Overlays 10 augmentiert werden, um dem Benutzer eine bessere Orientierung im angezeigten Gelände zu ermöglichen (beispielsweise indem Bereiche, in denen Flugzeuge parken, eingefärbt oder mit einer Schraffur überlagert werden). Die Graphik-Overlays können auch Symbole und/oder Ziffern für Flugzeuge oder Flugobjekte am Himmel 9 umfassen, wobei Inhalte dieser Symbole/Ziffern beispielsweise das Funkkennzeichen, Flughöhe oder Fluggeschwindigkeit sein können. Im folgenden wird allgemein von Objekten 11 gesprochen, die sich im Sichtbereich des Panoramabildes 2 bewegen.

[0040] Zusätzlich kann das Panoramabild 2 mit zusätzlichen Tiefen-Informationen versehen werden, um eine entsprechende Einstellung des Zoom-Faktors und Fokus der Kamera 1 zu ermöglichen. Insbesondere bei kleineren Objekten (beispielsweise Drohnen oder Vögel) kann es vorkommen, dass der Autofokus der Kamera 1 nicht richtig funktioniert. Wenn Tiefeninformationen zu solchen Objekten bekannt sind, können Fokus und Zoomfaktor der Kamera 1 entsprechend dieser Tiefeninformationen eingestellt bzw. zumindest der Autofokus damit unterstützt werden.

[0041] Weiterer Inhalt von Grafik-Overlays 10, die in das Panoramabild 2 eingeblendet werden können, können vorhin beschriebene zusätzliche Tiefeninformationen sein. Dabei kann es sich um statische Informationen, wie z.B. die Entfernung von bestimmten, im Panoramabild 2 sichtbaren Landschaftsteilen handeln, oder um Surveillance Informationen, die z.B. von einem Radarsystem geliefert werden (Position von Flugzeugen) oder um Informationen über die Größe von sichtbaren Objekten, die mittels automatischer Bilderkennung generiert werden. Derartige Tiefeninformationen liefern dem Operator direkt im Panoramabild 2 Informationen über dort sichtbare Objekte, sie sind idealerweise räumlich nahe diesen Objekten eingeblendet und unterstützen somit insgesamt den Operator bei seiner Arbeit, weil er zur Erlangung dieser Informationen nicht auf einen weiteren, vom Panoramabild 2 verschiedenen Bildschirm schauen muss.

[0042] Die Tiefen-Informationen werden über geeignete Schnittstellen von entsprechenden Datenquellen, wie z.B. Entfernungsmesser, Radarsystem, Bilderkennungssoftware (für Objektgrößen) eingelesen. Für statische Objekte, wie Berge oder Gebäude, können diese Tiefeninformationen fix im System eingetragen werden.

[0043] Der Operator ist im Beispiel der „Remote Tower Application“ ein Fluglotse. Es kann sich bei anderen Anwendungsbeispielen um jede Art von Benutzer handeln.

[0044] Die Ausrichtung der Kamera 1 erfolgt über Eingabegeräte, beispielsweise durch einen einfachen „Klick“ oder „Touch“ innerhalb des Panoramabildes 2. Die Kamera 1, wie etwa eine PTZ-Kamera, wird daraufhin exakt in diese Richtung vertikal und horizontal ausgerichtet. Wenn zusätzlich Tiefen-Informationen hinterlegt wurden, so wird entsprechend der hinterlegten TiefenInformation auch der Zoom-Faktor und der Fokus der Kamera entsprechend eingestellt, um den angezeigten Bildinhalt genau z.B. hinsichtlich der Schärfe anzuzeigen.

[0045] Alternatives Eingabegerät zur Ausrichtung der Kamera 1 ist ein Sensor, der die Blickrichtung des Operators auf das Panorama 2 ermittelt, wie z.B. eine Kamera, die das Gesicht des Operators aufnimmt mit einer nachgeschalteten Bilderkennungs-Software, die die Ausrichtung der Augenachsen des Operators bestimmt.

[0046] Eine andere Variante zur Ermittlung der Blickrichtung des Operators ist eine vom Operator getragene VR-Brille, über deren Sensoren die Blickrichtung festgestellt und an das System übermittelt wird.

[0047] Zusätzlich kann die Ausrichtung der Kamera 1 auch über Positionsdaten von Objekten 11, wie z.B. einem Flugzeug, welche von einem Drittsensor (z.B. Transponder, Radar, etc.) bereitgestellt werden, erfolgen. Die Darstellung des PTZ-Videobildes kann dabei in der Originalauflösung in einem separaten Fenster 4 neben dem Panoramabild 2 erfolgen (Fig. 6) - z.B. um noch mehr Informationen über das Geschehen zu vermitteln -, jedenfalls aber skaliert direkt im Panoramabild 2, Gemäß Fig. 6 entsteht für den Benutzer dadurch der Eindruck, dass er die Kamera 1 über ein Live-Panorama steuern würde, was das System noch intuitiver in der Bedienung und Ansicht macht.

[0048] Wenn ein separates Fenster 4 vorgesehen ist, wird das Video darin in aller Regel vergröBert, also in voller Bild-Auflösung unskaliert angezeigt, während das Video, welches im Panoramabild 2 eingefügt wird, immer auf die im Panoramabild 2 passende Größe skaliert wird. Es kann also dem Operator ein gewählter Ausschnitt des Panoramabildes 2 größer dargestellt werden, womit erreicht wird, dass der Operator in diesem größer dargestellten Ausschnitt Details besser als im Panoramabild 2 erkennen kann. Ein Beispiel dafür sind die Konturen eines Flugzeugrumpfes: Im größer dargestellten Ausschnitt kann der Operator besser als im Panoramabild 2 erkennen, ob das Fahrwerk dieses Flugzeuges aus- oder eingefahren ist.

[0049] Durch die Einbindung von Drittsensoren (z.B. ADS-B-Transponder, Radar) kann das Panoramabild 2 mit zusätzlichen Echtzeitdaten von Flugzeugen und anderen Objekten 11 augmentiert werden, um das Situationsbewusstsein des Operators weiter zu erhöhen. Zusätzlich können die Positionsdaten des Drittsensors auch zur Steuerung der PTZ-Kameras hinzugezogen werden. In Fig._6 ist das Beispiel einer Kombination 12 aus Flugzeug mit beigeordnetem GraphikOverlay im (Live-Video-) Ausschnitt 6 dargestellt.

[0050] Transponder- und/oder Radardaten sind weiters zur automatischen Steuerung der Kamera 1 verwendbar: Mithilfe solcher Daten kann die Kamera 1 automatisch in jene Bereiche verfahren werden, die gerade für den Operator wichtig sind. Beispielsweise kann damit die Kamera 1 so gesteuert werden, dass ihr Aufnahmebereich die Position eines Flugzeuges erfasst, welche Position mithilfe der Transponderdaten dieses Flugzeuges bestimmt wird. Damit kann das Panoramabild automatisch und ohne Eingriff des in jenen Bereichen, die gerade für den Operator wichtig sind, aktualisiert werden.

[0051] Durch den Einsatz von Drittsensoren wird sichergestellt, dass die Kamera 1 bereits auf das Flugzeug ausgerichtet werden kann, obwohl es im Panoramabild 2 noch nicht in Sichtweite ist. So ist es für den Operator deutlich einfacher, das Flugzeug zu finden, sobald es in den sichtbaren Bereich kommt. Bei der in den Fig. 5 und 6 gezeigten Ausführungsform sind Objekte 11 teilweise größer und deutlicher dargestellt, als sie es in natura sind, was es dem Operator ebenfalls einfacher macht, diese Objekte verlässlich im Panoramabild 2 zu erkennen.

[0052] Es können auch zwei Kameras 1 vorhanden sein, die das Panoramabild 2 schrittweise

erzeugen und anschließend schrittweise aktualisieren. Zwar wird dann der apparative Aufwand des Verfahrens und des Systems größer, jedoch können dann beispielsweise aktuelle Bewegungen zweier unabhängiger Objekte 11 im Winkelbereich des Panoramabildes 2 unabhängig voneinander als Videosequenz in das Panoramabild 2 eingefügt werden. Selbst wenn sich die Ausschnitte 6 beider Objekte 11 zu einem Zeitpunkt überschneiden sollte, stellt die Erfindung sicher, dass der optisch bessere von den beiden Ausschnitten 6 hinsichtlich z.B. Kontrast, Helligkeit und Zoom-Faktor zur Anzeige kommt - und dadurch auch in diesem besonderen Zeitpunkt beide bewegte Objekte 11 sichtbar bleiben - während der andere temporär verworfen werden kann (siehe unten).

[0053] Wenn es sich bei den beiden Objekten 11 um Flugobjekte handelt, muss eine temporäre UÜberschneidung ihrer Trajektorien im Panoramabild 2 (oder auch ein Nahekommen beider Trajektorien) keine Kollision oder Kollisionsgefahr bedeuten, da die Flugobjekte z.B. hinsichtlich ihrer Raumtiefe nur aus der Perspektive des Panoramabildes 2 einen zu geringen Abstand aufweisen. Ob und wie groß dieser im zweidimensionalen Panoramabild zunächst nicht sichtbare reale räumliche Abstand ist, wird dann z.B. über einer graphisch den Objekten beigefügten Tiefeninformation und/oder einem Graphik-Overlay 10 angezeigt, so dass der Operator vor, während und nach dem Ereignis immer klar und intuitiv entscheiden kann, ob in das Fluggeschehen einzugreifen ist.

[0054] Eine wesentliche Herausforderung stellt also die Überdeckung der Ausschnitte 6 von zwei PTZ-Fenstern dar, wenn beide Kameras 1 annähernd in dieselbe Richtung ausgerichtet sind, so dass sich die beiden Bildausschnitte überlagern. Dies kann insofern relevant sein, als dass im ungünstigsten Fall, nämlich bei wenig Kontrast und Helligkeit eines Objekts 11 gegenüber dem Hintergrund oder auch einer ungünstigen Farbeinstellung der Kamera ein Objekt 11 nur von einer Kamera 1 gesehen wird, von der anderen dagegen nicht. Wenn letztere dann die Aufnahme der ersten überdeckt, ist das Objekt 11 insgesamt für den Operator nicht sichtbar.

[0055] Dieses Problem löst die Erfindung, indem folgendes Verfahren angewandt wird: Nachdem das statische Panoramabild 2 von einer Kamera 1 generiert wird, wird das Panoramabild 2 als Referenzbild verwendet. Weil das System die Position des neuen Ausschnitts 6 innerhalb des Panoramabildes 2 kennt, können vorbestimmte einzelne Pixel, Bereiche von Pixeln oder alle Pixel im PTZ-Live-Videobild den einzelnen Referenzpixeln im statischen Panoramabild 2 zugeordnet und z.B. farblich verglichen werden. Der Vergleich kann auch hinsichtlich des Kontrastes, der Helligkeit, des Zoom-Faktors oder Kombinationen dieser Eigenschaften erfolgen.

[0056] Das System vergleicht die Mehrzahl der Pixel zwischen dem statischen Bild und dem LivePTZ-Videobild und stellt die Farbeinstellung (und/oder Kontrasteinstellung, Helligkeitseinstellung etc.) der Kamera 1 so ein, dass die kritischen Werte der entsprechenden Pixel möglichst ident sind. Dieser Prozess wird für alle eingesetzten Kameras 1 durchgeführt, so dass alle Kameras 1 ein farblich identes Videobild (oder stehendes Bild) liefern.

[0057] Um diesen Vergleich der Pixel bestmöglich durchzuführen, muss ein ggf. vorhandener Offset, welcher durch die unterschiedlichen Kamera-Positionen verursacht wird, durch die Software ausgeglichen werden. Sollten sich zwei oder mehr Einzelaufnahmen 3 überlappen, so werden die überlappenden Bereiche halbtransparent überblendet. Software-Module für die graphische Umsetzung von Überblendungen dieser Art mit individuell einstellbaren Parametern sind im Stand der Technik zu finden. Zusätzlich werden jene Bereiche, welche eine signifikante Abweichung vom statischen Referenzbild aufweisen zusätzlich verstärkt; z.B. wird der Kontrast erhöht. Dieses Verfahren verhindert, dass schwach sichtbare Objekte 11 dem Operator nicht angezeigt werden.

[0058] Für die Gefahreneinschätzung bei der Beobachtung eines Objektes 11 (Flugzeug, Drohne, Vögel, etc.) ist immer der Bezug auf die Umgebung entscheidend. Aus diesem Grund ist es notwendig, dass der Operator neben dem Objekt 11 und dessen unmittelbarer Umgebung auch die Landschaft unterhalb des Objektes 11 angezeigt bekommt. Das System ermittelt im statischen Panoramabild 2 die Geländekante 8 am Horizont. In weiterer Folge sorgt das System dafür, dass der Zoom-Faktor der PTZ-Kameras automatisch so eingestellt wird, dass im Live-

71717

Videobild der PTZ-Kamera sowohl das Objekt 11 als auch die Geländekante 8 inkl. eines einstellbaren vertikalen Bereichs (d.h. Winkelbereich) des Geländes 7 darunter sichtbar ist. Dies funktioniert sowohl bei automatischer als auch bei manueller Nachführung einer Kamera 1. Auf diese Weise ist der Operator jederzeit und unmittelbar in der Lage, die Position des Objekts 11 in Bezug auf das Gelände 7 zu ermitteln und sinnvolle Entscheidungen hinsichtlich der Flugfeldkontrolle vorzunehmen.

BEZUGSZEICHENLISTE

1 Kamera

2 Panoramabild

3 Einzelaufnahme

4 separates Fenster 6 Ausschnitt

7 Gelände

8 Geländekante

9 Himmel

10 Graphik-Overlay 11 Objekt

12 Kombination von Flugobjekt und beigeordnetem Graphik-Overlay

Claims (19)

Patentansprüche

1. Verfahren zur Darstellung und Aktualisierung eines Panoramabildes (2) einer Landschaft, mit einem Anzeigemittel sowie mit mindestens einer Kamera (1), mit deren Bildwinkel ein Ausschnitt (6) aus dem Bildwinkel des Panoramabilds (2) erfassbar ist, wobei die Position der Kamera (1) im Bereich des Bildwinkels des Panoramabildes (2) steuerbar ist, mit dem Schritt:

(i) Anzeigen des Panoramabildes (2) am Anzeigemittel,

gekennzeichnet durch die Schritte:

(ii) Schwenken der Kamera (1) in eine vorbestimmte Position und Erstellen einer Aufnahme, (iii) Vergleich von Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes des Panoramabildes (2), an dessen Stelle Aufnahme gefügt werden soll, (iv) entweder Einfügen der Aufnahme an die Stelle des Ausschnitts (6) des Panoramabildes (2), wenn die Referenzwerte erfüllt sind,

(v) oder Anpassung der Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt (6) des Panoramabildes (2) gefügt wird.

2, Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Auswahl von Bildpixeln des Panoramabildes (2) als Basis der Referenzwerte verwendet wird, wobei insbesondere als Referenzwerte die Kontrastwerte der Bildpixel dienen.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zuvor ein Panoramabild (2) mit den Schritten erzeugt wird:

Erstellen einer Menge von Aufnahmen durch die Kamera (1) als Fotos im Bildwinkel des zu erzeugenden Panoramabildes (2) durch Wiederholen der Schritte:

(a) Aufnehmen eines ersten Fotos an einer ersten Position,

(b) Ergänzung des ersten Fotos mit Metadaten,

(c) Fahren der Kamera (1) an eine nächste Position, sowie _ Zusammenfügen der Aufnahmen nebeneinander mit einer vorbestimmten Uberlappung und unter Verwendung der Metadaten.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein Überblenden von überlappenden Bereichen benachbarter Aufnahmen in halbtransparenter Weise erfolgt.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein Überblenden von überlappenden Bereichen benachbarter Aufnahmen auf 10%-30% der Fläche der Aufnahmen beträgt erfolgt.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mindestens eine Kamera (1) eine PTZ-Kamera ist.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass es mit mindestens zwei Kameras (1) durchgeführt wird, die jeweils Aufnahmen in Form von Fotos und in Form von Videos erstellen.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass eine Applikation vorgesehen ist, mit welcher im Panoramabild (2) eine Geländekante 8 am Horizont einer Landschaft ermittelt wird, und wobei der Schritt des Erstellens eines Videos durch die Kamera (1) mit einem einstellbaren Zoom-Faktor in Abhängigkeit der Position der Kamera (1) und des Bildwinkels der Kamera (1) dergestalt erfolgt, dass die Geländekante (8), sowie ein vorbestimmter Winkelbereich des Geländes (7) horizontal unterhalb der Geländekante (8), in dem Video liegen.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass mindestens ein Graphik-Overlay (10) eingefügt wird, und wobei das Graphik-Overlay (10) insbesondere Information über Objekte und/oder Ereignisse im Bereich der im Panoramabild (2) abgebildeten Szenerie enthält.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass in einem oder in mehreren Bereichen des Panoramabilds (2) Tiefeninformationen sichtbar eingefügt werden.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zusätzlich ein Video im Bildwinkel des Panoramabildes (2) und in einem vom angezeigten Panoramabild (2) separaten Fenster (4) oder weiteren Anzeigemittel dargestellt wird, wobei die BildAuflösung der separaten Darstellung von der Bild-Auflösung des in das Panoramabild (2) eingefügten Videos abweicht.

12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Ausrichtung der Kamera (1) in Abhängigkeit von Positionsdaten von Drittsensoren, insbesondere von mindestens einem Transponder, mindestens einem ADS-B-Transponder und/oder mindestens einem Radar, erfolgt.

13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Ausrichtung der Kamera (1) über eine Benutzerschnittstelle in Abhängigkeit von Klick- und/oder Touch-Befehlen eines Operators erfolgt.

14. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Ausrichtung der Kamera (1) in Abhängigkeit von der Blickrichtung des Operators erfolgt.

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Blickrichtung des Operators mithilfe einer vom Operator getragenen Virtual Reality- (VR-)Brille ermittelt wird.

16. Terminal zur Darstellung und Aktualisierung eines Panoramabildes 2 einer Landschaft umfassend mindestens einer Kamera (1), mit deren Bildwinkel ein Ausschnitt (6) aus dem Bildwinkel des Panoramabilds (2) erfassbar ist, und einen Anzeigemittel, auf welchem das Panoramabild (2) darstellbar ist, wobei zwischen Kamera (1) und Anzeigemittel eine Steuerungs- und Verarbeitungseinheit geschaltet ist, die dazu ausgebildet ist,

(i) das Panoramabild (2) am Anzeigemittel anzuzeigen,

gekennzeichnet dadurch, dass die Steuerungs- und Verarbeitungseinheit weiterhin dazu ausgebildet ist,

(ii) die Kamera (1) in eine vorbestimmte Position zum Erstellen einer Aufnahme zu schwenken,

(ii) Bildeigenschaften der Aufnahme mit Referenzwerten des Ausschnittes (6) des Panoramabildes (2), an dessen Stelle Aufnahme gefügt werden soll, zu vergleichen, (iv) die Aufnahme an die Stelle des Ausschnitts (6) des Panoramabildes (2) einzufügen, wenn der zweite Satz von Referenzwerten erfüllt ist, oder

(v) die Aufnahme hinsichtlich von Kontrast, Zoom-Faktor und/oder Helligkeit, anzupassen, bis die Bildeigenschaften die Referenzwerte erfüllen, woraufhin die Aufnahme an den Ausschnitt des Panoramabildes (2) gefügt wird.

17. Terminal nach Anspruch 16, dadurch gekennzeichnet, dass die mindestens eine Kamera (1) eine PTZ-Kamera ist.

18. Terminal nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass die Steuerungs- und Verarbeitungseinheit mit einer Empfangsvorrichtung für Transponderdaten eines Luftfahrzeugs und/oder Radardaten verbunden ist.

19. Terminal nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass die Steuerungs- und Verarbeitungseinheit mit einer Benutzerschnittstelle verbunden ist.

Hierzu 6 Blatt Zeichnungen