PL249204B1

PL249204B1 - Sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości, zwłaszcza w kabinowym symulatorze lotu

Info

Publication number: PL249204B1
Application number: PL443704A
Authority: PL
Inventors: Damian Grzechca; Krzysztof Paszek; Krzysztof Hanzel; Łucjan Osdarty; Viliam Halas; Krzysztof Cyran
Original assignee: Politechnika Slaska Im Wincent
Priority date: 2023-02-06
Filing date: 2023-02-06
Publication date: 2026-03-09
Also published as: PL443704A1

Abstract

Przedmiotem zgłoszenia jest sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości, zwłaszcza kabinowym symulatorze lotu, który polega na tym, że na podstawie ciągłego pomiaru odległości D względem punktów referencyjnych PR wyznacza się współrzędne chwilowych wartości położenia znaczników: T1, T2, T3 umieszczonych w odległości d<sub>T</sub> i tworzących płaszczyznę ψ umieszczoną względem płaszczyzny ϕ pod kątem ϒ, korzystnie z wykorzystaniem metod radiowych takich jak UWB lub laserowych lub metod opartych na pomiarze czasu przelotu sygnału (ToF) dla wyznaczenia chwilowych parametrów płaszczyzny ψ oraz prostej p, polegający na wyznaczeniu parametrów prostej p przechodzącej przez znacznik oraz płaszczyznę ψ, dzięki czemu wyznaczyć można kąt ϒ względem płaszczyzny ϕ, co umożliwia wyznaczenie wektora korekty V, jako pozycji oraz orientacji przestrzennej okularów.

Description

Przedmiotem wynalazku jest sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości, zwłaszcza w kabinowych symulatorach lotu, mający zastosowanie dla przeprowadzenia prawidłowego procesu szkolenia pilotów i obsługi technicznej samolotu, w każdym przypadku, gdy z określonych powodów takich jak: rozsynchronizowanie obrazów rzeczywistego i wirtualnego, brak dostępnej informacji o pozycji i orientacji okularów, uniemożliwia wygenerowanie odpowiedniej informacji dla użytkownika, czyli nieznana jest pozycja i orientacja przestrzenna okularów rozumiana jako punkt w przestrzeni i rotacja względem każdej z trzech składowych przestrzennych.

Dokładność korekty jest kluczowa do uzyskania odpowiedniej synchronizacji obrazów i nałożenia dodatkowych informacji dla osoby wykorzystującej okulary, np. podczas szkolenia pilotów z wykorzystaniem poszerzonej rzeczywistości na symulatorze. Problem ten występuje na tyle często, że aktualnie realizuje się go za pomocą znaczników wizualnych umieszczonych w zdefiniowanych miejscach kokpitu (zarówno wewnątrz, jak i na zewnątrz symulatora). Ze względu na częstość występowania problemu rozsynchronizowania rozwiązanie aktualne jest niepraktyczne i niewygodne.

Wyznaczenie korekty dla okularów poszerzonej rzeczywistości polega na wykonaniu procedury, która na podstawie chwilowych wartości odległości pomiędzy punktami referencyjnymi (Pr), a znacznikami T umieszczonymi na okularach w znanej konfiguracji (znane są odległości d t pomiędzy poszczególnymi znacznikami) umożliwi przekształcenie współrzędnych pozyskanych z niezależnego systemu pomiarowego (NSP) w wektor V zawierający współrzędne (xr, y_r, zr) i orientację (ar, p_G yr) okularów, które to wartości służą do korekty i uaktualnienia wartości w algorytmie wewnętrznym okularów, co przyczynia się do ponownego zsynchronizowania obrazów rzeczywistego i wirtualnego.

Chwilowe wartości odległości pomiędzy znacznikami na okularach T={Ti; T2; T3;...; Tn} a punktami referencyjnymi Pr ={PR_1; PR_2; PR_3; PR_4;...; PR_m} analizowane są w sposób ciągły i umożliwiają wyznaczenie zależności chwilowych odległości znaczników w funkcji czasu tworząc zestaw wektorów D1(n)=(d11, d21, d31, d41, ...., ÓNi), D2(n)=(d12, d22, d32, d42,...dN2) oraz D3(n) = (d13, d23, d33, Ć43,..., dN3), przy czym długość wektora jest zależna od liczby punktów referencyjnych m, ale nie może być mniejsza niż 4, co wprost wynika z geometrii i punktu stycznego sfer zakreślanych z każdego punktu referencyjnego dla przestrzeni 3D, którą można wyznaczyć matematycznie za pomocą znanych algorytmów pozycjonowania, a liczba wektorów D zależna jest od liczby znaczników n. Współrzędne punktów referencyjnych Pr dobierane są tak, aby zapewnić maksymalnie dużą dynamikę zmian w każdym kierunku i jednocześnie nie przeszkadzały w trakcie lotu, tj. nie przykrywały obszaru widzianego z kokpitu symulatora poprzez szyby. Na podstawie wektorów D wyznacza się współrzędne znaczników T i według zależności [xi,yi,zi]=f(Di), czyli współrzędne znacznika Ti wg zależności [x1,y1,z1]=f(D1). Przekształcenie f możliwe jest przy znajomości konfiguracji punktów referencyjnych PR, czyli współrzędnych umiejscowienia poszczególnych punktów w lokalnym układzie współrzędnych. Wynika stąd, że przekształcenie f jest wykonywane w sposób ciągły wykorzystując kolejne chwilowe wartości odległości D. Przekształcenie to należy wykonać tak, aby minimalizować błąd przestrzenny pozycji jednym ze znanych algorytmów matematycznych do wyznaczania pozycji w przestrzeni.

Korekta pozycji w postaci wektora V dostępna jest w sposób ciągły, ale wykonywana jest najczęściej okresowo i na żądanie wtedy, kiedy algorytm synchronizacji wykryje rozbieżność pomiędzy obrazem nakładanym, a rzeczywistym. Poprzez znaną konfigurację rozmieszczenia znaczników T1, T2 i T3 względem siebie, które tworzą płaszczyznę ψ, można wyznaczyć prostą p za pomocą funkcji g w następujący sposób p=g([χι,υι,ζι], [X2,y2,z2], [X3,y3,z3]). Prosta p przechodzi przez płaszczyznę ψ, której chwilowe parametry wyznaczane są na podstawie pomiarów odległości [xi,yi,zi]=f(Di). Wykorzystując funkcję w(p, φ) wyznacza się kąt y przecięcia prostej p z płaszczyzną okularów φ, co umożliwia wyznaczenie wartości aktualnej pozycji i orientacji, czyli wektor korekty V, który leży na prostej p, dzięki czemu wyznacza się wartości odpowiednich kątów rotacji względem osi X, Y i Z, tj. ax, ay, az względem układu odniesienia dla symulatora.

Zagadnieniem technicznym wymagającym rozwiązania jest opracowanie nowego sposobu zapewnienia ciągłej informacji o pozycji i rotacji okularów do nakładania obrazów rzeczywistego i wirtualnego przy zapewnieniu dużej dokładności jej wyznaczenia bez konieczności ingerencji w zamknięte oprogramowanie okularów oraz bez dodatkowych wizyjnych znaczników rozmieszczonych w różnych miejscach kabinowego symulatora lotu.

Cel ten osiągnięto poprzez zaproponowanie przekształcenia odległości pomiędzy punktami referencyjnymi, a znacznikami T w wektor korekty V, który przeprowadza się w sposób ciągły i nie wymagający skomplikowanych obliczeń numerycznych.

Sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości zwłaszcza w kabinowym symulatorze lotu polega na tym, że na podstawie ciągłego pomiaru odległości D względem punktów referencyjnych PR wyznacza się współrzędne chwilowych wartości położenia znaczników: T1, T2, T3 umieszczonych w odległości dT i tworzących płaszczyznę ψ umieszczoną względem płaszczyzny φ pod wyznaczonym kątem γ, korzystnie z wykorzystaniem metod radiowych takich jak UWB lub laserowych lub metod opartych na pomiarze czasu przelotu sygnału (ToF) dla wyznaczenia chwilowych parametrów płaszczyzny ψ oraz prostej p, polegający na wyznaczeniu parametrów prostej p przechodzącej przez znacznik oraz płaszczyznę ψ, która to prosta wyznacza kąt γ względem płaszczyzny φ do wyznaczenia wektora korekty V, jako pozycji oraz orientacji przestrzennej okularów.

Przedmiot wynalazku przedstawiono w przykładzie wykonania na rysunku, na którym Fig. 1 przedstawia schemat blokowy wyznaczania wektora korygującego na pozycji wyznaczanej w sposób ciągły pozycji znaczników, gdzie:

D - odległości pomiędzy punktami referencyjnymi i znacznikami;

f(D) - funkcja wyznaczająca pozycję przestrzenną [x,y,z] na podstawie chwilowych odległości D i znanej konfiguracji punktów referencyjnych PR;

g([x,y,z]) - funkcja wyznaczająca parametry płaszczyzny ψ stworzonej przez znaczniki;

h(‘l·') - funkcja wyznaczająca parametry prostej p przechodzącej przez płaszczyznę ψ; w^,p) - funkcja wyznaczająca kąt γ na podstawie prostej p i płaszczyzny φ okularów;

r(p^) - funkcja wyznaczająca wektor korygujący V na podstawie prostej p i kąta γ.

Fig. 2A przedstawia sposób wyznaczania wektora korygującego V dla przykładowego rozmieszczenia PR={PR_1, PR_2, PR_3, PR_4} oraz znaczników T={T1, T2, T3} umieszczonych na oprawie okularów w obrębie głowy. Na Fig. 2B znaczniki T tworzą płaszczyznę ψ przez którą poprowadzono prostą p, która jest poprowadzona pod kątem γ względem płaszczyzny okularów φ. Na podstawie wyznaczonej prostej p oraz znajomości γ wyznaczany jest wektor V - cel korekty. Procedura wykonywana jest w sposób ciągły, co umożliwia stałe wyznaczanie wektora korekty, co w praktyce może być wykorzystywane na żądanie algorytmu wirtualnej rzeczywistości, kiedy następuje rozsynchronizowanie.

Wybór liczby punktów referencyjnych PR i sposób ich rozmieszczenia, które można oprzeć na zasadach wskazanych w Saraiva Campos Rafael, RF Positioning: fundamentals, applications and tools, Artech House Inc, 2015 r, David Munoz, Frantz Bouchereau, Cesar Vargas, Rogerio Enriquez, Position Location Techniques and Applications, Academic Press, 2009, Balcerzak B., Kubarski J., Geometria analityczna, Wydawnictwo Politechniki Łódzkiej, 2013 r., Radziszewski Z., Geometria analityczna, Podstawy teorii i zbiór zadań z rozwiązaniami, Wydawnictwo UMCS, 200 r. Należy przy tym tak dobrać te wartości, aby minimalizować błąd odległości i maksymalizować dynamikę zmian w każdym kierunku, tj. rotacje wokół poszczególnych osi muszą być większe od niepewności pomiarowych odległości.

Sposób wyznaczania odległości pomiędzy punktami referencyjnymi, a znacznikami nie jest przedmiotem wynalazku. Pomiar ten (odległość) można wykonać znanymi środkami technicznymi: przykładowo poprzez wykorzystanie dalmierzy lub systemów radiowych korzystnie o zwiększonej precyzji, np. odpowiednio skonfigurowany system UWB. Innym sposobem jest umiejscowienie lidaru obrotowego na płaszczyźnie znaczników. Przekształcenie pojedynczych odległości w pozycję przestrzenną można wykonać jedną ze znanych metod matematycznych, np. metodą gradientową. Sposoby pomiaru odległości są znane i powszechnie stosowane w nauce i technice. Znajomość zestawu odległości oznacza wprost znajomość rozmieszczenia znaczników w przestrzeni. W wynalazku przyjęto pozycję z wykorzystaniem metody trilateracji, gdyż na ogół łatwo go technicznie zrealizować.

Zaletą rozwiązania według wynalazku jest ciągła możliwość korygowania pozycji i orientacji za pomocą funkcji przekształcających układ odniesienia systemu pozycjonującego w układ odniesienia okularów poszerzonej rzeczywistości, która nie wymaga wykonywania dodatkowych czynności przez osobę używającą tych okularów, co zapewnia dużą dokładność korekty pozycji i orientacji przy jednoczesnej łatwości jej przeprowadzenia - nie jest potrzebne wykonywanie dedykowanych ruchów głową lub skupiania wzroku na znacznikach, które dodatkowo zaburzają pole widzenia. Ponadto dokładność opisanej metody korekty wynika z faktu, że jest dokonywana w trakcie realizacji innych czynności niezbędnych do prawidłowego wykonania procedur w symulatorze lotu.

Claims

1. Sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości zwłaszcza w kabinowym symulatorze lotu znamienny tym, że na podstawie ciągłego pomiaru odległości D względem punktów referencyjnych PR wyznacza się współrzędne chwilowych wartości położenia znaczników: T1, T2, T3 umieszczonych w odległości dT i tworzących płaszczyznę ψ umieszczoną względem płaszczyzny φ pod kątem γ, korzystnie z wykorzystaniem metod radiowych takich jak UWB lub laserowych lub metod opartych na pomiarze czasu przelotu sygnału (ToF) dla wyznaczenia chwilowych parametrów płaszczyzny ψ oraz prostej p, polegający na wyznaczeniu parametrów prostej p przechodzącej przez znacznik oraz płaszczyznę ψ, dzięki czemu wyznaczyć można kąt γ względem płaszczyzny φ, co umożliwia wyznaczenie wektora korekty V, jako pozycji oraz orientacji przestrzennej okularów.