PL249204B1

PL249204B1 - Method for determining the correction for augmented reality glasses, in particular in a cabin flight simulator

Info

Publication number: PL249204B1
Application number: PL443704A
Authority: PL
Inventors: Damian Grzechca; Krzysztof Paszek; Krzysztof Hanzel; Łucjan Osdarty; Viliam Halas; Krzysztof Cyran
Original assignee: Politechnika Slaska Im Wincent
Priority date: 2023-02-06
Filing date: 2023-02-06
Publication date: 2026-03-09
Also published as: PL443704A1

Abstract

Przedmiotem zgłoszenia jest sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości, zwłaszcza kabinowym symulatorze lotu, który polega na tym, że na podstawie ciągłego pomiaru odległości D względem punktów referencyjnych PR wyznacza się współrzędne chwilowych wartości położenia znaczników: T1, T2, T3 umieszczonych w odległości d<sub>T</sub> i tworzących płaszczyznę ψ umieszczoną względem płaszczyzny ϕ pod kątem ϒ, korzystnie z wykorzystaniem metod radiowych takich jak UWB lub laserowych lub metod opartych na pomiarze czasu przelotu sygnału (ToF) dla wyznaczenia chwilowych parametrów płaszczyzny ψ oraz prostej p, polegający na wyznaczeniu parametrów prostej p przechodzącej przez znacznik oraz płaszczyznę ψ, dzięki czemu wyznaczyć można kąt ϒ względem płaszczyzny ϕ, co umożliwia wyznaczenie wektora korekty V, jako pozycji oraz orientacji przestrzennej okularów.The subject of the application is a method of determining a correction for augmented reality glasses, especially in a cabin flight simulator, which consists in determining, on the basis of continuous measurement of distance D in relation to reference points PR, the coordinates of the instantaneous values of the position of markers: T1, T2, T3 placed at a distance d<sub>T</sub> and forming a plane ψ placed in relation to the plane ϕ at an angle ϒ, preferably using radio methods such as UWB or laser or methods based on the measurement of the time of flight of the signal (ToF) to determine instantaneous parameters of the plane ψ and the line p, consisting in determining the parameters of the line p passing through the marker and the plane ψ, thanks to which it is possible to determine the angle ϒ in relation to the plane ϕ, which enables determining the correction vector V as the position and spatial orientation of the glasses.

Description

Przedmiotem wynalazku jest sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości, zwłaszcza w kabinowych symulatorach lotu, mający zastosowanie dla przeprowadzenia prawidłowego procesu szkolenia pilotów i obsługi technicznej samolotu, w każdym przypadku, gdy z określonych powodów takich jak: rozsynchronizowanie obrazów rzeczywistego i wirtualnego, brak dostępnej informacji o pozycji i orientacji okularów, uniemożliwia wygenerowanie odpowiedniej informacji dla użytkownika, czyli nieznana jest pozycja i orientacja przestrzenna okularów rozumiana jako punkt w przestrzeni i rotacja względem każdej z trzech składowych przestrzennych.The subject of the invention is a method for determining the correction for augmented reality glasses, especially in cabin flight simulators, applicable to the proper process of pilot training and aircraft technical maintenance, in each case when, for specific reasons such as: desynchronization of real and virtual images, lack of available information on the position and orientation of the glasses, it is impossible to generate appropriate information for the user, i.e. the position and spatial orientation of the glasses understood as a point in space and rotation with respect to each of the three spatial components are unknown.

Dokładność korekty jest kluczowa do uzyskania odpowiedniej synchronizacji obrazów i nałożenia dodatkowych informacji dla osoby wykorzystującej okulary, np. podczas szkolenia pilotów z wykorzystaniem poszerzonej rzeczywistości na symulatorze. Problem ten występuje na tyle często, że aktualnie realizuje się go za pomocą znaczników wizualnych umieszczonych w zdefiniowanych miejscach kokpitu (zarówno wewnątrz, jak i na zewnątrz symulatora). Ze względu na częstość występowania problemu rozsynchronizowania rozwiązanie aktualne jest niepraktyczne i niewygodne.Accuracy of the correction is crucial to achieving proper image synchronization and providing additional information for the wearer, for example, during pilot training using augmented reality in a simulator. This problem occurs so frequently that it is currently addressed using visual markers placed in defined locations in the cockpit (both inside and outside the simulator). Due to the frequency of desynchronization, the current solution is impractical and inconvenient.

Wyznaczenie korekty dla okularów poszerzonej rzeczywistości polega na wykonaniu procedury, która na podstawie chwilowych wartości odległości pomiędzy punktami referencyjnymi (Pr), a znacznikami T umieszczonymi na okularach w znanej konfiguracji (znane są odległości d t pomiędzy poszczególnymi znacznikami) umożliwi przekształcenie współrzędnych pozyskanych z niezależnego systemu pomiarowego (NSP) w wektor V zawierający współrzędne (xr, y_r, zr) i orientację (ar, p_G yr) okularów, które to wartości służą do korekty i uaktualnienia wartości w algorytmie wewnętrznym okularów, co przyczynia się do ponownego zsynchronizowania obrazów rzeczywistego i wirtualnego.Determining the correction for the augmented reality glasses involves performing a procedure that, based on the instantaneous values of the distances between the reference points (Pr) and the markers T placed on the glasses in a known configuration (the distances dt between the individual markers are known), will enable the transformation of the coordinates obtained from the independent measurement system (NSP) into a vector V containing the coordinates (xr, y _r , zr) and the orientation (ar, p _G yr) of the glasses, which are used to correct and update the values in the internal algorithm of the glasses, which contributes to the re-synchronization of the real and virtual images.

Chwilowe wartości odległości pomiędzy znacznikami na okularach T={Ti; T2; T3;...; Tn} a punktami referencyjnymi Pr ={PR_1; PR_2; PR_3; PR_4;...; PR_m} analizowane są w sposób ciągły i umożliwiają wyznaczenie zależności chwilowych odległości znaczników w funkcji czasu tworząc zestaw wektorów D1(n)=(d11, d21, d31, d41, ...., ÓNi), D2(n)=(d12, d22, d32, d42,...dN2) oraz D3(n) = (d13, d23, d33, Ć43,..., dN3), przy czym długość wektora jest zależna od liczby punktów referencyjnych m, ale nie może być mniejsza niż 4, co wprost wynika z geometrii i punktu stycznego sfer zakreślanych z każdego punktu referencyjnego dla przestrzeni 3D, którą można wyznaczyć matematycznie za pomocą znanych algorytmów pozycjonowania, a liczba wektorów D zależna jest od liczby znaczników n. Współrzędne punktów referencyjnych Pr dobierane są tak, aby zapewnić maksymalnie dużą dynamikę zmian w każdym kierunku i jednocześnie nie przeszkadzały w trakcie lotu, tj. nie przykrywały obszaru widzianego z kokpitu symulatora poprzez szyby. Na podstawie wektorów D wyznacza się współrzędne znaczników T i według zależności [xi,yi,zi]=f(Di), czyli współrzędne znacznika Ti wg zależności [x1,y1,z1]=f(D1). Przekształcenie f możliwe jest przy znajomości konfiguracji punktów referencyjnych PR, czyli współrzędnych umiejscowienia poszczególnych punktów w lokalnym układzie współrzędnych. Wynika stąd, że przekształcenie f jest wykonywane w sposób ciągły wykorzystując kolejne chwilowe wartości odległości D. Przekształcenie to należy wykonać tak, aby minimalizować błąd przestrzenny pozycji jednym ze znanych algorytmów matematycznych do wyznaczania pozycji w przestrzeni.Instantaneous values of the distance between the marks on the glasses T={Ti; T2; T3;...; Tn} and the reference points Pr ={PR_1; PR_2; PR_3; PR_4;...; PR_m} are analyzed continuously and enable the determination of the dependencies of the instantaneous distances of markers as a function of time, creating a set of vectors D1(n)=(d11, d21, d31, d41, ...., ÓNi), D2(n)=(d12, d22, d32, d42,...dN2) and D3(n) = (d13, d23, d33, Ć43,..., dN3), where the length of the vector depends on the number of reference points m, but cannot be less than 4, which directly results from the geometry and the tangent point of the spheres drawn from each reference point for the 3D space, which can be determined mathematically using known positioning algorithms, and the number of vectors D depends on the number of markers n. The coordinates of the reference points Pr are selected so as to ensure the maximum dynamics of changes in each direction and at the same time do not interfere during the flight, i.e. do not cover the area seen from simulator cockpit through the windows. Based on the D vectors, the coordinates of the T i markers are determined according to the relationship [xi,yi,zi]=f(Di), i.e., the coordinates of the Ti marker according to the relationship [x1,y1,z1]=f(D1). The f transformation is possible with knowledge of the configuration of the PR reference points, i.e., the coordinates of the locations of individual points in the local coordinate system. This means that the f transformation is performed continuously using subsequent instantaneous values of distance D. This transformation should be performed so as to minimize the spatial position error using one of the known mathematical algorithms for determining position in space.

Korekta pozycji w postaci wektora V dostępna jest w sposób ciągły, ale wykonywana jest najczęściej okresowo i na żądanie wtedy, kiedy algorytm synchronizacji wykryje rozbieżność pomiędzy obrazem nakładanym, a rzeczywistym. Poprzez znaną konfigurację rozmieszczenia znaczników T1, T2 i T3 względem siebie, które tworzą płaszczyznę ψ, można wyznaczyć prostą p za pomocą funkcji g w następujący sposób p=g([χι,υι,ζι], [X2,y2,z2], [X3,y3,z3]). Prosta p przechodzi przez płaszczyznę ψ, której chwilowe parametry wyznaczane są na podstawie pomiarów odległości [xi,yi,zi]=f(Di). Wykorzystując funkcję w(p, φ) wyznacza się kąt y przecięcia prostej p z płaszczyzną okularów φ, co umożliwia wyznaczenie wartości aktualnej pozycji i orientacji, czyli wektor korekty V, który leży na prostej p, dzięki czemu wyznacza się wartości odpowiednich kątów rotacji względem osi X, Y i Z, tj. ax, ay, az względem układu odniesienia dla symulatora.Position correction in the form of vector V is available continuously, but is most often performed periodically and on demand when the synchronization algorithm detects a discrepancy between the superimposed image and the actual image. Given the known configuration of markers T1, T2, and T3 relative to each other, which form the ψ plane, one can determine the line p using the function g as follows: p=g([χι,υι,ζι], [X2,y2,z2], [X3,y3,z3]). The line p passes through the ψ plane, whose instantaneous parameters are determined based on distance measurements [xi,yi,zi]=f(Di). Using the function w(p, φ), the angle y of intersection of the line p with the plane of the glasses φ is determined, which allows for determining the value of the current position and orientation, i.e. the correction vector V, which lies on the line p, thanks to which the values of the corresponding rotation angles with respect to the X, Y and Z axes, i.e. ax, ay, and az with respect to the reference system for the simulator, are determined.

Zagadnieniem technicznym wymagającym rozwiązania jest opracowanie nowego sposobu zapewnienia ciągłej informacji o pozycji i rotacji okularów do nakładania obrazów rzeczywistego i wirtualnego przy zapewnieniu dużej dokładności jej wyznaczenia bez konieczności ingerencji w zamknięte oprogramowanie okularów oraz bez dodatkowych wizyjnych znaczników rozmieszczonych w różnych miejscach kabinowego symulatora lotu.The technical issue that needs to be solved is to develop a new method of providing continuous information about the position and rotation of the glasses for superimposing real and virtual images, while ensuring high accuracy of its determination without the need to interfere with the proprietary software of the glasses and without additional visual markers placed in different places of the flight simulator cabin.

Cel ten osiągnięto poprzez zaproponowanie przekształcenia odległości pomiędzy punktami referencyjnymi, a znacznikami T w wektor korekty V, który przeprowadza się w sposób ciągły i nie wymagający skomplikowanych obliczeń numerycznych.This goal was achieved by proposing to transform the distances between reference points and markers T into a correction vector V, which is performed continuously and does not require complex numerical calculations.

Sposób wyznaczania korekty dla okularów poszerzonej rzeczywistości zwłaszcza w kabinowym symulatorze lotu polega na tym, że na podstawie ciągłego pomiaru odległości D względem punktów referencyjnych PR wyznacza się współrzędne chwilowych wartości położenia znaczników: T1, T2, T3 umieszczonych w odległości dT i tworzących płaszczyznę ψ umieszczoną względem płaszczyzny φ pod wyznaczonym kątem γ, korzystnie z wykorzystaniem metod radiowych takich jak UWB lub laserowych lub metod opartych na pomiarze czasu przelotu sygnału (ToF) dla wyznaczenia chwilowych parametrów płaszczyzny ψ oraz prostej p, polegający na wyznaczeniu parametrów prostej p przechodzącej przez znacznik oraz płaszczyznę ψ, która to prosta wyznacza kąt γ względem płaszczyzny φ do wyznaczenia wektora korekty V, jako pozycji oraz orientacji przestrzennej okularów.The method of determining the correction for the augmented reality glasses, especially in a cabin flight simulator, consists in determining, on the basis of continuous measurement of the distance D in relation to the reference points PR, the coordinates of the instantaneous position values of the markers: T1, T2, T3 placed at a distance dT and forming the plane ψ placed in relation to the plane φ at a designated angle γ, preferably using radio methods such as UWB or laser or methods based on the measurement of the time of flight of the signal (ToF) to determine the instantaneous parameters of the plane ψ and the line p, consisting in determining the parameters of the line p passing through the marker and the plane ψ, which line determines the angle γ in relation to the plane φ to determine the correction vector V as the position and spatial orientation of the glasses.

Przedmiot wynalazku przedstawiono w przykładzie wykonania na rysunku, na którym Fig. 1 przedstawia schemat blokowy wyznaczania wektora korygującego na pozycji wyznaczanej w sposób ciągły pozycji znaczników, gdzie:The subject of the invention is presented in an example embodiment in the drawing, where Fig. 1 shows a block diagram of determining the correction vector at the position of the continuously determined marker positions, where:

D - odległości pomiędzy punktami referencyjnymi i znacznikami;D - distances between reference points and markers;

f(D) - funkcja wyznaczająca pozycję przestrzenną [x,y,z] na podstawie chwilowych odległości D i znanej konfiguracji punktów referencyjnych PR;f(D) - function determining the spatial position [x,y,z] based on the instantaneous distances D and the known configuration of reference points PR;

g([x,y,z]) - funkcja wyznaczająca parametry płaszczyzny ψ stworzonej przez znaczniki;g([x,y,z]) - function determining the parameters of the ψ plane created by the markers;

h(‘l·') - funkcja wyznaczająca parametry prostej p przechodzącej przez płaszczyznę ψ; w^,p) - funkcja wyznaczająca kąt γ na podstawie prostej p i płaszczyzny φ okularów;h(‘l ') - function determining the parameters of the line p passing through the plane ψ; w^,p) - function determining the angle γ based on the line p and the plane φ of the glasses;

r(p^) - funkcja wyznaczająca wektor korygujący V na podstawie prostej p i kąta γ.r(p^) - function determining the correction vector V based on the line p and the angle γ.

Fig. 2A przedstawia sposób wyznaczania wektora korygującego V dla przykładowego rozmieszczenia PR={PR_1, PR_2, PR_3, PR_4} oraz znaczników T={T1, T2, T3} umieszczonych na oprawie okularów w obrębie głowy. Na Fig. 2B znaczniki T tworzą płaszczyznę ψ przez którą poprowadzono prostą p, która jest poprowadzona pod kątem γ względem płaszczyzny okularów φ. Na podstawie wyznaczonej prostej p oraz znajomości γ wyznaczany jest wektor V - cel korekty. Procedura wykonywana jest w sposób ciągły, co umożliwia stałe wyznaczanie wektora korekty, co w praktyce może być wykorzystywane na żądanie algorytmu wirtualnej rzeczywistości, kiedy następuje rozsynchronizowanie.Fig. 2A shows the method of determining the correction vector V for an exemplary arrangement PR={PR_1, PR_2, PR_3, PR_4} and markers T={T1, T2, T3} placed on the glasses frame within the head. In Fig. 2B, the markers T form a plane ψ through which a line p is drawn, which is drawn at an angle γ relative to the glasses plane φ. Based on the determined line p and the knowledge of γ, the vector V is determined - the correction target. The procedure is performed continuously, which allows for constant determination of the correction vector, which in practice can be used at the request of the virtual reality algorithm when desynchronization occurs.

Wybór liczby punktów referencyjnych PR i sposób ich rozmieszczenia, które można oprzeć na zasadach wskazanych w Saraiva Campos Rafael, RF Positioning: fundamentals, applications and tools, Artech House Inc, 2015 r, David Munoz, Frantz Bouchereau, Cesar Vargas, Rogerio Enriquez, Position Location Techniques and Applications, Academic Press, 2009, Balcerzak B., Kubarski J., Geometria analityczna, Wydawnictwo Politechniki Łódzkiej, 2013 r., Radziszewski Z., Geometria analityczna, Podstawy teorii i zbiór zadań z rozwiązaniami, Wydawnictwo UMCS, 200 r. Należy przy tym tak dobrać te wartości, aby minimalizować błąd odległości i maksymalizować dynamikę zmian w każdym kierunku, tj. rotacje wokół poszczególnych osi muszą być większe od niepewności pomiarowych odległości.The choice of the number of PR reference points and the method of their arrangement, which can be based on the principles indicated in Saraiva Campos Rafael, RF Positioning: fundamentals, applications and tools, Artech House Inc, 2015, David Munoz, Frantz Bouchereau, Cesar Vargas, Rogerio Enriquez, Position Location Techniques and Applications, Academic Press, 2009, Balcerzak B., Kubarski J., Analytical geometry, Lodz University of Technology Publishing House, 2013, Radziszewski Z., Analytical geometry, Basics of theory and a set of problems with solutions, UMCS Publishing House, 2009. These values should be selected in such a way as to minimize the distance error and maximize the dynamics of changes in each direction, i.e. rotations around individual axes must be greater than the distance measurement uncertainties.

Sposób wyznaczania odległości pomiędzy punktami referencyjnymi, a znacznikami nie jest przedmiotem wynalazku. Pomiar ten (odległość) można wykonać znanymi środkami technicznymi: przykładowo poprzez wykorzystanie dalmierzy lub systemów radiowych korzystnie o zwiększonej precyzji, np. odpowiednio skonfigurowany system UWB. Innym sposobem jest umiejscowienie lidaru obrotowego na płaszczyźnie znaczników. Przekształcenie pojedynczych odległości w pozycję przestrzenną można wykonać jedną ze znanych metod matematycznych, np. metodą gradientową. Sposoby pomiaru odległości są znane i powszechnie stosowane w nauce i technice. Znajomość zestawu odległości oznacza wprost znajomość rozmieszczenia znaczników w przestrzeni. W wynalazku przyjęto pozycję z wykorzystaniem metody trilateracji, gdyż na ogół łatwo go technicznie zrealizować.The method for determining the distance between reference points and markers is not the subject of the invention. This measurement (distance) can be performed using known technical means: for example, by using rangefinders or radio systems, preferably with increased precision, e.g., a suitably configured UWB system. Another method is to place a rotating lidar on the plane of the markers. Converting individual distances into a spatial position can be performed using one of the known mathematical methods, e.g., the gradient method. Methods of measuring distance are known and commonly used in science and technology. Knowing a set of distances directly means knowing the spatial arrangement of markers. In the invention, the position is assumed using the trilateration method, as it is generally technically easy to implement.

Zaletą rozwiązania według wynalazku jest ciągła możliwość korygowania pozycji i orientacji za pomocą funkcji przekształcających układ odniesienia systemu pozycjonującego w układ odniesienia okularów poszerzonej rzeczywistości, która nie wymaga wykonywania dodatkowych czynności przez osobę używającą tych okularów, co zapewnia dużą dokładność korekty pozycji i orientacji przy jednoczesnej łatwości jej przeprowadzenia - nie jest potrzebne wykonywanie dedykowanych ruchów głową lub skupiania wzroku na znacznikach, które dodatkowo zaburzają pole widzenia. Ponadto dokładność opisanej metody korekty wynika z faktu, że jest dokonywana w trakcie realizacji innych czynności niezbędnych do prawidłowego wykonania procedur w symulatorze lotu.The advantage of the solution according to the invention is the continuous ability to correct position and orientation using functions that transform the reference frame of the positioning system into the reference frame of the augmented reality glasses. This does not require additional actions by the person wearing the glasses. This ensures high accuracy of position and orientation correction while simultaneously being easy to perform. There is no need for dedicated head movements or focusing on markers, which further distort the field of view. Furthermore, the accuracy of the described correction method stems from the fact that it is performed during the implementation of other activities necessary for the proper execution of procedures in the flight simulator.

Claims

1. A method of determining a correction for augmented reality glasses, especially in a cabin flight simulator, characterized in that based on continuous measurement of distance D in relation to reference points PR, coordinates of instantaneous position values of markers are determined: T1, T2, T3 placed at a distance dT and forming a plane ψ placed in relation to the plane φ at an angle γ, preferably using radio methods such as UWB or laser or methods based on the measurement of the time of flight of a signal (ToF) to determine instantaneous parameters of the plane ψ and the line p, consisting in determining the parameters of the line p passing through the marker and the plane ψ, thanks to which the angle γ in relation to the plane φ can be determined, which enables the correction vector V to be determined as the position and spatial orientation of the glasses.