PL205063B1 - Sposób prowadzenia pojazdu do obiektu docelowego za pomocą zdalnego ośrodka sterowania - Google Patents

Description

Przedmiotem niniejszego wynalazku jest sposób prowadzenia pojazdu do obiektu docelowego za pomocą zdalnego ośrodka sterowania, zwłaszcza z wykorzystaniem środków obrazujących i kanału komunikacyjnego z opóźnieniami.

Dla ułatwienia, poniżej zdefiniowano pewną liczbę określeń i skrótów stosowanych w opisie.

Określenie kamera odnosi się do urządzenia, układu lub instalacji, która wychwytuje trójwymiarowy obiekt rzeczywisty i transformuje go na szereg obrazów. Obecnie tworzone obrazy obiektu trójwymiarowego mogą być sporządzane różnymi środkami, jak na przykład sygnał radarowy, kamera podczerwieni lub kamera wizyjna. Obrazy w niniejszym dokumencie nazywane są „ramkami.

Określenie „pojazd odnosi się do obiektu wszelkiego rodzaju, który jest prowadzony przez wewnętrzny podsystem prowadzenia. Przykłady takich pojazdów, to samochód, samolot, satelita, torpeda, rakieta, okręt itp.

Określenie „automatyczny system prowadzenia odnosi się do systemu do prowadzenia pojazdu do określonego obszaru lub obiektu docelowego. Dla realizacji tej operacji, pojazd zaopatrzony jest w kamerę. Obrazy wychwytywane przez tę kamerę są przenoszone do ośrodka sterowania i prezentowane na wyświetlaczu. Przy prowadzeniu pojazdu lub oznaczaniu docelowego obiektu, określonego punktu lub obszaru na wyświetlanym obrazie, i przenoszeniu informacji o tym oznaczeniu do pojazdu, mechanizm sterujący pojazdu (w niniejszym opisie określany jako „wewnętrzna pętla sterowania lub „wewnętrzny podsystem prowadzenia) steruje układem kierowniczym pojazdu tak, aby poruszał się on w stronę docelowego obiektu.

Określenia „operator odnosi się do środków angażujących człowieka lub automatycznych (to znaczy systemu komputerowego), które podejmują decyzję co do punktu lub obszaru, do którego należy prowadzić pojazd. Ręczne wskazywanie może być realizowane za pośrednictwem urządzenia, na przykład myszy komputerowej, manipulatora drążkowego, ekranu dotykowego itd. W przypadku środków automatycznych nie jest potrzebny ani wyświetlacz, ani urządzenie wskazujące, ponieważ automat może operować danymi bez pośrednictwa wyświetlacza ani środków wskazujących.

Na ogół, w systemach prowadzenia pojazdów, w których odbywa się transfer obrazów od pojazdu do ośrodka sterowania, sygnał obrazowy jest komprymowany w celu zmniejszenia szerokości pasma wymaganej do transmisji.

Na fig. 1, 2a i 2b rysunku, w uproszczeniu przedstawiono typowy znany system do zdalnego prowadzenia pojazdu przy pomocy operatora - człowieka.

W pojeździe 10, ramki wychwytywane przez kamerę 11 są poddawane kompresji w kompresorze 12 (zwykle składnik programowy/sprzętowy) i transmitowane za pośrednictwem nadajnika 13 ośrodka sterowania 20. Transmisja od pojazdu 10 do ośrodka sterowania 20 nazwana została „łączem zstępującym.

W oś rodku sterowania 20 transmisja jest odbierana przez odbiornik 21, poddawana dekompresji przez dekompresor 22 (zwykle składnik programowo-układowy), i ramki są prezentowane na wyświetlaczu 23.

Operator 24 wykorzystuje urządzenie wskazujące 25 (na przykład mysz komputerową) do zaznaczenia na ekranie wyświetlacza 23 punktu docelowego, do którego powinien być prowadzony pojazd. Współrzędne zaznaczonego punktu są transmitowane do pojazdu za pośrednictwem nadajnika 26 zdalnego ośrodka sterowania 20. Transmisja od ośrodka sterowania do pojazdu określona jest jako „łącze wstępujące.

Zwrotnie, w pojeździe 10 odbiornik 14 odbiera rozkazy sterujące nadawane z ośrodka sterowania 20 i podaje je do wewnętrznego podsystemu prowadzenia 15. Wewnętrzny podsystem prowadzenia 15 dodatkowo zawiera system śledzący lub nawigacyjny 151 (lub też obydwa) i układ sterowniczy 152 który kieruje pojazd w stronę określonego punktu.

Kompresja i dekompresja obrazów jest realizowana w celu zmniejszenia ilości przenoszonych danych, i dostosowania się do ograniczeń wąskopasmowego kanału komunikacyjnego.

System przedstawiony na fig. 1 i 2 składa się z dwóch pętli, wewnętrznej pętli sterowania, w której kierujący podsystem pojazdu prowadzi pojazd do określonego punktu docelowego oraz zewnętrznej pętli sterowania, która obejmuje transfer łączem zstępującym do operatora i transfer danych łączem wstępującym od ośrodka sterowania do pojazdu.

Pętla zewnętrzna obejmuje stopień próbkowania położenia pojazdu, w którym kamera wychwytuje obrazy, stopień kompresji w pojeździe, w którym ramki są poddawane kompresji w celu zmniejPL 205 063 B1 szenia ilości danych, trasę łącza zstępującego, w którym ramki po kompresji są transmitowane do ośrodka sterowania, stopień dekompresji w ośrodku sterowania, w którym ramki odebrane w ośrodku sterowania są poddawane dekompresji i prezentowane operatorowi na wyświetlaczu, stopień wskazywania, w którym operator może w razie potrzeby określić nowy punkt docelowy, i trasę łącza wstępującego, w którym do pojazdu są wysyłane współrzędne nowego punktu docelowego.

Pętla wewnętrzna w pojeździe ustawia układ sterowania na poruszanie się do punktu docelowego.

Jeżeli operator zaznacza nowy punkt docelowy, to z ośrodka sterowania do pojazdu, za pośrednictwem łącza wstępującego transmitowane są współrzędne nowego punktu docelowego, mechanizm pętli wewnętrznej ustawia układ sterowania na nowy punkt docelowy, i pojazd jest prowadzony do tego punktu docelowego.

Niektóre czynniki mogą powodować opóźnienie między czasem, w którym obrazy są wychwytywane przez kamerę a czasem, kiedy są one prezentowane na wyświetlaczu w zdalnym ośrodku sterowania.

Główny powód tego opóźnienia może być związany z szerokością pasma łącza zstępującego przydzielonego do transmisji obrazów. Jeżeli szerokość pasma nie jest dostatecznie duża, to może być potrzebne zastosowanie metod kompresji. Te metody mogą obejmować pomijanie ramek lub zastosowanie estymacji dwukierunkowej, określanej w standardach kompresji, na przykład ISO 13818-2 (MPEG2-video) jako stosowanie ramek B. Opóźnienie między wychwyconą ramką a ramką wyświetlaną jest typowe dla obu metod. Zwykle kompresja wizji (czyli obrazu) daje bity ze zmienną szybkością. Transfer tych bitów za pośrednictwem kanału o stałej prędkości bitowej wymaga buforowania, po obu stronach kanału, a zatem powoduje dodatkowe opóźnianie.

Mogą występować inne przeszkody, które przyczyniają się do opóźniania, na przykład kiedy ścieżka komunikacyjna jest zestawiona za pośrednictwem stacji przekaźnikowych, linii telefonicznych, modemów, protokołów internetowych itd. Opóźnienie może pojawiać się zarówno na trasie łącza zstępującego, jak i wstępującego.

Z powodu tego opóź nienia w wyś wietlaniu obrazu w oś rodku sterowania, operator nie może rozporządzać aktualnymi wyświetlanymi obrazami. Ponadto, aż do momentu dostarczenia do pojazdu współrzędnych zaznaczonego punktu powstaje dodatkowe opóźnienie, i pojazd też nie znajduje się w poł o ż eniu oczywistym dla operatora przy zaznaczaniu punktu docelowego.

Częściowym rozwiązaniem tego problemu, stosowanym w rozwiązaniach znanych, jest zwiększenie szerokości pasma. Dzięki temu można osiągnąć większą prędkość bitową danych transferowanych między pojazdem a ośrodkiem sterowania. Jednakowoż, wadą tego rozwiązania jest wyczerpywanie zasobów szerokości pasma. Z powodu ograniczeń pasma potrzebne są inne rozwiązania. Ponadto, to rozwiązanie przy stosowaniu zmniejsza tylko opóźnienie kompresyjne, lecz nie oddziałuje na inne przyczyny opóźnienia.

W dokumencie EP 606 173 przedstawiono sposób i system do prowadzenia pojazdu za pośrednictwem kanału komunikacyjnego z opóźnieniami, który zawiera w pojeździe zarówno kamerę, jak i urzą dzenie stereoskopowe.

Zatem celem wynalazku jest opracowanie sposobu zdalnego prowadzenia pojazdu za pośrednictwem kanału komunikacyjnego z opóźnieniami, w którym sprawność sterowania jest lepsza niż w rozwiązaniach znanych, w tych samych warunkach. Mówią c dokł adniej, celem wynalazku jest zwłaszcza kompensacja opóźnień wynikających z opóźnień w kanale komunikacyjnym przy przekazywaniu obrazów od pojazdu do operatora zdalnego i sygnałów sterujących od operatora do pojazdu. Innym celem wynalazku jest umożliwienie sterowania w zasadzie w czasie rzeczywistym pojazdem w kanale komunikacyjnym z opóźnieniami, zwłaszcza przy wąskim paśmie kanału łączącego pojazd i oś rodek sterowania. Ponadto pożądana jest moż liwość realizacji prowadzenia pojazdu, kiedy punkt, do którego prowadzony jest pojazd jest albo statyczny albo dynamiczny.

Sposób prowadzenia pojazdu do obiektu docelowego za pomocą zdalnego ośrodka sterowania, który komunikuje się z pojazdem za pomocą kanału komunikacyjnego z opóźnieniami, przy czym w pojeździe okresowo wychwytuje się ramki obrazowe za pomocą kamery, przydziela się do każdej z wychwyconych ramek przyporządkowany jej niepowtarzalny stempel czasowy i przechowuje się w pamięci zbiór ramek, ponadto w ośrodku sterowania odbiera się dane ramkowe i przyporządkowane do nich stemple czasowe, sekwencyjnie rekonstruuje się obrazy ramkowe z każdych przesłanych danych pełnych i/lub danych częściowych ramek, i prezentuje się zrekonstruowane obrazy na wyświetlaczu, a ponadto po zaznaczeniu przez operatora w ośrodku sterowania

PL 205 063 B1 określonego punktu na specjalnej wyświetlonej ramce, przesyła się do pojazdu wskazania współrzędnych odnoszące się do tego określonego punktu na pojawiającej się specjalnej ramce dostępnej w ośrodku sterowania, oraz stempel czasowy przyporządkowany do tej specjalnej ramki, następnie w pojeździe odbiera się zaznaczone wskazania współrzędnych oraz stempel czasowy przysłanej ramki, wyprowadza się współrzędne wspomnianego określonego punktu i podaje się znalezione współrzędne tego określonego punktu w najnowszej dostępniej wychwyconej ramce, do wewnętrznego podsystemu prowadzenia pojazdu, dla umożliwienia śledzenia obiektu docelowego, według wynalazku charakteryzuje się tym, że za pomocą pamięci pojazdu zapisuje się pełne dane ramkowe lub częściowe dane ramkowe dla wychwyconych okresowo ramek obrazowych wraz z przyporządkowanymi do nich stemplami czasowymi. Następnie dla zbioru zapisanych ramek wysyła się z nadajnika pojazdu do odbiornika ośrodka sterowania poprzez kanał komunikacyjny z opóźnieniami, pełne dane ramkowe, częściowe dane ramkowe lub ich kombinację, wraz ze stemplem czasowym przyporządkowanym do każdej z wysłanych ramek. W ośrodku sterowania przeprowadza się aproksymację lub odtwarza się dokładną wersję przesłanych ramek i wyświetla się je, ponadto wskazania współrzędnych odnoszące się do obiektu docelowego pojawiające się na ramce odniesienia przesyła się z ośrodka sterującego wstecz do pojazdu. W pojeździe, po odebraniu wskazania współrzędnych oraz stempla czasowego, wprowadza się współrzędne określonego punktu lub obiektu docelowego do uprzednio zapisanej przyporządkowanej ramki mającej ten sam stempel czasowy i przeprowadza się procedury obróbki obrazu, śledzenia z szybkoś cią wię kszą od czę stotliwoś ci okresowego wychwytywania współ rzę dnych okreś lonego punktu lub obiektu docelowego, od tej wspomnianej ramki w stronę wychwyconej ramki najbardziej niedawno dostępnej i znajduje się współrzędne tego określonego punktu bądź obiektu docelowego, który pojawia się w najnowszej dostępnej wychwyconej ramce.

Korzystnym jest, że każda z częściowych danych ramkowych reprezentuje ramkę pośrednią, a każ da z pełnych danych ramkowych reprezentuje ramkę odniesienia.

Korzystnym jest, że między dowolnymi dwiema ramkami odniesienia wstawia się przynajmniej jedną ramkę pośrednią.

Korzystnym jest, że każde częściowe dane ramkowe zawierają zbiór globalnych parametrów ruchu, wskazujących globalną zmianę danej ramki pośredniej w stosunku do poprzedniej ramki odniesienia, obliczoną z wykorzystaniem globalnej funkcji ruchu.

Korzystnym jest, że ramki odniesienia poddaje się kompresji w pojeździe przed wysłaniem do ośrodka sterowania, a w ośrodku sterowania poddaje się je dekompresji.

Korzystnym jest, że do ośrodka sterowania między dowolnymi dwoma skomprymowanymi ramkami odniesienia przesyła się przynajmniej jeden zespół globalnych parametrów ruchu.

Korzystnym jest, że w pojeździe i w ośrodku sterowania wykorzystuje się tą samą globalną funkcję ruchu.

Korzystnym jest, że w ośrodku sterowania każdą ramkę po dekompresji wyświetla się.

Korzystnym jest, że każdą ramkę pośrednią wyświetla się w ośrodku sterowania po uaktywnieniu globalnej funkcji ruchu, z wykorzystaniem globalnych parametrów ruchu tej odebranej ramki i danych odnoszących się do poprzedniej ramki odniesienia.

Korzystnym jest, że kiedy operator zaznacza obiekt docelowy na wyświetlanej ramce pośredniej, to dodatkowo, przed realizacją szybkiego śledzenia predykcyjnego w pojeździe wstecznie aktywuje się globalną funkcję ruchu dla przetworzenia zaznaczonych współrzędnych na współrzędne na poprzedniej ramce odniesienia.

Korzystnym jest, że aktywację wstecznej globalnej funkcji ruchu przeprowadza się w pojeździe.

Korzystnym jest, że aktywację wstecznej globalnej funkcji ruchu przeprowadza się w ośrodku sterowania.

Korzystnym jest, że do prowadzenia pojazdu do statycznego obiektu docelowego, w pamięci pojazdu zapisuje się tylko globalne parametry ruchu ramek pośrednich.

Korzystnym jest, że szybkie śledzenie predykcyjne współrzędnych obiektu od ramki odniesienia do najnowszej dostępnej wychwyconej ramki przeprowadza się za pomocą kaskadowego aktywowania globalnej funkcji ruchu w pojeździe, począwszy od współrzędnych obiektu na ramce odniesienia i stosuje się funkcję do wszystkich lub niektórych globalnych parametrów ruchu nowszych zapisanych ramek, aż do wyznaczenia współrzędnych obiektu docelowego, do współrzędnych obiektu docelowego na ramce najbardziej niedawno wychwyconej.

PL 205 063 B1

Korzystnym jest, że do prowadzenia pojazdu do dynamicznego obiektu docelowego, w pamięci pojazdu zapisuje się pełne ramki danych.

Korzystnym jest, że śledzenie współrzędnych obiektu docelowego od ramki odniesienia do najnowszej dostępnej wychwyconej ramki przeprowadza się za pomocą aktywowania z szybkością większą od częstotliwości okresowego wychwytywania ramek w pojeździe za pomocą zespołu śledzenia obiektu, począwszy od współrzędnych obiektu docelowego na ramce odniesienia, przy czym zespół ten stosuje się do wszystkich nowszych zapisanych ramek, aż do wyznaczenia współrzędnych obiektu docelowego na ramce najbardziej niedawno wychwyconej.

Korzystnym jest, że za pomocą zespołu śledzenia obiektu w pojeździe najpierw identyfikuje się zaznaczony obszar obiektu na ramce odniesienia z wykorzystaniem współrzędnych dostarczonych z oś rodka sterowania, a nastę pnie wykorzystuje się korelację do wyznaczania przemieszczenia obszaru we wszystkich nowych zapisanych ramkach, aż do wyznaczenia współrzędnych obiektu docelowego, znajdującego się wewnątrz tego obszaru, na ostatniej wychwyconej ramce.

Korzystnym jest, że za pomocą wewnętrznego subsystemu prowadzącego odbiera się współrzędne obiektu docelowego i na podstawie tych współrzędnych prowadzi się pojazd do określonego punktu, w określonym kierunku do obiektu docelowego, lub na podstawie ich kombinacji, za pomocą subsystemu nawigacyjnego, subsystemu urządzenia śledzącego lub ich połączenia.

Korzystnym jest, że pełne dane ramkowe reprezentujące ramkę odniesienia zawierają pikselową reprezentację danych ramki.

Korzystnym jest, że pełne dane ramki dodatkowo zawierają przynajmniej jeden zbiór globalnych parametrów ruchu, wskazujący globalną zmianę ramki odniesienia w stosunku do poprzedniej ramki odniesienia.

Korzystnym jest, że ramkę odniesienia rekonstruuje się i prezentuje się za pomocą wyświetlacza w ośrodku sterowania przez wykorzystanie pikselowej reprezentacji danych.

Korzystnym jest, że ramkę odniesienia rekonstruuje się i prezentuje się za pomocą wyświetlacza w ośrodku sterowania albo przez wykorzystanie pikselowej reprezentacji danych albo przez podstawienie jednego z zespołu globalnych parametrów ruchu wskazującego w globalnej funkcji ruchu globalną zmianę ramki odniesienia, w odniesieniu do poprzedniej ramki odniesienia.

Korzystnym jest, że jako operatora zamiast człowieka stosuje się system komputerowy.

Korzystnym jest, że globalne parametry ruchu wykorzystuje się do zestawiania ramek kiedy tylko docierają one do ośrodka sterowania, zapewniając tworzenie ramek z minimalnym opóźnieniem.

Korzystnym jest, że ramki rekonstruuje się na podstawie więcej niż jednej ramki odniesienia.

Zgodnie z wynalazkiem, opracowano sposób prowadzenia pojazdu rozwiązujący problemy znanych rozwiązań w sposób zwarty, prosty i tani.

Przy stosowaniu sposobu prowadzenia pojazdu do celu statycznego, w pojeździe są zapisywane tylko globalne parametry ruchu (GMP) ramek pośrednich i ramek odniesienia. W tym przypadku szybkie śledzenie predykcyjne współrzędnych obiektu od ramki odniesienia do najnowszej dostępnej wychwyconej ramki odbywa się za pomocą kaskadowego aktywowania globalnej funkcji ruchu (GMF) w pojeździe, począwszy od współrzędnych obiektu na ramce odniesienia, i stosowanie funkcji do wszystkich lub niektórych parametrów GMP nowszych zapisanych ramek, aż do wyznaczenia współrzędnych docelowych, do współrzędnych celu na ramce najbardziej niedawno wychwyconej.

Przy stosowaniu sposobu prowadzenia pojazdu do celu dynamicznego, w pojeździe są zapisywane pełne ramki danych. W takim przypadku szybkie śledzenie predykcyjne współrzędnych obiektu od ramki odniesienia do najnowszej dostępnej wychwyconej ramki odbywa się za pomocą aktywowania w pojeździe urządzenia do szybkiego śledzenia obiektu, począwszy od współrzędnych obiektu na ramce odniesienia, i stosowanie tego urządzenia do wszystkich nowszych zapisanych ramek, aż do wyznaczenia współrzędnych docelowych, do współrzędnych celu na ramce najbardziej niedawno wychwyconej.

Kiedy sposób według wynalazku jest wykorzystywany do prowadzenia pojazdu do celu dynamicznego, urządzenie do szybkiego predykcyjnego śledzenia obiektu w pojeździe najpierw identyfikuje zaznaczony obszar obiektu na ramce odniesienia za pomocą współrzędnych dostarczonych z ośrodka sterowania, a następnie wykorzystuje środki, na przykład korelację , do wyznaczania przemieszczenia obszaru we wszystkich nowych zapisanych ramkach, aż do wyznaczenia współrzędnych celu, znajdującego się wewnątrz tego obszaru, na ostatniej wychwyconej ramce.

PL 205 063 B1

Przedmiot wynalazku jest bliżej objaśniony w przykładach wykonania na rysunku, na którym figury 1 i 2a w uproszeniu przedstawiają typowy system do zdalnego i ręcznego prowadzenia pojazdu, w sposób znany, fig. 2b przedstawia strukturę wewnę trznego podsystemu prowadzenia wystę pują cego w pojeździe, fig. 3 - w uproszczeniu sygnał wizyjny z kompresją, według rozwiązania znanego, fig. 4a, 4b i 4c w uproszczeniu przedstawiają trzy różne sposoby przekazywania ramek w zewnętrznej pętli sterowania i prezentowania ich w ośrodku sterowania, według trzech przykładów wykonania wynalazku, fig. 5a przedstawia w uproszczeniu sekwencję ramek wizji, wyłapywanych przez kamerę zainstalowaną w pojeździe, fig. 5b - w uproszczeniu prezentowane na wyświetlaczu operatora ramki wizyjne z fig. 5a, według jednego z przykładów wykonania wynalazku, fig. 6a - schemat blokowy systemu do prowadzenia zdalnego pojazdu do celu statycznego za pośrednictwem kanału komunikacyjnego z opóźnieniami, według jednego przykładu wykonania wynalazku, a fig. 6b przedstawia schemat blokowy systemu do prowadzenia zdalnego pojazdu do celu dynamicznego za pośrednictwem kanału komunikacyjnego z opóźnieniami, według drugiego przykładu wykonania wynalazku.

Kamera zapewnia sekwencję ramek, której części są ostatecznie prezentowane operatorowi dla dostarczenia informacji potrzebnej do prowadzenia pojazdu. Oglądając te ramki, operator może zaznaczyć nowy cel, do którego powinien być prowadzony pojazd. Tę sekwencję obrazów określono jako „sekwencję wizyjną, nawet, jeżeli tempo obrazów jest zbyt małe dla objęcia tego określenia. Zwykle sekwencja ramek mająca około 40 milisekund odstępu do każdej następnej ramki, daje obraz „ruchomy.

W dokumencie US 5.835.147 opisano sygnał wizyjny zawierający sekwencję segmentów, z których każdy zawiera jedną ramkę „odniesienia (będącą pierwszą ramką segmentu) z następującymi dalej jedna lub wieloma ramkami „pośrednimi. W celu opisania ruchu pojazdu, wykorzystywany jest segment sygnału wizyjnego zawierający ramkę odniesienia i wyrażenia matematyczne według wynalazku, opisujące zmianę między dowolną ramką pośrednią a ramką odniesienia. Należy zauważyć, że określenie „segment stosowany w opisie odnosi się do jednej ramki odniesienia i zero lub więcej kolejnych ramek pośrednich następujących po ramce odniesienia.

Na przykład, globalna zmiana między dwiema ramkami może być wyrażana jako: x'=Gx(x,y); y'=Gy(x,y); gdzie (x',y') są to współrzędne w ramce pośredniej punktu w scenie, która ma współrzędne (x,y) w ramce odniesienia. Funkcja G = [Gx,Gy] poniżej określana jako „globalna funkcja ruchu (Global Motiom Function - GMF) opisuje tylko „globalną zmianę między pierwszą ramką a ramką następną, i opiera się na założeniu, ż e zmiana we wszystkich punktach wewnątrz ramki spełnia tę samą funkcję. Ilość danych potrzebna do rekonstrukcji następnej ramki z danej pierwszej ramki, jest minimalna.

Określenie „globalna funkcja ruchu (GMF - Global Motion Function) w opisie odnosi się do występującego globalnego przemieszczenia między ramką odniesienia a ramką następną. Mając ramkę odniesienia i funkcję GMF można skonstruować ramkę następną (pośrednią). Wspomniana ramka pośrednia jest aproksymacją sytuacji czasu rzeczywistego, która powinna być wyświetlana.

Prostym przykładem takiej transformacji jest operacja przesunięcia, to znaczy, transformacja jest wyrażona przez funkcje x'=a+x; y'=b+y, gdzie a i b są stałymi. Mówiąc bardziej szczegółowo, w tym przykładzie ramki pośrednie są prezentowane jako wykaz stałych a1, b1, a2, b2, a3, b3, ... an, bn. Dzięki temu, ilość bitów potrzebnych do transmitowania sygnału wizyjnego (to znaczy ramek) znacznie się zmniejsza. Ramki odniesienia mogą być poddawane kompresji sposobami znanymi, a zatem mają możliwość dodatkowego zmniejszenia ilości danych potrzebnych do zapisu sygnału wizji. Należy zauważyć, że ponieważ ramka pośrednia jest rekonstruowana przy założeniu, że zrekonstruowana przez funkcję GMF ramka pośrednia wykonuje globalny, równomierny ruch wszystkich punktów ramki względem punktów poprzedniej ramki odniesienia, to nie uwzględnia wzajemnych przemieszczeń obiektów w ramce. Ponadto nie uwzględnia oczywiście nowych obiektów, które w międzyczasie powinny być włączone w ramkę czasu rzeczywistego ze względu na ich ruch względem ramki odniesienia, ponieważ taka informacja nie jest osiągalna przy realizacji transformacji GMF. Obszary ramki pośredniej, w które powinna być włączona nowa informacja są zatem wyświetlane w bramce pośredniej jako obszary puste. Inne znane funkcje GMF są to, na przykład: (a) parametry obrotu z przesunięciem i zmiana rozmiaru; (b) bardziej ogólna 6-parametrowe przekształcenie afiniczne (x'=ax+by+e, y'=cx+dy+f gdzie x, y są współrzędnymi w obrazie odniesienia, x', y' są współrzędnymi w drugim obrazie, natomiast a, b, c, d, e i f są parametrami przekształcenia); (c) 8-parametrowa funkcja perspektywy; itp.

Określenie globalne parametry ruchu (GMP - Global Motion Parameters) odnosi się w opisie do zbioru stałych (parametrów), wykorzystywanych przez funkcję GMF przy konstruowaniu ramki pośredPL 205 063 B1 niej z ramki odniesienia. Zatem, jeżeli F1 i F2 są ramkami o dużym podobieństwie, to wtedy

GMF(F1,GMP) « F2 (symbol « reprezentuje dobrą aproksymację).

Określenie globalny kalkulator ruchu (GMC - Global Motion Calculator) odnosi się w opisie do funkcji służącej do obliczania GMP z dwóch ramek o dobrym podobieństwie. Tak więc GMC(F1,F2,GMF) = GMP.

Według wynalazku, wybór typu funkcji GMF powinien być dokonywany apriorycznie, a sam wybór powinien być znany i stosowany zarówno w pojeździe, jak i w siedzibie ośrodka sterowania. Jeżeli w jakimkolwiek konkretnym momencie jedna z siedzib wyznacza stosowanie innej funkcji GMF, to powinna nadać pewien sygnał do drugiej strony, informując o zmianie, i umożliwiając jej dopasować się do tej zmiany. Zatem możliwe jest wykorzystywanie następującego zapisu:

GMP(F1,F2) oznacza obliczanie GMP z wykorzystaniem ramki odniesienia F1 i ramkę bieżącą F2 (co jest równoważne GMC(F1,F2,GMF)=GMP), a GMP(F1) oznacza zastosowanie funkcji GMF do F1, z wykorzystaniem parametrów GMP (co jest równoważne GMC(F1,GMP)«F2). Zatem zastosowanie przekształcenia odwrotnego byłoby oznaczone przez GMC^-1(F1)(co jest równoważne GMF^-1(F2,GMP)«F1) a zastosowanie kaskady przekształceń byłoby oznaczone przez GMP2*GMP1 (F1) (co jest równoważne GMF(GMF(F1,GMP1),GMP2)«F3).

Dla skrócenia, określenie GMF odnosi się w opisie do jednej funkcji odnoszącej się całej ramki. W odmiennym przykładzie wykonania wynalazku ramka może być podzielona na podobrazy (lub segmenty przestrzenne) i możliwe jest stosowanie innej funkcji GMF dla każdej podramki (lub segmentu przestrzennego). Tak więc, termin GMP w tym przypadku, kiedy jest stosowany, może się odnosić do zbioru kilku GMP.

Na fig. 3 przedstawiono w uproszczeniu sygnał wizyjny po kompresji według rozwiązań znanych. Segment zawiera ramkę uaktualniającą 51 i globalne parametry ruchu 52 do 55. Jak to opisano w dokumencie US 5.835.147, z ramki odniesienia 51 i globalnych parametrów ruchu 52 do 55 są rekonstruowane ramki pośrednie. Ponieważ parametry GMP zmniejszają ilość danych sygnału wizyjnego, to wykorzystanie parametrów GMP może być użyteczne dla transferu sygnału wizyjnego od pojazdu do ośrodka sterowania. Szerokość pasma może być dodatkowo zmniejszana przez pomijanie transmisji parametrów GMP dla niektórych ramek. W tym przypadku, dekompresor może wytwarzać estymowane parametry GMP. Na przykład, jeżeli nie są transmitowane parametry GMP ramki 53, to właściwy estymator może być wytwarzany z parametrów GMP ramek 53 i 54.

Na fig. 4a pokazano przypadek typowy stanowiący przedstawienie niektórych przypadków i problemów rozwiązywanych za pomocą wynalazku.

Przedstawione kolumny są następujące:

- Czas: Kolumna nazywana inaczej „stempel czasowy. Jest to liczba porządkowa stanowiąca numer ramki, oznaczana jako T1, T2, T3, itd.

- Kamera: Numer kolejny wychwyconej ramki. Zakładając stałą szybkość próbkowania, ta kolumna odnosi się do „stempla czasowego. Oznaczana jako F1, F2, F3, itd. Różnica czasu między dwiema sąsiednimi ramkami w przykładzie ma nazwę „przedział czasu.

- Kompresja: Kompresja oznakowanych ramek. Ramki są komprymowane z zastosowaniem znanych sposobów kompresji obrazów. W niniejszym przykładzie do kompresora obrazu (bądź wizji) przekazywane są tylko ramki F1, F6, F11 i F16.

- Obliczenie GMP: Globalne parametry ruchu są oznaczane jako G1, G2, G3, itd., gdzie indeks (2, 3, 4 itd.) jest numerem ramki, do której odnoszą się parametry GMP. Zapis Gx(Fi, Fj) odnosi się do globalnych parametrów ramki x, obliczonych z ramki odniesienia Fi, i następnej ramki Fj. Każdy segment zawiera dane Fi, Gi+1, Gi+2, Gi+3, Gi+n, przy czym n jest maksymalną liczbą pomijanych ramek, w niniejszym przykładzie 4. W niniejszym przykładzie zakłada się, że czas potrzebny na obliczanie parametrów GMP jednej ramki jest nie większy niż jeden przedział czasowy, tak więc, na przykład w przedziale czasowym T3 jest możliwe obliczenie G2(F1, F3), ponieważ zarówno F1, jak i F2 już są w pamięci wewnętrznej.

- Transmisja: Informacja transmitowana z pojazdu do ośrodka sterowania. W tym przykładzie, parametry GMP obliczane są i transmitowane dla każdej ramki, lecz jak zaznaczono wcześniej, w innych odmianach wykonania tego wynalazku niektóre z parametrów GMP mogą nie być transmitowane lecz zamiast tego estymowane w miejscu, gdzie się znajduje odbiornik.

Dla zwięzłości, w niniejszym przykładzie zakłada się również, że każda ramka F1, F6, F11, ... wytwarza z grubsza biorąc taką samą liczbę® bitów transmitowanych w ciągu dokładnie 5 przedziałów

PL 205 063 B1 czasowych. W rzeczywistości, liczba powstających w wyniku kompresji bitów może zmieniać się znacznie w przypadku każdej ramki. Zwykle zalecane jest utrzymywanie stałej szybkości i jest realizowane, na przykład, za pomocą buforów. Ta zasada jest stosowana rutynowo w metodach kompresji wizji, na przykład ISO 14496-2 (MPEG4-video).

Należy zauważyć, że praktycznie, z przyczyny sposobów kompresji, ramki po kompresji mogą się różnić rozmiarem. Zwykle rozmiar pliku danych reprezentującego skomprymowaną ramkę, która zawiera więcej szczegółów, jest większy, niż rozmiar pliku danych reprezentującego taką samą skomprymowaną ramkę, która zawiera mniej szczegółów. W przypadku sposobów kompresji wykorzystujących ramki I, P i B (na przykład ISO 14496-2) skomprymowana ramka I jest zwykle większa, niż skomprymowana ramka P lub B. Zatem przenoszony strumień danych na segment nie jest stały, a więc czas jego transmisji również nie jest stały.

- Dekompresja i obliczenie GMP: Dekompresja się odbywa w oś rodku sterowania. Skomprymowane ramki (w niniejszym przykładzie F1, F6, F11 ...) zostają poddane dekompresji. Ponadto, pominięte ramki są rekonstruowane przez zastosowanie odwrotnej transformacji globalnej do odnośnej ramki odniesienia po dekompresji. Na przykład w przedziale czasowym T9, do ramki F1 odniesienia po dekompresji jest stosowana transformacja z parametrami G2, z wytworzeniem rekonstrukcji ramki F2. W tym przykładzie, czas trwania dekompresji ramki nie przekracza jednego przedziału czasowego. Ramki wskazane kursywą oznaczają ramki zrekonstruowane a nie ramki źródłowe.

- Wskazanie: Ta kolumna wskazuje w każ dym przedziale czasowym, ż e jest prezentowana na wyświetlaczu ośrodka sterowania.

Jak przedstawiono w tym przykładzie, ramka F1, która została wychwycona w przedziale czasowym T1, jest wyświetlana na wyświetlaczu ośrodka sterowania tylko w przedziale czasowym T9. Mówiąc szczegółowo, w tym przykładzie ogólne opóźnienie wynosi 8 ramek, to znaczy w momencie stawiania stempla czasowego Fi, operator ogląda ramkę F(i-8). Później, w przedziałach czasowych T10, T11, T12 i T13, wyświetlane są ramki pośrednie, odpowiednio F2 do F5.

Rozwiązanie takie jest rozwiązaniem przykładowym, a szczegóły w różnych systemach mogą się różnić.

W prezentowanym przykładzie G2(F1) (bądź F2=GMF(F1,G2) odnosi się do rekonstruowania przybliżenia ramki F2 z globalnych parametrów G2 ruchu i ramki odniesienia F1. Zrekonstruowane ramki będą prezentowane na wyświetlaczu operatora.

W powyższym przykładzie liczba pomijanych ramek jest stała (w tym przykładzie 4). W innej odmianie wykonania wynalazku stosuje się system „adaptacyjny. W takim systemie adaptacyjnym liczba pomijanych ramek nie jest utrzymywana stała, lecz jest zmieniana dynamicznie, zależnie od zajętości buforów. Idea sterowania parametrami systemowymi odpowiednio do zajętości bufora nie jest nowa (patrz ISO14496-2). W prostej adaptacyjnej odmianie wykonania wynalazku można ustawić próg liczby bitów oczekujących na przetransmitowanie w buforze wyjściowym po stronie pojazdu. Następna ramka może być ustawiona jako ramka odniesienia tylko wtedy, kiedy liczba bitów w buforze jest mniejsza od progu.

Obecnie przedstawione zostanie zaznaczanie statycznego punktu docelowego. Pojazd jest wyposażony w wewnętrzny podsystem, który zawiera wewnętrzną pętlę sterowania do prowadzenia pojazdu do zaznaczonego punktu docelowego. Punkt docelowy może być statyczny (na przykład stały punkt w scenerii) lub dynamiczny (na przykład inny poruszający się pojazd). Przedmiotem rozważań jest śledzenie statycznego punktu docelowego.

W wyniku opóźnienia łączności w kanale zstępującym (to znaczy od pojazdu do ośrodka sterowania), w momencie, w którym operator zaznacza na prezentowanej ramce pewien obiekt, do którego powinien być prowadzony pojazd, pojazd już nie znajduje się w tym miejscu. Ponadto, z powodu opóźnienia wstępującego, kiedy do pojazdu przybywa z powrotem instrukcja sterująca dotycząca tego zaznaczenia, pojazd najprawdopodobniej jest oddalony od miejsca w którym był podczas wstawiania zaznaczenia.

Według wynalazku, dla przezwyciężenia tych okoliczności mogą być stosowane dwie alternatywne możliwości, umożliwiające operatorowi prowadzenie pojazdu do obiektu statycznego. Jak to przedstawiono poniżej, te dwie odmiany wykonania różnią się miejscem, w którym realizowany jest etap „śledzenia wstecznego. W pierwszej odmianie wykonania etap ten jest realizowany w pojeź dzie.

PL 205 063 B1

W tym pierwszym przykładzie wykonania, w pojeździe każda ramka jest znakowana „stemplem czasowym, na przykład niepowtarzalnym numerem kolejnym. Dzięki temu, każda ramka może być identyfikowana zarówno w pojeździe, jak i w ośrodku sterowania. Ponadto, niektóre ramki są wyznaczone jak ramki „odniesienia a wszystkie pozostałe ramki są ramkami „pośrednimi.

Następnie obliczane są globalne parametry ruchu dla każdej ramki (odnoszone do poprzedniej ramki „odniesienia). Te parametry GMP (i opcjonalnie ramki odniesienia) są przechowywane w pojeździe, wraz z przyporządkowanymi do nich stemplami czasowymi. Opcjonalnie, w pojeździe mogą być przechowywane obrazy pełne z przyporządkowanymi do nich stemplami czasowymi.

Sekwencyjnie do ośrodka sterowania są przesyłane komprymowane ramki odniesienia, z których każda zaopatrzona jest w jej stempel czasowy.

W oś rodku sterowania, ramki są prezentowane operatorowi. Ramki odniesienia są najpierw poddawane dekompresji, a następnie prezentowane, a ramki pośrednie są rekonstruowane z wykorzystaniem funkcji GMF, danych odpowiednich parametrów GMP każdej ramki pośredniej i odpowiedniej poprzedniej ramki odniesienia.

Następnie operator zaznacza punkt docelowy. Realizowane jest śledzenie wsteczne, z otrzymaniem współrzędnych tego samego obiektu na poprzedniej ramce odniesienia dostępnej w ośrodku sterowania. Jeżeli ten punkt został zaznaczony na ramce odniesienia, to oczywiście śledzenie wsteczne do ramki odniesienia nie jest potrzebne.

Znalezione na ramce odniesienia współrzędne zaznaczonego obiektu i przyporządkowany do ramki odniesienia stempel czasowy są transmitowane do pojazdu.

W pojeź dzie, po odebraniu zaznaczonych współ rzę dnych i stempla czasowego ramki odniesienia, i po zapisaniu w pojeździe wszystkich wcześniejszych parametrów GMP aż do ramki aktualnie wychwyconej, następuje realizacja obliczenia śledzenia predykcyjnego, które obejmuje obliczenie zbioru funkcji GMF, w których zapisane parametry GMP są kolejno zastępowane, dla znalezienia położenia punktu docelowego pojawiającego się na najbardziej niedawno wychwyconej ramce. Kalkulacja się odbywa możliwie szybko dla nadążenia za aktualnie wychwytywaną ramką. Ponieważ to obliczanie jest obliczeniem stosunkowo prostym, to mogą być wykonane 3 obliczenia w krótkim okresie czasu, zwykle krótszym od jednego przedziału czasowego.

Następnie pojazd otrzymuje polecenie przemieszczenia się w stronę uaktualnionych współrzędnych zaznaczonych na bieżącej ramce. Jak wspomniano powyżej, pojazd ma zdolność przestawiania swojego układu kierowniczego w celu dojścia do określonego punktu (co jest rzeczą znaną). Ponadto, współrzędne zaznaczonego obiektu są ciągle uaktualniane w pojeździe, kiedy wychwytywane są nowe ramki, pod warunkiem, że nie zostaje zaznaczony nowy cel.

W drugim przykładzie wykonania, w pojeździe, każ da ramka jest znakowana „stemplem czasowym, na przykład niepowtarzalnym numerem kolejnym. Dzięki temu, każda ramka może być identyfikowana zarówno w pojeździe, jak i w ośrodku sterowania. Ponadto, niektóre ramki są wyznaczone jak ramki „odniesienia a wszystkie pozostałe ramki są ramkami „pośrednimi.

Następnie obliczane są globalne parametry ruchu dla każdej ramki (odnoszone do poprzedniej ramki „odniesienia). Te parametry GMP (i opcjonalnie ramki odniesienia) są przechowywane w pojeździe, wraz z przyporządkowanymi do nich stemplami czasowymi.

Sekwencyjnie do ośrodka sterowania są przesyłane komprymowane ramki odniesienia, z których każda zaopatrzona jest w jej stempel czasowy.

W oś rodku sterowania, ramki są prezentowane operatorowi. Ramki odniesienia są najpierw poddawane dekompresji, a następnie prezentowane, a ramki pośrednie są rekonstruowane z wykorzystaniem funkcji GMF, danych odpowiednich parametrów GMP każdej ramki pośredniej i odpowiedniej poprzedniej ramki odniesienia.

W ośrodku sterowania operator zaznacza punkt docelowy na prezentowanej ramce. Współrzędne zaznaczonego obiektu znajdujące się na prezentowanej ramce i stempel czasowy ramki są transmitowane do pojazdu.

W pojeź dzie, po otrzymaniu znakowanych współ rzędnych i stempla czasowego ramki, współ rzędne są najpierw śledzone wstecznie w zapisanych ramkach w pojeździe, z otrzymaniem współrzędnych tego samego obiektu na poprzedniej ramce odniesienia dostępnej w pojeździe, z wykorzystaniem zapisanych parametrów GMP. Jeżeli ten punkt został zaznaczony na ramce odniesienia, to oczywiście śledzenie wsteczne do ramki odniesienia nie jest potrzebne.

Obliczanie do śledzenia predykcyjnego obejmuje obliczenia zbioru funkcji GMF, w których zapisane parametry GMP są kolejno zastępowane, dla znalezienia położenia punktu docelowego pojawia10

PL 205 063 B1 jącego się na najbardziej niedawno wychwyconej ramce. Kalkulacja się odbywa możliwie szybko dla nadążenia za aktualnie wychwytywaną ramką. Ponieważ to obliczanie jest obliczeniem stosunkowo prostym, to, mogą być wykonane 3 obliczenia w krótkim okresie czasu, zwykle krótszym od jednego przedziału czasowego.

Pojazd otrzymuje polecenie przemieszczenia się w stronę uaktualnionych współrzędnych zaznaczonych na bieżącej ramce. Jak już wspomniano, pojazd ma zdolność przestawiania swojego układu kierowniczego w celu dojścia do określonego punktu. Ponadto, współrzędne zaznaczonego obiektu są ciągle uaktualniane w pojeździe, kiedy wychwytywane są nowe ramki, pod warunkiem, że nie zostaje zaznaczony nowy cel.

Śledzenie statycznego punktu docelowego z ramki, na której został on zaznaczony, do ramki aktualnej jest istotą zastosowania kaskady operacji funkcji GMF przy wykorzystaniu zapisanych parametrów GMP.

Na przykład, w odniesieniu do fig. 4a, załóżmy że w przedziale czasowym T11 punkt docelowy został zaznaczony przy współrzędnych (x,y). Wtedy prezentowanym obrazem jest F3. Współrzędne (x,y) wraz ze stemplem czasowym '3' są przesyłane do pojazdu. Załóżmy, że w wyniku opóźnienia łącza wstępującego komunikat niosący punkt docelowy i stempel czasowy przybywa do pojazdu w przedziale czasowym T16 (w którym ostatnio wychwyconą ramką jest F15). Obecnie pojazd musi śledzić punkt docelowy od F3 do F15. Może się to odbywać w dwóch etapach.

W pierwszym następuje ś ledzenie wsteczne punktu docelowego od ramki, na której został zaznaczony do ostatniej poprzedzającej ją ramki odniesienia. W tym przykładzie tą poprzedzającą ramką odniesienia jest F1. Ponieważ F3 jest ramką pośrednią, to w rzeczywistości stanowi wypaczoną wersję ramki odniesienia F1:F3=GMF(F1, G3). Znaczy to, że piksel w miejscu (x,y) wewnątrz F3 jest ten sam, co piksel w miejscu (u,v) wewnątrz F1, przy czym (x,y)=GMF([u,v], G3). Umiejscowienie punktu docelowego w ramce odniesienia może być z łatwością odtworzone przez transformację odwrotną: (u,v)=GMF^-1( [x,y], G3).

W drugim etapie nastę puje ś ledzenie predykcyjne punktu docelowego od F1 do F15. Odbywa się to po prostu przez kaskadowe zastosowanie przekształceń od F1 do F15. W prezentowanym przykładzie między F1 a F15 występują dwie ramki odniesienia F6 i F11, tak że śledzenie będzie postępowało od śledzenia z F1 na F6, do śledzenia z F11 do F15, to znaczy punkt docelowy, który zostanie przedstawiony pętli wewnętrznej to: (s, q)=GMF(GMF(GMF((u,v),G6),G11),G15), czyli, w prostszej notacji [s,q]=G15*G11*G6(u,v). Połączenie tych dwóch ostatnich etapów razem daje: [s,q]=G15*G11*G6*G3^-1 (x,y).

Obecnie przedstawione zostanie zaznaczanie dynamicznego punktu docelowego. Jak wspomniano, istnieją dwa typy fotografowanych obiektów - obiekty statyczne, na przykład budynki, drzewa, drogi itp., i obiekty ruchome, na przykład pojazdy. W celu śledzenia ruchomego (poruszającego się) obiektu, kontrolowany pojazd trzeba wyposażyć w urządzenie do śledzenia obiektu. Określenie „urządzenie do śledzenia obiektu odnosi się do urządzenia (programowego lub sprzętowego), które może wykrywać miejsce pojawiania się w ramce uprzednio określonego obiektu (na przykład obiektu zaznaczonego na ramce poprzedniej tej samej sekwencji wizyjnej). Jak wiadomo, śledzenie obiektu na sekwencji ramek jest znanym tematem istniejących rozwiązań, a zatem ten temat nie bę dzie omawiany dodatkowo. Wyrafinowane urządzenia ś ledzą ce mogą podołać skomplikowanej sytuacji, jak na przykład manewrowanie śledzonego obiektu, jak również manewrowanie samego pojazdu śledzącego. Typowe narzędzie do śledzenia obiektu między dwiema ramkami może wykorzystywać kryterium maksimum korelacji. Niektóre inne znane metody to detekcja krawędzi, detekcja zmiany, wydzielanie i śledzenie cech charakterystycznych, logika rozmyta i inne, oraz ich połączenia. Według wynalazku, pojazd zaopatrzony jest w urządzenie śledzące takiego rodzaju, które stanowi część pętli wewnętrznej, tak że kiedy operator zaznacza obiekt do śledzenia, to pojazd śledzi ten obiekt autonomicznie. Ponadto, zwykle zadaniem operatora jest sprawdzanie, czy śledzenie jest kontynuowane, a w razie potrzeby uaktualniać lub zmieniać punkt śledzenia (na przykład jeżeli pojazd zbliża się do śledzonego obiektu, stają się dostrzegalne nowe szczegóły). Do zaznaczania punktu docelowego lub do jego zmiany, operator wykorzystuje pętlę zewnętrzną, która jest pętlą z opóźnieniem.

Zaznaczanie dynamicznego punktu docelowego napotyka na te same problemy, jak opisano w części dotyczą cej zaznaczania statycznego punktu docelowego, a przede wszystkim na problemy wynikające z faktu, że obiekt, który ma być śledzony, porusza się. Kiedy operator zaznacza punkt na prezentowanej ramce, to nie tylko, że pojazd śledzący nie znajduje się w punkcie, w którym znajdował

PL 205 063 B1 się podczas wychwytywania ramki, lecz również śledzony obiekt najprawdopodobniej przemieścił się w sposób nieprzewidywalny. W momencie, kiedy rozkaz sterujący dla pojazdu (zawierający w sobie to oznaczenie) przybywa na powrót do pojazdu, zarówno pojazd, jak i obiekt śledzony mogą znajdować się jeszcze dalej.

Inna trudność występuje, kiedy przy próbie dalszego zmniejszenia szerokości pasma komunikacyjnego stosuje się system opisany powyżej z ramkami odniesienia i ramkami pośrednimi. Ponieważ tylko jedna ramka segmentu wizyjnego (ramka odniesienia) stanowi sfotografowany obraz, a pozostałe (ramki pośrednie) są przekształceniami tego obrazu, to w sygnale wizyjnym po dekompresji ruch obiektów statycznych jest płynny, a ruch obiektów ruchomych jest „nerwowy. Innymi słowy, ponieważ transformacje wyrażają globalną informację o obiektach wewnątrz ramek, to wynikiem jest ten „nerwowy ruch obiektu ruchomego. Obiekt ruchomy wygląda jak „przylepiony do jego otoczenia, kiedy prezentowane są ramki pośrednie, a jego pozycja jest uaktualniana faktycznie tylko, kiedy prezentowane są ramki odniesienia.

Na fig. 5a przedstawiono w uproszczeniu sekwencję ramek wizyjnych fotografowanych przez kamerę zainstalowaną na pojeździe.

Na fig. 5b przedstawiono w uproszczeniu ramki z fig. 5a, prezentowane na wyświetlaczu operatora, według jednej z odmian wykonania wynalazku.

Na fig. 5b, ramki odniesienia są uwydatnione, co widać na ramkach 101, 105 i 109, a ramki pośrednie nie są uwydatnione.

Obiekt 60 przemieszcza się od lewego górnego narożnika w dół, co znajduje odbicie w wychwytywanych ramkach według fig. 5a. Dla uproszczenia, zakłada się, że pojazd jest statyczny, zatem równania przekształceń są x'=x; y'=y. Zatem, zgodnie z opisaną powyżej metodą kompresji, zgodnie z którą każ dy segment zawiera ramkę odniesienia i pewną liczbę ramek poś rednich, poł o ż enie obiektu 60 względem segmentu, to znaczy wewnątrz ramki odniesienia i następnych ramek pośrednich jest stałe, jak to pokazano na fig. 5b. Dokładniej, poprawne położenie obiektu ruchomego jest odzwierciedlone tylko w ramkach odniesienia. Ramki pośrednie odzwierciedlają tylko globalną zmianę w stosunku do poprzedniej ramki odniesienia, wynikającą z przemieszczania się pojazdu. Obiekty wewnątrz ramek pośrednich są przemieszczone o tę samą odległość w stosunku do ich położenia wewnątrz poprzedniej ramki odniesienia. Zatem, ta sama wartość przemieszczenia jest poprawna dla wszystkich obiektów statycznych sceny, natomiast, w przypadku obiektu poruszającego się, jak obiekt 60, rzeczywiste położenie obiektu nie ma odbicia w ramkach pośrednich, lecz jest poprawnie przedstawione tylko wewnątrz ramek 101, 105, 109 odniesienia itp. Jak to pokazano na fig. 5b (przy której założono dla uproszczenia brak ruchu globalnego) położenie ruchomego obiektu 60' jest stałe w ramkach odniesienia (na przykład w ramkach 101, 102, 103 i 104), i jest uaktualniane dopiero w następnej ramce odniesienia (na przykład ramce 105).

Według jednej z odmian wykonania wynalazku, dla przezwyciężenia tych problemów, stosuje się, w pojeździe, funkcję szybkiego śledzenia obiektu, i podejmuje się następujące kroki. Każda ramka jest oznakowywana „stemplem czasowym (takim samym, jak w przypadku statycznego punktu docelowego).

W pojeź dzie, obliczane są globalne parametry ruchu dla każ dej ramki (odniesione do ostatniej ramką „odniesienia). Każda taka ramka jest zapisywana wraz z jej parametrami GMP i przyporządkowanym do niej stemplem czasowym.

Do pojazdu (w taki sam sposób, jak w przypadku statycznego punktu docelowego) transmitowane są współrzędne punktu zaznaczonego w ośrodku sterowania i stempel czasowy ramki, na której naniesiono oznakowanie.

W pojeździe, po odebraniu zaznaczonych współrzę dnych i stempla czasowego ramki, na której stawiane jest zaznaczenie, punkt jest najpierw wirtualnie „zaznaczany na odpowiedniej zapisanej ramce (tak samo, jak w przypadku statycznego punktu docelowego).

Następnie dokonuje się obliczeń śledzenia, dla znalezienia miejsca pojawienia się punktu na najnowszej ramce. To obliczenie przeprowadza się możliwie szybko aby zdążyć z aktualnie wychwytywaną ramką. Następnie pojazd otrzymuje polecenie przemieszczenia się do uaktualnionych zaznaczonych współrzędnych bieżącej ramki. Jak już wspomniano, pojazd ma możliwość oddziaływania na swój układ kierowniczy dla dotarcia do wyznaczonego punktu.

Śledzenie dynamicznego punktu docelowego od ramki, na której został zaznaczony do ramki aktualnej realizowane jest w dwóch etapach. Pierwszy etap jest identyczny, jak odpowiedni etap w przypadku statycznego punktu docelowego. W drugim etapie wykorzystywane jest urzą12

PL 205 063 B1 dzenie do szybkiego śledzenia obiektu, do śledzenia tego obiektu z wykorzystaniem ramek przechowywanych w pamięci. Ta wersja jest objaśniona poniżej z wykorzystaniem tego samego przykładu, co wykorzystywany w przypadku statycznego punktu docelowego, z powołaniem się na fig. 4a.

Załóżmy, że w przedziale czasowym T11 punkt docelowy został zaznaczony przy współrzędnych (x,y). Wtedy prezentowanym obrazem jest F3. Współrzędne (x,y) wraz ze stemplem czasowym '3' są przesyłane do pojazdu. Załóżmy, że w wyniku opóźnienia łącza wstępującego komunikat niosący punkt docelowy i stempel czasowy przybywa do pojazdu w przedziale czasowym T16 (w którym ostatnio wychwyconą ramką jest F15). Obecnie pojazd musi śledzić punkt docelowy od F3 do F15. Może się to odbywać w dwóch etapach.

W pierwszym etapie następuje ś ledzenie wsteczne punktu docelowego, od ramki, na której został zaznaczony, do ostatniej poprzedzającej ją ramki odniesienia. W tym przykładzie tą poprzedzającą ramką odniesienia jest F1. Ponieważ F3 jest ramką pośrednią, to w rzeczywistości stanowi wypaczoną wersję ramki odniesienia F1: F3=GMF(F1, G3). Znaczy to, że piksel w miejscu (x,y) wewnątrz F3 jest ten sam, co piksel w miejscu (u,v) wewnątrz F1, przy czym (x, y)=GMF([u,v],G3). Umiejscowienie punktu docelowego w ramce odniesienia może być z łatwością odtworzone przez transformację odwrotną: (u, v) =GMF^-1 ([x, y], G3).

W drugim etapie nastę puje ś ledzenie predykcyjne obiektu od F1 do ramki odebranej najbardziej niedawno. Do realizacji tego zadania wykorzystuje się urządzenie do szybkiego śledzenia obiektów. Urządzenie to jest zaopatrywane w sekwencję ramek pobieranych z pamięci, poczynając od F1 do ostatniej wychwyconej ramki. Ponieważ szybkie urządzenie śledzenia obiektów może przetwarzać wchodzące ramki bardzo szybko, to szybko wprowadza ramki do pamięci. Po przetworzeniu ostatniej ramki znajdującej się w pamięci, doprowadza współrzędną śledzonego obiektu do pętli wewnętrznej, a pętla wewnętrzna kontynuuje ś ledzenie w sposób tradycyjny. Na przykład: jeżeli normalna częstotliwość wizji wynosi 25 ramek/sekundę (40 milisekund na ramkę) a szybkie narzędzie śledzenia obiektów jest w stanie śledzić ramkę w ciągu 5 milisekund, a następnie w przedziale czasowym T16 śledzi obiekt w ramkach F1, F2, F3, F4, F5, F6, F7 i F8, a w przedziale czasowym T17 śledzi obiekt w ramkach F9, F10, F11, F12, F13, F14, F15 i F16, która jest ostatnią wychwycona ramką w przypadku tego przedziału czasu i przekazuje współrzędne obiektu do pętli wewnętrznej.

Ponieważ pierwszy z tych dwóch etapów jest identyczny, jak w przypadku statycznego punktu docelowego, to objaśnienia odnoszące się do tego etapu mają zastosowanie również w przypadku dynamicznego punktu docelowego, mianowicie: po pierwsze, etap ten jest pomijany, jeżeli zaznaczenie przypadło na ramkę odniesienia, a po drugie, etap ten może być realizowany w ośrodku sterowania zamiast w pojeździe.

Jak to pokazano, etapy podejmowane w ośrodku sterowania dla prowadzenia pojazdu do statycznych lub dynamicznych punktów docelowych są identyczne. Różnica występuje tylko w pojeździe.

W przypadku „statycznym pojazd może tylko przechowywać parametry GMP i musi przekazywać obliczanie współrzędnych docelowych zgodnie z aktualną ramką, której podstawą są te parametry GMP. Jednakowoż to samo zadanie może być wykonywane oczywiście również z pełnymi obrazami.

W przypadku „dynamicznym pojazd musi przechowywać pełne ramki wizyjne i prowadzić działanie szybkiego narzędzia śledzenia obiektów dla śledzenia celu od zaznaczonej ramki do ramki bieżącej.

Zwykle, zakładając, że sygnał wizyjny zawiera obiekty dynamiczne, liczba ramek do przechowywania w pojeździe musiałaby być równa przynajmniej liczbie opóźnionych ramek w systemie. Liczbę przechowywanych ramek można zmniejszyć na przykład przez zapisywanie każdej innej ramki, jeżeli zastosowane narzędzie śledzące jest w stanie śledzić obiekt w sekwencji rozcieńczonej (zwykle kompensującej przez zwiększenie obszaru przeszukiwania).

Oczywiście, opóźnienie nie zawsze jest stałe. Zatem należy przyjmować pewien współczynnik bezpieczeństwa, to znaczy powinien być pewien nadmiar miejsca do przechowywania ramek i przyporządkowanych do ich parametrów GMP.

Należy zauważyć, że różnica między szybkim urządzeniem śledzenia obiektów pętli zewnętrznej a „normalnym urządzeniem śledzącym pętli wewnętrznej, jest sprawą wygody. Te dwa urządzenia śledzące mogą być tylko jednym urządzeniem śledzącym działającym w dwóch różnych trybach.

W jednej z odmian wykonania wynalazku, która nadaje się do prowadzenia pojazdu zarówno do statycznego, jak i do dynamicznego punktu docelowego, rolą operatora jest wskazanie pojazdowi, czy ten operator życzy sobie odniesienia do statycznego, czy do dynamicznego punktu docelowego.

PL 205 063 B1

Niektóre algorytmy w celu zmniejszenia ilości ramek w czasie, stosują pomijanie pewnych ramek (to znaczy pewne ramki nie są w ogóle wychwytywane ani obrabiane). Zamiast tego pomijane ramki są zapełniane pewną wersją uprzednio transmitowanych ramek, zapewniającą kompensację ruchu. Ponieważ parametry GMP takich ramek nie są obliczane i transmitowane, to zamiast nich wykorzystywana jest pewna estymacja parametrów GMP. Na przykład estymowane parametry GMP mogą być obliczane albo przez ekstrapolację uprzednio transmitowanych parametrów GMP lub przez interpolację poprzednio i następnie transmitowanych parametrów GMP (z zastosowaniem opóźniania). Ekstrapolacja lub interpolacja może być realizowana sposobami znanymi w literaturze, z ważeniem liniowym lub z filtracją Kalmana. W przypadku śledzenia obiektu dynamicznego punktu docelowego urządzenie śledzące powinno być w stanie realizować śledzenie obiektów w rozcieńczonej sekwencji wizyjnej.

Te same parametry GMF są używane w pojeździe i w ośrodku sterowania. W możliwej odmianie wykonania wynalazku albo pojazd, albo ośrodek sterowania może życzyć sobie zastosowania pewnej innej funkcji GMF. W tym przypadku, strona inicjująca zmianę powinna powiadomić drugą stronę (za pomocą kanału komunikacyjnego), której należy użyć funkcji GMF, i kiedy (to znaczy przy którym stemplu czasowym) zmiana ma nastąpić. Po każdej stronie może być przechowywany pewien zbiór funkcji GMF (to znaczy przejściowy, afiniczny, perspektywiczny itp.). Jedna z funkcji GMF jest ustawiana jako domyślna, to znaczy ta, która jest wykorzystywana po uruchomieniu systemu. W takim przypadku, kiedy jedna strona życzy sobie zmiany funkcji GMF, dla wprowadzenia zmiany musi tylko przesłać indeks tej funkcji GMF i stempel czasowy.

Dla podwyższenia jakości odtwarzania i śledzenia, kalkulator GMC może dzielić obraz na kilka części (segmentów przestrzennych) i obliczać oddzielne parametry GMP dla każdej części (ewentualnie na podstawie różnych funkcji GMF). W takim przypadku musi przekazać do ośrodka sterowania wszystkie dane istotne dla odtworzenia i śledzenia wstecznego, to znaczy granice segmentów, funkcję GMF stosowaną w każdym segmencie i wynikowe parametry GMP.

Na fig. 6a przedstawiono schemat blokowy systemu do prowadzenia zdalnego pojazdu do obiektu statycznego za pośrednictwem kanału komunikacyjnego z opóźnieniami, do przeprowadzania sposobu według wynalazku, w pierwszym przykładzie wykonania.

W kroku 101 kamera fotografuje widok z przodu pojazdu 10. W kroku 102, obrazy są wychwytywane i digitalizowane z tworzeniem plików obrazowych określanych jako ramki. W kroku 104, jeżeli ramka jest ramką odniesienia, to znaczy pierwszą ramką segmentu, to system przechodzi do kroku 106, w którym następuje kompresja obrazu.

W kroku 105, z wykorzystaniem funkcji GMF obliczane są parametry GMP, zapisywane w pamięci 103. W kroku 107, dane ramki (ramki skomprymowanej i/lub parametrów GMP) wraz z przyporządkowanym do niej stemplem czasowym są przesyłane do ośrodka sterowania.

W kroku 201 transmisja zostaje odebrana w ośrodku sterowania 20. W kroku 202, jeż eli jest to pierwszy obraz segmentu (ramka odniesienia), ramkę otrzymuje się w kroku 203 przez dekompresję danych. W innym przypadku, jeżeli jest to ramka pośrednia, ramkę otrzymuje się w kroku 204 przez zastosowanie funkcji GMF z parametrami GMP. Oczywiście, istnieje wiele sposobów wskazywania, czy dane należą do ramki odniesienia, czy do ramki pośredniej, na przykład ustawianie pewnej flagi w nagłówku danych informacji odnoszą cej się do każ dej transmitowanej ramki.

W kroku 205 obraz jest prezentowany na monitorze w oś rodku sterowania 20. W kroku 206 operator zaznacza na prezentowanej ramce punkt docelowy. Zakładając, że urządzenie 219 śledzenia wstecznego jest zainstalowane w pojeździe, współrzędne punktu docelowego i stempel czasowy ramki, są transmitowane do pojazdu (w kroku 207).

W opcjonalnym kroku 219', jeż eli urządzenie śledzenia wstecznego nie jest zainstalowane, to przed transmisją realizowane jest śledzenie wsteczne. Dokładniej, zaznaczone współrzędne są śledzone wstecz do najbliższej starszej ramki odniesienia, a otrzymane w wyniku współrzędne, wraz ze stemplem czasowym tej ramki odniesienia są transmitowane do pojazdu.

W kroku 208, w pojeździe 10, jest odbierana transmisja ze stanowiska sterowania. W opcjonalnym kroku 219, zakładając, że urządzenie śledzenia wstecznego jest rzeczywiście zainstalowane w pojeździe 10, realizuje się ś ledzenie wstecz. Dokładniej, współrzędne zaznaczone na ramce są śledzone wstecz do najbliższej starszej ramki odniesienia. W kroku 209, zaznaczony obiekt jest śledzony predykcyjnie od jego położenia wewnątrz ramki odniesienia do jego położenia w najbardziej niedawno wychwyconej ramce, za pomocą szeregu (kaskady) obliczeń funkcji GMF.

PL 205 063 B1

W kroku 210 wewnę trzny prowadzą cy ukł ad kierowniczy pojazdu zostaje zaopatrzony w nowe współrzędne, na które ma realizować naprowadzanie. Określenie układ kierowniczy przyjęto w opisie w szerokim znaczeniu, tak ż e może zawierać również pewną wewnętrzna pętlę śledzenia.

W każdym przypadku, stare ramki już nieistotne dla pracy, i ich stemple czasowe są usuwane z pamię ci FIFO.

Na fig. 6b przedstawiono schemat blokowy systemu do przeprowadzania sposobu według wynalazku, do zdalnego prowadzenia pojazdu do obiektu dynamicznego za pośrednictwem kanału komunikacyjnego z opóźnieniami, według korzystnego drugiego przykładu wykonania.

W kroku 301 kamera fotografuje widok z przodu pojazdu 10. W kroku 302, obrazy są wychwytywane i digitalizowane z tworzeniem plików obrazowych określonych jako ramki.

W kroku 303, w pamięci zostają zapisane peł ne dane wychwytywanych ramek wraz z przyporządkowanym do nich stemplem czasowym. W kroku 304, jeżeli ramka jest ramką odniesienia, to znaczy pierwszą ramką segmentu, to system przechodzi do kroku 306, w którym następuje kompresja obrazu. W innym przypadku, jeżeli ramka jest ramką pośrednią, to działanie systemu przechodzi do kroku 305, przy czym parametry GMP ramki są obliczane (z wykorzystaniem funkcji GMF), i zapisywane w pamięci 303.

W kroku 307, dane ramki (ramki skomprymowanej lub parametrów GMP) wraz z przyporządkowanym do niej stemplem czasowym są przesyłane do ośrodka sterowania 20 za pośrednictwem kanału z opóźnieniami.

W kroku 401 transmisja zostaje odebrana w oś rodku sterowania 20. W kroku 402, jeż eli jest to pierwszy obraz segmentu (ramka odniesienia), ramkę otrzymuje się w kroku 403 przez dekompresję danych. W innym przypadku, jeżeli jest to ramka pośrednia, ramkę otrzymuje się przez zastosowanie funkcji odwrotnej GMF 404 z odebranymi parametrami GMP. Oczywiście, istnieje wiele sposobów wskazywania, czy dane należą do ramki odniesienia, czy do ramki pośredniej, na przykład ustawianie pewnej flagi w nagłówku danych informacji odnoszącej się do każdej transmitowanej ramki.

W kroku 405 obraz, czy to ramki odniesienia, czy ramki poś redniej, jest prezentowany na monitorze wyświetlacza 405.

W kroku 406 operator zaznacza na prezentowanej ramce punkt docelowy. Zakładając, że urządzenie 419 śledzenia wstecznego jest zainstalowane w pojeździe, współrzędne punktu docelowego i stempel czasowy ramki, są transmitowane do pojazdu (w kroku 407).

- W opcjonalnym kroku 419', jeżeli urządzenie 419 ś ledzenia wstecznego nie jest zainstalowane, to przed transmisją realizowane jest śledzenie wsteczne w ośrodku sterowania. Dokładniej, zaznaczone współrzędne są śledzone wstecz do najbliższej starszej ramki odniesienia, a otrzymane w wyniku współ rzę dne, wraz z stemplem czasowym tej ramki odniesienia są transmitowane do pojazdu (ponownie, krok 407).

W kroku 408 ta transmisja jest odbierana w pojeździe 10. W opcjonalnym kroku 419, zakładając, że urządzenie śledzenia wstecznego jest rzeczywiście zainstalowane w pojeździe, realizuje się śledzenie wstecz. Dokładniej, współrzędne zaznaczone na ramce są śledzone wstecz do najbliższej starszej ramki odniesienia.

W kroku 409, zaznaczony obiekt jest śledzony predykcyjnie szybkim sposobem, od jego położenia wewnątrz ramki odniesienia do jego położenia w najbardziej niedawno wychwyconą ramką, za pomocą szybkiego urządzenia śledzenia obiektów.

W kroku 410 wewnętrzny prowadzący układ kierowniczy pojazdu zostaje zaopatrzony we współrzędne otrzymane w kroku 409, na które ma realizować naprowadzanie. Określenie układ kierowniczy przyjęto w szerokim znaczenie, tak że może zawierać również pewną wewnętrzna pętlę śledzenia.

W każdym przypadku, stare ramki już nieistotne dla pracy i ich stemple czasowe, są usuwane z pamię ci FIFO 303.

W systemie do przeprowadzania sposobu wedł ug wynalazku mogą wystę pować pewne problemy. Funkcja GMF, zastosowana do ramki odniesienia, wytwarza ramkę pośrednią zawierającą obszary czyste bez informacji. Istnienie tych obszarów czystych wynika z faktu, że ramka pośrednia może nie zawierać „nowej części scenerii, które nie były widoczne dla kamery, kiedy zdejmowana była ramka odniesienia, a zatem nie może być odtworzona przez zastosowanie funkcji GMF do ramki odniesienia. Ponadto, mogą występować przypadki, w których operator w ośrodku sterowania zaznacza wewnątrz ramki pewien obiekt (lub pewien obszar), który aż do przekazania

PL 205 063 B1 tego zaznaczenia do pojazdu i przekształcenia go we współrzędne w najbardziej aktualnej wychwyconej ramce, znajduje się poza tą ramką.

Na fig. 4b i 4c przedstawiono dwie odmiany wykonania wynalazku, w których powyższe wady są usunięte, przynajmniej w dużym stopniu.

Celem przykładu z fig. 4b jest prezentowanie w ośrodku sterowania ramek, które są najbardziej uaktualnione z ich punktu widzenia, z minimalnym opóźnieniem, jakkolwiek mogą one zawierać czyste obszary.

W przykładzie wykonania z fig. 4b, w stemplu czasowym T9 ramka odniesienia F1, która kończy nadejście do ośrodka sterowania w momencie T7 i jest poddawana dekompresji w czasie T8, służy za podstawę do realizacji obliczeń potrzebnych do odtworzenia ramki F6 przy użyciu parametrów GMP G6, które właśnie nadeszły.

W czasie T10, zostaje zaprezentowana ramka F6. Należy zauważyć, że w czasie T10 ramka odniesienia F6 nie jest jeszcze dostępna w ośrodku sterowania (to można sprawdzić w kolumnie TRANSMISJA). Zatem, jakkolwiek lepsze odtworzenie F6 można otrzymać w czasie późniejszym przez dekompresję ramki F6 odniesienia, to ewentualnie gorsze odtworzenie F6 otrzymuje się przez przekształcenie starszej ramki odniesienia (F1) z wykorzystaniem ostatnich parametrów GMP. Dla rozróżnienia między dwoma możliwymi odtworzeniami ramki, odtworzenie otrzymywane przez dekompresję skomprymowanej ramki oznaczono pogrubioną kursywą (na przykład F6) a odtworzenie ramki z wykorzystaniem funkcji GMF do ramki odniesienia oznaczono kursywą (na przykład F6).

Następnie, w czasie od T11 do T13 następuje podobnie, zaprezentowanie ramek pośrednich F7, F8 i F9.

W czasie T13, ramka F6 odniesienia, obecnie dostępna w ośrodku sterowania zostaje poddana dekompresji, a ponadto obliczona zostaje ramka pośrednia F10 (F10=G10*G6(F1)).

W czasie T14, prezentowana jest ramka pośrednia F10, a równocześnie obliczane jest F11=G11(F6). Należy zaznaczyć, że, jakkolwiek ramka odniesienia F6 jest obecnie dostępna do prezentacji w ośrodku sterowania, to nadal jeszcze nie jest wyświetlana ponieważ jest ramką „starą z punktem widzenia przedziału czasowego T6, natomiast już prezentowana ramka F9 jest ukazana z nowszej perspektywy, przedziału czasowego T9. Z tego powodu prezentowana jest F10, a ramka F11 w tym etapie jest przygotowywana.

W czasie T15, T16 i T17, są prezentowane ramki F11, F12 i F13, których podstawą jest informacja z F6, przemieszczona odpowiednio do punktów z widoków F11, F12 i F13.

W czasie T18, działania są podobne, jak w czasie T13.

Należy zauważyć, że odmiana wykonania z fig. 4b jest korzystniejsza od odmiany wykonania z fig. 4a pod tym względem, że perspektywa jest bardziej aktualna. Dokładniej, na przykład jakkolwiek w odmianie wykonania z fig. 4a perspektywa ramki F6 jest prezentowana dopiero, kiedy ramka F6 jest dostępna do prezentacji, to znaczy w czasie T14, to w odmianie wykonania z fig. 4b. Perspektywa ramki F6 jest prezentowana w czasie T10. Jednakowoż, podczas gdy w odmianie wykonania z fig. 4a wszystkie ramki odniesienia, podczas prezentacji nie mają obszarów pustych, to ramki według odmiany wykonania z fig. 4b mogą zawierać obszary puste, ponieważ wszystkie ramki, które są prezentowane, są ramkami, do których stosowana jest pewna funkcja GMF.

Celem odmiany wykonania z fig. 4c jest prezentacja ramek, które zawierają minimum obszarów pustych, jakkolwiek opóźnienie w ich prezentacji jest znaczne.

W odmianie wykonania z fig. 4c, żadne ramki w ośrodku sterowania nie są wyświetlane dopóki nie są dostępne w ośrodku sterowania pierwsze dwie ramki odniesienia, F1 i F6. W czasie T13, ramka odniesienia F1 jest już dostępna (została poddana dekompresji w czasie T8), jest po dekompresji ramka odniesienia F6.

W czasie T13 jest prezentowana ramka odniesienia F1.

Równocześnie obliczana jest ramka F2. Ramka F2 jest preparowana tak, aby zawierała jak najmniej obszarów pustych. Dokładniej, ramka F2 jest mieszaniną złożoną z dwóch części: pierwszą jest ramka odniesienia F1 przeniesiona w perspektywę ramki F2 (to znaczy do widoku z kamery w czasie T2) za pomocą operacji G2 (F1), a drugą część stanowi ramka odniesienia F6 przeniesiona w perspektywę ramki F2 za pomocą operacji G2*G6^-1(F6). Wymieniona druga część wypełnia większość pustych obszarów powstałych w ramce otrzymanej z pierwszej części.

W czasie T15 prezentowana jest ramka F2 obliczona w czasie T14. Równocześnie obliczana jest ramka F3. Ramka F3 podobnie, jak ramka F2, jest preparowana tak, aby wykluczyć obszary pu16

PL 205 063 B1 ste. Dokładniej, F3 jest również kombinacją dwóch części, pierwszą jest ramka odniesienia F1 przeniesiona w perspektywę ramki F3 (to znaczy do widoku z kamery w czasie T3) za pomocą operacji G3(F1), a drugą część stanowi ramka odniesienia F6 przeniesiona w perspektywę ramki F3 za pomocą operacji G3*G6^-1(F6). Wymieniona druga część wypełnia puste obszary powstałe w ramce otrzymanej z pierwszej części. Ramka F3 jest prezentowana w czasie 16.

Ramki F4 i F5, które są prezentowane w czasach T17 i T18, są preparowane i prezentowane podobnie, jak F2 i F3, lecz i ich odpowiednich perspektywach.

W czasie T18, dekompresji poddawana jest trzecia ramka odniesienia, F11, i w czasie T19 jest dostępna.

W czasie T19, wyświetlana jest ramka odniesienia F6.

Jak to przedstawiono, w odmianie wykonania z fig. 4c, prezentowane ramki zawierają minimum obszarów pustych. Każda bramka pośrednia jest pewną kombinacją dwóch części wyliczonych w dwóch oddzielnych obliczeniach funkcji GMF. Należy zauważyć, że korzystne jest, jeżeli tylko jedna z części jest definiowana jako część gł ówna. Druga część jest obliczana tylko dla wypeł nienia pustych obszarów w pierwszej. Korzystne jest, jeżeli część główna jest tą, dla której obliczona część ramki jest bliższa ramki odniesienia. Dokładniej, przy obliczaniu ramki F5, część otrzymywana z obliczenia G5*G6^-1(F6) jest określana jako część główna, ponieważ obliczona ramka F5 jest bliższa ramki odniesienia F6, niż ramki odniesienia F1, a zatem ta część daje w wyniku mniejsze obszary puste (które są następnie zapełniane) częścią wtórną). Odmiana wykonania z fig. 4c jest korzystna w tym, że zawiera minimum obszarów pustych, jej wadą jest to, że opóźnienie między wychwyceniem ramki w pojeździe a jej prezentacją w oś rodku sterowania jest najwię ksze spoś ród trzech odmian wykonania z fig. 4a, 4b i 4c. Na przykł ad podczas gdy w odmianie wykonania z fig. 4a ramka F6 jest wyś wietlana w czasie T14. a w odmianie wykonania z fig. 4b ramka F6 jest wyświetlana w czasie T10, to w odmianie wykonania z fig. 4c jest wyświetlana w czasie T19.

Określenie „opóźnienie kanału obejmuje trzy typy opóźnień. Pierwszym jest Opóźnienie nośnika transmisyjnego między komunikacyjną częścią nadajnika (na przykład anteną) a komunikacyjną częścią odbiornika. Ten rodzaj opóźnienia może być spowodowany przez przekaźniki, komutacyjne śledzenie pakietów itp., i jest typowy zarówno dla łącza wstępującego, jak i zstępującego.

Drugim typem jest opóźnienie „protekcji sygnału (lub „opóźnienie integralności komunikatu) które jest związane z kodami korekcji błędów FEC i/lub metodami z pasmem rozproszonym. Ten typ opóźnienia jest również typowy zarówno dla łącza wstępującego, jak i łącza zstępującego. Ponieważ sposób według wynalazku w taki sam sposób traktuje pierwsze dwa typy opóźnień, to ten rodzaj opóźnienia nazywany jest „opóźnieniem dostarczenia.

Trzecim rodzajem opóźnienia jest opóźnienie kompresji/dekompresji. Jeżeli kanał między pojazdem zdalnym a operatorem ma małą szerokość pasma, to sekwencja wizyjna wymaga kompresji przed transmisją, nieodłączną właściwością kompresji danych jest opóźnienie, które może być spowodowane różnymi przyczynami, z których najważniejsze, to dostarczanie danych o zmiennej szybkości bitowe (wizji z kompresją) przez kanał o stałej prędkości bitowej wymaga buforów, które nie dopuszczają do przepełnienia lub niedomiaru, na obu końcach kanału. Jak wiadomo, sygnał wizyjny z kompresją wykazuje duże zmiany szybkości bitowej (między ramkami, zależne od ich typu, I, P lub B, i wewną trz ramek, zależ nie od wizualnej aktywnoś ci rozkładu przestrzennego, a zatem wymagane jest istotne buforowanie.

Kompresja ramek typu B wymaga pewnej ramki „przyszłościowej. Zatem, kiedy wykorzystywane są ramki typu B, kompresor musi oczekiwać na kompresję następnej ramki typu P lub typu I, przed kompresją ramek typu B. Ten typ opóźnienia jest typowy tylko dla łącza zstępującego 9 które wykorzystuje sposób transmisji MPEG lub podobny do MPEG).

Ponadto może występować również opóźnienie operatora z powodu czasu, który zabiera operatorowi przejrzenie ramki i wydanie rozkazu sterującego.

Występującą w pętli sterowania pojazdu niestabilność opóźnienia można rozpatrywać jako obejmującą dwa problemy podrzędne. Po pierwsze opóźnienie łącza wstępującego, ramka dostępna do prezentacji u operatora nie jest ramką zaktualizowaną lecz ramką opóźnioną. Zatem, podstawą operacji kierowania wykonywanych przez operatora jest informacja opóźniona, która jest skłonna do niestabilności, zależnie od sytuacji.

Dla opóźnienia łącza zstępującego, rozkazy sterujące są interpretowane w pojeździe, kiedy pojazd nie znajduje się już w położeniu, do których odnoszą się te rozkazy.

PL 205 063 B1

W trybie pracy „obszar zainteresowania (Region Of Interest), w kanale o stałej prę dkoś ci bitowej zmniejszanie rozmiaru ramki podwyższa jakość wizji i/lub częstotliwość ramek. W korzystnej odmianie wykonania wynalazku, rozmiar ramki nie jest stały, lecz wybierany przez operatora. W warunkach bardzo mał ej szerokości pasma, operator może woleć odbierać tylko część pola widzenia kamery, lecz z wyższą jakością i/lub większą częstotliwością odświeżania (to znaczy mniejsza liczbą pomijanych ramek). To bywa nazywane pracą z obszarem zainteresowania (ROI Region of Interest).

Liczba ramek segmentu wpływa na sprawność systemu w prowadzeniu pojazdu zdalnego. Na przykład, jak wspomniano powyżej, tylko ramki odniesienia są rzeczywistymi wychwyconymi obrazami, natomiast ramki pośrednie w rzeczywistości są transformacjami ramek odniesienia. Zatem, obiekt, który pojawia się w ramce kamery po ramce odniesienia, i znika przed następną ramką odniesienia, nie może być dostrzeżony przez operatora. Jedną z opcji zmniejszenia prawdopodobieństwa takiej sytuacji jest zmniejszenie liczby ramek w segmencie. Jednak to rozwiązanie będzie powodowało dodatkowe opóźnienie, ponieważ transmisji będzie wymagało więcej danych.

Claims (25)

1. Sposób prowadzenia pojazdu do obiektu docelowego za pomocą zdalnego ośrodka sterowania, który komunikuje się z pojazdem za pomocą kanału komunikacyjnego z opóźnieniami, przy czym w pojeździe okresowo wychwytuje się ramki obrazowe za pomocą kamery, przydziela się do każdej z wychwyconych ramek przyporządkowany jej niepowtarzalny stempel czasowy i przechowuje się w pamię ci zbiór ramek, ponadto w oś rodku sterowania odbiera się dane ramkowe i przyporządkowane do nich stemple czasowe, sekwencyjnie rekonstruuje się obrazy ramkowe z każ dych przesłanych danych peł nych i/lub danych częściowych ramek, i prezentuje się zrekonstruowane obrazy na wyświetlaczu, a ponadto po zaznaczeniu przez operatora w ośrodku sterowania określonego punktu na specjalnej wyświetlonej ramce, przesyła się do pojazdu wskazania współrzędnych odnoszące się do tego określonego punktu na pojawiającej się specjalnej ramce dostępnej w ośrodku sterowania, oraz stempel czasowy przyporządkowany do tej specjalnej ramki, następnie w pojeździe odbiera się zaznaczone wskazania współrzędnych oraz stempel czasowy przysłanej ramki, wyprowadza się współrzędne wspomnianego określonego punktu i podaje się znalezione współrzędne tego określonego punktu w najnowszej dostępniej wychwyconej ramce, do wewnętrznego podsystemu prowadzenia pojazdu, dla umożliwienia śledzenia obiektu docelowego, znamienny tym, że za pomocą pamięci (103, 303) pojazdu (10) zapisuje się pełne dane ramkowe lub częściowe dane ramkowe dla wychwyconych okresowo ramek obrazowych wraz z przyporządkowanymi do nich stemplami czasowymi, a następnie dla zbioru zapisanych ramek wysyła się z nadajnika (107, 307) pojazdu (10) do odbiornika (201, 401) ośrodka sterowania (20), poprzez kanał komunikacyjny z opóźnieniami, pełne dane ramkowe, częściowe dane ramkowe lub ich kombinację, wraz ze stemplem czasowym przyporządkowanym do każdej z wysłanych ramek, przy czym w ośrodku sterowania (20) przeprowadza się aproksymację lub odtwarza się dokładną wersję przesłanych ramek i wyświetla się je, ponadto wskazania współrzędnych odnoszące się do obiektu docelowego pojawiające się na ramce odniesienia przesyła się z oś rodka sterują cego (20) wstecz do pojazdu (10), a w pojeź dzie (10) po odebraniu wskazania współrzędnych oraz stempla czasowego, wprowadza się współrzędne określonego punktu lub obiektu docelowego do uprzednio zapisanej przyporządkowanej ramki mającej ten sam stempel czasowy i przeprowadza się procedury obróbki obrazu, śledzenia (209, 409) z szybkością większą od częstotliwości okresowego wychwytywania współrzędnych określonego punktu lub obiektu docelowego, od tej wspomnianej ramki w stronę wychwyconej ramki najbardziej niedawno dostępnej i znajduje się współrzędne tego określonego punktu bądź obiektu docelowego, który pojawia się w najnowszej dostępnej wychwyconej ramce.

2. Sposób według zastrz. 1, znamienny tym, że każda z częściowych danych ramkowych reprezentuje ramkę pośrednią (52), a każda z pełnych danych ramkowych reprezentuje ramkę odniesienia (51).

3. Sposób według zastrz. 2, znamienny tym, że między dowolnymi dwiema ramkami odniesienia (51) wstawia się przynajmniej jedną ramkę pośrednią (52).

PL 205 063 B1

4. Sposób według zastrz. 2, znamienny tym, ż e każde częściowe dane ramkowe zawierają zbiór globalnych parametrów ruchu (305), wskazujących globalną zmianę danej ramki pośredniej w stosunku do poprzedniej ramki odniesienia, obliczoną z wykorzystaniem globalnej funkcji ruchu (404).

5. Sposób wedł ug zastrz. 2, znamienny tym, ż e ramki odniesienia (51) poddaje się kompresji (306) w pojeździe (10) przed wysłaniem do ośrodka sterowania (20), a w ośrodku sterowania (20) poddaje się je dekompresji (403).

6. Sposób według zastrz. 5, znamienny tym, że do ośrodka sterowania (20) między dowolnymi dwoma skomprymowanymi ramkami odniesienia (51) przesyła się przynajmniej jeden zespół globalnych parametrów ruchu (305).

7. Sposób według zastrz. 4, znamienny tym, że w pojeździe (10) i w ośrodku sterowania (20) wykorzystuje się tą samą globalną funkcję ruchu (404).

8. Sposób według zastrz. 7, znamienny tym, że w ośrodku sterowania (20) każdą ramkę (51) po dekompresji (403) wyświetla się.

9. Sposób według zastrz. 7, znamienny tym, że każ dą ramkę pośrednią (52) wyświetla się w ośrodku sterowania (20) po uaktywnieniu globalnej funkcji ruchu (404), z wykorzystaniem globalnych parametrów ruchu (305) tej odebranej ramki i danych odnoszących się do poprzedniej ramki odniesienia (51).

10. Sposób według zastrz. 9, znamienny tym, że kiedy operator zaznacza obiekt docelowy na wyświetlanej ramce pośredniej (52), to dodatkowo, przed realizacją szybkiego śledzenia predykcyjnego (409) w pojeździe (10) wstecznie aktywuje się globalną funkcję ruchu (404) dla przetworzenia zaznaczonych współrzędnych na współrzędne na poprzedniej ramce odniesienia (51).

11. Sposób według zastrz. 10, znamienny tym, że aktywację wstecznej globalnej funkcji ruchu (204) przeprowadza się w pojeździe (10).

12. Sposób według zastrz. 10, znamienny tym, że aktywację wstecznej globalnej funkcji ruchu (204) przeprowadza się w ośrodku sterowania (20).

13. Sposób według zastrz. 4, znamienny tym, że do prowadzenia pojazdu (10) do statycznego obiektu docelowego, w pamięci pojazdu (10) zapisuje się tylko globalne parametry ruchu (305) ramek pośrednich (52).

14. Sposób według zastrz. 10, znamienny tym, że szybkie śledzenie predykcyjne (409) współrzędnych obiektu od ramki odniesienia (51) do najnowszej dostępnej wychwyconej ramki przeprowadza się za pomocą kaskadowego aktywowania globalnej funkcji ruchu (404) w pojeździe, począwszy od współrzędnych obiektu na ramce odniesienia (51) i stosuje się funkcję do wszystkich lub niektórych globalnych parametrów ruchu (103) nowszych zapisanych ramek, aż do wyznaczenia współrzędnych obiektu docelowego, do współrzędnych obiektu docelowego na ramce najbardziej niedawno wychwyconej.

15. Sposób według zastrz. 4, znamienny tym, że do prowadzenia pojazdu (10) do dynamicznego obiektu docelowego, w pamięci pojazdu (10) zapisuje się pełne ramki danych.

16. Sposób według zastrz. 15, znamienny tym, że śledzenie (209) współrzędnych obiektu docelowego od ramki odniesienia (51) do najnowszej dostępnej wychwyconej ramki przeprowadza się za pomocą aktywowania z szybkością większą od częstotliwości okresowego wychwytywania ramek w pojeździe (10) za pomocą zespołu śledzenia obiektu (409), począwszy od współrzędnych (60) obiektu docelowego na ramce odniesienia, przy czym zespół ten stosuje się do wszystkich nowszych zapisanych ramek, aż do wyznaczenia współrzędnych obiektu docelowego na ramce najbardziej niedawno wychwyconej.

17. Sposób według zastrz. 16, znamienny tym, że za pomocą zespołu śledzenia obiektu (409) w pojeź dzie (10) najpierw identyfikuje się zaznaczony obszar obiektu na ramce odniesienia (51) z wykorzystaniem współ rzę dnych dostarczonych z oś rodka sterowania (20), a nastę pnie wykorzystuje się korelację do wyznaczania przemieszczenia obszaru we wszystkich nowych zapisanych ramkach, aż do wyznaczenia współrzędnych (60) obiektu docelowego, znajdującego się wewnątrz tego obszaru, na ostatniej wychwyconej ramce.

18. Sposób według zastrz. 1, znamienny tym, że za pomocą wewnętrznego subsystemu prowadzącego (210) odbiera się współrzędne obiektu docelowego i na podstawie tych współrzędnych prowadzi się pojazd do określonego punktu, w określonym kierunku do obiektu docelowego, lub na podstawie ich kombinacji, za pomocą subsystemu nawigacyjnego, subsystemu urządzenia śledzącego lub ich połączenia.

PL 205 063 B1

19. Sposób według zastrz. 1, znamienny tym, że pełne dane ramkowe reprezentujące ramkę odniesienia (51) zawierają pikselową reprezentację danych ramki.

20. Sposób według zastrz. 19, znamienny tym, że pełne dane ramki dodatkowo zawierają przynajmniej jeden zbiór globalnych parametrów ruchu (305), wskazujący globalną zmianę ramki odniesienia (51) w stosunku do poprzedniej ramki odniesienia (51).

21. Sposób według zastrz. 19, znamienny tym, że ramkę odniesienia (51) rekonstruuje się i prezentuje się za pomocą wyświetlacza (405) w ośrodku sterowania (20) przez wykorzystanie pikselowej reprezentacji danych.

22. Sposób według zastrz. 20, znamienny tym, że ramkę odniesienia (51) rekonstruuje się i prezentuje się za pomocą wyświetlacza (405) w ośrodku sterowania (20) albo przez wykorzystanie pikselowej reprezentacji danych albo przez podstawienie jednego z zespołu globalnych parametrów ruchu (305) wskazującego w globalnej funkcji ruchu (404) globalną zmianę ramki odniesienia (51), w odniesieniu do poprzedniej ramki odniesienia.

23. Sposób według zastrz. 1, znamienny tym, że jako operatora zamiast człowieka stosuje się system komputerowy.

24. Sposób według zastrz. 1, znamienny tym, że globalne parametry ruchu (305) wykorzystuje się do zestawiania ramek kiedy tylko docierają one do ośrodka sterowania (20), zapewniając tworzenie ramek z minimalnym opóźnieniem.

25. Sposób według zastrz. 1, znamienny tym, że ramki rekonstruuje się na podstawie więcej niż jednej ramki odniesienia (51).