PL246893B1

PL246893B1 - Sposób generowania syntetycznego obrazu oraz system do generowania syntetycznych obrazów

Info

Publication number: PL246893B1
Application number: PL437715A
Authority: PL
Inventors: Richard W. Ely
Original assignee: Raytheon Co
Priority date: 2018-07-10
Filing date: 2019-07-10
Publication date: 2025-03-24
Also published as: AU2019301133B2; WO2020014341A1; PL437715A1; AU2019301133A1; AU2019302552A1; KR20210024145A; US20200020115A1; PL437714A1; CA3105078A1; US11042998B2; US11127145B2; US20200020116A1; WO2020014343A1; KR102607517B1; AU2019302552B2; KR20210024146A; CA3105076A1

Abstract

Przedmiotem zgłoszenia są urządzenia, systemy i sposoby generowania syntetycznych obrazów. Przedstawiony na rysunku sposób może obejmować rzutowanie zestawu punktów trójwymiarowych (3D) pierwszego obszaru geograficznego na przestrzeń obrazu z obrazu drugiego obszaru geograficznego dla generowania danych syntetycznego obrazu, identyfikowanie punktów kontrolnych (CP) między obrazem a danymi syntetycznego obrazu, dostosowywanie geometrii danych syntetycznego obrazu na podstawie zidentyfikowanych punktów CP, określanie metadanych dla syntetycznego obrazu na podstawie metadanych obrazu i powiązanie określonych metadanych z danymi syntetycznego obrazu dla generowania syntetycznego obrazu.

Description

Opis wynalazku

POWIĄZANE ZGŁOSZENIA

To zgłoszenie zastrzega pierwszeństwo z tymczasowego zgłoszenia patentowego USA o nr 62/696 118, złożonego 10 lipca 2018 r. i zatytułowanego „Synthetic Image Generation From 3D-Point Cloud” oraz tymczasowego zgłoszenia patentowego USA o nr 62/696 107, złożonego 10 lipca 2018 r. pod tytułem „Image Registration to a 3D Point Set”, które są tu włączone w całości przez odniesienie.

DZIEDZINA TECHNIKI

Przykłady wykonania tutaj omówione dotyczą urządzeń, systemów i sposobów generowania obrazu z trójwymiarowego (ang. three-dimensional - 3D) zestawu punktów.

STAN TECHNIKI

W stanie techniki znane są rozwiązania dotyczące przetwarzania obrazów z wykorzystaniem zestawów punktów 2D lub 3D, takie jak rozwiązanie przedstawione w opisie zgłoszeniowym US2017116723 dotyczące systemu do estymacji pozycji kamery w środowisku. System ten może być skonfigurowany do odbierania obrazu 2D przechwyconego przez kamerę w środowisku i interpretowania metadanych obrazu 2D dla zidentyfikowania szacowanej pozycji kamery. Zgodnie z opisem, możliwe jest renderowanie syntetycznego obrazu 2D z modelu 3D środowiska przez syntetyczną kamerę w modelu w szacowanej pozycji. Korelacja między obrazem 2D i syntetycznym obrazem 2D pozwala zidentyfikować punkt 2D korelacji, a system może rzutować linię z kamery syntetycznej przez punkt 2D na syntetyczny obraz 2D renderowany w płaszczyźnie obrazu kamery syntetycznej, tak że linia przecina model 3D w odpowiednim punkcie 3D. Dzięki temu może zostać określona nowa, doprecyzowana pozycja syntetycznej kamery na podstawie punktu 2D i odpowiadającego mu punktu 3D zapewniające nową, dostosowaną geometrię obrazu.

W rozwiązaniu z dokumentu US2017116723 dostosowywanie geometrii obrazu przebiega dzięki dostosowywaniu pozycji kamery przechwytującej obraz 2D, czyli dostosowaniu pozycji kamery do pozycji syntetycznej kamery, a nie poprzez geometrię obrazu - geometria uzyskanego z kamery obrazu pozostaje niezmieniona, a dla uzyskania obrazu o innej zawartości i konfiguracji danych konieczne jest wykonanie nowego obrazu. Jednym z celów tego rozwiązania jest ustalenie pozycji kamery oraz określenie nowej pozycji, w której otrzymany obraz będzie lepszy. Ulepszenie to dotyczy zmienionej pozycji kamery (wspomnianej pozycji syntetycznej kamery), którą trzeba zaimplementować, żeby otrzymać przekształcony geometrycznie obraz z większą ilością danych, przy czym zmiana pozycji kamery nie tyle zmienia geometrię obrazu ile dostosowuje pole widzenia kamery.

ISTOTA

Sposób generowania syntetycznego obrazu, który to sposób obejmuje:

rzutowa nie zestawu punktów trójwymiarowych (3D) pierwszego obszaru geograficznego na przestrzeń obrazu z dwuwymiarowego (2D) obrazu drugiego obszaru geograficznego dla generowania danych syntetycznego obrazu 2D;

identyf ikację punktów kontrolnych (CP) między obrazem 2D a danymi syntetycznego obrazu 2D; dostosowywanie geometrii danych syntetycznego obrazu na podstawie zidentyfikowanych CP;

określanie metadanych dla syntetycznego obrazu na podstawie metadanych obrazu 2D, przy czym metadane dla syntetycznego obrazu zawierają dwa lub więcej spośród lokalizacji czujnika, wysokości czujnika, parametrów transformacji perspektywicznej, parametrów i współczynników wymiernej projekcji wielomianowej, wysokości Słońca, azymutu Słońca i czasu; a czas metadanych dla syntetycznego obrazu jest ustawiony na czas przed czasem metadanych danych obrazu 2D; i powiązanie tych określonych metadanych z danymi syntetycznego obrazu dla generowania syntetycznego obrazu; oraz ponadto wykonywanie wykrywania zmian przy użyciu syntetycznego obrazu i obrazu.

Korzystnie, metadane zawierają lokalizację czujnika oraz wysokość czujnika, przy czym lokalizacja czujnika jest ustawiona jako równa lokalizacji czujnika metadanych obrazu, a wysokość czujnika jest ustawiona jako równa wysokości czujnika metadanych obrazu.

Korzystnie, metadane zawierają wysokość Słońca i azymut Słońca, przy czym wysokość Słońca jest ustawiona na około 89 stopni, a azymut Słońca jest ustawiony na azymut Słońca metadanych danych obrazu.

Korzystnie, metadane zawierają parametry transformacji perspektywicznej lub parametry i współczynniki wymiernej projekcji wielomianowej.

Korzystnie, pierwszy i drugi obszar geograficzny są takie same.

Korzystnie, drugi obszar geograficzny odpowiada fragmentowi pierwszego obszaru geograficznego.

System do generowania syntetycznych obrazów, który to system zawiera:

pamięć zawierającą przechowywany na niej zestaw punktów trójwymiarowych (3D) pierwszego obszaru geograficznego, obwód przetwarzający połączony z pamięcią, przy czym obwód przetwarzający jest skonfigurowany do:

rzutowa nia zestawu punktów 3D na przestrzeń obrazu z obrazu dwuwymiarowego (2D) drugiego obszaru geograficznego dla generowania danych syntetycznego obrazu;

identyf ikacji punktów kontrolnych (CP) między obrazem 2D a danymi syntetycznego obrazu; dostosowywania geometrii danych syntetycznego obrazu na podstawie zidentyfikowanych CP;

określania metadanych dla syntetycznego obrazu na podstawie metadanych obrazu 2D, przy czym metadane dla syntetycznego obrazu zawierają dwa lub więcej spośród lokalizacji czujnika, wysokości czujnika, parametrów transformacji perspektywicznej, parametrów i współczynników wymiernej projekcji wielomianowej, wysokości Słońca, azymutu Słońca i czasu, a czas metadanych dla syntetycznego obrazu jest ustawiony na czas przed czasem metadanych danych obrazu 2D; i powiązania tych określonych metadanych z danymi syntetycznego obrazu dla generowania syntetycznego obrazu.

OPIS FIGUR RYSUNKU

Fig. 1 przedstawia, tytułem przykładu, schemat działań przykładu wykonania sposobu rejestracji obrazu 2D w zestawie punktów 3D.

Fig. 2 przedstawia, tytułem przykładu, schemat przykładu wykonania sposobu rejestrowania syntetycznego obrazu na obrazie.

Fig. 3 przedstawia, tytułem przykładu, chipy obrazu w skali szarości opartej na krawędziach rejestracji kafelka obrazu.

Fig. 4 przedstawia, tytułem przykładu, TPS pomiędzy obrazem a syntetycznym obrazem.

Fig. 5 przedstawia, tytułem przykładu, schemat działań przykładu wykonania sposobu tworzenia syntetycznego obrazu z zarejestrowanych danych obrazu.

Fig. 6 przedstawia, tytułem przykładu, schemat widoku zestawu punktów 3D z Richardson w Teksasie z (a) punktami pokolorowanymi według wysokości i (b) punktami pokolorowanymi według złożonego atrybutu intensywności.

Fig. 7 przedstawia, tytułem przykładu, schemat widoku obrazu i syntetyczny obraz wygenerowany przy użyciu opisanych tutaj sposobów.

Fig. 8 przedstawia, tytułem przykładu, schemat blokowy przykładu wykonania maszyny w przykładowej postaci systemu komputerowego, w ramach którego mogą być wykonywane instrukcje powodujące wykonanie przez maszynę dowolnej jednej lub więcej tutaj omówionych metodologii.

OPIS PRZYKŁADÓW WYKONANIA

W przykładowym dokumencie omówione są sposoby, urządzenia, systemy i nośniki odczytywalne maszynowo do generowania obrazu z zestawu punktów 3D. Obraz jest tutaj nazywany obrazem syntetycznym. Obraz syntetyczny może nadawać się do wykonywania wykrywania zmian z obrazem (tego samego lub innego typu obrazu) z tej samej sceny. Przykłady wykonania mogą generować syntetyczny obraz, który zawiera dane obrazu syntetycznego i odpowiadające metadane, które mogą być dołączone do danych obrazu dla wygenerowania syntetycznego obrazu. W niektórych przykładach wykonania wymierna projekcja wielomianowa (np. rzutowanie XYZ na obraz lub obrazu na XYZ) może być zawarte w metadanych.

Wykrywanie zmiany obrazu dwuwymiarowego (2D) może wykorzystywać chmurę trójwymiarowych punktów (3D) o wysokiej rozdzielczości, aby zapewnić kontekst i właściwości sceny 3D. Ten kontekst i właściwości mogą pomóc wyeliminować fałszywe alarmy spowodowane różnicami w perspektywie i różnicami kątów padania promieni słonecznych między parą obrazów, z której generowany jest produkt wykrywania zmian. W przypadku niektórych aplikacji pożądane jest przeprowadzenie wykrywania zmian w samej chmurze punktów 3D. Jedną z takich aplikacji jest szybkie określenie, czy pasywna chmura punktów 3D jest nieaktualna i czy można odnieść korzyści z jej ponownego wygenerowania przy użyciu bardziej aktualnych obrazów. Inną aplikacją jest uruchomienie wykrywania zmian między tą samą chmurą punktów 3D a obrazami zbieranymi przez wiele miesięcy dla ustalenia oczekiwanych warunków normalności. Takie warunki normalności można wykorzystać do wykrywania zmian dla wykrycia nieprawidłowych zmian, na przykład do dalszej analizy.

Różne opisane tutaj przykłady wykonania dotyczą generowania syntetycznego obrazu z zestawu punktów 3D. Przykłady wykonania mogą rejestrować obraz 2D w zestawie punktów 3D. Obraz może pochodzić z czujnika obrazu. Czujnik obrazu może zawierać radar z syntetyczną aperturą (ang. synthetic aperture radar - SAR), elektrooptyczny (electro-optical - EO), obraz wielospektralny (ang. multi-spectral image - MSI), panchromatyczny, podczerwony (ang. infrared - IR), nocny EO, widzialny, widzialny w nocy lub inny czujnik obrazu. Zarejestrowany zestaw punktów 3D można wykorzystać do utworzenia syntetycznego obrazu poprzez rzutowanie zestawu punktów 3D na przestrzeń obrazu rejestrowanego obrazu i wypełnienie intensywności pikseli atrybutem intensywności obrazu dla każdego punktu zawartego w zestawie punktów 3D.

Oparta na krawędzi, dwuetapowa technika rejestracji, zgrubna rejestracja, po której następuje dokładna rejestracja, może być użyta do wyodrębnienia zestawu punktów wiążących (ang. tie points - TP) (które można przekształcić w punkty kontrolne (ang. control points - CP)) dla zestawu kafelków obrazu. Punkty CP, które można wyprowadzić z zestawu punktów 3D i punkty TP, można wykorzystać w geometrycznym dopasowaniu wiązki dla wyrównania obrazu 2D i źródła 3D.

Metadane można określić dla syntetycznego obrazu. Metadane mogą zawierać dane używane do renderowania danych obrazu syntetycznego, takich jak obraz 3D lub 2D. Zarejestrowane dane obrazu syntetycznego i metadane mogą w połączeniu tworzyć obraz 2D. Istnieje wiele zastosowań syntetycznego obrazu. Przykładowe zastosowania obejmują fuzję czujników krzyżowych, generowanie kontekstu sceny, ulepszanie pozycjonowania geograficznego, lokalizowanie celów, identyfikację celów, wykrywanie zmian i tym podobne.

Fig. 1 przedstawia, tytułem przykładu, schemat działań przykładu wykonania sposobu 100 rejestracji obrazu 2D w zestawie punktów 3D. Sposób 100 obejmuje odbieranie obrazu 102 i zestawu 104 punktów 3D. Obraz 102 może pochodzić z SAR, EO, panchromatycznego, IR, MSI, nocnego EO, widzialnego, widzialnego w nocy lub innego czujnika obrazu. Czujnik obrazu może być oparty na satelicie, zlokalizowany na załogowym lub bezzałogowym statku powietrznym, zamontowany na ruchomej lub stałej platformie lub inaczej umieszczony w odpowiedni sposób, aby uchwycić obraz 102 obszaru będącego przedmiotem zainteresowania. Zestaw 104 punktów 3D może pochodzić z bazy danych 106 (ang. database - DB) chmury punktów. Zestaw 104 punktów 3D może pochodzić z obszaru geograficznego, który pokrywa się z obszarem geograficznym przedstawionym na obrazie 102. W niektórych przykładach wykonania zestaw 104 punktów 3D może być z obszaru geograficznego, który zawiera cały obszar geograficzny przedstawiony na obrazie 102. W niektórych przykładach wykonania zestaw 104 punktów 3D może obejmować większy obszar geograficzny niż obszar geograficzny przedstawiony na obrazie 102.

Rejestracja obrazu może wystąpić w ramach nakładania się zestawu 104 punktów 3D i obrazu 102. Dane zestawu punktów 3D w nakładaniu (plus obszar niepewności) mogą być dostarczone jako dane wejściowe do operacji 108. Nakładanie się można określić poprzez identyfikację minimum (min) i maksimum (maks.) X i Y zakresu zestawu punktów 3D przecinanego z min i max X i Y obrazu 102, gdzie X i Y to wartościami na osiach geometrycznego układu współrzędnych obrazu 102.

Operacja 108 może obejmować ustalenie skali danych 110 syntetycznego obrazu i ich zasięgu geograficznego. Skalę można obliczyć jako odległość między punktami zestawu 104 punktów 3D lub jako mniejszą z odległości między punktami zestawu 104 punktów 3D oraz skalą X i Y obrazu 102. Zasięg geograficzny danych 110 obrazu syntetycznego może być określony przez wygenerowanie wypukłej powłoki X, Y zestawu 104 punktów 3D i przecięcie go wielokątem zdefiniowanym przez współrzędne X, Y ekstremów obrazu 102. Minimalny prostokąt ograniczający ten obszar nakładania się może zdefiniować przestrzeń wyjściową dla danych 110 syntetycznego obrazu.

W operacji 108 zestaw 104 punktów 3D może być rzutowany na przestrzeń obrazu 102 dla wygenerowania danych 110 syntetycznego obrazu. Przestrzeń obrazu z obrazu 102 może być określona w metadanych powiązanych z danymi obrazu 102. Przestrzeń obrazu może być geometrią obrazu, taką jak kąt patrzenia, ogniskowa, orientacja, parametry transformacji perspektywicznej, parametry i współczynniki wymiernej projekcji wielomianowej (np. XYZ na obraz i/lub obrazu na XYZ) lub tym podobne. Operacja 108 może obejmować zmianę geometrii syntetycznego obrazu 110 pochodzącego z zestawu 104 punktów 3D dla dopasowania do geometrii obrazu 102. Ponieważ występuje błąd w geometrii obrazu 102 i przy zmianie geometrii syntetycznego obrazu 110 uzyskanego z zestawu 104 punktów 3D, dane 110 syntetycznego obrazu mogą nie być dostatecznie zarejestrowane na obrazie 102 dla niektórych zastosowań.

Jeżeli więcej niż jeden punkt z zestawu 104 punktów 3D rzutuje na ten sam piksel danych 110 syntetycznego obrazu, można wykorzystać punkt z zestawu punktów 3D, który jest najbliższy pozycji czujnika. Zapewnia to, że tylko punkty widoczne w geometrii zbioru obrazu 102 są wykorzystywane w danych 110 syntetycznego obrazu. Punkty, które wystają poza obliczone nakładanie się geograficzne (plus pewien obszar niepewności) można odrzucić.

Każdy punkt w zestawie 104 punktów 3D może zawierać współrzędne X, Y, Z, wysokość i wartość barwy (np. intensywność skali szarości, intensywność czerwieni, zieleni, błękitu lub tym podobne). W niektórych przykładach wykonania mediana intensywności pikseli, które reprezentuje punkt we wszystkich obrazach wykorzystywanych do generowania zestawu 104 punktów 3D, może być użyta jako wartość barwy.

Geometrię obrazu można określić na podstawie lokalizacji, orientacji, ogniskowej kamery, parametrów transformacji perspektywicznej, parametrów i współczynników wymiernej projekcji wielomianowej (np. rzutowanie obrazu na XYZ lub XYZ na obraz lub tym podobne) i/lub innych metadanych związanych z operacją obrazowania na obrazie 102.

Początkowe dane 110 syntetycznego obrazu mogą mieć wiele niewypełnionych pikseli (zwanych pustymi pikselami). Puste piksele są tworzone, gdy żaden punkt w zestawie 104 punktów 3D nie jest rzutowany na ten piksel danych 110 syntetycznego obrazu. Aby wypełnić puste piksele, można zastosować metodę interpolacji, która najpierw szuka przeciwnych sąsiadów w sąsiedztwie piksela (piksele sąsiadujące z pikselem lub mniej niż określoną liczbę pikseli oddalone od piksela). Średnia wartość (np. średnia, mediana, dominanta lub inna wartość średnia) wszystkich takich pikseli może być użyta jako wartość intensywności dla niezainicjowanego piksela. Jeśli nie ma przeciwnych sąsiadów, intensywność można ustawić na średnią intensywność wszystkich sąsiadów. Jeśli sąsiedztwo nie zawiera zainicjowanych pikseli, to średnia intensywność zewnętrznego pierścienia lub innych pikseli większego sąsiedztwa może być użyta jako wartość intensywności piksela. Jeśli większe sąsiedztwo (np. 5X5 z pikselem w środku) jest puste, wówczas intensywność piksela można ustawić na 0, aby wskazać, że jest to pusty piksel. Proces interpolacji można uruchomić iteracyjnie, aby wypełnić dodatkowe puste piksele. Puste piksele mogą pozostać po procesie interpolacji, ale proces rejestracji i dalsze aplikacje są zaprojektowane do obsługi takich pustych miejsc.

W operacji 112, punkty wiążące (TPS) 114 mogą być zidentyfikowane w danych 110 syntetycznego obrazu. Punkt TP to czworokąt (wiersz z danych 110 syntetycznego obrazu, kolumna z danych 110 syntetycznego obrazu, wiersz obrazu 102, kolumna obrazu 102), który wskazuje wiersz i kolumnę obrazu 102 (wiersz, kolumna), który odwzorowuje odpowiedni wiersz i kolumnę danych 110 syntetycznego obrazu (wiersz, kolumna).

Operacja 112 może obejmować operowanie techniką opartą na krawędziach na kafelku obrazu dla wygenerowania szablonu piksela krawędziowego dla danych 110 syntetycznego obrazu, które mają być skorelowane z gradientem obrazu 102. Szablon piksela krawędziowego może obejmować wielkość gradientu i kierunek fazy dla każdego piksela krawędziowego w kafelku obrazu. Szablon piksela krawędziowego może zawierać tylko krawędzie o wysokim kontraście (nie w lub w sąsiedztwie pustego miejsca w danych 110 obrazu syntetycznego). Alternatywy dla technik korelacji krawędziowej obejmują między innymi szybką transformatę Fouriera (ang. fast Fourier transform - FFT) lub znormalizowaną korelację krzyżową (ang. normalized cross correlation - NCC).

W niektórych przykładach wykonania operacja 112 może obejmować proces dwuetapowy, zgrubną rejestrację, po której następuje dokładna rejestracja. Zgrubna rejestracja może działać na kafelkach obrazu (podzestawach ciągłych pikseli danych 110 syntetycznego obrazu). Gdy tworzone są dane 110 syntetycznego obrazu, mogą one być całkiem niewspółosiowe w stosunku do obrazu 102 z powodu niedokładności w metadanych geometrycznych związanych z obrazem 102. Niepewność wyszukiwania rejestracji może być ustawiona na tyle duża, aby zapewnić, że dane 110 syntetycznego obrazu mogą być zarejestrowane na obrazie 102. Termin przesunięcie rejestracji zgrubnej oznacza przesunięcie rejestracji, które znacznie wyrównuje dane 110 syntetycznego obrazu z obrazem 102. Aby rejestracja była sprawna i solidna, rejestracja początkowa może określić przesunięcie rejestracji zgrubnej i je usunąć. Dokładna rejestracja może wtedy działać w mniejszym obszarze niepewności. Zgrubna rejestracja może wykorzystywać większy obszar wyszukiwania niepewności, aby usunąć błąd niedopasowania lub błędną rejestrację między danymi 110 syntetycznego obrazu a obrazem 102. Dokładna rejestracja może wykorzystywać mniejszy rozmiar kafelka obrazu (i rozmiar szablonu obrazu) i mniejszy obszar wyszukiwania do identyfikacji zestawu TPS 114. Punkty TPS 114 można przekształcić w CP podczas operacji 116. Dokładną rejestrację można przeprowadzić po skorygowaniu wyrównania lub rejestracji przy użyciu rejestracji zgrubnej.

W obu etapach rejestracji można zastosować tę samą technikę do niezależnej rejestracji każdej kafelki obrazu. Dokładna rejestracja może wykorzystywać mniejszy rozmiar kafelków i mniejszy obszar wyszukiwania. Operacja 112 może obejmować identyfikację pikseli danych 110 syntetycznego obrazu odpowiadających pikselom krawędziowym o wysokim kontraście. Identyfikacja pikseli danych 110 syntetycznego obrazu odpowiadających pikselom krawędziowym o wysokim kontraście może obejmować użycie operatora Sobela, Robertsa, Prewitta, Laplace’a lub innego operatora. Operator Sobela (czasami nazywany operatorem Sobela-Feldmana) jest operatorem różniczkowania dyskretnego, który oblicza przybliżenie gradientu obrazu intensywności. Operator Sobela zwraca wektor gradientu (lub jego normę), który można przekształcić na wielkość i fazę. Operator Robertsa jest operatorem różniczkowania dyskretnego, który oblicza sumę kwadratów różnic między pikselami sąsiadującymi po przekątnej. Operator Prewitta jest podobny do operatora Sobela. Operacja 112 może obejmować korelację fazy i wielkości zidentyfikowanych pikseli krawędziowych o wysokim kontraście, jako sztywną grupę, z fazą i wielkością pikseli obrazu 102.

Aby zapewnić, że nie wszystkie piksele krawędziowe w kafelku biegną w tym samym kierunku (mają gradienty z tą samą fazą), operacja 112 może obejmować obliczenie dwóch progów wielkości gradientu, jednego dla pikseli, których faza gradientu jest bliska głównego kierunku fazy i jednego dla pikseli, których faza gradientu nie jest w głównym kierunku fazy. Próg dla krawędzi nie w głównym kierunku fazy może być niższy niż próg dla krawędzi w głównym kierunku fazy. Korelacja krawędzi operacji 112 może obejmować sumowanie wszystkich pikseli krawędzi o wysokim kontraście o wielkości gradientu obrazu pomnożonej przez dopasowanie fazy gradientu między danymi 110 syntetycznego obrazu a obrazem 102.

Piksele krawędziowe związane z pustymi miejscami w danych 110 syntetycznego obrazu mogą być stłumione i niewykorzystywane w korelacji z obrazem 102. Obraz 102 nie ma pustych miejsc, więc można wykorzystać gradienty wszystkich pikseli obrazu 102.

Jednym z aspektów sposobu 100 jest to, jak TPS 114 z rejestracji zgrubnej lub dokładnej są wykorzystywane do określenia przesunięcia dla każdej kafelki między danymi 110 syntetycznego obrazu a obrazem 102. Szablon piksela krawędzi obrazu syntetycznego może być skorelowany jako sztywna grupa (bez rotacji lub skalowania, tylko przełożenie) z wielkością gradientu i fazy obrazu 102. Wynik rejestracji przy każdym możliwym przesunięciu przełożenia może być sumą wszystkich pikseli szablonu gradientu obrazu pomnożonego przez dopasowanie fazy. Podczas gdy sposób 100 jest odporny na nieprawidłowości w korelacji poszczególnych kafelków, przesunięcie od zgrubnej rejestracji musi być obliczone poprawnie, w przeciwnym razie istnieje ryzyko, że nie będzie można przeprowadzić dokładnej rejestracji. Ponieważ dokładna rejestracja może wykorzystywać mniejszy promień wyszukiwania, błąd w przesunięciu może spowodować, że poprawna lokalizacja korelacji będzie poza promieniem wyszukiwania dokładnej rejestracji, powodując, że dokładna rejestracja nie będzie mogła poprawnie skorelować. Metryki błędów, sprawdzanie przesunięcia i dalsze szczegóły operacji 112, 116 są omówione w innym miejscu przedmiotowego dokumentu.

W operacji 116, TPS 114 są przekształcane do CPS 118 przy użyciu zestawu 104 punktów 3D, z którego utworzono dane 110 syntetycznego obrazu. Punkty CPS 118 są z pięciokątem (rząd obrazu 102, kolumna obrazu 102, X, Y i Z), jeśli obraz 102 jest rejestrowany w zestawie 104 punktów 3D (poprzez dane 110 syntetycznego obrazu). Punkty CPS 118 mogą zawierać elewację odpowiadającą szczytowi budynku. Punkt CP 118 odpowiada punktowi sceny. Rejestracja zapewnia znajomość właściwego punktu w zestawie 104 punktów 3D poprzez identyfikację punktu odpowiadającego lokalizacji, w której piksel syntetycznego obrazu 110 jest zarejestrowany.

Punkty TPS 114 mogą być powiązane z odpowiednim najbliższym punktem w zestawie 104 punktów 3D, aby stać się CPS 118. Punkty TPS 114 może być powiązany z macierzą kowariancji błędów, która szacuje dokładność zarejestrowanego TP 114. Indeks każdego rzutowanego punktu 3D z zestawu 104 punktów 3D może zostać zachowany podczas tworzenia danych 110 syntetycznego obrazu w operacji 108. Najbliższy punkt 3D w stosunku do środka kafelki powiązanej z TP 114 może być użyty jako współrzędna dla CP 118. Kowariancję błędu można wyprowadzić z kształtu powierzchni wyniku rejestracji w punkcie szczytowym, jednej lub większej liczby metryk błędów lub ich kombinacji.

W operacji 120, geometrię obrazu 102 można dopasować (np. poprzez dopasowanie wiązki metodą najmniejszych kwadratów lub podobną), aby doprowadzić obraz 102 do geometrycznego wyrównania z danymi 110 syntetycznego obrazu. Geometryczne dostosowywanie wiązki mogą obejmować nieliniowe dopasowanie metodą najmniejszych kwadratów dla zmniejszenia (np. zminimalizowania) niedopasowania między CP 118 obrazu 102 a danymi 110 syntetycznego obrazu.

Ta dopasowana geometria może być również wykorzystana do danych 110 syntetycznego obrazu, z wyjątkiem tego, że dane 110 syntetycznego obrazu mogą mieć niższą rozdzielczość niż obraz 102 i mogą nie znajdować się w tym samym absolutnym początkowym wierszu i kolumnie co obraz 102. Dopasowana geometria obrazu 102 może być wykorzystana do tworzenia rzutowania dla danych 110 syntetycznego obrazu, która jest zgodna z bezwzględnym przesunięciem i skalą danych 110 syntetycznego obrazu.

Po zbieżności operacji 120, geometria obrazu 102 może zostać zaktualizowana dla dopasowania do zarejestrowanego sterowania. Dopóki błędy TPS 114 są nieskorelowane, dopasowana geometria jest dokładniejsza niż sama TPS 114. Technika rejestracji wykorzystująca CPS (np. znana lokalizacja XYZ i znana lokalizacja obrazu dla tej lokalizacji) może być wykorzystana do wykonania operacji 120. Z CPS 118, geometria obrazowania obrazu 102 może być aktualizowana dla dopasowania do geometrii CPS 118.

Teraz podsumowano dopasowanie geometrii obrazu 102 (operacja 120). Metadane obrazu mogą zawierać szacunkową lokalizację czujnika i orientację w momencie zbierania obrazu, a także parametry aparatu, takie jak ogniskowa. Gdyby metadane były idealnie zgodne z zestawem 104 punktów 3D, to każdy punkt 3D rzutowałby dokładnie na właściwe miejsce na obrazie 102. Na przykład, podstawa masztu flagowego w zestawie 104 punktów 3D byłaby rzutowana dokładnie tam, gdzie jest widoczna podstawa masztu flagowego na obrazie 102. Jednak w rzeczywistości metadane obrazu 102 są niedokładne. Jeśli oszacowanie pozycji kamery jest trochę nieprawidłowe lub jeśli szacowana orientacja kamery nie jest całkiem poprawna, wtedy punkt 3D reprezentujący podstawę masztu nie będzie rzutował dokładnie na piksel podstawy na obrazie 102. Ale przy dostosowanej geometrii podstawa masztu będzie rzutowała bardzo blisko miejsca, w którym znajduje się podstawa na obrazie 102. Wynikiem rejestracji jest dostosowana geometria obrazu 102. Można zastosować dowolny proces rejestracji, który skutkuje dopasowaną geometrią obrazu 102, która jest zgodna z zestawem 104 punktów 3D.

Fig. 2 przedstawia, tytułem przykładu, schemat przykładu wykonania sposobu 200 rejestracji danych 110 syntetycznego obrazu na obrazie 102. W operacji 220, kafelek 222 obrazu jest wyodrębniany z danych 110 syntetycznego obrazu. Kafelek 222 obrazu jest właściwym, ciągłym podzestawem (mniejszym niż całość) danych 110 syntetycznego obrazu, który jest określoną liczbą wierszy pikseli na określoną liczbę kolumn pikseli. Liczba wierszy i kolumn może być taka sama lub różna.

W operacji 224 identyfikowane są krawędzie 226 o wysokim kontraście kafelka 222 obrazu. Operacja 224 może obejmować użycie histogramu wielkości gradientu i histogramu fazowego. Pożądany procent ustawiony na pierwszy próg (np. 9%, 10%, 11%, 12%, 15%, większy lub mniejszy procent lub jakiś inny procent między nimi) dla rozmiarów szablonu mniejszych niż określony rozmiar (np. 16 384 pikseli (np. 128X128 pikseli lub inna liczba pikseli) i mniejszy) i drugi, mniejszy próg dla większych rozmiarów szablonów (np. 4%, 5%, 6%, większy lub mniejszy procent lub inny procent między nimi). Korzystne może być użycie pikseli krawędziowych o wysokim kontraście, których kierunki (fazy) krawędzi nie są do siebie podobne. Gdyby piksele na krawędziach o wysokim kontraście miały tę samą fazę, byłaby niezawodna rejestrowalność w kierunku prostopadłym do kierunku krawędzi, ale nie wzdłuż krawędzi. Tak więc pierwszy etap w określaniu, które piksele krawędziowe mają być użyte w szablonie, może obejmować histogramowanie fazy gradientu na wszystkich pikselach obrazu szablonu (np. użycie wielkości gradientu jako wagi każdego piksela podczas dodawania go do bin histogramu). Używając okna z dwoma szybami, z których każdy ma określoną liczbę stopni (np. 5, 10, 15 lub inną liczbę stopni) szerokości i 180 stopni od siebie, można wykonać sumę na histogramie, aby znaleźć najwyższą sumę okna. Środek szyby z najwyższą sumą można ustawić jako główny kierunek fazy. Piksele można podzielić na dwa zestawy, te, których fazy znajdują się w zakresie +/- 45 stopni (modulo 180) od głównego kierunku fazy i te, których nie znajdują się. Można zastosować odstęp większy lub mniejszy niż +/- 45 stopni. Dla każdego zestawu można ustawić inny próg wielkości gradientu.

Pożądane może być dostarczenie około połowy wszystkich pikseli krawędziowych o wysokim kontraście z każdego z dwóch zestawów. Aby to zrobić dla określonego zestawu, można histogramować wielkość gradientu na wszystkich pikselach w tym zestawie. Można zidentyfikować próg wielkości gradientu, przy którym realizowany jest procent całości pikseli krawędziowych o wysokim kontraście. Po ustaleniu dwóch progów wszystkie piksele z każdego zestawu, które są poniżej progu, są usuwane z szablonu. Istnieją co najmniej dwa powody, dla których rejestracja oparta na krawędziach zapewnia lepsze wyniki niż FFT lub NCC. Po pierwsze, dane 110 syntetycznego obrazu zwykle mają znaczną liczbę pustych miejsc spowodowanych pustymi miejscami w zestawie 104 punktów 3D. Te puste miejsca nie są skutecznie obsługiwane przez korelację FFT i NCC, nawet gdy wykonywany jest algorytm wypełniania otworów. Drugim powodem jest możliwość rejestracji dla wielu typów czujników przy użyciu identyfikacji TP na podstawie krawędzi. Typy czujników mogą obejmować dzienny panchromatyczny i MSI, IR, SAR, nocny EO lub tym podobne. Sposoby korelacji FFT i NCC nie są skuteczne, gdy intensywności syntetycznego obrazu pochodzą z innej modalności czujnika niż rejestrowany obraz. W przeciwieństwie do tego sposób korelacji oparty na krawędziach jest skuteczny we wszystkich rodzajach czujników.

W operacji 228 można wygenerować szablon 230 obrazu. Szablon 230 obrazu ma ten sam rozmiar co kafelek obrazu i zawiera tylko te piksele odpowiadające zidentyfikowanym krawędziom o wysokim kontraście podczas operacji 224.

Podczas operacji 232, można określić przesunięcie między wstępnym oszacowaniem lokalizacji szablonu 230 obrazu na obrazie 102 a lokalizacją wskazaną przez fazę i wielkość krawędzi na obrazie 102. Wstępne oszacowanie lokalizacji można określić na podstawie rzutowania zestawu 104 punktów 3D na obraz 102 podczas generowania danych syntetycznego obrazu 110. X i Y zestawu 104 punktów 3D można dopasować na podstawie geometrii obrazu 102, aby wygenerować oszacowanie lokalizacji.

Dla każdego piksela w szablonie 230 obrazu istnieją co najmniej trzy wartości: 1) jego wartość wiersza w szablonie; 2) jego wartość kolumny we szablonie; i 3) jego faza gradientu. Jak omówiono wcześniej, istnieje wstępne oszacowanie, gdzie ten szablon znajduje się w odniesieniu do obrazu 102, na którym rejestrowany jest obraz 102. Zakres wyszukiwania obejmuje przesunięcia wierszy delta i przesunięcia kolumn delta, w których szablon 230 obrazu jest sztywno ruszany i porównywany z wielkością gradientu i fazą obrazu 102. Przy każdym przesunięciu piksele szablonu będą znajdować się na określonym zestawie pikseli na obrazie rejestracji 102.

Aby obliczyć metrykę do pomiaru, jak dobra jest korelacja przy tym bieżącym przesunięciu, obliczeniu, dla każdego piksela w szablonie, wielkości gradientu przy pikselu w obrazie 102 odpowiadającym bieżącemu przesunięciu razy dopasowanie fazy między fazą gradientu piksela szablonu i fazą gradientu piksela obrazu. Dopasowanie fazowe może być 90 minus bezwzględna różnica w dwóch kierunkach fazy. Na przykład, jeśli faza szablonu na pikselu wynosi 37, a faza na odpowiadającym pikselu na obrazie wynosi 30, bezwzględna różnica fazy wyniosłaby 7 a wartość dopasowania fazowego wyniosłaby 90 - 7 = 83. W przypadku zastosowań z czujnikiem krzyżowym, gradient może wskazywać dokładnie 180 stopni w kierunku przeciwnym do krawędzi w danych 110 syntetycznego obrazu. Można to uwzględnić. Na przykład, jeśli obraz 102 miał fazę 217, bezwzględna różnica wyniosłaby 187. Ponieważ różnica jest większa niż 90, odejmujemy 180, aby nadal uzyskać różnicę 7. Współczynnik różnicy faz w rejestracji może wynosić 90 minus różnica lub inna funkcja różnicy. Ten proces umożliwia krawędziom biegnącym w tym samym kierunku, ale z przeciwną fazą, dużą wartość dopasowania fazy. Dopasowanie fazy można wykorzystać do obniżenia wagi udziału (w sumie) pikseli, których kierunki krawędzi są bardzo różne od pikseli szablonu. Wynik przy każdym przesunięciu może być sumą wszystkich pikseli szablonu przy tym przesunięciu wielkości gradientu razy dopasowanie fazy. Za prawidłowe przesunięcie rejestracji można uznać przesunięcie z najwyższym wynikiem.

W operacji 234 można określić, czy TP kafelek 222 obrazu przechodzi test nieprawidłowości. Do oszacowania jakości TPS 114 i zidentyfikowania nieprawidłowości (źródeł błędów) można użyć kilku metryk (metryk nieprawidłowości). Metryka nieprawidłowości (której progi mogą być zależne od czujnika) może zawierać a) wynik rejestracji, b) ostrość piku jako stosunek wyniku przy drugim najwyższym piku do najwyższego wyniku, c) średnią wielkość gradientu na wszystkich pikselach krawędziowych w zarejestrowanej lokalizacji, d) średnie dopasowanie fazy gradientu na wszystkich pikselach krawędziowych szablonu w zarejestrowanej lokalizacji, e) różnicę między przesunięciem rejestracji kafelka a medianą przesunięcia obliczoną na podstawie wszystkich TPS 114, lub f) średnie (np., średnią ważoną) dopasowania fazy gradientu. Jako wagi można użyć średniej ważonej wielkości gradientu. Inną miarą, którą można zastosować, jest różnica między przesunięciem rejestracji kafelka 222 obrazu a medianą przesunięcia obliczonym ze wszystkich TPS 114.

Jeżeli zidentyfikowany kandydat TP przejdzie test nieprawidłowości w operacji 234, TP może zostać dodany do zestawu zaufanych TPS. Jeżeli TP nie przejdzie testu nieprawidłowości, przesunięcie może zostać odrzucone w operacji 236. Oznacza to, że kafelek 222 obrazu / szablon 230 obrazu nie jest używany do rejestrowania danych 110 syntetycznego obrazu na obrazie 102. W operacji 238, można określić, czy jest więcej kafelków do przetworzenia. Operację 220 można następnie wykonać, aby uzyskać następny kafelek 222 obrazu, jeśli jest więcej kafelków do przetworzenia. W przeciwnym razie można wykonać operację 240. W niektórych przykładach wykonania operacje 240 mogą być wykonywane tylko dla zgrubnej rejestracji i mogą nie być wykonywane dla dokładnej rejestracji.

Operacja 240 może rozstrzygać między oszacowaniami prawidłowego przesunięcia. Należy zauważyć, że dla każdego zaufanego kafelka obrazu szacowane jest przesunięcie, więc operacja 240 próbuje określić, które przesunięcie jest najbardziej poprawne. Transformację afiniczną metodą najmniejszych kwadratów można obliczyć ze wszystkich zaufanych TPS. Zaufany TP to taki, który przechodzi metrykę nieprawidłowości w operacji 234. Należy zauważyć, że obliczenia metodą najmniejszych kwadratów są wrażliwe na nieprawidłowości. Jeśli przedostały się nieprawidłowości, może to negatywnie wpłynąć na transformację afiniczną między punktami CP 118. Oszacowanie przesunięcia można obliczyć przy użyciu mediany (np. ważonej mediany) poszczególnych przesunięć z zaufanych kafelków. Waga każdego TP 114 może być funkcją jednego lub większej liczby powyższych metryk nieprawidłowości. Wreszcie, trzecie oszacowanie ogólnego przesunięcia (ang. gross offset) można obliczyć poprzez połączenie wyników rejestracji wszystkich zaufanych kafe lków przy każdym przesunięciu w jeden ujednolicony wynik całkowity. Przesunięcie z maksymalnym ujednoliconym wynikiem może być kolejnym oszacowaniem ogólnego przesunięcia. Określenie, które przesunięcie jest prawidłowe, można przeprowadzić tylko przy rejestracji zgrubnej, a nie dokładnej. Dla dokładnej rejestracji każdy kafelek jest rejestrowany niezależnie i otrzymuje własne przesunięcie. Wszystkie kafelki, które przekraczają progi nieprawidłowości, można przekonwertować na CPS i wykorzystać do geometrycznej dopasowania wiązki.

Rozstrzygnięcie dążące do określenia prawidłowego przesunięcia w operacji 240 może obejmować określanie mediany przesunięcia TP, transformację afiniczną obliczoną na podstawie zaufanych TP oraz przesunięcie związane z górnym pikiem z łączonej powierzchni wyniku wszystkich TP. Aby określić wiarygodność przesunięcia, maksymalne przesunięcie od piku, którego wynik stanowi co najmniej określony procent (np. 70%, 75%, 80%, 85%, 90%, 95%, 99%, większy lub mniejszy procent lub pewien procent pomiędzy nimi) maksymalnego wyniku korelacji. Jeśli maksymalne przesunięcie jest większe niż określony próg promienia wyszukiwania (np. 25%, 50%, 75%, 80%, 85%, 90%, 95% lub większy lub mniejszy procent), wówczas maksymalne łączna przesunięcie wyniku może zostać uznane za niewiarygodne i odrzucone. Jeśli odległość jest mniejsza lub równa określonej wartości progowej, można uznać, że przesunięcie przeszło pomyślnie test i może zostać użyte do określenia końcowej wartości przesunięcia. Jeżeli określone przesunięcie przejdzie pomyślnie test, można określić medianę przesunięcia TP. Jeśli wartość mediany przesunięcia TP wynosi co najmniej określony procent (np. 70%, 75%, 80%, 85%, 90%, 95%, 99%, większy lub mniejszy procent lub pewien procent między nimi) maksimum wyniku, wówczas mediana przesunięcia może zastąpić połączone przesunięcie wyniku. Przesunięcie obliczone z transformacji afinicznej w środku obrazu można porównać z wybranym przesunięciem. Jeżeli transformacja afiniczna powoduje mniejsze przesunięcie, wówczas przesunięcie transformacji afinicznej może zostać wybrane jako poprawne przesunięcie 242. W operacji 244, dane 110 syntetycznego obrazu mogą być ruszane względem obrazu 102 o ogólne przesunięcie 242 przed wykonaniem dokładnej rejestracji.

W niektórych przykładach wykonania operacja 240 może obejmować określenie, czy przesunięcie jest godne zaufania. Operacja 240 może obejmować określenie, czy przesunięcie jest mniejsze niż przesunięcie progu. Jeśli nie, przesunięcie można odrzucić. Jeśli tak, to przesunięcie można dalej rozstrzygnąć. Oszacowanie ogólnego przesunięcia można obliczyć przy użyciu mediany (np. mediany ważonej) poszczególnych przesunięć z zaufanych kafelków.

Aby określić wiarygodność całkowitego przesunięcia powierzchni połączonego wyniku rejestracji, można obliczyć maksymalną odległość przesunięcia od piku, którego wynik wynosi co najmniej 90% maksymalnego wyniku korelacji. Jeśli odległość jest większa niż określony próg promienia wyszukiwania (np. 25%, 50%, 75%, 80%, 85%, 90%, 95% lub większy lub mniejszy procent), wówczas maksymalny połączony wynik przesunięcia można uznać za niewiarygodny. Jeśli odległość jest mniejsza lub równa określonej wartości progowej, można uznać, że przesunięcie przeszło test. Jeśli odległość przejdzie pomyślnie test, można zastosować medianę przesunięcia TP. Jeśli ta wartość wynosi co najmniej 95% maksymalnego wyniku, wówczas mediana przesunięcia zastępuje połączone przesunięcie wyniku. Przesunięcie obliczone z transformacji afinicznej w środku obrazu można porównać z wybranym przesunięciem. Jeśli transformacja afiniczna daje mniejsze przesunięcie, można wybrać przesunięcie transformacji afinicznej.

Transformację afiniczną między obrazem 102 a danymi 110 syntetycznego obrazu można zidentyfikować lub określić, na przykład na podstawie TPS 114. Transformację afiniczną można określić przy użyciu najmniejszych kwadratów dopasowanych do TPS 114 między obrazem 102 a danymi 110 syntetycznego obrazu. Wynik transformacji afinicznej wskazuje piksel na innym obrazie odpowiadający danemu pikselowi w obrazie źródłowym.

Transformacja afiniczna to liniowe odwzorowanie, które zachowuje punkty, linie proste, płaszczyzny. Oznacza to, że linie równoległe w obrazie źródłowym pozostają równoległe po transformacji afinicznej w obraz docelowy. Różne transformacje afiniczne obejmują przełożenie, skalowanie, ścinanie i obrót.

Sposób 200 można przeprowadzić raz, dwa lub więcej razy. W niektórych przykładach wykonania, każde kolejne wykonanie sposobu 200 może wykorzystywać mniejszy kafelek 222 obrazu (i odpowiadający jej promień wyszukiwania), który jest mniejszy niż w bezpośrednio poprzedzającym wykonaniu sposobu 200.

Jak wspomniano wcześniej, po zastosowaniu wyników rejestracji zgrubnej (pierwsze przejście sposobu 200), dokładną rejestrację można przeprowadzić przy użyciu mniejszego obszaru wyszukiwania. Można zastosować tę samą metodę rejestracji 200 (w tym metryki nieprawidłowości). Punkty TPS 114, które przeszły metrykę nieprawidłowości, mogą zostać przekonwertowane na CPS 118 przy użyciu najbliższego rzutowanego punktu 3D na środku płytki. Każdy punkt w zestawie 104 punktów 3D ma intensywność związaną z tym punktem. Kiedy punkt (poprzez geometrię obrazu 102, na którym rejestrujemy) z zestawu 104 punktów 3D jest rzutowany na piksel w danych 110 syntetycznego obrazu, punkt ten najprawdopodobniej nie będzie rzutowany dokładnie na środek piksela. Dowolny piksel z danych 110 syntetycznego obrazu, który jest rzutowany, jest powiązany z intensywnością związaną z punktem. Dane 110 syntetycznego obrazu mogą zachowywać identyfikację punktową punktu, którego intensywność została użyta do wypełnienia piksela. Ponieważ zestaw 104 punktów 3D może być nieregularnie rozmieszczony i zawierać puste miejsca, nie każdy piksel może zostać wypełniony. Każdy pusty piksel danych 110 syntetycznego obrazu może mieć intensywność uzyskaną od sąsiadów, którzy są wypełnieni. Jeśli piksel nie ma pobliskich sąsiadów, którzy są wypełnieni (co może się zdarzyć w przypadku dużych pustych miejsc w zestawie punktów), piksel ten może pozostać pusty i nie jest używany w rejestracji. Podczas rejestrowania szablonu krawędzi na obrazie 102, środek szablonu jest dogodnym miejscem, z którego można uzyskać CP, ale środkowy piksel mógł być pikselem bez punktu 3D, który był na niego rzutowany. W takich przypadkach, piksel najbliżej środka, na który został rzutowany punkt, może być użyty do CP. X, Y i Z tego punktu mogą być użyte jako lokalizacja CP. Lokalizację obrazu CP można przesuwać, aby było współmierna do piksela używanego w CP. Lokalizacja obrazu może być dalej ruszona (w sposób subpikselowy), aby uwzględnić, gdzie wewnątrz piksela faktycznie rzutowany jest punkt. Na przykład, punkt 3D mógł zostać rzutowany na punkt siódmej części rzędu piksela powyżej środka piksela i ćwierć kolumny piksela na prawo od środka piksela. Lokalizację obrazu można przesuwać za pomocą tych regulacji wierszy i kolumn subpikseli, aby odpowiadały rzeczywistemu rzutowanemu punktowi.

Kowariancję błędu można wyprowadzić z kształtu powierzchni rejestracji wyniku w punkcie szczytowym i metryk jakości. Do obliczenia kowariancji błędu można wykorzystać wyniki rejestracji w sąsiedztwie wyśrodkowanym w górnej lokalizacji przesunięcia wyniku. Można zastosować następujący sposób. Ten sposób jest opisany za pomocą promienia trzy (3), ale można zastosować inne wartości promienia. Promień trzy (3) daje w wyniku obszar 7X7 wyśrodkowany w miejscu przesunięcia górnego wyniku. Dla obszaru 7X7 wyśrodkowanego w górnym przesunięciu wyniku można określić minimalny wynik. Wynik ten jest odejmowany od każdego wyniku w 7X7. Za pomocą 7X7 można określić trzy sumy. Pierwszą sumą (sum1) może być suma wszystkich przesunięć w 7x7 wyniku przy tym przesunięciu razy kwadrat różnicy w kolumnie tego przesunięcia ze środkiem 7X7. Drugą sumą (sum2) może być wynik w tym przesunięciu pomnożony przez kwadrat różnicy wierszy tego przesunięcia ze środkiem 7X7. Trzecią sumą (suma3) może być wynik w tym przesunięciu razy różnica w kolumnie tego przesunięcia ze środkiem 7X7 razy różnica w wierszach tego przesunięcia ze środkiem 7X7. Te trzy sumy można podzielić przez sumę wyników w obszarze 7X7. Niech scoreSum oznacza sumę wyników w obszarze 7X7. Te wartości są obliczane w przestrzeni obrazu rejestracji, który mógł nie zostać wykonany w pełnej rozdzielczości obrazu i może wymagać przeskalowania do pełnej rozdzielczości. Niech ratioCol będzie stosunkiem skali X obrazu rejestracji w kierunku kolumny do skali obrazu w kierunku kolumny. Niech ratioRow będzie analogicznym stosunkiem w kierunku Y. Kowariancja lokalizacji obrazu CP jest przechowywana jako górna trójkątna macierz 2X2 (tj. trzy wartości), gdzie kowar [0] = kwadrat ratioCol X Sum1/scoreSum, covar [1] = ratioCol X ratioRow X Sum3/scoreSum, covar [2] = kwadrat rowRatio * Sum2/scoreSum.

Jeżeli zastosowanie progów nieprawidłowości utrzymuje zbyt mało punktów CP, progi błędów mogą być iteracyjnie zmniejszane, aż do utrzymania wystarczającej liczby CP. Wartości progowe stosowane dla zmniejszenia liczby błędów mogą zależeć od czujnika. W przykładzie, jeśli liczba TPS 114, które przejdą przez odrzucenie nieprawidłowości, jest poniżej minimalnej liczby TPS 114, metryki mogą zostać zmniejszone, tak aby osiągnąć określoną minimalną liczbę TPS 114.

Fig. 3 przedstawia, tytułem przykładu, chipy obrazu w skali szarości oparte na krawędziach rejestracji kafelka obrazu. Chipy obrazów obejmują widoki chmury punktów i obraz fragmentu Richardson w Teksasie. Górny rząd chipów obrazu przedstawia kafelek z kafelka 222A syntetycznego obrazu, wielkość gradientu z operatora Sobela w chipie 334 obrazu i piksele krawędziowe o wysokim kontraście wybrane do wykorzystania w rejestracji w szablonie 230A obrazu. Operator gradientu Sobela może być użyty do generowania wielkości i fazy gradientu zarówno dla kafelka 222A syntetycznego obrazu, jak i dla kafelka 332 obrazu. Kafelek 332 obrazu zawiera właściwy podzestaw pikseli obrazu 102. Dolny rząd obrazów na figurze przedstawia kafelek 332 obrazu, na którym należy zarejestrować, jego wielkość gradientu Sobela w chipie 338 obrazu i wynik rejestracji wynikający z korelacji krawędzi syntetycznego obrazu o wysokim kontraście z gradientem z obrazu rejestrowanego na chipie 340 obrazu. Kafelek 332 obrazu jest większy niż kafelek 222A syntetycznego obrazu, ponieważ musi pomieścić rozmiar szablonu kafelka 222A syntetycznego obrazu plus promień wyszukiwania rejestracji (dla uwzględnienia błędu). Wynik 340 korelacji (przy każdym przesunięciu) wskazuje, że najwyższa korelacja krawędzi o wysokim kontraście występuje z punktem środkowym kafelka 222A syntetycznego obrazu rzutowanym na piksel poniżej środka i na prawo od środka kafelka 332 obrazu. Proces z Fig. 2 można powtórzyć, używając kafelka o mniejszym rozmiarze i mniejszym obszarze wyszukiwania, aby uzyskać jeszcze lepszą korelację krawędzi o wysokim kontraście.

Fig. 4 przedstawia, tytułem przykładu, TPS 114 między obrazem 102 a danymi 110 syntetycznego obrazu. Na Fig. 4, przedstawiono TPS 114 zidentyfikowane między danymi 110B obrazu syntetycznego i obrazem 102B dla obrazu fragmentu Richardson w Teksasie. Fig. 4 przedstawia pierwszy kafelek 440 obrazu z danych 110B syntetycznego obrazu, drugi kafelek 442 obrazu z obrazu 102B.

Fig. 5 przedstawia, tytułem przykładu, schemat działań przykładu wykonania sposobu 500 do tworzenia syntetycznego obrazu z zarejestrowanych danych 122 obrazu. Aby wygenerować obraz, metadane są powiązane z danymi obrazu, wyszczególniającymi liczbę wierszy i kolumn obrazu oraz wystarczającymi danymi geometrycznymi, aby określić lokalizację X, Y każdego piksela w obrazie (jeśli Z jest znane). W operacji 530 określane są metadane 532, które mają być powiązane z zarejestrowanymi danymi 122 obrazu. Operacja 530 może być wykonana na podstawie metadanych 540 obrazu. Metadane obrazu pochodzą z obrazu 102. Metadane 540 obrazu dostarczają informacji, które mogą być wykorzystane do udostępnienia użytkownikowi widoku obrazu 102. Niektóre parametry, które mogą być używane przez aplikację zapewniającą widok obrazu 102 mogą zawierać skalę w kierunku rzędu, skalę w kierunku kolumny, wysokość czujnika, rzut pionowy czujnika, azymut Słońca, wysokość Słońca, parametry transformacji perspektywicznej, parametry i współczynniki wymiernej projekcji wielomianowej (np. XYZ na obraz i/lub obrazu na XYZ) lub czasu, w jakim obraz został zebrany, między innymi. W przypadku obrazu 102 parametry te są łatwo obliczane z metadanych 540 obrazu, które są dostarczane z obrazem 102 (np. w oznaczonych rozszerzeniach zapisu w nagłówku obrazu w krajowym formacie transmisji obrazów (ang. national imagery transmission format - NITF)).

Podobnie do metadanych 540 obrazu, metadane 532, które mają być powiązane z zarejestrowanymi danymi 122 obrazu, mogą zawierać pozycję czujnika, orientację czujnika, ogniskową, wysokość Słońca, azymut Słońca, parametry transformacji perspektywicznej lub parametry i współczynniki wymiernej projekcji wielomianowej (np. XYZ na obraz lub obrazu na XYZ), między innymi. Wysokość czujnika, położenie czujnika lub ogniskową można ustawić tak, aby były identyczne z tymi na obrazie 102.

Azymut Słońca, wysokość Słońca i czas, w którym zebrano syntetyczny obraz 536, mogą być problematyczne. Zestaw 104 punktów 3D można utworzyć z wielu obrazów zebranych o różnych porach dnia, a zatem mieć różne kąty słoneczne. Intensywności z zestawem 104 punktów 3D mogą być wartościami złożonymi z obrazów użytych do określenia lokalizacji punktu 3D. Azymut Słońca można ustawić na azymut Słońca na obrazie 102. Wysokość Słońca może być ustawiona bezpośrednio nad głową lub prawie bezpośrednio nad głową (np. 90 stopni plus lub minus pewne stopnie progowe, takie jak jeden (1) stopień, dwa (2) stopnie, trzy (3) stopnie, cztery (4) stopnie, pięć (5) stopni, większy lub mniejszy kąt lub jakiś kąt pomiędzy nimi). W niektórych przykładach wykonania wysokość Słońca może być ustawiona na 89 stopni. Wybór Słońca prawie bezpośrednio nad głową może pomóc zapobiec błędnemu przewidywaniu przez technikę maski cieni (np. w procesie wykrywania zmian lub w innym zastosowaniu), podczas której występują cienie na syntetycznym obrazie 536.

Czas zbierania parametru może również stanowić problem, ponieważ obraz syntetyczny składa się z intensywności pochodzących z obrazów potencjalnie zebranych w wielu różnych momentach. Ponieważ obraz syntetyczny 536 może być „starym obrazem” w wykrywaniu zmian, czas gromadzenia można ustawić na pewien czas przed momentem zebrania obrazu 102. Czas wcześniejszy to dowolny czas przed czasem (i datą) wskazanym w metadanych obrazu 102.

Fig. 6 przedstawia, tytułem przykładu, schemat widoku zestawu punktów 3D fragmentu Richardson w Teksasie z (a) punktami pokolorowanymi według wysokości i (b) punktami pokolorowanymi według złożonego atrybutu intensywności. Fig. 7 przedstawia, tytułem przykładu, schemat widoku obrazu 102C i syntetycznego obrazu 536A wygenerowanego przy użyciu sposobów 100, 200, 500.

Patent US 9 269 145 zatytułowany „System and Method for Automatically Registering an Image to a Three-Dimensional Point Set” oraz patent US 9 275 267 zatytułowany „System and Method for Automatic Registration of 3D Data With Electro-Optical Imagery Via Photogrammetric Bundle Adjustment” zawierają dalsze szczegóły dotyczące odpowiednio rejestracji obrazu i geometrycznego dopasowania wiązki i są włączone do przedmiotowego dokumentu przez odniesienie do całości. Przykłady technik wykrywania zmian mogą obejmować określanie lokalizacji, w których obraz i obraz syntetyczny mają różną zawartość krawędzi lub w których dwa obrazy mają duże różnice intensywności kontrastu. Sposób, za pomocą którego utworzono syntetyczny obraz, eliminuje fałszywe zmiany spowodowane różnicami w perspektywie, a zestaw punktów 3D zapewnia kontekst do wyeliminowania fałszywych zmian wynikających z różnic w nasłonecznieniu.

Fig. 8 przedstawia, tytułem przykładu, schemat blokowy przykładu wykonania maszyny w przykładowej postaci systemu do generowania syntetycznych obrazów, na przykład systemu komputerowego 800, w ramach którego mogą być wykonywane instrukcje powodujące wykonanie przez maszynę dowolnej jednej lub więcej metodologii omówionych w przedmiotowym dokumencie. W przypadku wdrożenia sieciowego maszyna może działać jako serwer lub komputer kliencki w środowisku sieciowym serwer-klient lub jako maszyna równorzędna w środowisku sieciowym typu każdy z każdym (lub rozproszonym). Maszyną może być komputer osobisty (ang. personal computer - PC), tablet PC, dekoder (ang. set-top box - STB), osobisty asystent cyfrowy (ang. Personal Digital Assistant - PDA), telefon komórkowy, urządzenie sieciowe, router sieciowy, przełącznik lub mostek lub maszyna zdolna do wykonywania instrukcji (sekwencyjnych lub innych) określających działania, jakie ma podjąć ta maszyna. Ponadto, chociaż przedstawiono tylko jedną maszynę, termin „maszyna” należy również rozumieć jako obejmujący dowolny zbiór maszyn, które indywidualnie lub wspólnie wykonują zestaw (lub wiele zestawów) instrukcji dla wykonania jednej lub więcej metodologii omówionych w przedmiotowym dokumencie.

Przykładowy system komputerowy 800 zawiera procesor 802 (np. jednostkę centralną (ang. central processing unit - CPU), jednostkę przetwarzania grafiki (ang. graphics processing unit - GPU) lub obie), pamięć główną 804 i pamięć statyczną 806, które komunikują się ze sobą za pośrednictwem magistrali 808. System komputerowy 800 może ponadto zawierać jednostkę 810 wyświetlającą wideo (np. wyświetlacz ciekłokrystaliczny (ang. liquid crystal display - LCD) lub kineskop (ang. cathode ray tube - CRT)). System komputerowy 800 zawiera również alfanumeryczne urządzenie wejściowe 812 (np. klawiaturę), urządzenie nawigacyjne 814 interfejsu użytkownika (ang. user interface - UI) (np. mysz), jednostkę 816 pamięci masowej, urządzenie 818 generujące sygnał (np. głośnik), urządzenie 820 interfejsu sieciowego i radio 830, takie jak Bluetooth, WWAN, WLAN i NFC, pozwalające na zastosowanie kontroli bezpieczeństwa w takich protokołach.

Jednostka 816 pamięci masowej zawiera odczytywalny maszynowo nośnik 822, na którym przechowywany jest jeden lub więcej zestawów instrukcji i struktur 824 danych (np. oprogramowania) zawierających lub wykorzystywanych przez dowolną jedną lub więcej metodologii lub funkcji opisanych w przedmiotowym dokumencie. Instrukcje 824 mogą również znajdować się, całkowicie lub przynajmniej częściowo, w pamięci głównej 804 i/lub w procesorze 802 podczas ich wykonywania przez system komputerowy 800, przy czym pamięć główna 804 i procesor 802 również stanowią nośnik odczytywalny maszynowo.

Podczas gdy nośnik odczytywalny maszynowo 822 jest pokazany w przykładzie wykonania jako pojedynczy nośnik, termin „nośnik odczytywalny maszynowo” może obejmować pojedynczy nośnik lub wiele nośników (np. scentralizowaną lub rozproszoną bazę danych i/lub powiązane pamięci podręczne i serwery), które przechowują jedną lub więcej instrukcji lub struktur danych. Termin „nośnik odczytywalny maszynowo” należy również rozumieć jako obejmujący dowolny materialny nośnik, który jest w stanie przechowywać, kodować lub przenosić instrukcje do wykonania przez maszynę i który powoduje, że maszyna wykonuje jedną lub więcej metodologii przedmiotowego wynalazku lub która jest zdolna do przechowywania, kodowania lub przenoszenia struktur danych wykorzystywanych przez takie instrukcje lub z nimi związanych. Termin „nośnik odczytywalny maszynowo” należy zatem rozumieć jako obejmujący, ale nie ograniczający się do pamięci półprzewodnikowych oraz nośników optycznych i magnetycznych. Konkretne przykłady nośników odczytywalnych maszynowo obejmują pamięć trwałą, w tym przykładowo urządzenia pamięci półprzewodnikowej, np. możliwą do usunięcia programowalną pamięć tylko do odczytu (ang. Erasable Programmable Read-Only Memory - EPROM), możliwą do usunięcia elektrycznie programowalną pamięć tylko do odczytu (ang. Electrically Erasable Programmable Read-Only Memory - EEPROM) i urządzenia pamięci flash; dyski magnetyczne, takie jak wewnętrzne dyski twarde i dyski wymienne; dyski magnetooptyczne; oraz dyski CD-ROM i DVD-ROM.

Instrukcje 824 mogą być ponadto transmitowane lub odbierane przez sieć komunikacyjną 826 z wykorzystaniem nośnika transmisji. Instrukcje 824 mogą być przesyłane przy użyciu urządzenia 820 interfejsowego sieciowego i dowolnego z wielu dobrze znanych protokołów przesyłania (np. HTTP). Przykłady sieci komunikacyjnych obejmują sieć lokalną (ang. local area network - „LAN”), sieć rozległą (ang. wide area network - „WAN”), Internet, sieci telefonii komórkowej, sieci zwykłego telefonu (ang. Plain Old Telephone - POTS) i bezprzewodowe sieci danych (np. sieci WiFi i WiMax). Termin „nośnik transmisji” obejmuje dowolny niematerialny nośnik, który umożliwia przechowywanie, kodowanie lub przenoszenie instrukcji do wykonania przez maszynę i obejmuje cyfrowe lub analogowe sygnały komunikacyjne lub inne niematerialne nośniki ułatwiające komunikację z takim oprogramowaniem.

Dodatkowe uwagi i przykłady wykonania

Przykład 1 obejmuje sposób generowania syntetycznego obrazu, sposób obejmujący rzutowanie zestawu punktów trójwymiarowych (3D) pierwszego obszaru geograficznego na przestrzeń obrazu z obrazu drugiego obszaru geograficznego dla generowania danych syntetycznego obrazu, identyfikację punktów kontrolnych (CP) między obrazem a danymi syntetycznego obrazu, dostosowywanie geometrii danych syntetycznego obrazu na podstawie zidentyfikowanych punktów CP, określanie metadanych dla syntetycznego obrazu na podstawie metadanych obrazu i powiązanie określonych metadanych z danymi syntetycznego obrazu, aby wygenerować syntetyczny obraz.

W przykładzie 2, przykład 1 zawiera ponadto informacje, w których metadane zawierają dwie lub więcej spośród lokalizacji czujnika, wysokości czujnika, parametrów transformacji perspektywicznej, parametrów i współczynników wymiernej projekcji wielomianowej (np. XYZ na obraz lub obrazu na XYZ) lub tym podobne, wysokość Słońca, azymut Słońca i czas.

W przykładzie 3, przykład 2 zawiera ponadto informacje, w których metadane zawierają lokalizację czujnika oraz wysokość czujnika, przy czym lokalizacja czujnika jest równa lokalizacji czujnika metadanych obrazu, a wysokość czujnika jest równa wysokości czujnika metadanych obrazu.

W przykładzie 4 co najmniej jeden z przykładów 2-3 zawiera ponadto informacje, w których metadane zawierają wysokość Słońca i azymut Słońca, przy czym wysokość Słońca ustawiono na około 89 stopni, a azymut Słońca ustalono na azymut Słońca metadanych danych obrazu.

W przykładzie 5, co najmniej jeden z przykładów 2-4 zawiera ponadto informacje, w których metadane zawierają czas, przy czym czas jest ustawiony na czas poprzedzający czas metadanych danych obrazu.

W przykładzie 6, co najmniej jeden z przykładów 2-5 zawiera ponadto informacje, w których metadane zawierają parametry transformacji perspektywicznej lub parametry i współczynniki wymiernej projekcji wielomianowej (np. rzutowanie XYZ na obraz lub obrazu na XYZ lub tym podobne).

W przykładzie 7, co najmniej jeden z przykładów 1-6 obejmuje ponadto wykonywanie wykrywania zmian przy użyciu syntetycznego obrazu i obrazu.

W przykładzie 8, co najmniej jeden z przykładów 1-7 zawiera ponadto informacje, w których pierwszy i drugi obszar geograficzny są takie same.

W przykładzie 9, co najmniej jeden z przykładów 1-8 zawiera ponadto informacje, w których drugi obszar geograficzny odpowiada fragmentowi pierwszego obszaru geograficznego.

Przykład 10 obejmuje system do generowania syntetycznego obrazu, system zawierający pamięć zawierającą przechowywany na niej zestaw punktów trójwymiarowych (3D) pierwszego obszaru geograficznego, obwód przetwarzający połączony z pamięcią, obwód przetwarzający skonfigurowany do rzutowania zestawu punktów 3D na przestrzeń obrazu drugiego obsz aru geograficznego dla wygenerowania danych syntetycznego obrazu, identyfikacji punktów kontrolnych (CP) między obrazem a danymi syntetycznego obrazu, dostosowania geometrii danych syntetycznego obrazu na podstawie zidentyfikowanych CP, określania metadanych dla syntetycznego obrazu na podstawie metadanych obrazu i powiązania określonych metadanych z danymi syntetycznego obrazu, aby wygenerować syntetyczny obraz.

W przykładzie 11, przykład 10 zawiera ponadto informacje, w których metadane zawierają dwa lub więcej spośród lokalizacji czujnika, wysokości czujnika, parametrów transformacji perspektywicznej, parametrów i współczynników wymiernej projekcji wielomianowej (rzutowanie XYZ na obraz lub obrazu na XYZ lub im podobne), wysokość Słońca, azymut Słońca i czas.

W przykładzie 12, przykład 11 zawiera ponadto informacje, w których metadane obejmują lokalizację czujnika i wysokość czujnika, przy czym lokalizacja czujnika jest równa lokalizacji czujnika metadanych obrazu, a wysokość czujnika jest równa wysokości czujnika metadanych obrazu.

W przykładzie 13, co najmniej jeden z przykładów 11-12 zawiera ponadto informacje, w których metadane obejmują wysokość Słońca i azymut Słońca, przy czym wysokość Słońca jest ustawiona na około 89 stopni, a azymut Słońca jest ustawiony na azymut Słońca metadanych danych obrazu.

W przykładzie 14 co najmniej jeden z przykładów 11-13 zawiera ponadto informacje, w których metadane zawierają czas, a czas jest ustawiony na czas poprzedzający czas metadanych danych obrazu.

W przykładzie 15 co najmniej jeden z przykładów 11-14 zawiera ponadto informacje, w których metadane zawierają parametry transformacji perspektywicznej lub parametry i współczynniki wymiernej projekcji wielomianowej.

Chociaż przykład wykonania został opisany w odniesieniu do konkretnych przykładów wykonania, będzie oczywiste, że można wprowadzić różne modyfikacje i zmiany do tych przykładów wykonania bez odchodzenia od szerszego ducha i zakresu wynalazku. W związku z tym opis i figury rysunku należy traktować raczej w sensie ilustracyjnym niż ograniczającym. Załączone figury rysunku, które stanowią część przedmiotowego dokumentu, przedstawiają w celach ilustracyjnych, a niejako ograniczenie, konkretne przykłady wykonania, w których przedmiot może być praktykowany. Przedstawione przykłady wykonania są opisane wystarczająco szczegółowo, aby umożliwić znawcom w tej dziedzinie praktykowanie ujawnionych w przedmiotowym dokumencie technik. Mogą być wykorzystywane i wyprowadzane z nich inne przykłady wykonania, tak że strukturalne i logiczne podstawienia i zmiany mogą być dokonywane bez odchodzenia od zakresu przedmiotowego ujawnienia. Dlatego tego szczegółowego opisu nie należy traktować w sensie ograniczającym, a zakres różnych przykładów wykonania jest zdefiniowany jedynie przez załączone zastrzeżenia patentowe, wraz z pełnym zakresem ekwiwalentów, do których takie zastrzeżenia mają prawo.

Claims

1. Sposób generowania syntetycznego obrazu, który to sposób obejmuje:

rzutowanie zestawu punktów trójwymiarowych (3D) pierwszego obszaru geograficznego na przestrzeń obrazu z dwuwymiarowego (2D) obrazu drugiego obszaru geograficznego dla generowania danych syntetycznego obrazu 2D; identyfikację punktów kontrolnych (CP) między obrazem 2D a danymi syntetycznego obrazu 2D;

dostosowywanie geometrii danych syntetycznego obrazu na podstawie zidentyfikowanych CP;

2. Sposób według zastrz. 1, w którym metadane zawierają lokalizację czujnika oraz wysokość czujnika, przy czym lokalizacja czujnika jest ustawiona jako równa lokalizacji czujnika metadanych obrazu, a wysokość czujnika jest ustawiona jako równa wysokości czujnika metadanych obrazu.

3. Sposób według zastrz. 1, w którym metadane zawierają wysokość Słońca i azymut Słońca, przy czym wysokość Słońca jest ustawiona na około 89 stopni, a azymut Słońca jest ustawiony na azymut Słońca metadanych danych obrazu.

4. Sposób według zastrz. 1, w którym metadane zawierają parametry transformacji perspektywicznej lub parametry i współczynniki wymiernej projekcji wielomianowej.

5. Sposób według zastrz. 1, w którym pierwszy i drugi obszar geograficzny są takie same.

6. Sposób według zastrz. 1, w którym drugi obszar geograficzny odpowiada fragmentowi pierwszego obszaru geograficznego.

7. System do generowania syntetycznych obrazów, który to system zawiera:

rzutowania zestawu punktów 3D na przestrzeń obrazu z obrazu dwuwymiarowego (2D) drugiego obszaru geograficznego dla generowania danych syntetycznego obrazu;

identyfikacji punktów kontrolnych (CP) między obrazem 2D a danymi syntetycznego obrazu;

dostosowywania geometrii danych syntetycznego obrazu na podstawie zidentyfikowanych CP;

8. System według zastrz. 7, w którym metadane zawierają lokalizację czujnika oraz wysokość czujnika, przy czym lokalizacja czujnika jest ustawiona jako równa lokalizacji czujnika metadanych obrazu, a wysokość czujnika jest ustawiona jako równa wysokości czujnika metadanych obrazu.

9. System według zastrz. 7, w którym metadane zawierają wysokość Słońca i azymut Słońca, przy czym wysokość Słońca jest ustawiona na około 89 stopni, a azymut Słońca jest ustawiony na azymut Słońca metadanych danych obrazu.

10. System według zastrz. 7, w którym metadane zawierają parametry transformacji perspektywicznej lub parametry i współczynniki wymiernej projekcji wielomianowej.