PL245511B1 - Sposób i urządzenie do korygowania zeskanowanego obrazu - Google Patents

Abstract

Niniejsze zgłoszenie przedstawione na rysunku zapewnia sposób i urządzenie do korygowania zeskanowanego obrazu oraz układ do skanowania obrazu i dotyczy dziedziny skanowania obrazu. Sposób obejmuje: uzyskanie zeskanowanego obrazu skanowanego obiektu; wykrycie jednego albo większej liczby obiektów odniesienia z zeskanowanego obrazu; określenie parametru zniekształcenia każdego obiektu odniesienia jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia; oraz skorygowanie zeskanowanego obrazu w oparciu o parametry zniekształcenia jednego albo większej liczby obiektów odniesienia. Dzięki wykryciu na zeskanowanym obrazie obiektu odniesienia, zeskanowany obraz jest skorygowany w oparciu o parametr zniekształcenia obiektu odniesienia, tak aby rozwiązać problem zniekształcenia zeskanowanego obrazu i poprawić efekt wykrywania.

Description

Opis wynalazku

Niniejsze ujawnienie dotyczy dziedziny skanowania obrazu, a w szczególności sposobu i urządzenia do korygowania zeskanowanego obrazu.

Twórcy stwierdzili, że w przypadku, gdy względna prędkość przemieszczania między układem do skanowania obrazu a skanowanym obiektem nie odpowiada parametrom skanowania układu do skanowania obrazu (na przykład częstotliwości wyjściowej wiązki źródła promieniowania lub liczbie obrotów koła zamachowego lub tym podobne), to skanowany obraz może być zdeformowany, wpływając w ten sposób na efekt wykrywania.

Jeden z problemów technicznych do rozwiązania przez postaci wykonania niniejszego ujawnienia stanowi problem polegający na tym, że zeskanowany obraz jest zdeformowany ze względu na fakt, że względna prędkość przemieszczania między układem do skanowania obrazu a skanowanym obiektem nie odpowiada parametrom skanowania układu do skanowania obrazu.

W jednym z aspektów niniejszy wynalazek dotyczy sposobu korygowania zeskanowanego obrazu, który to sposób obejmuje uzyskanie zeskanowanego obrazu skanowanego obiektu, wykrycie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia, określenie parametru zniekształcenia każdego obiektu odniesienia spośród jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia, oraz skorygowanie zeskanowanego obrazu na podstawie parametrów zniekształcenia jednego albo większej liczby obiektów odniesienia. Sposób korygowania zeskanowanego obrazu charakteryzuje się tym, że skorygowanie zeskanowanego obrazu obejmuje zapewnienie na zeskanowanym obrazie jednego albo większej liczby obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, przy czym parametr zniekształcenia każdego obszaru przejściowego jest określany na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, podzielenie zeskanowanego obrazu na części, na których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, skorygowanie obrazu części, na której każdy obiekt odniesienia znajduje się na zeskanowanym obrazie, odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz skorygowanie obrazu każdego obszaru przejściowego odpowiednio na podstawie parametru zniekształcenia odpowiadającego obszaru przejściowego.

Korzystnie, parametr zniekształcenia każdego obszaru przejściowego między dwoma sąsiednimi obiektami odniesienia uzyskuje się przez ważone sumowanie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia zgodnie z odpowiadającymi współczynnikami wagowymi, przy czym im bardziej zbliżony do obszaru przejściowego, tym większy współczynnik wagowy obiektu odniesienia.

Korzystnie, wykrywanie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia obejmuje: zastosowanie obiektu odniesienia jako wykrywanego celu i wykrycie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia przy zastosowaniu modelu wykrywania celu.

Korzystnie, model wykrywania celu obejmuje: model konwergentnych sieci neuronowych w oparciu o region (R-CNN), model You only look once (YOLO), model Single Shot MultiBox Detector (SSD), model Weakly supervised object detection (WSOD) lub kombinację modelu histogramu zorientowanego gradientu (HOG) i modelu maszyny wektorów nośnyc h (SVM).

Korzystnie, skorygowanie zeskanowanego obrazu obejmuje: jeżeli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku pionowym, wykonanie na obrazie, który ma być poddany korekcji, co najmniej jednego spośród przetwarzania przez interpolację pikseli w kierunku poziomym lub przetwarzania przez próbkowanie pikseli w kierunku pionowym ze stopniem korekcji odpowiadającym stopniowi rozciągnięcia w kierunku pionowym, lub jeżeli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku poziomym, wykonanie na obrazie, który ma być poddany korekcji, co najmniej jednego spośród przetwarzania przez próbkowanie pikseli w kierunku poziomym lub przetwarzania przez interpolację pikseli w kierunku pionowym ze stopniem korekcji odpowiadającym stopniowi rozciągnięcia w kierunku poziomym, przy czym obraz, który ma być poddany korekcji, stanowi cały zeskanowany obraz lub dowolny z obrazów różnych części zeskanowanego obrazu.

Korzystnie, obiekt odniesienia stanowi część o znanym kształcie lub o znanym stosunku wymiarów zeskanowanego obiektu.

Korzystnie, w przypadku, gdy zeskanowany obiekt stanowi pojazd, to obiekt odniesienia stanowi okrągłe koło pojazdu, albo w przypadku, gdy zeskanowany obiekt stanowi pojemnik, to obiekt odniesienia stanowi powierzchnia wykrywania o znanym stosunku długości do szerokości pojemnika.

Korzystnie, zeskanowany obraz stanowi obraz rozproszenia wstecznego lub obraz transmisyjny.

W kolejnym aspekcie niniejszy wynalazek dotyczy urządzenia do korygowania zeskanowanego obrazu, które to urządzenie charakteryzuje się tym, że zawiera pamięć, oraz procesor połączony z pamięcią, przy czym procesor jest skonfigurowany do wykonywania instrukcji przechowywanych w pamięci w celu realizacji sposobu korygowania zeskanowanego obrazu według którejkolwiek z postaci wykonania.

W jeszcze innym aspekcie niniejszy wynalazek dotyczy urządzenia do korygowania zeskanowanego obrazu, które to urządzenie zawiera jednostkę uzyskiwania obrazu skonfigurowaną do uzyskiwania zeskanowanego obrazu skanowanego obiektu, jednostkę wykrywania celu skonfigurowaną do wykrywania na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia, jednostkę określania parametru skonfigurowaną do określania parametru zniekształcenia każdego obiektu odniesienia jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia, oraz jednostkę korygowania obrazu skonfigurowaną do korygowania zeskanowanego obrazu w oparciu o parametry zniekształcenia jednego albo większej liczby obiektów odniesienia. Urządzenie do korygowania zeskanowanego obrazu charakteryzuje się tym, że obejmuje zapewnienie na zeskanowanym obrazie jednego albo większej liczby obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, przy czym parametr zniekształcenia każdego obszaru przejściowego jest określany na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, podzie lenie zeskanowanego obrazu na części, na których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, skorygowanie obrazu części, na której każdy obiekt odniesienia znajd uje się na zeskanowanym obrazie, odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz skorygowanie obrazu każdego obszaru przejściowego odpowiednio na podstawie parametru zniekształcenia odpowiadającego obszaru przejściowego.

W postaciach wykonania według niniejszego ujawnienia obiekt odniesienia jest wykrywany z zeskanowanego obrazu tak, że zeskanowany obraz jest korygowany zgodnie z parametrem zniekształcenia obiektu odniesienia w celu naprawienia problemu zniekształcenia zeskanowanego obrazu i poprawienia efektu wykrywania.

W niektórych postaciach wykonania według niniejszego ujawnienia zapewniony jest sposób korygowania zeskanowanego obrazu. Sposób obejmuje: uzyskanie zeskanowanego obrazu skanowanego obiektu, wykrycie jednego albo większej liczby obiektów odniesienia z zeskanowanego obrazu, określenie parametru zniekształcenia każdego obiektu odniesienia jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia, oraz skorygowanie zeskanowanego obrazu w oparciu o parametry zniekształcenia jednego albo większej liczby obiektów odniesienia.

W niektórych postaciach wykonania korekcja zeskanowanego obrazu obejmuje: w przypadku, gdy na zeskanowanym obrazie wykrywanych jest wiele obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, odpowiednio korygowanie obrazów różnych części zeskanowanego obrazu w oparciu o parametr zniekształcenia każdego obiektu odniesienia, lu b w przypadku, gdy na zeskanowanym obrazie wykrywanych jest wiele obiektów odniesienia, i wiele obiektów odniesienia ma ten sam parametr zniekształcenia, korygowanie całego zeskanowanego obrazu w oparciu o ten sam parametr zniekształcenia, lub w przypadku wykrycia na zeskanowanym obrazie jednego obiektu odniesienia, korygowanie całego zeskanowanego obrazu w oparciu o parametr zniekształcenia jednego obiektu odniesienia.

W niektórych postaciach wykonania, w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, korygowanie obrazów różnych części zeskanowanego obrazu odpowiednio na podstawie parametru zniekształcenia każdego obiektu odniesienia obejmuje: podzielenie zeskanowanego obrazu na wiele części o tej samej liczbie obiektów odniesienia i podzielenie różnych obiektów odniesienia w różnych częściach zeskanowanego obrazu na podstawie położenia i liczby obiektów odniesienia, oraz skorygowanie obrazu części, na której na zeskanowanym obrazie znajduje się każdy obiekt odniesienia odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia.

W niektórych postaciach wykonania, w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, korygowanie obrazów różnych części zeskanowanego obrazu odpowiednio w oparciu o parametr zniekształcenia każdego obiektu odniesienia obejmuje: zapewnienie na zeskanowanym obrazie jednego albo większej liczby obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, przy czym parametr zniekształcenia każdego obszaru przejściowego jest określany na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, podzielenie zeskan owanego obrazu na części, na których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, skorygowanie części obrazu, na której na zeskanowanym obrazie znajduje się każdy obiekt odniesienia odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz skorygowanie obrazu każdego obszaru przejściowego odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obszaru przejściowego.

W niektórych postaciach wykonania parametr zniekształcenia każdego obszaru przejściowego między dwoma sąsiednimi obiektami odniesienia uzyskuje się przez ważone sumowanie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia zgodnie z odpowiadającymi współczynnikami wagowymi, przy czym im bliżej obszaru przejściowego, tym większy współczynnik wagowy obiektu odniesienia.

W niektórych postaciach wykonania wykrywanie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia obejmuje: wykorz ystanie obiektu odniesienia jako wykrywanego celu i wykrywanie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia przy użyciu modelu wykrywania celu.

W niektórych postaciach wykonania model wykrywania celu obejmuje: model konwergentnych sieci neuronowych w oparciu o region (R-CNN, ang. Region-based Convolutional Neural Networks), model You only look once (YOLO), model Single Shot MultiBox Detector (SSD), model Weakly supervised object detection (WSOD) lub kombinację modelu histogramu zorientowanego gradientu (HOG, ang. Histogram of Oriented Gradient) i modelu maszyny wektorów nośnych (SVM, ang. Support Vector Machine).

W niektórych postaciach wykonania korekcja zeskanowanego obrazu obejmuje: jeżeli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku pionowym, wykonanie na obrazie, który ma być poddany korekcji, co najmniej jednego przetwarzania przez interpolację pikseli w kierunku poziomym lub przetwarzanie przez próbkowanie pikseli w kierunku pionowym ze stopniem korekcji odpowiadającym stopniowi rozciągnięcia w kierunku pionowym, lub jeśli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku poziomym, wykonanie na obrazie, który ma być poddany korekcji, co najmniej jedno przetwarzanie przez próbkowanie pikseli w kierunku poziomym lub przetwarzanie przez interpolację pikseli w kierunku pionowym ze stopniem korekcji odpowiadającym stopniowi rozciągnięcia w kierunku poziomym, przy czym obraz, który ma być poddany korekcji, stanowi cały zeskanowany obraz lub dowolny z obrazów różnych części zeskanowanego obrazu.

W niektórych postaciach wykonania obiekt odniesienia stanowi część znanego kształtu lub znany stosunek wymiarów skanowanego obi ektu.

W niektórych postaciach wykonania, w przypadku gdy zeskanowany obiekt stanowi pojazd, to obiekt odniesienia stanowi okrągłe koło pojazdu, lub w przypadku, gdy zeskanowany obiekt stanowi pojemnik, to obiekt odniesienia stanowi powierzchnia wykrywania o znanym stosunku długości do szerokości pojemnika.

W niektórych postaciach wykonania zeskanowany obraz stanowi obraz rozproszenia wstecznego lub obraz transmisyjny.

W niektórych postaciach wykonania niniejszego ujawnienia zapewnione jest urządzenie do korygowania zeskanowanego obrazu. Urządzenie zawiera: pamięć, oraz procesor połączony z pamięcią, przy czym procesor jest skonfigurowany do wykonywania instrukcji przechowywanych w pamięci w celu realizowania sposobu korygowania zeskanowanego obrazu według którejkolwiek z postaci wykonania.

W niektórych postaciach wykonania niniejszego ujawnienia zapewnione jest urządzenie do korygowania zeskanowanego obrazu. Urządzenie zawiera: jednostkę do uzyskiwania obrazu skonfigurowaną do uzyskiwania zeskanowanego obrazu skanowanego obiektu, jednostkę wykrywania celu skonfigurowaną do wykrywania na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia, jednostkę określania parametru skonfigurowaną do określania parametru zniekształcenia każdego obiektu odniesienia spośród jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia, oraz jednostkę korygowania obrazu skonfigurowaną do korygowania zeskanowanego obrazu w oparciu o parametry zniekształcenia jednego albo większej liczby obiektów odniesienia.

Niniejsze ujawnienie przedstawia układ do skanowania obrazu. Układ zawiera: urządzenie do skanowania obrazu skonfigurowane do zeskanowania skanowanego obiektu w celu utworzenia zeskanowanego obrazu skanowanego obiektu, oraz urządzenie do korygowania zeskanowanego obrazu zgodnie z powyższymi postaciami wykonania.

W niektórych postaciach wykonania urządzenie do skanowania obrazu stanowi urządzenie do skanowania obrazowaniem rozproszeniem wstecznym lub urządzenie do skanowania obrazowaniem transmisyjnym.

Niniejsze ujawnienie przedstawia również trwały, odczytywany przez komputer nośnik przechowujący programy komputerowe. Programy komputerowe, gdy są wykonywane przez procesor, realizują sposób korygowania zeskanowanego obrazu według którejkolwiek z postaci wykonania.

Poniżej przedstawione zostanie krótkie wprowadzenie dla załączonych rysunków niezbędnych do wykorzystania w opisie postaci wykonania lub w odpowiadającym stanie techniki.

Niniejsze ujawnienie będzie bardziej zrozumiałe na podstawie poniższego szczegółowego opisu w odniesieniu do załączonych rysunków, na którym:

fig. 1 przedstawia schemat blokowy sposobu korygowania zeskanowanego obrazu we- dług niektórych postaci wykonania nini ejszego wynalazku, fig. 2A-2C przedstawiają schematyczne widoki przykładów korygowania całego zeskanowanego obrazu w oparciu o jeden parametr zniekształcenia według niektórych postaci wykonania niniejszego wynalazku, fig. 3A-3E przedstawiają schematyczne widoki przykładów korygowania obrazów odpowiednio różnych części zeskanowanego obrazu w oparciu o wiele parametrów zniekształcenia według niektórych postaci wykonania niniejszego wynalazku, fig. 4 przedstawia schematyczny widok urządzenia do korygowania ze skanowanego ob- razu według niektórych postaci wykonania niniejszego wynalazku, fig. 5 przedstawia schematyczny widok urządzenia do korygowania zeskanowanego ob- razu według niektórych postaci wykonania niniejszego wynalazku, fig. 6 przedstawia schematyczny widok układu do skanowania obrazu według niniej- szego ujawnienia.

Wiadome jest, że załączone opisane powyżej figury rysunku stanowią jedynie niektóre postaci wykonania niniejszego ujawnienia. Dla znawcy w dziedzinie, inne załączone figury rysunku również mogą być uzyskane zgodnie z takimi załączonymi figurami rysunku przy założeniu, że nie jest zaangażowany żaden wysiłek wynalazczy.

Rozwiązanie techniczne w postaciach wykonania niniejszego wynalazku zostanie jasno i zupełnie opisane poniżej w połączeniu z załączonymi figurami rysunku w postaciach wykonania niniejszego wynalazku.

Fig. 1 przedstawia schematyczny schemat blokowy sposobu korygowania zeskanowanego obrazu według niektórych postaci wykonania niniejszego wynalazku. Sposób ten może być realizowany na przykład przez urządzenie do korygowania zeskanowanego obrazu.

Jak przedstawiono na fig. 1, sposób według tej postaci wykonania obejmuje etapy 110-140.

W etapie 110 pozyskuje się zeskanowany obraz skanowanego obiektu.

Zeskanowany obiekt stanowi na przykład, lecz bez ograniczania się do wymienionych przykładów, pojazd, kontener, osoba lub tym podobne.

Urządzenie do korygowania zeskanowanego obrazu może, na przykład, uzyskać zeskanowany obraz skanowanego obiektu z urządzenia do skanowania obrazu. Zgodnie z róż nymi zasadami obrazowania, urządzenie do skanowania obrazu dzieli się na urządzenie do skanowania obrazowaniem rozproszeniem wstecznym i urządzenie do skanowania obrazowaniem transmisyjnym. Odpowiednio, zeskanowany obraz skanowanego obiektu dzieli się na o braz rozproszenia wstecznego albo obraz transmisyjny. Obraz rozproszenia wstecznego polega na tym, że urządzenie do skanowania obrazowaniem rozproszeniem wstecznym tworzy obraz, przechwytując padające fotony rozproszone z powrotem przez skanowany obiekt pr zy użyciu efektu rozpraszania Comptona.

Obraz transmisyjny polega na tym, że urządzenie do skanowania obrazowaniem transmisyjnym tworzy obraz przez wykrywanie padającego promieniowania, które jest tłumione po przejściu przez skanowany obiekt za pomocą detektora znajdującego się po drugiej stronie skanowanego obiektu.

Zarówno urządzenie do skanowania obrazowaniem rozproszeniem wstecznym, jak i urządzenie do skanowania obrazowaniem transmisyjnym mają dwa tryby skanowania, a mianowicie tryb skanowania aktywnego oraz tryb skanowania pasywnego. W trybie skanowania aktywnego skanowany obiekt nie przemieszcza się, a przemieszcza się urządzenie do skanowania obrazu. W trybie skanowania pasywnego urządzenie do skanowania obrazu nie przemieszcza się, a przemieszcza się skanowany obiekt. T ryb skanowania pasywnego jest również określany jako tryb szybkiego skanowania. W trybie skanowania aktywnego lub w trybie skanowania pasywnego, podczas względnego przemieszczania między urządzeniem do skanowania obrazu a skanowanym obiektem, urządzenie do skanowania obrazu emituje promieniowanie, takie jak promieniowanie rentgenowskie lub promieniowanie gamma, aby zobrazować skanowany obiekt.

Po etapie 110 i przed etapem 120 można alternatywnie wykonać etap 112, to znaczy na zeskanowanym obrazie przeprowadza się wstępne przetwarzanie obrazu.

Wstępne przetwarzanie obrazu obejmuje, na przykład, lecz bez ograniczania się do wymienionych przykładów, przetwarzanie, takie jak efektywne przycinanie obszaru, regulowanie rozmiaru obrazu, regulowanie jasności i kontrastu obrazu, wzmacnianie obrazu i redukowanie szumów obrazu.

Dzięki wstępnemu przetwarzaniu obrazu można uzyskać stosunkowo znormalizowany zeskanowany obraz do przetwarzania, poprawiając w ten sposób dokładność i szybkość wykrywania na zeskanowanym obrazie obiektu odniesienia.

W etapie 120 na zeskanowanym obrazie wykrywa się jeden albo większą liczbę obiektów odniesienia.

Obiekt odniesienia stanowi część skanowanego obiektu o znanym kształcie lub znanym stosunku wymiarów. Na przykład w przypadku, gdy skanowany obiekt stanowi pojazd, to obiekt odniesienia może stanowić okrągłe koło pojazdu (na przykład opona lub piasta koła). Na przykład, w przypadku, gdy skanowany obiekt stanowi pojemnik, to obiekt odniesienia stanowi powierzchnia wykrywania o znanym stosunku wymiarów długości i szerokości pojemnika. Zwykle pojazd ma wiele kół. W związku z tym na zeskanowanym obrazie pojazdu można wykryć wiele obiektów odniesienia w postaci koła. Na zeskanowanym obrazie pojemnika można wykryć jeden obiekt odniesienia w postaci powierzchni wykrywania.

Obiekt odniesienia stosuje się jako cel do wykrycia i na zeskanowanym obrazie wykrywa się jeden albo większą liczbę obiektów odniesienia przy użyciu modelu wykrywania celu. Oznacza to, że zeskanowany obraz wprowadza się do modelu wykrywania celu, tak że model wykrywania celu wyprowadza jeden albo większą liczbę obiektów odniesienia zeskanowanego obrazu.

Model wykrywania celu obejmuje na przykład, lecz bez ograniczania się do wymienionych przykładów: model R-CNN (ang. Region-based Convolutional Neural Networks), model YOLO (ang. You only look once), model SSD (ang. Single Shot MultiBox Detector), model WSOD (ang. Weakly supervised object detection) lub połączenie modelu HOG (ang. Histogram of Oriented Gradient) i modelu SVM (ang. Support Vector Machine) oraz innych modeli uczenia maszynowego zdolnych do osiągnięcia wykrywania celu. W zależności od różnych modeli wykrywania celu, obiekt odniesienia jako wynik wykrywania celu modelu wykrywania celu może być wyprowadzany na przykład, lecz bez ograniczania się do wymienionych przykładów, przez narysowanie prostokątnej ramki, przedstawiającej granicę obiektu odniesienia i wyświetlanie położenia punktu charakterystycznego obiektu odniesienia.

Model wykrywania celu może stanowić na przykład model nienadzorowany, słabo nadzorowany lub nadzorowany. Na przykład kombinacja modelu HOG i modelu SVM stanowi model nienadzorowany, model WSOD stanowi model słabo nadzorowany, a modele R-CNN, YOLO, SSD i tym podobne stanowią modele nadzorowane.

Wymienione powyżej modele wykrywania celu stanowią stosunkowo dojrzałe technologie, a zatem nie będą tutaj szczegółowo opisywane. Wykrywanie obiektu odniesienia zostanie zilustrowane poniżej na przykładach opartych na modelach wykrywania obiektów opartych na głębokim uczeniu, takich jak modele R-CNN, YOLO i SSD. Przez wprowadzenie do modelu uczenia głębokiego, takiego jak R-CNN, YOLO i SSD, wielu obrazów szkoleniowych z oznaczonym obiektem odniesienia, iteracyjnie aktualizowane są parametry modelu uczenia głębokiego na podstawie luki między danymi wyjściowymi obiektu odniesienia z modelu uczenia głębokiego a oznaczonym obiektem odniesienia, aż do osiągnięcia warunków zakończenia uczenia. Na przykład przerwa między danymi wyjściowymi obiektu odniesienia z modelu uczenia głębokiego a oznaczonym obiektem odniesienia jest mniejsza niż ustawiona wcześniej przerwa lub osiągnięto ustaloną liczbę iteracji. Wyszkolony model uczenia głębokiego można stosować jako model wykrywania docelowego obiektu odniesienia. Na etapie wykrywania celu zeskanowany obraz wprowadza się do modelu wykrywania celu tak, że model wykrywania celu wyprowadza jeden albo większą liczbę obiektów odniesienia zeskanowanego obrazu.

W etapie 130 parametr zniekształcenia każdego obiektu odniesienia określa się na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia.

W etapie 140 zeskanowany obraz koryguje się na podstawie parametru zniekształcenia jednego albo większej liczby obiektów odniesienia.

Dzięki wykryciu na zeskanowanym obrazie obiektu odniesienia, zeskanowany obraz koryguje się na podstawie parametru zniekształcenia obiektu odniesienia tak, że rozwiązuje problem zniekształcenia zeskanowanego obrazu i poprawia efekt wykrywania.

Sposób korygowania 1: w przypadku wykrycia na zeskanowanym obrazie jednego obiektu odniesienia, koryguje się cały zeskanowany obraz na podstawie parametru zniekształcenia obiektu odniesienia.

Sposób korygowania 2: w przypadku wykrycia na zeskanowanym obrazie wielu obiektów o dniesienia i wiele obiektów odniesienia ma ten sam parametr zniekształcenia, koryguje się cały zeskanowany obraz w oparciu o ten sam parametr zniekształcenia.

Sposób korygowania 3: w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia i wiele obiektów odniesienia ma inny parametr zniekształcenia, odpowiednio koryguje się obrazy różnych części zeskanowanego obrazu na podstawie parametru zniekształcenia każdego obiektu odniesienia.

Technologia korygowania obrazu stosowana w opisanych powyżej sposobach korygowania 1-3 może stosować, na przykład, lecz bez ograniczania się do wymienionych przykładów, przetwarzanie z interpolacją pikseli do powiększania obrazu lub przetwarzanie z próbkowaniem pikseli w celu zmniejszenia obrazu. W szczególności, jeśli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku pionowym, na obrazie, który ma być poddany korekcji, wykonuje się co najmniej jedno spośród przetwarzania z interpolacją pikseli w kierunku poziomym ze stopniem korekcji (na przykład współczynnikiem powiększenia) lub przetwarzanie z próbkowaniem pikseli w kierunku pionowym ze stopniem korekcji (na przykład współczynnikiem zmniejszenia) odpowiadającym stopniowi rozciągnięcia w kierunku pionowym, jeśli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku poziomym, na obrazie, który ma być poddany korekcji, wykonuje się co najmniej jedno spośród przetwarzania z próbkowaniem pikseli w kierunku poziomym o stopniu korekcji (na przykład współczynnikiem zmniejszenia) lub przetwarzanie z interpolacją pikseli w kie runku pionowym o stopniu korekcji (na przykład współczynnikiem powiększenia) odpowiadającym stopniowi rozciągnięcia w kierunku poziomym, gdzie obraz, który ma być poddany korekcji, stanowi cały zeskanowany obraz lub dowolny z obrazów różnych części zeskanowanego obrazu, jak wspomniano w sposobach korygowania 1-3.

Opisane powyżej sposoby korygowania 1-2 są podobne pod tym względem, że cały zeskanowany obraz jest korygowany w oparciu o jeden parametr zniekształcenia, a ten sposób korygowania jest opisany w połączeniu z fig. 2A-2C. Przy czym jeden parametr zniekształcenia może stanowić parametr zniekształcenia jednego obiektu odniesienia (odpowiadającym sposobowi korygowania 1) lub tym samym parametrem zniekształcenia wielu obiektów odniesienia (odpowiadającym sposobowi korygowania 2).

Biorąc jako przykład wykrywanie pojazdu, jako obiekt odniesienia ustawione jest okrągłe koło. Standardowy parametr obiektu odniesienia dla pojazdu jest to, że stosunek promienia pionowego do promienia poziomego wynosi 1:1.

Jak przedstawiono na fig. 2A, na zeskanowanym obrazie pojazdu wykrywa się dwa obiekty odniesienia w postaci koła. W porównaniu z okrągłym standardowym parametrem obiektu odniesienia w postaci koła, wykryte dwa obiekty odniesienia w postaci koła są zdeformowane, a parametr zniekształcenia (który może wskazywać stopień zniekształcenia) jest taki sam. Zakładając, że pa8 rametry zniekształcenia wykrytych dwóch obiektów odniesienia w postaci koła mają stosunek promienia pionowego do promienia poziomego wynoszący 2:1, oznacza to, że zeskanowany obraz pojazdu jest rozciągnięty w kierunku pionowym. (1) w zależności od stopnia rozciągnięcia w kierunku pionowym (2 razy), zeskanowany obraz pojazdu jest przetwarzany przez interpolację pikseli z odpowiednim stopniem korekcji w kierunku poziomym, na przykład najbliższa interpolacja pikseli ze współczynnikiem powiększenia wynoszącym 2. Oznacza to, że jeden piksel jest wstawiany między każde dwa piksele poziome, a wartość charakterystyczna wstawionego piksela stanowi na przykład średnią wartość wartości charakterystycznych dwóch najbliższych pikseli poziomych po lewej i prawej stronie wstawionego piksela. (2) W zależności od stopnia rozciągnięcia w kierunku pionowym (2 razy), zeskanowany obraz pojazdu jest przetwarzany za pomocą przetwarzania przez próbkowanie pikseli z odpowiednim stopniem korekcji w kierunku pionowym, na przykład próbkowanie pikseli w równych próbkowaniach ze współczynnikiem redukcji 1/2. Oznacza to, że jeden piksel w pionie jest próbkowany na każde dwa piksele w pionie jako skorygowany piksel w pionie zeskanowanego obrazu. (3) W zależności od stopnia rozciągnięcia w kierunku pionowym (2 razy), zeskanowany obraz pojazdu jest poddany przetwarzaniu przez interpolację pikseli z odpowiednim stopniem korekcji w kierunku poziomym oraz przetwarzaniem przez próbkowanie pikseli z odpowiednim stopniem korekcji w kierunku pionowym. Na przykład, w tym samy czasie wykonywana jest interpolacja najbliższego piksela ze współczynnikiem powiększenia 1,5 w kierunku poziomym i próbkowanie pikseli w równych odstępach ze współczynnikiem redukcji 3/4 w kierunku pionowym. Oznacza to, że na podstawie każdych dwóch poziomych pikseli w kierunku poziomym dodawany jest jeden poziomy piksel. Na przykład na podstawie piksela poziomego 1 i piksela p oziomego 2 dodawany jest piksel poziomy 12 (wartość charakterystyczna piksela poziomego 12 jest określana na podstawie wartości charakterystycznej piksela poziomego 1 i wartości charakterystycznej piksela poziomego 2, na przykład, średnia wartość charakterystycznej wartości piksela poziomego 1 i charakterystycznej wartość piksela poziomego 2 jest określana jako charakterystyczna wartość piksela poziomego 12), w oparciu o piksel poziomy 3 i piksel poziomy 4 dodawany jest piksel poziomy 34 (wartość charakterystyczna piksela poziomego 34 jest określana na podstawie wartości charakterystycznej piksela poziomego 3 i wartości charakterystycznej piksela poziomego 4), itd. W kierunku pionowym próbkowane są trzy piksele pionowe na każde cztery piksele pionowe jako sk orygowane piksele pionowe zeskanowanego obrazu. Za pomocą opisanych powyżej sposobów (1), (2) lub (3), zdeformowany zeskanowany obraz pojazdu przedstawiony na fig. 2A może być skorygowany do normalnego zeskanowanego obrazu pojazdu przedstawionego na fig. 2 C. Na fig. 2C stosunek promienia pionowego do promienia poziomego obiektu odniesienia w postaci koła wynosi 1:1, co odpowiada ustawieniu standardowego parametru obiektu odniesienia w postaci koła.

Jak przedstawiono na fig. 2B, na zeskanowanym obrazie pojazdu wykrywa się dwa obiekty odniesienia w postaci koła. W porównaniu z okrągłym standardowym parametrem obiektu odniesienia w postaci koła, wykryte dwa obiekty odniesienia w postaci koła są zdeformowane, a parametr zniekształcenia (który może wskazywać stopień zniekształcenia) jest taki sam. Zakładając, że parametry zniekształcenia wykrytych dwóch obiektów odniesienia w postaci koła mają stosunek promienia pionowego do promienia poziomego równy 1:2, to oznacza to, że zeskanowany obraz pojazdu jest rozciągnięty w kierunku poziomym. (1) W zależności od stopnia rozciągnięcia w kierunku poziomym (2 razy), zeskanowany obraz pojazdu jest przetwarzany przez interpolację pikseli z odpowiednim stopniem korekcji w kierunku pionowym, na przykład najbliższa interpolacja pikseli ze współczynnikiem powiększenia wynoszącym 2. Oznacza to, że między każde dwa pionowe piksele wstawiany jest jeden piksel, a charakterystyczna wartość wstawionego piksela stanowi na przykład średnia wartość charakterystyczna dwóch najbliższych pionowych pikseli po górnej i dolnej stronie wstawionego piksela. (2) W zależności od stopnia rozciągnięcia w kierunku poziomym (2 razy), zeskanowany obraz pojazdu jest przetwarzany za pomocą przetwarzania przez próbkowanie pikseli z odpowiednim stopniem korekcji w kierunku poziomym, na przykład próbkowanie pikseli z próbkowaniem w równych odstępach ze współczynnikiem redukcji 1/2. Oznacza to, że jeden piksel poziomy jest próbkowany na każde dwa piksele poziome jako skorygowany piksel poziomy zeskanowanego obrazu. (3) W zależności od stopnia rozciągnięcia w kierunku poziomym (2 razy), zeskanowany obraz pojazdu jest przetwarzany z przetwarzaniem przez interpolację pikseli z odpowiednim stopniem korekcji w kierunku pionowym oraz przetwarzaniem próbkowania pikseli z odpowiednim stopniem korekcji w kierunku poziomym, na przykład, w tym samym czasie wykowywane są interpolacja najbliższego piksela ze współczynnikiem powiększenia 1,5 w kierunku pionowym i próbkowanie pikseli z próbkowaniem w równych odstępach ze współcz ynnikiem redukcji 3/4 w kierunku poziomym. Oznacza to, że na podstawie każdych dwóch pikseli pionowych w kierunku pionowym dodawany jest jeden piksel pionowy. Na przykład na podstawie piksela pionowego 1 i piksela pionowego 2 dodawany jest piksel pionowy 12 (wartość charakterystyczna piksela pionowego 12 jest określana na podstawie wartości charakterystycznej piksela pionowego 1 i wartości charakterystycznej piksela pionowego 2, na przykład średnia wartość charakterystycznej wartości piksela pionowego 1 i charakterystyczna wartość piksela pionowego 2 jest określana jako charakterystyczna wartość piksela pionowego 12), na podstawie piksela pionowego 3 oraz piksela pionowego 4 dodawany jest piksel pionowy 34 (wartość charakterystyczna piksela pionowego 34 jest określana na podstawie wartości charakterystycznej piksela pionowego 3 i wartości charakterystycznej piksela pionowego 4) i tak dalej. W kierunku poziomym próbkowane są trzy piksele poziome na każde cztery piksele poziome jako skorygowane piksele poziome zeskanowanego obrazu. Za pomocą opisanych powyżej sposobów (1), (2) lub (3), zdeformowany zeskanowany obraz pojazdu przedstawiony na fig. 2B może być skorygowany do normalnego zeskanowanego obrazu pojazdu przedstawionego na fig. 2C. Na fig. 2C stosunek promienia pionowego do promienia poziomego obiektu odniesienia w postaci koła wynosi 1:1, co odpowiada ustawieniu standardowego parametru obiektu odniesienia w postaci koła.

Pierwszy sposób realizacji sposobu korygowania 3 obejmuje: w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia i wiele obiektów odniesienia ma różne parametry zniekształcenia, dzieli się zeskanowany obraz na wiele części z taką samą liczbą obiektów odniesienia i dzieli się różne obiekty odniesienia w różnych częściach z eskanowanego obrazu na podstawie położenia i liczby obiektów odniesienia, oraz koryguje się obraz części, w której każdy obiekt odniesienia znajduje się w zeskanowanym obrazie odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesi enia.

Biorąc jako przykład wykrywanie pojazdu, jako obiekt odniesienia ustawia się okrągłe koło. Standardowym parametrem obiektu odniesienia w postaci koła jest to, że stosunek promienia pionowego do promienia poziomego wynosi 1:1.

Jak przedstawiono na fig. 3A, na zeskanowanym obrazie pojazdu wykrywa się dwa obiekty odniesienia w postaci koła. W porównaniu z okrągłym standardowym parametrem obiektu odniesienia w postaci koła, wykryte dwa obiekty odniesienia w postaci koła są zdeformowane, oraz parametry zniekształcenia (które mogą wskazywać na stopień zniekształcenia) są różne, co wynika z niejednostajnej prędkości pojazdu. Na przykład podczas skanowania prędkość pojazdu najpierw wzrasta, a następnie maleje, i podatne jest na pojawienie się zniekształcenia p rzedstawionego na fig. 3A. Załóżmy, że parametr zniekształcenia obiektu odniesienia w postaci koła przedniego jest taki, że stosunek promienia pionowego do promienia poziomego wynosi 2:1, a parametr zniekształcenia obiektu odniesienia w postaci koła tylnego jest taki, że stosunek promienia pionowego do promienia poziomego wynosi 1:2.

Jak przedstawiono na fig. 3B, zeskanowany obraz pojazdu jest podzielony na dwie części P1 i P2 w oparciu o położenie i numery obiektów odniesienia w postaci koła. Obiekt odnies ienia w postaci koła przedniego jest wydzielony w części P 1, a obiekt odniesienia w postaci koła tylnego jest wydzielony w części P2. Część P1 zeskanowanego obrazu jest korygowana w oparciu o parametr zniekształcenia obiektu odniesienia w postaci koła przedniego, jednocześnie część P2 zeskanowanego obrazu jest korygowana w oparciu o parametr zniekształcenia obiektu odniesienia w postaci koła tylnego. W przypadku konkretnego sposobu korygowania każdej części skanowanego obrazu w oparciu o parametr zniekształcenia tej części, można odwołać się do odpowiadającego opisu postaci wykonania przedstawionych na fig. 2A-2C, które nie będą tutaj szczegółowo opisywane.

Zdeformowany zeskanowany obraz pojazdu przedstawiony na fig. 3A jest korygowany, jak przedstawiono na fig. 3B, w celu uzyskania normalnego zeskanowanego obrazu pojazdu przedstawionego na fig. 3E. Na fig. 3E stosunek promienia pionowego do promienia poziomego obiektu odniesienia w postaci koła wynosi 1:1, co jest zgodne z ustawieniem standardowego parametru obiektu odniesienia w postaci koła.

Drugi sposób realizacji sposobu korygowania 3 obejmuje: w przypadku, gdy z zeskanowanego obrazu wykryto wiele obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, między dwoma sąsiednim i obiektami odniesienia w zeskanowanym obrazie zapewnia się jeden albo większą liczbę obszarów przejściowych, przy czym parametr zniekształcenia każdego obszaru przejściowego określa się na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, dzieli się zeskanowany obraz na części, w których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, koryguje się obraz części, w której każdy obiekt odniesie nia znajduje się w zeskanowanym obrazie odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz koryguje się obraz każdego obszaru przejściowego odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obszaru przejściowego. Przy czym parametr zniekształcenia każdego obszaru przejściowego między dwoma sąsiednimi obiektami odniesienia uzyskuje się przez ważone sumowanie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia zgodnie z odpowiadającymi współczynnikami wagowymi, przy czym im bliżej obszaru przejściowego, tym większy współczynnik wagowy obiektu odniesienia.

Nadal biorąc jako przykład zdeformowany zeskanowany obraz pojazdu przedstawiony na fig. 3A, wykryte dwa obiekty odniesienia w postaci koła są zdeformowane, a parametry zniekształcenia (które mogą wskazywać stopień zniekształcenia) są różne. Załóżmy, że parametr zniekształcenia obiektu odniesienia w postaci koła przedniego jest taki, że stosunek promienia pionowego do promienia poziomego wynosi 2:1, a parametr zniekształcenia obiektu odniesienia w postaci koła tylnego jest taki, że stosunek promienia pionowego do promienia poziomego wynosi 1:2.

Jak przedstawiono na fig. 3C, zeskanowany obraz pojazdu jest podzielony na część P1, gdzie znajduje się obiekt odniesienia w postaci koła przedniego, część P2, gdzie znajduje się obiekt odniesienia w postaci koła tylnego oraz obszar przejściowy P3 między obiektem odniesienia w postaci koła przedniego a obiektem odniesienia w postaci koła tylnego. Część P1 zeskanowanego obrazu koryguje się w oparciu o parametr zniekształcenia obiektu odniesienia w postaci koła przedniego, jednocześnie część P2 zeskanowanego obrazu koryguje się w oparciu o parametr zniekształcenia obiektu odniesienia w postaci koła tylnego, jednocześnie obraz obszaru przejściowego P3 koryguje się na podstawie parametru zniekształcenia obszaru przejściowego P3. Przy czym parametr zniekształcenia obszaru przejściowego P3 uzyskuje się przez ważone sumowanie parametru zniekształcenia obiektu odniesienia w postaci koła przedniego i parametru zniekształcenia obiektu odniesienia w postaci koła tylnego. Ponieważ obszar przejściowy P3 znajduje się w tej samej odległości od obiektu odniesienia w postaci koła przedniego jak i obiektu odniesienia w postaci koła tylnego, to współczynniki wagowe parametru zniekształcenia obiektu odniesienia w postaci koła przedniego i obiektu odniesienia w postaci koła tylnego są takie same, na przykład oba wynoszą 1/2. W przypadku konkretnego sposobu korygowania każdej częśc i zeskanowanego obrazu w oparciu o parametr zniekształcenia tej części, można odwołać się do odpowiadającego opisu postaci wykonania przedstawionych na fig. 2A-2C, które nie będą tutaj szczegółowo opisywane.

Jak przedstawiono na fig. 3D, zeskanowany obraz pojazdu jest podzielony na część P1, gdzie znajduje się obiekt odniesienia w postaci koła przedniego, część P2, gdzie znajduje się obiekt odniesienia w postaci koła tylnego, oraz dwa obszary przejściowe P4 i P5 między obiektem odniesienia w postaci koła przedniego a obiektem odniesienia w postaci koła tylnego. Część P1 zeskanowanego obrazu koryguje się w oparciu o parametr zniekształcenia obiektu odniesienia w postaci koła przedniego, jednocześnie część P2 zeskanowanego obrazu koryguje się w oparciu o param etr zniekształcenia obiektu odniesienia w postaci koła tylnego, jednocześnie obraz obszaru przejściowego P4 koryguje się na podstawie parametru zniekształcenia obszaru przejściowego P4, jednocześnie obraz obszaru przejściowego P5 koryguje się na podstawie parametru zniekształcenia obszaru przejściowego P5. Przy czym parametry zniekształcenia obszarów przejściowych P4 i P5 mogą być otrzymane oba przez ważone sumowanie parametru zniekształcenia obiektu odniesienia w postaci koła przedniego i parametru zniekształcenia obiektu odniesienia w postaci koła tylnego. Ponieważ obszar przejściowy P4 jest bardziej zbliżony do części P2, gdy oblicza się parametr zniekształcenia obszaru przejściowego P4, to parametr zniekształcenia obiektu odniesienia w postaci koła tylnego ma większy współczynnik wagowy niż parametr zniekształcenia obiektu odniesienia w postaci koła przedniego. Na przykład, współczynnik wagowy parametru zniekształcenia obiektu odniesienia w postaci koła tylnego wynosi 2/3, a współczynnik wagowy parametru zniekształcenia obiektu odniesienia w postaci koła przedniego wynosi 1/3. Ponieważ obszar przejściowy P5 jest bardziej zbliżony do części P1, gdy oblicza się parametr zniekształcenia obszaru przejściowego P5, to parametr zniekształcenia obiektu odniesienia w postaci koła przedniego ma większy współczynnik wagowy niż parametr zniekształcenia obiektu odniesienia w postaci koła tylnego. Na przykład, współczynnik wagowy parametru zniekształcenia obiektu odniesienia w postaci koła przedniego wynosi 2/3, a współczynnik wagowy parametru zniekształcenia obiektu odniesienia w postaci koła tylnego wynosi 1/3. W przypadku konkretnego sposobu korygowania każdej części skanowanego obrazu w oparciu o parametr zniekształcenia tej części, można odwołać się do odpowiadająceg o opisu postaci wykonania przedstawionych na fig. 2A-2C, które nie będą tutaj szczegółowo opisywane.

Dodając obszar przejściowy między sąsiednimi zdeformowanymi częściami i korygując zeskanowany obraz obszaru przejściowego w oparciu o parametr zniekształcenia obszaru przejściowego, możliwe jest umożliwienie lepszej ogólnej gładkości skorygowanego zeskanowanego obrazu, odnosząc się jeszcze lepiej do problemu zniekształcenia obrazu i poprawiając dalej efekt wykrywania. Im większa liczba obszarów przejściowych, tym lepsza ogólna gładkość skorygowanego zeskanowanego obrazu.

Fig. 4 przedstawia schematyczny widok urządzenia do korygowania zeskanowanego obrazu według niektórych postaci wykonania niniejszego ujawnienia.

Jak przedstawiono na fig. 4, urządzenie 400 do korygowania zeskanowanego obrazu w tej postaci wykonania zawiera: pamięć 410 i procesor 420 sprzężony z pamięcią 410, przy czym procesor 420 jest skonfigurowany do wykonywania instrukcji przechowywanych w pamięci 410 do realizowania sposobu korygowania zeskanowanego obrazu według którejkolwiek z postaci wykonania.

Sposób korygowania zeskanowanego obrazu obejmuje na przykład: uzyskanie zeskanowanego obrazu skanowanego obiektu, wykrycie jednego albo większej liczby obiektów odniesienia z zeskanowanego obrazu, określenie parametru zniekształcenia każdego obiektu odniesienia jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia, oraz skorygowanie zeskanowanego obrazu w oparciu o parametry zniekształcenia jednego albo większej liczby obiektów odniesienia.

Skorygowanie zeskanowanego obrazu obejmuje na przykład: w przypadku, gdy na zeskanowanym obrazie wykryto wiele obiektów odniesienia i wiele obiektów odniesienia ma różne parametry zniekształcenia, skorygowanie obrazów różnych części zeskanowanego obrazu odpowiednio na podstawie parametru zniekształcenia każdego obiektu odniesienia, lub w przypadku, gdy na zeskanowanym obrazie wykryto wiele obiektów odniesienia i wiele obiektów odn iesienia ma ten sam parametr zniekształcenia, skorygowanie całego zeskanowanego obrazu w oparciu o ten sam parametr zniekształcenia, lub w przypadku, gdy na zeskanowywanym obrazie wykryto jeden obiekt odniesienia, skorygowanie całego zeskanowanego obrazu w oparciu o parametr zniekształcenia jednego obiektu odniesienia.

Etap w przypadku, gdy na zeskanowanym obrazie wykryto wiele obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, korygowanie obrazu różnych części zeskanowanego obrazu odpowiednio na podstawie parametru zniekształcenia każdego obiektu odniesienia, obejmuje na przykład: podzielenie zeskanowanego obrazu na wiele części z taką samą liczbą obiektów odniesienia i podzielenie różnych obiektów odniesienia w różnych częściach zeskanowanego obrazu na podstawie położenia i liczby obiektów odniesienia, oraz skorygowanie obrazu części, na której każdy obiekt odniesienia znajduje się na zeskanowanym obrazie odpowiednio w oparciu o parametr zniekształcenia odpowiadającego ob iektu odniesienia.

Etap w przypadku, gdy na zeskanowanym obrazie wykryto wiele obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, korygowanie obrazu różnych części zeskanowanego obrazu odpowiednio na podstawie parametru zniekształcenia każdego obiektu odniesienia, obejmuje na przykład: zapewnienie jednego albo większej liczby obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia na zeskanowanym obrazie, przy czym parametr zniekształcenia każdego obszaru przejściowego określa się na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, podzielenie zeskanowanego obrazu na części, na których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, skorygowanie obrazu części, na której na zeskanowanym obrazie znajduje się każdy obiekt odniesienia odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz skorygowanie obrazu każde go obszaru przejściowego odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obszaru przejściowego.

Przy czym pamięć 410 może zawierać na przykład pamięć systemową, stały nieulotny nośnik i tym podobne. Pamięć systemowa przechowuje na przykład system operacyjny, program aplikacji, program ładujący i inne programy.

Fig. 5 przedstawia schematyczny widok urządzenia do korygowania zeskanowanego obrazu według niektórych postaci wykonania niniejszego ujawnienia.

Jak przedstawiono na fig. 5, urządzeni e 500 do korygowanego zeskanowanego obrazu w tej postaci wykonania zawiera następujące jednostki.

Jednostka 510 pozyskiwania obrazu jest skonfigurowana do pozyskiwania zeskanowanego obrazu skanowanego obiektu.

Jednostka 520 wykrywania celu jest skonfigurowana do wykrywania na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia.

Jednostka 530 określania parametrów jest skonfigurowana do określania parametru zniekształcenia każdego obiektu odniesienia jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia.

Jednostka 540 korygowania obrazu jest skonfigurowana do korygowania zeskanowanego obrazu w oparciu o parametry zniekształcenia jednego albo większej liczby obiektów odniesienia.

Przy czym jednostka 520 wykrywania celu jest skonfigurowana do stosowania obiektu odniesienia jako celu do wykrycia i wykrywania na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia przy zastosowaniu modelu wykrywania celu.

Przy czym jednostka 540 korygowania obrazu jest skonfigurowana do: w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, odpowiednio skorygowania obraz u różnych części zeskanowanego obrazu w oparciu o parametr zniekształcenia każdego obiektu odniesienia, lub w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia, i wiele obiektów odniesienia ma ten sam parametr zniekształcenia, skorygowania całego zeskanowanego obrazu w oparciu o ten sam parametr zniekształcenia, lub w przypadku wykrycia na zeskanowanym obrazie jednego obiektu odniesienia, skorygowania całego zeskanowanego obrazu w oparciu o parametr zniekształcenia jednego obiektu odniesienia.

Przy czym jednostka 540 korygowania obrazu jest skonfigurowana do: w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia, i wiele obiektów odniesienia ma różne parametry zniekształcenia, podzielenia zeskanowanego obrazu na wiele części z taką samą liczbą obiektów odniesienia i podzielenia różnych obiektów odniesienia w różnych częściach zeskanowanego obrazu na podstawie położenia i liczby obiektów odniesienia, oraz skorygowania obrazu części, w której każdy obiekt odniesienia znajduje się w zeskanowanym obrazie odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia.

Przy czym jednostka 540 korygowania obrazu jest skonfigurowana do: w przypadku wykrycia na zeskanowanym obrazie wielu obiektów odniesienia, i wiele obiektów odniesienia ma inny parametr zniekształcenia, zapewnienia na zeskanowanym obrazie jednego albo większej liczby obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, przy czym parametr zniekształcenia każdego obszaru przejściowego jest określany na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, podzielenia zeskanowanego obrazu na części, w których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, skorygowania obrazu części, w której każdy obiekt odniesienia znajduje się na zeskanowanym obrazie odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz skorygowania obrazu każdego obszaru przejściowego odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obszaru przejściowego.

Fig. 6 przedstawia schematyczny widok układu do skanowania obrazu według niektórych postaci wykonania niniejszego ujawnienia.

Jak przedstawiono na fig. 6, układ do skanowania obrazu tej postaci wykonania zawiera: urządzenie 600 do skanowania obrazu oraz urządzenia 400, 500 do korygowania zeskanowanego obrazu.

Urządzenie 600 do skanowania obrazu jest skonfigurowane do skanowania skanowanego obiektu w celu utworzenia zeskanowanego obrazu skanowanego obiektu i przesyłania go do urządzeń 400, 500 w celu skorygowania zeskanowanego obrazu, tak aby skorygować zeskanowany obraz.

Postaci wykonania niniejszego ujawnienia zapewniają również trwały, odczytywany przez komputer nośnik przechowujący programy komputerowe, który po wykonaniu przez procesor realizuje sposób korygowania zeskanowanego obrazu zgodnie z którąkolwiek z postaci wykonania.

Znawca w dziedzinie może docenić, że postaci wykonania niniejszego ujawnienia mogą być zapewnione jako sposób, układ lub produkt w postaci programu komputerowego. W związku z tym niniejsze ujawnienie może przybrać postać realizacji całkowicie sprzętowej, realizacji całkowicie programowej lub kombinacji aspektów oprogramowania i sprzętu. Ponadto niniejsze ujawnienie może mieć postać produktu w postaci programu komputerowego zawartego na jednym albo większej liczbie trwałych, odczytywanych przez komputer nośników (w tym, lecz bez ograniczania się do tego, pamięci dyskowej, CD-ROM, pamięci optycznej itp.) zawierających na nich kody programu komputerowego.

Niniejsze ujawnienie jest opisane w odniesieniu do schematów blokowych i/albo widoków blokowych sposobów, urządzeń (układów) i produktów w postaci programów komputerowych zgodnie z postaciami wykonania niniejszego ujawnienia. Można rozumieć, że każdy etap i/albo blok schematów blokowych i/albo widoków bloków, jak również kombinacja etapów i/albo bloków schematów blokowych i/albo widoków bloków może być realizowany przez instrukcj ę programu komputerowego. Te instrukcje programu komputerowego mogą być dostarczane do procesora komputera ogólnego przeznaczenia, komputera specjalnego przeznaczenia, wbudowanej maszyny przetwarzającej lub innych programowanych urządzeń do przetwarzania d anych w celu wytworzenia maszyny, tak że instrukcje wykonywane przez procesor komputera lub inne programowane urządzenia do przetwarzania danych wytwarzają urządzenie do realizowania funkcji określonej w jednym albo większej liczbie etapów schematu blokowego i/albo w jednym albo większej liczbie bloków w widoku blokowym.

Te instrukcje programu komputerowego mogą być również przechowywane w pamięci odczytywanej przez komputer, która może prowadzić komputer lub inne programowane urządzenie do przetwarzania danych do działania w określony sposób tak, że instrukcje przechowywane w pamięci odczytywanej przez komputer generują wytwór zawierający urządzenie z instrukcjami. Urządzenie instruujące realizuje funkcję wyznaczoną w jednym albo większej liczbie etapów na schemacie blokowym lub w jednym albo większej liczbie bloków w widoku blokowym.

Te instrukcje programu komputerowego mogą być również ładowane do komputera lub innych programowanych urządzeń do przetwarzania danych tak, że szereg etapów operacyjnych jest wykonywanych na komputerze lub innym programowanym urządzeniu w celu wytworzenia przetwarzania realizowanego przez komputer tak, że instrukcje są wykonywane na komputerze lub innych programowanych urządzeniach zapewniają etapy realizacji funkcji wyznaczonej w jednym lub większej liczbie etapów schematu blokowego i/albo jednego lub większej liczby bloków w widoku blokowym.

Powyższe opisy stanowią tylko korzystne postaci e wykonania niniejszego ujawnienia, ale nie służą do ograniczania niniejszego ujawnienia. Wszelkie zmiany, równoważne zastąpienie, ulepszenia itp. dokonane w duchu i zasadach niniejszego ujawnienia powinny być objęte zakresem ochrony niniejszego ujawnienia.

Claims (10)

1. Zastrzeżenia patentowe

   1. Sposób korygowania zeskanowanego obrazu, obejmujący: uzyskanie zeskanowanego obrazu skanowanego obiektu, wykrycie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia, określenie parametru zniekształcenia każdego obiektu odniesienia spośród jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia, oraz skorygowanie zeskanowanego obrazu na podstawie parametrów zniekształcenia jednego albo większej liczby obiektów odniesienia, znamienny tym, że skorygowanie zeskanowanego obrazu obejmuje:

   zapewnienie na zeskanowanym obrazie jednego albo większej liczby obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, przy czym parametr zniekształcenia każdego obszaru przejściowego jest określany na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, podzielenie zeskanowanego obrazu na części, na których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, skorygowanie obrazu części, na której każdy obiekt odniesienia znajduje się na zeskanowanym obrazie, odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz skorygowanie obrazu każdego obszaru przejściowego odpowiednio na podstawie parametru zniekształcenia odpowiadającego obszaru przejściowego.
2. 2. Sposób według zastrz. 1, znamienny tym, że parametr zniekształcenia każdego obszaru przejściowego między dwoma sąsiednimi obiektami odniesienia uzyskuje się przez ważone sumowanie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia zgodnie z odpowiadającymi współczynnikami wagowymi, przy czym im bardziej zbliżony do obszaru przejściowego, tym większy współczynnik wagowy obiektu odniesienia.
3. 3. Sposób według zastrz. 1, znamienny tym, że wykrywanie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia obejmuje: zastosowanie obiektu odniesienia jako wykrywanego celu i wykrycie na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia przy zastosowaniu modelu wykrywania celu.
4. 4. Sposób według zastrz. 3, znamienny tym, że model wykrywania celu obejmuje: model konwergentnych sieci neuronowch w oparciu o region (R-CNN), model You only look once (YOLO), model Single Shot MultiBox Detector (SSD), model Weakly supervised object detection (WSOD) lub kombinację modelu histogramu zorientowanego gradientu (HOG) i modelu maszyny wektorów nośnych (SVM).
5. 5. Sposób według któregokolwiek z zastrz. 1 do 4, znamienny tym, że skorygowanie zeskanowanego obrazu obejmuje:

   jeżeli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku pionowym, wykonanie na obrazie, który ma być poddany korekcji, co najmniej jednego spośród przetwarzania przez interpolację pikseli w kierunku poziom ym lub przetwarzania przez próbkowanie pikseli w kierunku pionowym ze stopniem korekcji odpowiadającym stopniowi rozciągnięcia w kierunku pionowym, lub jeżeli parametr zniekształcenia wskazuje, że obraz, który ma być poddany korekcji, jest rozciągnięty w kierunku poziomym, wykonanie na obrazie, który ma być poddany korekcji, co najmniej jednego spośród przetwarzania przez próbkowanie pikseli w kierunku poziomym lub przetwarzania przez interpolację pikseli w kierunku pionowym ze stopniem korekcji odpowiadającym stopniowi rozciągnięcia w kierunku poziomym, przy czym obraz, który ma być poddany korekcji, stanowi cały zeskanowany obraz lub dowolny z obrazów różnych części zeskanowanego obrazu.
6. 6. Sposób według któregokolwiek z zastrz. 1 do 4, znamienny tym, że obiekt odniesienia stanowi część o znanym kształcie lub o znanym stosunku wymiarów zeskanowanego obiektu.
7. 7. Sposób według zastrz. 6, znamienny tym, że:

   w przypadku, gdy zeskanowany obiekt stanowi pojazd, to obiekt odniesienia stanowi okrągłe koło pojazdu, albo w przypadku, gdy zeskanowany obiekt stanowi pojemnik, to obiekt odniesienia stanowi powierzchnia wykrywania o znanym stosunku długości do szerokości pojemnika.
8. 8. Sposób według któregokolwiek z zastrz. 1 do 4, znamienny tym, że zeskanowany obraz stanowi obraz rozproszenia wstecznego lub obraz transmisyjny.
9. 9. Urządzenie (400) do korygowania zeskanowanego obrazu, znamienne tym, że zawiera: pamięć (410), oraz procesor (420) połączony z pamięcią (410), przy czym procesor (420) jest skonfigurowany do wykonywania instrukcji przechowywanych w pamięci (410) w celu realizacji sposobu korygowania zeskanowanego obrazu według któregokolwiek z zastrz. 1-8.
10. 10. Urządzenie (500) do korygowania zeskanowanego obrazu, zawierające:

    jednostkę (510) uzyskiwania obrazu skonfigurowaną do uzyskiwania zeskanowanego obrazu skanowanego obiektu, jednostkę (520) wykrywania celu skonfigurowaną do wykrywania na zeskanowanym obrazie jednego albo większej liczby obiektów odniesienia, jednostkę (530) określania parametru skonfigurowaną do określania parametru zniekształcenia każdego obiektu odniesienia jednego albo większej liczby obiektów odniesienia na podstawie ustawionego wcześniej standardowego parametru każdego obiektu odniesienia, oraz jednostkę (540) korygowania obrazu skonfigurowaną do korygowania zeskanowanego obrazu w oparciu o parametry zniekształcenia jednego albo większej liczby obiektów odniesienia, znamienne tym, że obejmuje:

    zapewnienie na zeskanowanym obrazie jednego albo większej liczby obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, przy czym parametr zniekształcenia każdego obszaru przejściowego jest określany na podstawie parametrów zniekształcenia dwóch sąsiednich obiektów odniesienia, podzielenie zeskanowanego obrazu na części, na których znajduje się każdy obiekt odniesienia oraz jeden albo większa liczba obszarów przejściowych między dwoma sąsiednimi obiektami odniesienia, skorygowanie obrazu części, na której każdy obiekt odniesienia znajduje się na zeskanowanym obrazie, odpowiednio w oparciu o parametr zniekształcenia odpowiadającego obiektu odniesienia, oraz skorygowanie obrazu każdego obszaru przejściowego odpowiednio na podstawie parametru zniekształcenia odpowiadającego obszaru przejściowego.