CZ310259B6

CZ310259B6 - Způsob identifikace a monitorování objektů s minimální datovou náročností

Info

Publication number: CZ310259B6
Application number: CZ2022-543A
Authority: CZ
Inventors: Michal PROCHÁZKA; Procházka Michal RNDr., Ph.D; Martin PalĂk; Martin Ing. Palík
Original assignee: VisionCraft s.r.o.
Priority date: 2022-12-20
Filing date: 2022-12-20
Publication date: 2025-01-08
Also published as: CZ2022543A3

Abstract

Byl vytvořen způsob identifikace a monitorování objektů na sledované scéně pomocí kamery a vyhodnocovacího zařízení, jehož právě největší výhodou je, že není náročný na výpočetní výkon, nepracuje s obrazy, nikam obraz nemusí přenášet, ani jej nijak nezpracovává. Využívá pouze fyzikálních parametrů zaměřených v daný moment na zachyceném snímku scény. A to jsou souřadnice v prostoru, velikost objektu na scéně, umístnění objektu na scéně. Významnou podmínkou pro to, aby byl objekt sledovatelný je, že musí být v pohybu, díky čemuž se analyzuje rozdíl pozice objektu mezi zachycenými snímky. Identifikace objektu se tedy děje z jeho chování na scéně, nikoli z jeho vzhledu. Hýbe-li se objekt, můžeme vyhodnocovat jeho fyzikální parametry, avšak za předpokladu, že víme, že sledujeme stále stejný objekt. Proto byly nastaveny podmínky propojování získávaných fyzikálních parametrů. A to pro svázání dat jednoho objektu napříč snímky, z čehož se následně vyhodnocuje chování tohoto jednoho objektu a parametry tohoto jednoho objektu.

Description

Způsob identifikace a monitorování objektů s minimální datovou náročností

Oblast techniky

Monitorování a určování pohybujících se objektů.

Dosavadní stav techniky

V současné době existuje na trhu mnoho programů a postupů, které dokáží nějakým způsobem monitorovat pohybující se objekty. Tyto programy se zaměřují především na kontinuální monitorování dopravy nebo monitorování dopravní situace - například dopravních špiček či dopravnících zácp. V zásadě však všechny tyto programy fungují na stejném principu, a to na analýze obrazu. Analýza obrazu je procesově velice náročnou operací, která vyžaduje čas, a především je datově náročná. Z tohoto důvodu tyto programy pracují se zpožděním, protože pro tyto účely neexistuje účinný hardware v poměru cena/výkon, který by zpracování obrazu dokázal využít v reálném čase. Snímky pořízené v dopravní situaci jsou zpravidla odesílány na zpracovacích servery, kde jsou snímky podrobeny analýze. Už samotný přenos snímků, tedy obrazových dat, je náročný na zprocesování a už při tomto kroku dochází ke zpoždění, nemluvě o zpoždění při samotné analýze obrazu. Analyzovat se tak dají data - dopravní situace - pouze zpětně a po částech, nikoli kontinuálně.

Řešení, které využívá analýzu obrazu a zpracování snímků odděleně od jejich pořízení popisuje například dokument US 9154982 B2. Tento dokument popisuje systém pro shromažďování informací o provozu, který zahrnuje alespoň jeden první mobilní uzel; alespoň jeden druhý mobilní uzel; alespoň jeden uzel pro sběr dat; a centrální zpracovatelskou stanici. Centrální zpracovatelská stanice je propojena s uzlem pro shromažďování dat a sděluje informace o provozu spojené s identifikátorem.

Dalším zajímavým řešením, jak získat data o dopravě je sbírání dat ze senzorů umístěných přímo na automobilech, případně z mobilních telefonů účastníků dopravy. V tomto případě nejsou sice zpracovávána obrazová data, nicméně náročnost sběru dat na konkrétním místě narůstá s množstvím zapojených senzorů - automobilů či mobilních telefonů. I v takovém případě dochází ke zpoždění vyhodnocení. Dokument US 8483940 B2 popisuje metodu pro hodnocení stavu silničního provozu různými způsoby na základě získaných údajů souvisejících s provozem, jako jsou vzorky dat z vozidel a jiných mobilních zdrojů dat cestujících po silnicích a/nebo z jednoho či více dalších zdrojů (jako jsou fyzické senzory v blízkosti nebo zapuštěné do silnic). Posouzení podmínek silničního provozu na základě získaných vzorků dat může zahrnovat různé filtrování a/nebo úpravu vzorků dat a různé odvození a pravděpodobnostní určení charakteristik souvisejících s provozem, které vás zajímají, ze vzorků dat. V některých situacích tyto závěry zahrnují opakované určování aktuálních charakteristik dopravního proudu a/nebo předpokládaných budoucích charakteristik dopravního proudu pro zájmové úseky silnic během časových období zájmu, jako je stanovení průměrné rychlosti dopravy, objemu dopravy a/nebo obsazenosti, a zahrnují vážení různé vzorky dat různými způsoby (např. na základě latence vzorků dat a/nebo zdroje vzorků dat).

Jiným typem senzoru, který monitoruje dopravu může být solárně poháněný senzor situovaný podél cesty popisovaný dokumentem US 10395518 B2. Provedení tohoto vynálezu poskytují bezdrátový systém senzorů provozu. Systém zahrnuje první a druhý bezdrátový dopravní senzor instalovaný v zemi podél cesty projíždějící vozidla; a nabíjecí jednotku baterie v blízkosti prvního a druhého bezdrátového dopravního senzoru, přičemž nabíjecí jednotka baterie převádí sluneční energii na množství elektrických impulsů, přičemž elektrické impulsy jsou přenášeny alespoň do prvního a druhého bezdrátového senzoru dopravy; a kde první a druhý bezdrátový senzor dopravy převádí množství elektrických impulsů na stejnosměrný proud, přičemž

- 1 CZ 310259 B6 stejnosměrný proud se používá k nabíjení dobíjecí baterie uvnitř prvního a druhého bezdrátového senzoru dopravy.

Pro oba přístupy, jak zpracování obrazu, tak vyhodnocování dat ze senzorů, může být využita neuronová síť, která data vyhodnocuje. Vyhodnocení obrazových dat neuronovou sítí pro detekci anomálií popisuje například dokument US 20190294869 A1. V různých příkladech může být sada trajektorií objektů určena alespoň částečně na základě dat senzoru reprezentujících zorné pole senzoru. Sadu trajektorií objektů lze použít na síť s dlouhou krátkodobou pamětí (LSTM) za účelem trénování sítě LSTM. Očekávanou trajektorii objektu pro objekt v zorném poli senzoru může vypočítat síť LSTM na základě alespoň částečně pozorované trajektorie objektu. Porovnáním trajektorie pozorovaného objektu s očekávanou trajektorií objektu lze určit, že pozorovaná trajektorie objektu ukazuje na anomálii.

Dokumentem, který monitoruje dopravu, respektive jednotlivé objekty, pomocí analýzy obrazu, je dokument US 8379926 B2. Popisuje systém a způsob detekce a sledování jednoho nebo více vozidel pomocí systému pro získávání dvourozměrných vizuálních dat znázorňujících tok provozu na silnici. V jednom příkladném provedení systém a způsob identifikují základní přední části vozidel jako základ pro určování údajů o provozu. Identifikace jednotlivých vozidel tedy probíhá na základě identifikace masky vozidla, případně na rozeznání poznávací značky vozu.

Dokument CN 103839409 B také popisuje metodu monitorování dopravní situace na základě obrazové analýzy. Metoda funguje na základě metody rozlišování režimů dopravního toku klastrové analýzy detekce vidění. Snímky k analýze sbírá videokamera umístěná podél silnice. Tento vynález využívá údaje o dopravním toku, které lze snadno získat: rychlost a hustotu provozu, provádějte shlukovou analýzu ve spojení s daty o dopravním toku. Metoda tedy nerozlišuje jednotlivé pohybující se objekty, ale pouze velikost shluku pohybujících se objeků a jejich rychlost, čímž kategorizuje hustotu dopravy.

Oba tyto dokumenty, dokument US 8379926 B2 a dokument CN 103839409 B lze považovat za nejbližší stav techniky tohoto vynálezu.

Podstata vynálezu

Byl vytvořen způsob identifikace a monitorování objektů na sledované scéně pomocí kamery a vyhodnocovacího zařízení, jehož právě největší výhodou je, že není náročný na výpočetní výkon a nepřenáší obraz k dalšímu zpracování mimo zařízení, obraz je zpracován - extrahován - přímo v zařízení a poté smazán. Využívá pouze fyzikálních parametrů zaměřených v daný moment na zachyceném snímku scény. A to jsou souřadnice v prostoru, velikost objektu na scéně, umístnění objektu na scéně. Významnou podmínkou pro to, aby byl objekt sledovatelný je, že musí být v pohybu, díky čemuž se analyzuje rozdíl pozice objektu mezi zachycenými snímky. Identifikace objektu se tedy děje z jeho chování na scéně, nikoli z jeho vzhledu. Hýbe-li se objekt, můžeme vyhodnocovat jeho fyzikální parametry, avšak za předpokladu, že víme, že sledujeme stále stejný objekt. Proto byly nastaveny podmínky propojování získávaných fyzikálních parametrů. A to pro svázání dat jednoho objektu napříč snímky, z čehož se následně vyhodnocuje chování tohoto jednoho objektu a parametry tohoto jednoho objektu.

Tímto způsobem můžeme vykreslovat scénu, počítat objekty, kategorizovat objekty. Výhodně je možné tento způsob použít pro sledování dopravy, vykreslení parkovacích míst z chování parkujících vozidel, zajištění tras pro pěší na/přes dopravní komunikaci, vytíženost tras atp.

Systém podle nastavení dokáže např. rozpoznat osobní automobil vedle nákladního automobilu, chodce, cyklisty, zvěř, drobné objekty atp. opět v případě, že se pohybují.

- 2 CZ 310259 B6

Principiálně je proces následující: vybere se scéna, kterou je potřeba sledovat a určí se objekty, které je vedle sebe nezbytné rozpoznat. Např. Chodci a automobily na křižovatce před obchodním domem pro optimalizaci provozu křižovatky.

Do prostoru scény se namíří kamera. Kamera snímkuje provoz křižovatky, Snímkováním se vytvoří statické obrazy se zachycenými objekty (chodci a automobily), kdy na jednotlivých snímcích se proměňuje pozice jednotlivých objektů. Porovnávají se tedy snímky jdoucí za sebou, na každém snímku se vyhodnotí pozice objektu a jeho další parametry a změny pozice objektu na následných snímcích vykreslují pohyb objektu. Díky tomu, že se objekt hýbe, mění svou pozici v zorném poli, tedy svou pozici na snímku a tím mění své souřadnice na snímku. Z charakteru jeho pohybu vyhodnocujeme typ objektu, v tomto případě, zda se jedná o chodce či automobil. Abychom mohli objekt sledovat, musíme mít jistotu, že se díváme na stále stejný objekt napříč snímky, tedy ho přeneseně nemůžeme tzv. „pustit z očí“. Na toto „nepuštění z očí“ jsou nastaveny kontrolní parametry, které musí vykazovat shodu, aby bylo možné objekt prohlásit za stále stejný, a tudíž je pak možné tvrdit, že ho sledujeme v pohybu, že se díváme stále na jeden objekt nikoli na dva a více různých objektů, které jsou v okolí. Jakmile víme, že sledujeme týž objekt, můžeme přistoupit k vyhodnocování jeho fyzikálních parametrů a samotného jeho pohybu a odhadovat z těchto dat typ objektu.

Z každého snímku, kde je indikován pohybující se objekt se vyextrahuje pouze malé množství dat a obrazová data se zahodí. Pohybující objekt se před extrakcí dat překryje nejmenším obdélníkem či čtvercem - tzv. bounding boxem (BB). Základními extrahovanými daty pak jsou:

A) Časové razítko snímku

B) Souřadnice středu + výška a šířka BB NEBO souřadnice rohů BB

Z extrahovaných dat se vyhodnocuje:

1) základní vyhodnocení - stále stejný objekt? - podmínka stejnosti objektu

A) jeho střed je v „očekávaném místě“ - vymezená zóna závislá na šířce BB a délce trajektorie mezi-snímkově

B) jeho velikost se výrazně „neliší“, zůstává v nastaveném rozsahu

2) výhodně doplňkové vyhodnocení - pro získání více informací o objektu nebo pro upřesnění stejnosti objektu

C) poměr výška/šířka je stále „stejný“, zůstává v nastaveném rozsahu

D) střed BB je v predikované zóně - závislá na posunu/rychlosti mezi-snímkově a na směru pohybu

E) rychlost objektu je stále „stejná“ (bez přepočtu i po perspektivním přepočtu), zůstává v nastaveném rozsahu

3) výhodně kategorizace objektu - určení druhu objektu z jeho chování a stavu

A) plocha BB

B) poměr stran, lze využít při velkém perspektivním zkreslení, kdy např. chodec je v popředí a automobil v pozadí a jeho plocha je tudíž v bodech (pixelech) menší

C) průměrná rychlost

4) možné výstupy:

i) získání informací o četnosti, druhu, vlastnostech pohybujících se objektů ii) vykreslení scenérie na základě trajektorie objektu - objekty stejného druhu vykreslují svou trajektorii „stejnou barvou“, například auta budou vykreslovat silnici, chodci chodníky, migrující ptáci migrační koridory atd.

iii) sledování vytíženosti dopravního koridoru iv) optimalizace logistického provozu atp.

- 3 CZ 310259 B6

Způsob monitorování pohybujících se objektů probíhá následovně:

Senzor s kamerou a vyhodnocovacím softwarem (VSW) je usazen ve výšce nad monitorované objekty, výhodně kolmo ke snímané komunikaci či k dopravnímu koridoru, kdy optická osa čočky kamery svírá s pozemní komunikací úhel 90°. Umístěním kamery téměř kolmo ke komunikaci zajišťuje minimální perspektivní zkreslení scény na snímcích.

Snímkování kamery je nastaveno podle očekávaných rychlostí pohybujících se objektů. Pro běžný provoz ve městě je výhodné nastavení na 25 snímků/vteřinu. Pro rychlejší provozy, například pro monitorování dálnice je výhodné zvýšit snímkování kamery, a to až na 50 či 60 snímků/vteřinu. Ve městě se předpokládá, že motorová vozidla se budou pohybovat rychlostí do cca 60 km/h a tím pádem bude jejich posun mezi jednotlivými snímky menší než na dálnici, kde se předpokládá, že motorová vozidla se budou pohybovat rychlostí nad 80 km/h a jejich posun mezi jednotlivými snímky tak bude větší. U vyšších předpokládaných rychlostí objektů je účelné zvýšit snímkovací frekvenci kamery.

Kamera snímkuje danou scénu, přičemž VSW neustále porovnává snímky následující za sebou, s výhodou pomocí algoritmu background subtraction. S výhodou se dlouho nepohybující objekty “propíší” do pozadí, výhodně objekty nepohybující se na posledních cca 200 snímcích. Jakmile se objekt opět rozpohybuje, VSW jej opět vyhodnotí jako pohybující se. Pokud VSW na snímcích neidentifikuje žádné rozdíly, respektive žádný pohyb, pořízené snímky VSW vyhodnotí jako „bez pohybu“ a snímky maže. Jakmile VSW zaznamená rozdíl na dvou po sobě následujících snímcích, snímky jsou vyhodnoceny jako „s pohybem“ a putují k dalšímu zpracování, respektive k extrakci dat. VSW porovná po sobě následující snímky, čímž rozpozná změnu mezi snímky a zaznamená tak pohybující se objekt. Tento pohybující se objekt VSW překryje nejmenším obdélníkem, který tvoří tzv. bounding box (BB), jehož souřadnice rohů nebo jeho střed, výšku a šířku VSW zaznamená spolu s časem pořízení snímku a poté snímek smaže. S výhodou jsou ze snímku extrahována i další data. Ze souřadnic rohů BB vypočte VSW výšku a šířku BB, souřadnice jeho středu a plochu BB. Na dalším je opět zaznamenán pohybující se objekt. Proces vyhodnocení se opakuje a VSW opět zaznamenává souřadnice rohů BB, čas pořízení snímku a snímek maže. Celý proces extrakce detailně popisuje příklad 1.

Stále stejný objekt? U snímků se zaznamenaným pohybem se poté testuje, zda jednotlivé snímky patří témuž objektu - tzv. podmínky stejnosti objektu jsou následující:

To, zda se na jednotlivých snímcích jedná o stále stejný objekt je potvrzeno několika kontrolními mechanismy. Ve dvou po sobě následujících snímcích se VSW snaží zjistit, zda detekované středy BB patří témuž objektu. Toto potvrzení probíhá na základě předdefinovaných podmínek.

První podmínka, která potvrzuje, že se jedná o stejný objekt, je umístění středu objektu na druhém snímku v očekávaném místě. Toto očekáváné místo je vyjádřeno jako kružnice se středem ve středu předchozího - prvního - BB a s poloměrem menším než šířka předchozího BB. Tato podmínka vymezuje zónu, ve které se pohybující objekt bude s vysokou pravděpodobností vyskytovat po vykonání předpokládaného pohybu. Pokud se střed BB následujícího snímku vyskytuje ve vymezené zóně předcházejícího snímku, pravděpodobně se jedná o stejný objekt.

Druhou podmínkou stejnosti objektu je, že velikost BB se mezi-snímkově změní maximálně o 20 %. Pokud se velikost objektu mezi jednotlivými snímky liší maximálně o 20 %, pravděpodobně se jedná o stejný objekt.

Pokud jsou obě podmínky splněny, oba snímky jsou přiřazeny jednomu data setu, ke kterému se přiřazují další a další snímky, které podmínky taktéž splňují. Celý data set, tedy data přiřazená jednomu objektu, se poté vyhodnocuje dohromady. Zároveň je výhodně postupně vykreslována trajektorie pohybujícího se objektu ve scéně jako spojnice všech středů BB přiřazených tomuto pohybujícímu objektu.

- 4 CZ 310259 B6

V některých případech se může stát, že BB není na pohybující se objekt správně „napasován“ a data extrahovaná ze snímků ukazují, že se nejedná o tentýž objekt. V takovém případě lze předem nastavit ve vyhodnocovacím VSW co se v takovém případě stane. Předchozí data set lze ukončit a začít nový data set - přiřazený jinému objektu. Nebo lze jeden - chybný - snímek vyřadit s vyhodnocení a zkusit otestovat následující snímek, tedy pracovat s ním jako s odlehlým výsledkem. Možností, jak přistupovat k chybám v datech je více a jsou zpravidla řízeny zákonitostmi statistiky. Celý systém lze nastavit velice robustně, tedy odlehlé výsledky vyřadit a pokračovat dál v testování podmínek, čímž jsou odladěny možné chyby ve vyhodnocení BB a systém je i přes rozsáhlé osekání dat, kdy se neuchovávají obrázková data, pouze malé množství číselných dat, velmi dobře funkční.

Robustnost systému lze demonstrovat například na snímcích 246 a 262 objektu 2 Želešice (příklad 1), které nesplňují podmínku velikosti BB, ale splňují podmínku radia (r < d). V takovém případě je možné provést ověření stejnosti a korekci odlehlých výsledků mnoha způsoby. V tomto konkrétním případě bylo zvoleno vyřazení všech dat odlehlých snímků, tedy snímků 246 a 262. Oba řádky dat z tabulky na obrázku 10 byla z vyhodnocení vypuštěna. Odlehlé řádky byly přeskočeny a data snímků 247 a 263 navazovala na vyhodnocení snímků 245 a 261, jak je v tabulce schematicky naznačeno. Pokud následné snímky v řadě podmínku splňují, což v tomto případě splňují, jak je vidět v tabulce na obrázku 10, přiřadí se data stejnému objektu bez přerušení, i když základní podmínka nebyla bodově splněna.

Výhodné doplňkové kontrolní mechanismy stejnosti objektu

Výhodným doplňkovým kontrolním mechanismem stejnosti objektu je výpočet poměru výška/šířka BB, jak podrobně popisuje příklad 2.

Základní podmínky vyhodnocení, že se jedná o stále stejný objekt jsou: plocha BB se mezisnímkově liší maximálně o 20 % (Sbb = Sbb-1 + 20 %) a mezisnímková trajektorie je menší než šířka BB (tbb-(bb-i) < d(BB-1)). Výhodnou podmínkou stejnosti je, že poměr výška/šířka BB se mezisnímkově také liší maximálně o 20 %. Podmínka může sloužit jako pomocná, při nejasném vyhodnocení stejnosti objektu pomocí základních podmínek (plocha BB a délka trajektorie). Pokud se poměr stran BB mezi jednotlivými snímky liší maximálně o hraniční poměrovou odchylku, pravděpodobně se jedná o stejný objekt.

Zařazení této podmínky je obzvláště výhodné, je-li ve scéně předpokládán pohyb více objektů různých kategorií, které mohou mít stejnou plochu BB, avšak rozdílný poměr výška/šířka BB. Typicky se může jednat například o chodce a cyklisty, kdy chodci mají poměr výška/šířka BB větší než 1 a cyklisté menší než 1.

Dalším výhodným doplňkovým kontrolním mechanismem stejnosti objektu je zařazení predikce vzdálenosti středu BB v následujícím snímku mezi testovací parametry stejnosti objektu. Středy BB na jednotlivých po sobě jdoucích snímcích se pospojují, čímž vznikne trajektorie pohybu objektu. Z dosavadního tvaru trajektorie pohybu objektu a z jeho dosavadní rychlosti algoritmus dopočítává předpokládaný následný výskyt objektu, respektive středu jeho BB. Tento předpoklad VSW určí jako bod v prostoru.

Podmínka stejnosti je definována tak, že nejkratší vzdálenost predikovaného středu BB a reálného středu BB, tedy odchylka predikce (p), se liší maximálně o dvojnásobek nejkratší vzdálenosti (c) mezi dvěma předchozími středy BB, ze kterých byla predikce provedena. Tedy PBB pred - BB < 2C(BB-1)-(BB-2).

Podrobné vyhodnocení popisuje příklad 3.

- 5 CZ 310259 B6

Tato podmínka je zařazována pouze jako doplňková, pokud základní podmínky nedávají jasné stanovisko, zda se jedná o stejný objekt.

Výhodná kategorizace objektů

Plochu BB daného objektu je možné použít vedle kontroly stejnosti objektu i pro kategorizaci objektu.

S výhodou jsou zaznamenané objekty kategorizovány na základě předem definovaných parametrů pro danou scénu, jak ukazuje příklad 1. Pro danou scénu lze stanovit kategorizační podmínky předem, kdy je vždy třeba brát zřetel na velikost zachycované scény a na prostorové zkreslení objektů pohybujících se ve scéně. Kategorizace, která bude platit pro jednu scénu pravděpodobně nebude platit pro jinou scénu, je třeba kategorizaci upravit na míru podmínkám dané scény, případně podmínkám toho, co chci ve scéně vlastně sledovat.

Poměr výška/šířka je možné použít i pro kategorizaci objektů. Podmínka poměr výška/šířka BB může sloužit jako doplňková podmínka „stejnosti“ objektu, nebo také ke kategorizaci objektů rozlišení objektů se stejnou velikostí ale jinak orientovaných. Například cyklista či auto, jehož šířka bude větší než jeho výška, a chodec, jehož výška bude větší než jeho šířka. Tedy poměr výška/šířka BB bude u cyklisty a auta menší než 1 a u chodce větší než 1.

Rychlost objektů je popsána níže. I rychlost objektů lze využít k jejich kategorizaci, a to například pro rozlišení jedoucích automobilů a pohybujících se chodců v běžném provozu, nebo pro rozlišení chodců a běžců v parku.

Jak plocha BB, tak rychlost objektů či poměr výška/šířka je pro kategorizaci určen buď na pevno, kdy jsou vyhodnocovací parametry přímo zadány do VSW, nebo je možné VSW pro danou scénu pro kategorizaci tzv. kalibrovat, kdy se jednotlivé objekty ve scéně kategorizují nejprve ručně na jednotlivých snímcích se označuje druh objektu. Tak je přiřazen druh objektu ke konkrétnímu poměru stran BB a/nebo jeho ploše. Z několika data setů se poté vyfiltrují odlehlé a chybně určené hodnoty, identifikuje se nejnižší a nejvyšší hodnota poměru stran BB, která byla stanovena jako určitý druh objektu a s tímto rozmezím poté algoritmus pracuje již samostatně pro vyhodnocení dalších data setů.

Pro získání více informací o pohybujících se objektech je možné zařadit do vyhodnocení následující výhodné doplňkové úpravy dat:

Očištění deformovaných BB na začátku a na konci setu dat

Když objekt vjíždí do scény a je na snímku zachycen jen z části, BB obepíná pouze tu jeho část, která je ve snímku zachycená. Proto je BB v takovém případě menší, než jaká je velikost objektu reálně. Tato počáteční a koncová data mohou při dalších analýzách zkreslovat výsledek, a proto je dobré je odfiltrovat. Filtrace se provede proložením dat přímkou, jak je možné vidět na obrázcích 13 a 14. Data odlehlá od přímky jsou odfiltrována a pro další analýzy se nepoužijí.

Perspektivní od-zkreslení dat, výpočet rychlosti

V různých scénách je dle nastavení kameře vůči scéně různé perspektivní zkreslení. Objekty pohybující se ve scéně se přibližují kameře, čímž se zdánlivě zvětšují. Toto perspektivní zkreslení lze z velké části od-zkreslit perspektivním přepočtem. Ten je možné provést mnoha způsoby, v příkladu 5 je ukázán přepočet přes úhlopříčku BB, kdy perspektivní koeficient je vypočten jako největší úhlopříčka ze setu dat dělená aktuální přeponou snímku. Tento poměr je pro každý snímek odlišný a vyjadřuje míru jeho perspektivního zkreslení. Perspektivní koeficient každého snímku zvlášť je následně použit pro vynásobení dat z jednotlivých snímků.

- 6 CZ 310259 B6

Od-zkreslená data je možné využít například pro výpočet rychlosti pohybujícího se objektu. Bez kalibrace lze snadno dopočítat rychlost v pix/s, kterou je možné použít pro porovnání různých objektů zaznamenaných v jedné scéně. Průměrnou rychlost je možné spočítat jako nejkratší vzdálenost souřadnic středů prvního a posledního snímku přiřazeného témuž objektu. Rychlost je závislá na způsobu výpočtu, tedy zda počítá se součtem všech dílčích trajektorií mezi jednotlivými zaznamenanými středy BB, kde je dráha pochopitelně delší, nebo zda počítá nejkratší vzdálenost mezi prvním a posledním zaznamenaným BB - tato dráha je pochopitelně kratší.

Po kalibraci prostoru lze dopočítat i rychlost v absolutních jednotkách, například m/s či km/h.

Informace o aktuální či průměrné rychlosti lze využít jaký výstup monitoringu. Vzhledem k tomu, že délka trajektorie mezi jednotlivými snímky je přímo závislá na přesnosti překrytí objektu BB, není možné využít aktuální rychlost jako jednu z podmínek stejnosti objektu. Překrytí BB není tak přesné, což ale ve světle výše uvedených robustních vyhodnocení nevadí.

Zúžení rádia

V některých data setech může být účelné základní podmínky stejnosti zúžit, například zúžením rádia v podmínce r < 1/2d. Výhodné je toto zúžení u scén, kde se pohybuje větší množství objektů blízko u sebe, například v hustém provozu pro monitoring vozidel či v nákupních centrech pro monitoring zákazníků.

Použití data setu pro vykreslení trajektorií jednotlivých pohybujících se objektů jako výstup vyhodnocení

Vykreslení migračních koridorů popisuje podrobně příklad 9. Pro vykreslení koridorů se používají informace o bounding boxech svázaných data setů. S výhodou jsou využity souřadnice středů bounding boxů, jak je ukázáno v příkladu 9. v jiném výhodném provedení jsou využity pro vykreslení koridorů celé bounding boxy, tedy jednotlivé překrývající se čtverce či obdélníky. Výhodně se k vykreslení koridorů použijí již kategorizovaná data, tedy se zvlášť vykreslují například koridory motorových vozidel, které korespondují se silnicemi, respektive s jednotlivými pruhy na silnicích, pěší koridory korespondují s chodníky či cestičkami mimo oficiální chodníky, cyklokoridory korespondují s cyklopruhy či mohou ukazovat nejčastější trasy, kterými se v dané scéně cyklisté pohybují. Všechna tato data lze poté použít pro informaci, úpravu infrastruktury, pro úpravu řízení provozu atd.

Podle typu sledovaných objektů vedle sebe a typu scény se nastavují podmínky sledovaných parametrů. Pro nastavení se analyzuje možná záměna objektů, tedy rozdílnost sledovaných parametrů a podle toho se nastavuje maximální robustnost vyhodnocovacího systému. Např. není potřeba rozlišovat drobné změny ve velikosti objektu, když potřebujeme vedle sebe vidět automobil a chodce oproti situaci, kdy naopak potřebujeme vedle sebe vidět dodávku a osobní automobil.

Souhrn:

Způsob identifikace a monitorování objektů s minimální datovou náročností se provede tak, že se vymezí scéna pro monitoring, do výšky vyšší než je výška monitorovaných objektů se nainstaluje senzor, který obsahuje kameru a hardware s nainstalovaným vyhodnocovacím softwarem (VSW), přičemž monitorovaná scéna se zabírá zorným polem kamery a optická osa čočky kamery se nastaví pod úhlem 45° až 135° vůči očekávanému pohybu objektů ve scéně, poté se kamera spustí a kamerou se pořizují snímky monitorované scény v pravidelném intervalu alespoň 10 snímků za vteřinu, čímž se scéna zaznamenává na snímcích jasně a s minimálním zkreslením.

- 7 CZ 310259 B6

Pořízené snímky se průběžně vyhodnocují pomocí VSW, kdy se detekuje porovnáním pozadí rozdíl mezi dvěma po sobě jdoucími snímky způsobený pohybujícím se objektem, pokud se na snímku zaznamená rozdíl, je pohybující se objekt identifikován a snímek se použije pro další zpracování v reálném čase. Zaznamená se čas pořízení snímku pomocí VSW a ze snímku se pomocí VSW extrahují fyzikální data pohybujícího se objektu či objektů, kdy detekovaný pohybující se objekt se pomocí VSW na snímku překryje bounding boxem (BB), kterým je nejmenší obdélník nebo čtverec kryjící celý pohybující se objekt.

Poté se informace o bounding boxu extrahují, přičemž extrahovaná data obsahují alespoň pozice bounding boxu/boxů ve snímku, a to buď souřadnice rohů bounding boxu/boxů a/nebo souřadnice středu/středů bounding boxu/boxů a informace o výšce a šířce bounding boxu/boxů, přičemž ze souřadnic se poté dopočítají rozměry a střed bounding boxu/boxů.

Extrahovaná data se uloží a snímek se smaže, tedy neuchovávají se obrazy, pouze číselná data, přičemž extrahovaná data pohybujících se objektů se shromažďují a porovnávají se pomocí VSW.

Pohybující se objekt na po sobě jdoucích snímcích se identifikuje jako stejný tehdy, splní-li se podmínky stejnosti objektu, kterými jsou:

A) střed BB objektu na konkrétním snímku se vyskytuje v rádiu monitorovaného objektu na předchozím snímku, kdy rádius je definován jako kružnice se středem ve středu předchozího BB a s poloměrem menším než šířka předchozího BB,

B) plocha BB na obou porovnávaných snímcích je vzájemně odlišná ±20 %,

Poté se data vyhodnocená jako patřící stejnému objektu svážou dohromady a vytvoří se data set daného objektu pohybujícího se danou scénou.

Výhodně se pohybující se objekt na po sobě jdoucích snímcích identifikuje jako stejný při splnění další podmínky stejnosti objektu, tedy pokud se na po sobě jdoucích snímcích poměr výšky a šířky BB liší maximálně o 20 %.

Výhodně se pohybující se objekt na po sobě jdoucích snímcích se identifikuje jako stejný při splnění další podmínky stejnosti objektu, tedy pokud se střed následujícího BB vyskytuje v predikované zóně, jejíž střed se definuje na přímce spojující středy BB dvou předchozích snímků ve vzdálenosti (c) od posledního známého středu BB rovnající se vzdálenosti (c) dvou předchozích známých středů BB, a poloměr predikované zóny se definuje jako 2c, tedy odchylka od predikce (p), která se definuje jako nejkratší vzdálenost predikovaného středu BB a reálného středu BB, splňuje podmínku p < 2c.

Výhodně se data pohybujícího se objektu vyhodnotí jako data set patřící stejnému objektu, i když bodově, u maximálně 3 snímků za sebou, nejsou podmínky stejnosti objektu splněny a v následujícím snímku jsou podmínky stejnosti opět splněny vzhledem k poslednímu přiřazenému snímku. Tyto maximálně 3 řádky extrahovaných dat se vyloučí z vyhodnocení jako odchylka, dále se pokračuje ve vyhodnocování a data se pak sváží jako patřící jednomu objektu nehledě na odchýlené řádky.

Výhodně se data set, tedy data patřící stejnému objektu svázaná dohromady, použije pro vykreslení trajektorií pohybujících se objektů napříč snímky.

Výhodně se data set, tedy data patřící stejnému objektu svázaná dohromady, a/nebo nesvázaná data jednotlivých snímků použije/použijí pro kategorizaci pohybujícího se objektu.

- 8 CZ 310259 B6

Výhodně se kategorizace objektu provede porovnáním plochy BB pomocí VSW s přednastavenými parametry pro jednotlivé kategorie monitorovaných objektů a/nebo porovnáním poměru výška/šířka BB pomocí VSW s přednastavenými parametry pro jednotlivé kategorie monitorovaných objektů a/nebo porovnáním rychlosti pohybujícího se objektu pomocí VSW s přednastavenými parametry pro jednotlivé kategorie monitorovaných objektů.

Výhodně se data set, tedy data patřící stejnému objektu svázaná dohromady, podrobí doplňkovým úpravám, kdy doplňkovou úpravou je očištění deformovaných BB na začátku a na konci data setu, kdy se z data setu odstraní data, která statisticky neodpovídají trendu ostatních dat v data setu. Výhodně se data v data setu proloží přímkou a data, která mají odchylku od přímky větší, než předem definovaná hodnota se odstraní.

Výhodně se data set podrobí další doplňkové úpravě, kterou je perspektivní od-zkreslení dat, které je provedeno výpočetně nebo kalibrací obrazu.

Způsob vykreslení migračních koridorů pohybujících se objektů se provede tak, že informace o bounding boxech jednotlivých data setů se zaznamenají do sledované scény, čímž vykreslí migrační koridory pohybujících se objektů.

Použití informací o bounding boxech data setu pro vykreslení migračních koridorů pohybujících se objektů.

Objasnění výkresů

Obr. 1A Snímek 201 scény podle příkladu 1 - Želešice, SW zaznamenal pohybující se objekt.

Obr. 1B Snímek 202 scény podle příkladu 1 - Želešice, SW zaznamenal pohybující se objekt.

Obr. 2 Vyvrácení podmínky, že střed BB na snímku 202 spadá do radia snímku 201, tedy, že neplatí r202-201 < d201. Objekty na snímcích 201 a 202 byly vyhodnoceny jako rozdílný objekt.

Obr. 3A Snímek 208 scény podle příkladu 1 - Želešice, objekt 1 vjíždí do scény, první zaznamenaný přiřazený pohyb.

Obr. 3B Snímek 209 scény podle příkladu 1 - Želešice, objekt 1 vjíždí do scény, následující snímek obr. 1.

Obr. 3C Potvrzení podmínky, že střed BB na snímku 209 spadá do rádia snímku 208, tedy, že r209-208 < d208.

Obr. 4 Tabulka základního vyhodnocení scény Želešice, objekt 1, zaznamenané souřadnice BB každého snímku a z nich dopočtené podmínky „stejnosti“ objektu: rBB-(BB-1) < d(BB1) a plocha Sbb = Sbb-i +20 %.

Obr. 5 Snímek 217 scény podle příkladu 1 - Želešice, objekt 1 se pohybuje po scéně.

Obr. 6 Snímek 218 scény podle příkladu 1 - Želešice, objekt 1se pohybuje po scéně, následující snímek obr. 5.

Obr. 7 Snímek 226 scény podle příkladu 1 - Želešice, objekt 1 se pohybuje po scéně, objekt 2 vjíždí do scény - jeho první zaznamenaný pohyb.

- 9 CZ 310259 B6

Obr. 8 Snímek 274 scény podle příklad 1 - Želešice, objekt 1 vyjíždí ze scény, objekt 2 se pohybuje po scéně.

Obr. 9 Snímek 299 scény podle příklad 1 - Želešice, objekt 2 vyjíždí ze scény.

Obr. 10 Tabulka základního vyhodnocení scény Želešice, objekt 2, zaznamenané souřadnice

BB každého snímku a z nich dopočtené podmínky „stejnosti“ objektu: Γββ-(ββ-ι) < d(BBi) a plocha Sbb = Sbb-1 +20 %.

Obr. 11A Tabulka základního vyhodnocení scény Želešice, objekt 1, doplňkové podmínky „stejnosti“ objektu podle příkladů 2 a 3.

Obr. 11B Schematické znázornění predikce středu BB následujícího snímku, ze středu BB na snímku 210 a 211 je predikován střed BB na snímku 212, nulový bod v levém horním rohu, objekt 1, Želešice.

Obr. 11C Tabulka výhodného vyhodnocení scény Želešice, objekt 1, perspektivní od-zkreslení podle příkladu 4.

Obr. 12A Tabulka základního vyhodnocení scény Želešice, objekt 2, doplňkové podmínky „stejnosti“ objektu podle příkladu 2.

Obr. 12B Tabulka výhodného vyhodnocení scény Želešice, objekt 2, perspektivní od-zkreslení podle příkladu 4.

Obr. 13 Očištění deformovaných BB - proložení dat objektu 1 scény Želešice přímkou a identifikace odlehlých hodnot.

Obr. 14 Očištění deformovaných BB - proložení dat objektu 2 scény Želešice přímkou a identifikace odlehlých hodnot.

Obr. 15A Snímek 85 scény podle příkladu 7 - Polešovice, objekt se pohybuje po scéně.

Obr. 15B Snímek 138 scény podle příkladu 7 - Polešovice, objekt se pohybuje po scéně.

Obr. 16A Tabulka základního vyhodnocení scény Polešovice, zaznamenané souřadnice BB každého snímku a z nich dopočtené podmínky „stejnosti“ objektu: Γββ-(ββ-ι) < d(BB-1) a plocha Sbb = Sbb-1 ±20 %, část ‘Λ.

Obr. 16B Tabulka základního vyhodnocení scény Polešovice, zaznamenané souřadnice BB každého snímku a z nich dopočtené podmínky „stejnosti“ objektu: Γββ-(ββ-ι) < d(BB-1) a plocha Sbb = Sbb-1 ±20 %, část 2/2.

Obr. 17 Snímek 9568 scény podle příkladu 8 - Židlochovice, objekty se pohybují po scéně.

Obr. 18 Tabulka základního a doplňkového vyhodnocení objektu 1 scény Židlochovice, zaznamenané souřadnice BB každého snímku a z nich dopočtené podmínky „stejnosti“ objektu: Γββ-(ββ-ι) < d(BB-1) a plocha Sbb = Sbb-1 ±20 %.

Obr. 19 Tabulka základního a doplňkového vyhodnocení objektu 2 scény Židlochovice, zaznamenané souřadnice BB každého snímku a z nich dopočtené podmínky „stejnosti“ objektu: Γββ-(ββ-ι) < d(BB-1) a plocha Sbb = Sbb-1 ±20 %.

Obr. 20 Vykreslení trajektorií jednotlivých pohybujících se objektů v závislosti na jejich kategorizaci.

- 10 CZ 310259 B6

Příklady uskutečnění vynálezu

Příklad 1A základní extrakce a úprava dat, Želešice

Pro monitorování dopravní situace, zejména četnosti projíždějících vozidel, byla vybrána oblast před Základní školou v Želešicích. Senzor s kamerou byl usazen ve výšce 5 m na lampu veřejného osvětlení a vzdálenost kamery od snímané pozemní komunikace činila 40 m, přičemž optická osa čočky kamery svírala s pozemní komunikací úhel 80°, respektive 100°. Umístěním kamery do vzdálenosti 40 m od snímané komunikace i její nastavení téměř kolmo ke komunikaci zajišťuje minimální perspektivní zkreslení scény na snímcích.

Snímkování kamery bylo nastaveno na 25 snímků/vteřinu a kamera byla spuštěna. Kamera snímkuje danou scénu, přičemž VSW neustále porovnává snímky následující za sebou. Pokud VSW na snímcích neidentifikuje žádné změny, respektive žádný pohyb, pořízené snímky VSW vyhodnotí jako „bez pohybu“ a snímky maže. Po chvilce do scény přijíždí auto jedoucí po pozemní komunikaci, do scény vjíždí zleva (viz obrázek 1A, snímek 201). VSW stále porovná po sobě následující snímky, čímž rozpozná změnu mezi snímky a zaznamená tak pohybující se objekt - auto. Tento pohybující se objekt VSW překryje nejmenším obdélníkem, který tvoří bounding box, jehož souřadnice rohů VSW zaznamená spolu s časem pořízení snímku a snímek smaže. Ze souřadnic rohů BB vypočte VSW výšku a šířku BB, souřadnice jeho středu a plochu BB. Na dalším snímku (viz obrázek 1B, snímek 202) je opět zaznamenán pohybující se objekt. Proces vyhodnocení se opakuje a VSW opět zaznamenává souřadnice rohů BB, čas pořízení snímku a snímek maže.

Ve dvou po sobě následujících snímcích (snímek 201 a snímek 202 na obrázku 2) se VSW snaží zjistit, zda detekované středy BB patří témuž objektu. Toto potvrzení probíhá na základě předdefinovaných podmínek. První podmínka, která potvrzuje, že se jedná o stejný objekt, je umístění středu objektu na druhém snímku v očekávaném místě. Toto očekáváné místo je vyjádřeno jako kružnice se středem ve středu předchozího - prvního - BB a s poloměrem menším než šířka předchozího BB. Jak můžeme vidět na obrázku 2, tato podmínka u snímků 201 a 202 nebyla splněna. Střed BB na snímku 202 je situován mimo rádius vymezený šířkou BB ze snímku 201.

Druhou podmínkou stejnosti objektu je, že velikost BB se mezi-snímkově změní maximálně o 20 %. Pokud bereme plochu BB na snímku 201 jako 100 %, tedy 460 pix = 100 %, pak plocha BB na snímku 202: 965 pix = 210 %. Mezisnímkový rozdíl plochy BB je tedy 110 %. VSW tedy vyvrací, že objekty zachycené na snímcích 201 a 202 by byly tentýž objekty a s analýzou BB a testováním podmínek stejnosti postupuje u dalších snímků, až narazí na snímky 208 a 209.

Snímky 208 a 209 jsou zachyceny na obrázcích 3A a 3B. Testování podmínky r < d je ukázáno na obrázku 3C. Jak je z obrázku 3C patrné, objekty zachycené na snímcích 208 a 209 splňují první podmínku stejnosti objektu.

Poté je VSW testována druhá podmínka stejnosti, a to plocha BB na obou snímcích. Pokud bereme plochu BB na snímku 208 jako 100 %, tedy 1144 pix = 100 %, pak plocha BB na snímku 209: 1222 pix = 107 %. Mezisnímkový rozdíl plochy BB je tedy 7 %. VSW tedy potvrzuje, že objekt zachycený na snímcích 208 a 209 je stále stejný objekt, a to objekt 1.

Stejným způsobem VSW postupuje s dalšími snímky, pro každý další snímek VSW potvrzuje, že se jedná o stále stejný objekt, a postupně vykresluje trajektorii pohybujícího se objektu ve scéně. Z tabulky na obrázku 4 je ukázáno vyhodnocení pro celý data set pohybujícího se objektu 1. Pro názornost byly použity ještě snímky 217 a 218 ukázané na obrázcích 5 a 6.

- 11 CZ 310259 B6

Na snímku 226 do scény zleva vjíždí druhý objekt - opět auto (viz obrázek 7), zatímco první objekt se stále pohybuje ve scéně. Extrakce dat ze snímků a jejich vyhodnocení probíhá totožně s vyhodnocením prvního objektu. Z každého snímku jsou nyní extrahována data o obou objektech, až poté je snímek smazán.

Na snímku 274 vyjíždí první objekt ze scény (viz obrázek 8) a sledování jeho trajektorie je ukončeno, jelikož VSW nenalezl žádný střed BB, který by odpovídal podmínkám prvního objektu, respektive podmínkám jeho posledního snímku 274. Od této chvíle probíhá extrakce dat a trasování pouze druhého objektu. I druhý objekt vyjíždí na snímku 299 ze scény a jeho trasování je VSW ukončeno (viz obrázek 9).

Na objektu 2 (viz obrázek 10) lze demonstrovat robustnost vyhodnocení. Snímky 246 a 262 nesplňují podmínku velikosti BB, ale splňují podmínku radia (r < d). V takovém případě je možné provést ověření stejnosti a korekci odlehlých výsledků mnoha způsoby. V tomto konkrétním případě bylo zvoleno vyřazení všech dat odlehlých snímků, tedy snímků 246 a 262. Oba řádky dat z tabulky na obrázku 10 byla z vyhodnocení vypuštěna. Odlehlé řády byly přeskočeny a data snímků 247 a 263 navazovala na vyhodnocení snímků 245 a 261, jak je v tabulce schematicky naznačeno. Délka trajektorie r byla v tomto konkrétním případě vydělena počtem odlehlých snímků + 1, tedy dvěma. Vzhledem k robustně nastaveným podmínkám by však délka trajektorie r splňovala podmínku r < d i bez této korekce. Pokud následné snímky v řadě podmínku splňují, což v tomto případě splňují, jak je vidět v tabulce na obrázku 10, přiřadí se data stejnému objektu bez přerušení, i když základní podmínka nebyla bodově splněna.

Příklad 1B kategorizace, Želešice

Výsledkem trasování jsou vykreslené trajektorie dvou pohybujících se objektů se záznamem pozice a velikosti jejich BB. Dle velikostí jsou objekty kategorizovány, a to na základě předem definovaných parametrů pro danou scénu. V této konkrétní scéně bylo stanoveno, že objekty o ploše BB

100 až 1000 pix² jsou vyhodnoceny jako „chodci“

1000 až 4000 pix² jsou vyhodnoceny jako „osobní automobily“

4000 až 8000 pix² jsou vyhodnoceny jako „dodávky“

Více než 8000 pix² jsou vyhodnoceny jako „TIR“.

Ostatní objekty jsou v této konkrétní scéně zanedbány a nekategorizují se, jelikož nejsou předmětem zájmu monitoringu. Může se jednat například o pohybující se zvěř.

Plocha BB u prvního objektu variovala od 1144 do 3655 pix² a průměrná plocha prvního objektu činila 2287 pix². Plocha BB u druhého objektu variovala od 810 do 3737 pix² a průměrná plocha prvního objektu činila 2305 pix². Jak je patrné z parametrů výše, oba pohybující se objekty z tohoto příkladu spadají po zprůměrování hodnot do kategorie „osobní automobil“. U objektu 2 je zajímavé vyhodnocení prvních dvou BB (viz tabulka na obrázku 10), kde byly objekty vyhodnoceny jako chodec, jelikož jsou jejich BB zkresleny „vjezdem“ do snímku, kdy není zaznamenán celý objekt, pouze jeho část. Pokud je to účelné, lze u sporných kategorizací zařadit doplňkovou podmínku, a to poměr výška/šířka BB - viz příklad 2.

Příklad 2 doplňkové úpravy dat - poměr výška/šířka BB

Data z příkladu 1 byla následně podrobena doplňkovým úpravám.

- 12 CZ 310259 B6

Jednou z doplňkových úprav je zařazení poměru výška/šířka BB mezi testovací parametry stejnosti objektu nebo kategorizace objektu. Základní podmínky vyhodnocení, že se jedná o stále stejný objekt jsou: plocha BB se mezisnímkově liší maximálně o 20 % (Sbb = Sbb-1 ±20 %) a mezisnímková trajektorie je menší než šířka BB (γββ-(ββ-ι) < d(BB-1)).

Výhodnou podmínkou stejnosti je, že poměr výška/šířka BB se mezisnímkově také liší maximálně o 20 %. Ověření této podmínky u obou objektů z příkladu 1 můžete vidět v tabulkách na obrázcích 11 a 12. Podmínka poměr výška/šířka BB může sloužit jako doplňková podmínka „stejnosti“ objektu, nebo také ke kategorizaci objektů - rozlišení objektů se stejnou velikostí ale jinak orientovaných. Například cyklista či auto, jehož šířka bude větší než jeho výška, a chodec, jehož výška bude větší než jeho šířka. Tedy poměr výška/šířka BB bude u cyklisty a auta menší než 1 a u chodce větší než 1.

Vzhledem k tomu, že v této scéně očekáváme a monitorujeme pouze pohyb vozidel, je tato podmínka v této konkrétní scéně využitelná pouze z hlediska „stejnosti“ objektu. Může posloužit v případě prvních dvou snímků objektu 2 (viz obrázek 10), jehož BB jsou na základě své absolutní velikosti kategorizovány jako „chodec“. Jelikož chodec má výšku větší než šířku, hodnota poměru je větší než 1. Z tabulky na obrázku 12, respektive z poměru výška/šířka BB je ale patrné, že se o chodce nejedná, protože poměr je menší než 1.

Z tabulky na obrázku 11 je patrné, že u objektu 1 není podmínka výška/šířka BB splněna u snímků 215, 217, 231, 233. chybovost podmínky pro objekt 1 je 6 %.

U objektu 2 může naopak podmínka sloužit jako pomocná, při nejasném vyhodnocení stejnosti objektu pomocí základních podmínek (plocha BB a délka trajektorie).

Příklad 3 doplňkové úpravy dat - predikce vzdálenosti středu BB

Další doplňkovou úpravou je zařazení predikce vzdálenosti středu BB v následujícím snímku mezi testovací parametry stejnosti objektu. Ze vzájemné vzdálenosti a sklonu trajektorie mezi dvěma po sobě jdoucími středy BB lze predikovat souřadnice následujícího středu BB. Podmínka stejnosti je definována tak, že nejkratší vzdálenost predikovaného středu BB a reálného středu BB, tedy odchylka predikce (p) se liší maximálně o dvojnásobek nejkratší vzdálenosti (c) mezi dvěma předchozími středy BB, ze kterých byla predikce provedena.

Tedy PBB pred - BB < 2C(BB-1)-(BB-2).

Pro predikci souřadnice středu BB snímku 209 objektu 1 použijeme zaznamenané souřadnice středů BB na snímcích 208 a 209:

208 [22,0; 82,0]

209 [24,5; 82,0].

Reálná nejkratší vzdálenost těchto dvou bodů (c) je spočtena jako přepona pravoúhlého trojúhelníku, tedy c = Ý(2,5² + 0²) = 2,5 pix.

Střed BB na snímku 210 je predikován na stejné přímce jako body snímků 208 a 209 a ve stejné vzdálenosti, tedy se stejnou délkou přepony mezi snímky 209 a 210 jako mezi snímky 208 a 209. Predikovaná souřadnice středu BB na snímku 210 je [27,0; 82,0].

- 13 CZ 310259 B6

Reálná souřadnice středu BB na snímku 210 je [31,0; 82,0]. Odchylka od predikce (p), tedy nejkratší vzdálenost predikovaného středu BB a reálného středu BB na snímku 209 byla spočtena taktéž jako přepona pravoúhlého trojúhelníku, kdy p = 4 pix.

Podmínka p < 2c je tedy splněna, protože 4 pix < 5 pix.

Pro snadnější orientaci jsou predikované souřadnice BB na obrázku 11A barevně označeny stejně, jako reálné souřadnice BB na obrázku 4. Schématický nákres predikce je ukázán na obrázku 11B, přičemž nulový bod soustavy se nachází v levém horním rohu. Na obrázku 11B je predikován střed BB na snímku 212 z informací o středech BB na snímcích 210 a 211. Vyznačena je nejkratší vzdálenost (c) bodů 210 a 211 a také odchylka (p) od predikce. Oranžově zaznačen je predikovaný střed BB na snímku 212, zeleně je označen naměřený střed BB na snímku 212. Středy 211 a 212 dávají nový základ pro predikci středu BB na snímku 213, která bule ležet na zelené šipce.

Konkrétní hodnoty dalších snímků lze nalézt v tabulce na obrázku 11A. Jak je z této tabulky patrné, některé snímky jsou touto podmínkou vyhodnoceny chybně, konkrétně snímky 215, 220 a 225. Chybovost podmínky je v tomto datasetu 4 %. Tato podmínka je zařazována pouze jako doplňková, pokud základní podmínky nedávají jasné stanovisko, zda se jedná o stejný objekt, jak je tomu například u snímku 246 a 262 objektu 2 (viz tabulka na obrázku 12).

Příklad 4 doplňkové úpravy dat - očištění deformovaných BB na začátku a na konci setu dat

Další doplňkovou úpravou je očištění deformovaných BB na začátku a na konci setu dat. Když objekt vjíždí do scény a je na snímku zachycen jen z části, BB obepíná pouze tu jeho část, která je ve snímku zachycená. Proto je BB v takovém případě menší, než jaká je velikost objektu reálně. Tato počáteční a koncová data mohou při dalších analýzách zkreslovat výsledek, a proto je dobré je odfiltrovat. Filtrace se provede proložením dat přímkou, jak je možné vidět na obrázcích 13 a 14. Data odlehlá od přímky jsou odfiltrována a pro další analýzy se nepoužijí. Jak je patrné z grafů na obrázcích 13 a 14 i z tabulek na obrázcích 4 a 10, byly odfiltrovány pouze tři poslední položky ze setu dat objektu 1 a čtyři poslední položky ze setu dat objektu 2.

Příklad 5 doplňkové úpravy dat - perspektivní od-zkreslení dat, výpočet rychlosti

Další doplňkovou úpravou je perspektivní od-zkreslení. Jak můžeme vidět v tabulkách na obrázcích 4 a 10, plochy BB se postupně zvětšují. Je to dáno perspektivním zkreslením kamery. Objekty pohybující se ve scéně se přibližují kameře, čímž se zdánlivě zvětšují. Toto perspektivní zkreslení lze z velké části od-zkreslit perspektivním přepočtem. Ten je možné provést mnoha způsoby, v tabulkách na obrázcích 11B a 12B je ukázán přepočet přes úhlopříčku BB, kdy perspektivní koeficient je vypočten jako největší úhlopříčka ze setu dat dělená aktuální přeponou snímku. Tento poměr je pro každý snímek odlišný a vyjadřuje míru jeho perspektivního zkreslení. Perspektivní koeficient každého snímku zvlášť je následně použit pro vynásobení dat z jednotlivých snímků. Pro přepočet plochy je nutné perspektivní koeficient nejprve umocnit, jelikož plocha je udávána ve čtverečních jednotkách a koeficient je počítán z plošných jednotek. Na obrázcích 11B a 12B můžete vidět perspektivní přepočet plochy BB, délky mezisnímkové trajektorie a šířky a výšky BB.

Od-zkreslená data je možné využít například pro výpočet rychlosti pohybujícího se objektu, jak můžeme vidět na obrázcích 11B a 12B. Bez kalibrace lze snadno dopočítat rychlost v pix/s, kterou je možné použít pro porovnání různých objektů zaznamenaných v jedné scéně. Mezisnímková rychlost je ukázaná na obrázcích 11B a 12B, průměrná rychlost byla spočtena jako nejkratší vzdálenost souřadnic středů prvního a posledního snímku přiřazeného témuž objektu, výhodně očištěné dle příkladu 4, tedy u objektu 1 Želešice jsou to snímky 208 a 271. Rychlost je závislá na způsobu výpočtu, tedy zda počítá se součtem všech dílčích trajektorií mezi jednotlivými zaznamenanými středy BB, kde je dráha pochopitelně delší, nebo zda počítá

- 14 CZ 310259 B6 nejkratší vzdálenost mezi prvním a posledním zaznamenaným BB - tato dráha je pochopitelně kratší.

Nejkratší vzdálenost středů snímků 208 a 271 je 485 pix. Rozdíl času záznamu snímků 208 a 271 je z časového razítka 2,52 s, tedy průměrná rychlost objektu 1 vypočtená z nejkratší vzdálenosti je 193 pix/s. Průměrná rychlost objektu 2 Želešice vypočtená z nejkratší vzdálenosti je 179 pix/s, tedy objekt 2 jel pomaleji než objekt 1. Tomu odpovídá i výpočet rychlosti ze součtu trajektorií, kdy průměrná rychlost objektu 1 činí 231 pix/s a průměrná rychlost u objektu 2 činí 203 pix/s.

Po kalibraci prostoru lze dopočítat i rychlost v absolutních jednotkách, například m/s či km/h. Absolutní i relativní průměrné rychlosti obou objektů pohybujících se ve scéně Želešice ukazuje následující tabulka:

objekt	Rozpětí snímků	Průměrná rychlost vypočtená z nejkratší vzdálenosti mezi prvním a posledním snímkem	Průměrná rychlost vypočtená ze součtu trajektorií všech snímků jednoho objektu
1	208 až 271	193 pix/s	231 pix/s
33 km/h	40 km/h
2	226 až 295	179 pix/s	203 pix/s
32 km/h	38 km/h

Tabulka 1

Příklad 6 doplňkové úpravy dat - zúžení rádia

V některých data setech může být účelné základní podmínky zúžit, například zúžením rádia v podmínce r < 1/2d. Výhodné je toto zúžení u scén, kde se pohybuje větší množství objektů blízko u sebe, například v hustém provozu pro monitoring vozidel či v nákupních centrech pro monitoring zákazníků.

Příklad 7 základní extrakce a úprava dat, kategorizace, doplňkové podmínky Polešovice

Pro monitorování četnosti průjezdu dopravních prostředků obcí byla vybrána oblast na výjezdu z obce Polešovice. Senzor s kamerou byl usazen ve výšce 5 m na lampu veřejného osvětlení a vzdálenost kamery od snímané pozemní komunikace činila 5 m, přičemž optická osa čočky kamery svírala s pozemní komunikací úhel 45°, respektive 135°. Umístěním kamery do vzdálenosti 5 m od snímané komunikace poskytuje velké perspektivní zkreslení monitorovaných pohybujících se objektů napříč scénou, ale i tak je systém schopen objekty správně vyhodnotit.

Snímkování kamery bylo nastaveno na 25 snímků/vteřinu a kamera byla spuštěna. Kamera snímkuje danou scénu a vyhodnocovací VSW neustále porovnává snímky následující za sebou analogicky s příkladem 1. Scéna s pohybujícím se objektem je ukázaná na obrázku 15A a 15B. Z těchto dvou obrázků je také patrné velké perspektivní zkreslení, kdy objekt na obr. 15A se jeví menší než na obrázku 15B. Vzhledem k účelu monitorování a vyhodnocení je i takové zkreslení přípustné a použitelné pro vyhodnocení situace i bez perspektivního přepočtu. Tabulka extrahovaných dat a dopočtených základních podmínek je ukázaná na obrázku 16. V této konkrétní scéně se pohybuje pouze jeden objekt - osobní auto. Kategorizace objektu byla v této konkrétní scéně stanovena následovně:

Plocha BB větší než 6000 pix² je vyhodnocena jako motorové vozidlo. Tato podmínka je splněna u všech snímků data setu. Průměrná plocha BB činí 30 500 pix².

V tabulce na obrázku 16 můžeme vidět i zařazení doplňkových podmínek, analogicky s příklady 2, 3 a 4.

- 15 CZ 310259 B6

Příklad 8 základní extrakce a úprava dat, kategorizace, doplňkové podmínky Židlochovice

Pro monitorování provozu dopravních prostředků a četnosti pohybu chodců u železniční stanice v obci Židlochovice obcí byla vybrána oblast, kde se kříží pěší chodník vedoucí od železniční stanice s pozemní komunikací. Senzor s kamerou byl usazen ve výšce 5 m na konstrukci reklamní plochy, vzdálenost kamery od snímané pozemní komunikace činila 10 m a kamera byla umístěna přímo nad chodníkem. Snímkování kamery bylo nastaveno na 25 snímků/vteřinu. I v této scéně má velký podíl perspektivní zkreslení, podobně jako u scény v Polešovicích podle příkladu 7. I zde je však VSW schopný rozlišit a sledovat jednotlivé pohybující se objekty i přes složitost scény.

Umístěním kamery do vzdálenosti 10 m od snímané komunikace poskytuje velké perspektivní zkreslení monitorovaných pohybujících se objektů napříč scénou, ale i tak je systém schopen objekty správně vyhodnotit. Scéna s pohybujícími se objekty je ukázaná na obrázku 17. Tabulka extrahovaných dat a dopočtených základních podmínek je ukázaná na obrázcích 18 a 19.

Kategorizace objektů v této konkrétní scéně nebyla nastavena vůbec, jelikož perspektivní zkreslení velikosti objektů je příliš velké a vyžadovalo by 3D kalibraci. Funkci kategorizace převzala doplňková podmínka poměr výška/šířka BB, která ukazuje, zda je objekt vyšší než širší či naopak. Z této podmínky se v této konkrétní scéně poté určuje, zda se jedná o chodce či o motorové vozidlo. Pro poměry větší než 1 byl objekt vyhodnocen jako chodec a pro poměry menší než 1 byl objekt vyhodnocen jako motorové vozidlo. Jemnější určení v této konkrétní scéně nebylo zařazeno. Určení objektů na základě poměru výška/šířka BB ukazují tabulky na obrázcích 18 a 19.

Příklad 9 Vykreslení trajektorií jednotlivých pohybujících se objektů

Pro vykreslení koridorů byla použita scéna v Židlochovicích podle příkladu 8. Data nasbíraná pro tuto scénu byla následně manuálně kategorizována na dvě skupiny: „moto“ a „chodec“ a trajektorie obou kategorií objektů byly vykresleny do pozadí scény, jak je ukázáno na obrázku 20. Pro demonstraci a přehlednost je použito pouze malé množství trajektorií, konkrétně 10 trajektorií pro kategorii „chodec“ a 8 trajektorií pro kategorii „moto“. V praxi jsou použity desítky až stovky trajektorií, které na pozadí scény vykreslí koridory jak pěší, tak motoristické. Toto vykreslení koridorů je možné použít jako podklady pro zlepšení infrastruktury, například praktičtější tvarování chodníků, návrh cestiček skrz park či návrh uspořádání průběžných a odbočovacích pruhů dle četnosti projíždějících vozidel.

Průmyslová využitelnost

Sledování a vyhodnocování objektů, především v dopravě pro monitorování vozidel či chodců, ve vědě a výzkumu pro monitorování fauny, v reklamě pro monitorování potenciálních zákazníku nebo v soukromém sektoru pro monitorování zaměstnanců či zákazníků na prodejně.

Claims

1. Způsob identifikace a monitorování objektů s minimální datovou náročností, vyznačující se tím, že se vymezí scéna pro monitoring, do výšky vyšší než je výška monitorovaných objektů se nainstaluje senzor, který obsahuje kameru a hardware s nainstalovaným vyhodnocovacím softwarem (VSW), přičemž monitorovaná scéna se zabírá zorným polem kamery a optická osa čočky kamery se nastaví pod úhlem 45° až 135° vůči očekávanému pohybu objektů ve scéně, poté se kamera spustí a kamerou se pořizují snímky monitorované scény v pravidelném intervalu alespoň 10 snímků za vteřinu, čímž se scéna zaznamenává na snímcích jasně a s minimálním zkreslením, přičemž pořízené snímky se průběžně vyhodnocují pomocí VSW, kdy se detekuje porovnáním pozadí rozdíl mezi dvěma po sobě jdoucími snímky způsobený pohybujícím se objektem, pokud se na snímku zaznamená rozdíl, je pohybující se objekt identifikován a snímek se použije pro další zpracování v reálném čase, tedy zaznamená se čas pořízení snímku pomocí VSW a ze snímku se pomocí VSW extrahují fyzikální data pohybujícího se objektu či objektů, kdy detekovaný pohybující se objekt se pomocí VSW na snímku překryje bounding boxem (BB), kterým je nejmenší obdélník nebo čtverec kryjící celý pohybující se objekt, a informace o bounding boxu se extrahují, přičemž extrahovaná data obsahují alespoň:

pozice bounding boxu/boxů ve snímku, a to buď souřadnice rohů bounding boxu/boxů a/nebo souřadnice středu/středů bounding boxu/boxů a informace o výšce a šířce bounding boxu/boxů, přičemž ze souřadnic se poté dopočítají rozměry a střed bounding boxu/boxů, extrahovaná data se uloží a snímek se smaže, tedy neuchovávají se obrazy, pouze číselná data, přičemž extrahovaná data pohybujících se objektů se shromažďují a porovnávají se pomocí VSW, kdy pohybující se objekt na po sobě jdoucích snímcích se identifikuje jako stejný tehdy, splní-li se podmínky stejnosti objektu, kterými jsou:

A) střed BB objektu na konkrétním snímku se vyskytuje v rádiu monitorovaného objektu na předchozím snímku, kdy rádius je definován jako kružnice se středem ve středu předchozího BB a s poloměrem menším než šířka předchozího BB, a zároveň

B) plocha BB na obou porovnávaných snímcích je vzájemně odlišná ±20 %, poté se data vyhodnocená jako patřící stejnému objektu svážou dohromady a vytvoří se data set daného objektu pohybujícího se danou scénou.

2. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1, vyznačující se tím, že pohybující se objekt na po sobě jdoucích snímcích se identifikuje jako stejný při splnění další podmínky stejnosti objektu, tedy pokud se na po sobě jdoucích snímcích poměr výšky a šířky BB liší maximálně o 20 %.

3. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1 nebo 2, vyznačující se tím, že pohybující se objekt překrytý BB na po sobě jdoucích snímcích se identifikuje jako stejný při splnění další podmínky stejnosti objektu, tedy pokud se střed následujícího BB vyskytuje v predikované zóně s poloměrem 2c, kdy c je vzdálenost dvou předchozích známých středů BB a střed predikované zóny se definuje na přímce spojující středy BB dvou předchozích snímků ve vzdálenosti od posledního známého středu BB rovnající se vzdálenosti c dvou předchozích známých středů BB.

4. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1, vyznačující se tím, že data pohybujícího se objektu se sváží jako data set patřící stejnému objektu s vyloučením maximálně 3 snímků za sebou, u kterých se nesplnily podmínky stejnosti objektu.

- 17 CZ 310259 B6

5. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1, vyznačující se tím, že data set, tedy data patřící stejnému objektu svázaná dohromady, se použije pro vykreslení trajektorií pohybujících se objektů napříč snímky.

6. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1, vyznačující se tím, že data set, tedy data patřící stejnému objektu svázaná dohromady, se použije pro kategorizaci pohybujícího se objektu.

7. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1, vyznačující se tím, že nesvázaná data jednotlivých snímků se použijí pro kategorizaci pohybujícího se objektu.

8. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 6 nebo 7, vyznačující se tím, že kategorizace objektu se provede porovnáním plochy BB pomocí VSW s přednastavenými parametry pro jednotlivé kategorie monitorovaných objektů.

9. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 6 nebo 7, vyznačující se tím, že kategorizace objektu se provede porovnáním poměru výška/šířka BB pomocí VSW s přednastavenými parametry pro jednotlivé kategorie monitorovaných objektů.

10. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 6 nebo 7, vyznačující se tím, že kategorizace objektu se provede porovnáním rychlosti pohybujícího se objektu pomocí VSW s přednastavenými parametry pro jednotlivé kategorie monitorovaných objektů.

11. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1 nebo 2 nebo 3 nebo 5, vyznačující se tím, že data set, tedy data patřící stejnému objektu svázaná dohromady, se podrobí doplňkovým úpravám, kdy doplňkovou úpravou je očištění deformovaných BB na začátku a na konci data setu, kdy se z data setu odstraní data, která statisticky neodpovídají trendu ostatních dat v data setu.

12. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 11, vyznačující se tím, že data v data setu se proloží přímkou a data, která mají odchylku od přímky větší než předem definovaná hodnota se odstraní.

13. Způsob identifikace a monitorování objektů s minimální datovou náročností podle nároku 1 nebo 2 nebo 3 nebo 5, vyznačující se tím, že data set, tedy data patřící stejnému objektu svázaná dohromady, se podrobí doplňkovým úpravám, kdy doplňkovou úpravou je perspektivní od-zkreslení dat, které je provedeno výpočetně nebo kalibrací obrazu.

14. Způsob vykreslení migračních koridorů pohybujících se objektů, vyznačující se tím, že informace o bounding boxech data setů podle nároku 1 se zaznamenají do sledované scény, čímž vykreslí migrační koridory pohybujících se objektů.

15. Použití informací o bounding boxech data setu podle nároku 1 pro vykreslení migračních koridorů pohybujících se objektů.