CZ20032875A3

CZ20032875A3 - Způsob komprimování a dekomprimování videodat

Info

Publication number: CZ20032875A3
Application number: CZ20032875A
Authority: CZ
Inventors: Gerd Mossakowski
Original assignee: T-Mobile Deutschland Gmbh
Priority date: 2001-03-21
Filing date: 2002-03-19
Publication date: 2004-01-14
Also published as: US20040095996A1; DE10113880A1; JP2004534434A; CA2441473C; ATE327638T1; PL368828A1; JP4102197B2; WO2002078352A1; RU2276470C2; PT1371229E; US7130347B2; RU2003130965A; EP1371229A1; ES2265504T3; CA2441473A1; DE10113880B4; DE50206894D1; CN1498501A; CN1278563C; EP1371229B1

Description

Dosavadní stav techniky

Videa vytvářejí velká množství dat. Aby se tato množství dat nechala efektivně přenášet a ukládat, je smysluplné je komprimovat.

Podle dnešního stavu techniky se videosignály nahrávají a reprodukují v rychlém sledu jednotlivých snímků. U televize (PAL-norma) je to 25 snímků za vteřinu, popř. 50 půlsnímků. U digitálního nahrávání je to až cca. 30 snímků za vteřinu. Každý snímek se rozkládá do řádků a nejprve se ořenáší sekvenčně.

Dcsavaoní metody komprimování jsou v podstatě založené na redukování rozlišení, barevné hloubky a na zmenšení počtu snímků za vteřinu. Při digitální kompresi, např. MPEGzpůsobu, se místo kompletních snímků přenášejí v podstatě rozdílové snímky, tzn. rozdíly jednotlivých obrazových bodů (pixel) v porovnání k předcházejíčímu snímku, místo kompletních snímků. Nejnovější standard pro videokódcvání je XPEG4. MPEG je zkratka pro „(lotion Pictures Expert Group. Z této skutir.v se určovaly, reso. urč

S6S2D (816203) * · ♦ · « · · • * · » · · «»·♦ «« · · · * · 1 • · 9 9 9* • 9 9 9 9 9 4 • · · · · · « ··· 99 99 · · formáty souboru a způsob k místo šetřícímu komprimování a ukládání video- popř. multimediálních dat (video, obrazová a zvuková data). MPEG-standard se dělí mezitím na MPEG-1, MPEG-2, MPEG-3 a MPEG-4, přičemž MPEG-3-standard se mezitím integroval do MPEG-2. Aby se ohromná množství filmových dat metla zpracovávat a přenášet „normálními počítači, ukládají se jenom změny od předcházejícího snímku. MPEG-formát ukládá v pravidelných intervalech z typicky dvanácti snímků takzvané Tntra-Erames; to jsou JPEG-komprimované jednotlivé snímky. Snímky mezi těmito I-Erames se podle možnosti neukládají kompletní. Častěji se ukládá MPEG, jak se může zpětně získat pomocí posunutí částí z předcházejících nebo následujících snímků. K tomu se také používají předvídané „Predicted Frames a „B-Frames (bídirekcionální Frames). Protože se to ale nepodaří perfektně, ukládá se dodatečně na snímek zbývající odchylka ještě JPEG-kódovaná. Touto metodou se nechají nároky na data pro jeden videofilm zmenšit o přibližně 99 %. Možná komprese jde až 200:1. MPEG-1 se navrhovala pro plynulou videoreproóukci. MPEG-1komprimování, resp. dekomprimování bylo původně způsobem závislým na hardware. Mezitím je ovšem, díky rychlým procesorům, možné i softwarové dekomprimování. Podstatný rozdíl mezi MPEG-1 a MPEG-2 spočívá v tom, že MPEG-2 umí lépe zacházet s, u televize použitým, způsobem prokládaného fackováni (Tnterlace). Tajemství MPEG-2 spočívá v kompresi na nejvyšší stupeň kvality, takže filmový materiál se může zpracovávat a editovat téměř 1 ku i ve studiové kvalitě. Konsekventním způsobem se MPEG-2 etabloval jako standard. U častého 1-Erame kódováni, se nechá MPEG-2 dokonce používat ve střihovém provozu. Část MPEG-3-standardu, která byla navržena pro High Definítion TV-kvalitu (HDTV), se mezitím

-_-rcrmatu od 1996 vývoji. A.čkoirv MPEG-4 byl:

'6 3652C (86620a) · · ♦ I · * t • · · · · • · » · · · • · · » t · » · · · • ••· ·· *·· »· ·· ·· původně myšleno jako kódovací standard pro audiovizuální dača s velmi nízkou bitovou rychlostí, sloužil vývoj daleko více účelům než jenom proudění lineárních mediálních dat u internetových nebo bezdrátových aplikací. MPEG-4 dává k dispozici např. účinné mechanizmy ke komprimování a distribuci interaktivních mediálních obsahů. Mimoto MPEG-4 disponuje 3D-potenciáiy, aby se nechala vizualizovat umělá inteligence nebo se nechaly znázornit Avantare, např. v rámci videokonferencí. Rychlost komprese je u MPEG-4 vyšší než u MPEG-2, přičemž „Sprites se mohou lépe komprimovat, protože kódovací mechanizmus pro to má k dispozici více času. Eventuálně se při tom dokonce může přepínat na Wavelets. Skript umožňuje v málo bytech provádět operace jako „posouvání podstatně rychleji, než by umožňovala digitalizovaná komprimovaná forma stejné operace. S pomocí tohoto „Sprites se mohou libovolně konturované stojící snímky posouvat přes pohybující se snímky.

Úkol vynálezu spočívá ve vytvoření způsobu komprimování videodat, který umožňuje jednoduché a flexibilní přizpůsobení na rozdílné přenosové rychlosti popř. přenosové šířky pásma, obrazová rozlišení a velikosti displeje.

Podstata vynálezu

Tento úkol· se řeší znaky patentového nároku 1.

Přednostní provedení a další řešení vynálezu jsou oveoena ve vedlejších nárocích.

zpracování zoracování us.tuteonuje paralelní Láznamovérr. činu. Paralelní video aeeco fssszcaj ~ *····*·«* • * ·*···« ♦ · · ·»··»· · ··» · « · · · # · ···· ·· *·· ·* ·» ·· slouží k účelu, nejprve určit nejdůležitější pixely a tyto na základě zprioritnění uložit do prioritního pole. Toto pele obsahuje v každém časovém okamžiku hodnoty pixelů, tříděné podle zprioritnění. Podle zprioritnění se tyto pixely a hodnoty pixelů, použité pro výpočet zprioritnění, přenášejí popř. ukládají. Pixel obdrží vysokou prioritu, když jsou rozdíly k jeho sousednímu pixelů velmi velké.

K rekonstrukci se na displeji znázorňují právě aktuální hodnoty pixelů. Pixely, které se ještě nepřenášejí, se vypočítávají z již přenášených pixelů.

Podle výpočetního výkonu, šířky přenášeného pásma a velikosti displeje se k výpočtu ještě nepřenášeného pixelů mohou používat rozdílné způsoby. Pokud je k dispozici velmi velká šířka pásma, může se provádět jednoduchá lineární interpolace. Pokud je k dispozici jen velmi malá šířka pásma, může se toto zohledňovat při přenosu zprioritněných pixelů.

Pomocí průběhu historie přenášených pixelů se mohou identifikovat objekty a tím se může provádět odhad pohybu těchto objektů.

Základní myšlenka způsobu je založena na zprioritněném ukládání popř. přenášení pixelů. Při ukládání popř. videopřenosu se musí dále zohledňovat časové a místní (uvnitř obrazového pole) závislosti jednotlivých pixelů nebo pixelů, shrnutých dohromady v pixelových skupinách.

Aby se dosáhlo extrémně vysoké komprese dat, přenášejí se právě ty skupiny pixelů, které mají nejvyšší prioritu a dosud nebyly přenášené. Plochy, tzn. hodnoty pixelů mezi již

36520 (86620a) • » · ♦ · « • · · · · * · • ♦ > · · * «·««· ··« «· přenášenými skupinami pixelů se vypočítávají z již přenášených skupin pixelů, např. pomocí interpolace. Při vyšším rozlišení (větší obrazové pole) stoupá dosažitelný koeficient komprese, protože u záznamů z přírody mají větší plochy většinou dobře předpověditelný (rovnoměrný) průběh barev, např. modrá obloha.

Je třeba si také všimnout toho, že se právě přenášejí exaktní hodnoty pixelů. V případě potřeby dovoluje tento způsob bezeztrátový přenos videoinformací.

• · · « · · • · · · ♦ I ··

Obnova popř. rekonstrukce videodat spočívá na odhadech podobných lidskému vidění. Člověk vnímá dráždění, ale interpretace co na snímku rozpoznává, existuje teprve v jeho mozku. Dráždění odpovídají přenášeným skupinám pixelů, interpretace odpovídá vyplnění ploch mezi ještě nepřenášenými skupinami pixelů.

Aby se toto realizovalo, mohou se zřizovat dodatečná pole. Těmi jsou mimo jiné pole, ve kterém existuje informace, ze kterých skupin pixelů se zjišťuje hodnota pixelů na aktuální pozici. Dalšími informacemi mohou být, kdy tyto hodnoty byly vypočítány, ze kterých skupin pixelů tyto ryly vypočítány pepř. přenášeny. Také odhad přesnosti přímo sousedících pixelů, malý za základ výpočtu) se může hodnot (např. výpočet z rozety! pixeiu braného yrcdnccovat jako dodatečná informací

Popsaný cřizpůsobení a obrazová r způsob dovoluj proudu videodat na ozlišení.

e podstatně jednodušší rozdílné velikosti displejů

Další výhoda je, že popsaným způsobem kódován

536620 (86620a) ·· · * · • · • » « · ·«·· • · · · · • · ····« ·· ·· automaticky neurčuje, jakými algoritmy se video musí dexcdovat. Toto se dosahuje pomocí přenosu zprioritněných hoonot pixelů, které oproti tomu u jiných způsobů nezakousl žasnou tvorbu střední hodnoty. Výrobci tím mají možnost vyvíjet Low až High Cest koncové přístroje a různými algoritmy se zvýraznit vůči spclukonkurentům.

Požadované masívní paralelní zpracování videodat

v čipu,	speciálně pro to	vyvinutém,	umožňuje používat
extrémně	nízké taktovací	rychlosti,	což se projevuje
příznivě	na spotřebě proudu.
Pomocí zprioritnění se	mohou přenášet určité oblasti

videa (např. rty u hlasatelů zpráv) s vysokou prioritou a následovně s lepším rozlišením.

Způsob umožňuje, z proudu dat videa pro rozdílné koncové přístroje odfiltrovat optimální dílčí proudy dat, aniž by se toto muselo zohledňovat u videozáznamu.

Přehled obrázků na výkresech

V vru bude blíže vysvětlen prostřednictvím příkladů provedení znázorněných na výkresech, na ktervch cředstavuie znázornění obrazov-hc pele z 20 x 21 pixelů;

mázorneni ruznyen tvaru skupin pixeiu;

r r I £* kamzíku tl;

pohyblivým cojextern v časové:

3S520 l3652Ca.) * · · * » · · ·····» · • · · · » · ··«· ···♦ ·· ··· «· «« ··

obr. 4	obrazové okamžiku	pole t2;	s pohyblivým	objektem	v časovém
s c . 5	obrazové	pele	s pohyblivým	objektem	v časovém

okamžiku t3;

nově generované skupinami pixelů obrazové v rohu snímku;

pole s vloženými

obr. 7	vyplnění pixelů;	ploch mezi	již vloženými skupinami
obr. 8	vložení dalších skupin mezí nimi ležícími.	pixelů a vyplnění ploch

Příklady provedení vynálezu

V dalším se podle příkladného příkladu popisuje komprimování a dekomprimování videosignálu.

Tvoří se následující záznamy:

oo videcz;

slouží, běžný, videosigná.

nebo NTSČ). Videoinformace se muže přečíst elektronickým zením, běžným na trhu (např, Framegrabber kartou). Ke zoúsobu se v dalším používá minimalizované .em mazové po šířkou 20 pixelů a s výškou 21 pixelů ek 1). Každý pixel pci '' h d ^r -¾ c i x 1 u;

ransparentní, červená, zelená, modrá, s práv; ;e pixelů je určena celým Číslem. Obrazové pole mázanvm na obrázku i, Čísluje cd bitů je naoř zentuje hodnotou 32 rozděleno na 4

- -» rt*.

do 4i(

5662C (86620a) o

φφφ «φφφ φφ • · φ φ φ · · • φ φ · φ φ φ φ φ φ φ · φ

Φφφ φφφφ φφφ φφ φφ φφ .tř každé přihrádky odpovídá pozici příslušného pixelů. zdrojem a spotřebičem existuje UDP (User Datagramm ;ocoi) spojení. Přes toto se potom posílají komprimovaná aeooata.

Komprimování videosignálu se uskutečňuje dujícím způsobem:

Způsob spočívá v tom, že se trvale uskutečňuje zprioritnění jednotlivých pixelů videosignálu, přičemž prxeiy se ukládají do pole podle svého zprioritnění. Toto pole obsahuje v každém časovém okamžiku aktuální, podle priorit tříděné, hodnoty pixelů. Pixel obdrží vysokou prioritu, když jsou rozdíly k jeho sousednímu pixelů příliš velké. Pixel se spolu s jeho, pro výpočet použitými, sousedními pixely, sdružuje do skupiny pixelů. Podle tohoto zprioritnění ukládají.

se tyto skupiny pixelů přenášejí popř.

Čtení obrazového pole

Pramegrabber má v každém časovém okamžiku právě aktuální snímek ve svém obrazovém poli, což může být, jak je ukázáno na obrázku 1, například 20 x 21 pixelů velké obrazové pole. .Každý pixel je definován svou pozicí (C až 419) a svou hodnotou pixelů (hodnota barvy popř. jasu).

určeno sxupir. poxeou : dříve se určí, které sousední pixely tvoří jednu skupinu duelů. S pO je přitom označen ten pixel, který udává pozici součiny oixeuů a pro který se počítá priorita. Relativní OLzoce zbývajících pixelů, např. ol-p4, skupiny pixelů o referenčnímu cixeiu ρΰ vyplývá z použitého způsobu (tvaru, ha obrázku 2 jsou příkladně znázorněné možné skupin. pixelů. Mohou se vytvářet jak vzhledem enčnímn cixeiu cG svmetrizké tak i asymetrické ‘5 Í6520 (86520a,)

4 · · 4

4 4

4444 44

4 4 4 4 ·

4 4 «44

4 4 4 4 « 4

4 4 4 4 4

444 44 44 44 skupiny pixelů. Jaký typ skupin pixelů se používá je mj. záislé na typu obrazového materiálu a žádoucí míře komcrese. Zpravidla je dosažený koeficient komprese tím. včeší, čím více pixelů skupina pixelů zahrnuje. Ke kódování a nekódování, tzn. komprimování a dekomprimování videosnímku se musí používat stejný tvar skupin pixelů.

Zjištění prioritních hodnot

Pro každý pixel pO skupiny pixelů se nyní vypočítává priorita s ohledem na jeho skupinu pixelů. Přitom se každý pixel 0-419 snímku jednou k referenčnímu pixelů pO. Přitom ne podle vynálezu navrženo, že výpočet prioritních hodnot pixelů se jak dalece možno provádí v rámci paralelního zpracování dat. Optimální je, když se výpočet priorit všech pixelů snímku uskutečňuje zároveň. Protože se ječná c videosígnál, vypočítávají se prioritní hodnoty všech pixelů stále znova, protože se obsah snímku průběžně mění. Velký počet skupin pixelů, zejména těch s nízkým zprioritněnúm, se ale s vysokou pravděpodobností nemění. K výpočtu priority se mohou užít různé výpočetní metody. Příkladně se zde používá lineární metoda. K tomu se jednotlivé hodnoty pixelů PO, Fl, Pí, P3 a P4 skupiny pixelů rozkládají na jejich barevné posily červený, zelený a modrý. Každá z těchto hodnot barvy se reprezentuje δ bity. Pro každou barvu jednoho každého nyní zjišťuje rozdílová hodnota barvu např. PO_červený-Pl_červený, P0_červenýPC modrý-?4 modrý. Absolutní rozdílové sčítají a dělí se počtem barev a počtem váných pixelů. Výsledkem je vanou skupinu pixelů.

Č Γ C 2 d i. 1ΓΪ ě ” Š 1 Ί Ξ C¹.

skuOÍnv cixelú.

řdem k PO, í__:erveny,... hodnoty barev prioritní hodnota pro o prioritní hodnota je tím hodnoty barev jednotlivých

565Σ0 .'86520a) » · • · • · ···· ·· ·· ···

Další metody ke zjištěni prioritní hodnoty jsou použití hodnot Šedi nebo maximální hodnoty barevného rozdílu jedné barvy. Protože prioritní hodnota se později sama nepřenáší, pocř. se ukládá, nemá způsob zjištění prioritní hodnoty žádný přímý vliv na dekódování.

Zprioritněním se dosahuje, že oblasti snímku, které mají velkou změnu barvy nebo kontrastu, jako např. hrany, získávají vysokou prioritu, a relativně stálé obsahy snímku, jako např. modrá obloha, nízkou.

Třídění prioritních hodnot

V tomto kroku se prioritní hodnoty třídí sestupně podle velikosti. Třídění se uskutečňuje po zjištění každé nové prioritní hodnoty. Pro každý časový okamžik máme tak, uspořádaný podle priorit, seznam skupin pixelů, které jsou setříděné sestupně. Je třeba usilovat o to, aby se vyvíjely příslušné obrazové snímače (CCD-čipy), které ihned poskytují takový seznam, uspořádaný podle priorit. Pokud se snímek, který chceme komprimovat, snímá přímo CCD kamerou nebo skenerem, existuje principiálně možnost, z mikročipu, zpracovávajícího snímek, existujícího v kameře/skeneru, přímo získávat pole, tříděné podle priorit. Tím se při kimprimování šetří podstatná část nákladů na výpočet.

Aktualizace prioritních hodnot ca rozdíl od nehybných snímků (např. fotografie) dostáváme u video informace trvale proměnnou změnu priority skupin cixelú, např. při pohybu kamery nebo u pohyblivých objektů. Aby se toto zvýraznilo, je na obrázcích 3 až 5 znázorněno videcsnímkové pole v různých časových okamžicích tl až t3, přičemž se objekt posouvá zprava doleva.

Í6 36620 (85620a) * · · ·*·*«· * φ·· · · · · » · • · · · ··»«·» · • · · ···«··* ···* ·· »·· ·* ·« ·♦

Podle obrázku 2 obsahuje snímek v časovém okamžiku tl ocjekt, který vyplňuje pixel 156, 157, 176, 177, 191-197,

211-217, 2 31-237, 256, 257, 27 6, 277. Pro výpočet priorit pixelů (Q-419) snímku se používá tvar skupiny pixelů (vlevo dole), na obrázku 2 silně orámovaný. Dostáváme prioritní rozdělení pixelů, jak je příkladně znázorněno v dalším popisu způsobu v tabulce 1 k časovému okamžiku tl. Tabulka obnsahuje právě jen čísla referenčního pixelu (pO) skupiny pixelů. Ty skupiny pixelů, které se nacházejí v okrajové oblastí objektu a u kterých příslušný referenční pixel (pO) vykazuje největší rozdíl ke zbývajícím pixelům skupiny pixelů, získávají největší prioritu A. Skupiny pixelů, jejichž referenční pixely vykazují menší rozdíl ke zbývajícím pixelům skupiny pixelů, získávají střední prioritu B a ty skupiny pixelů, jejichž referenční pixely nevykazují vůbec žádný rozdíl ke zbývajícím pixelům skupiny pixelů, nejnižší prioritu C.

tabulka 1

	priorita A	priorita B	-! priorita C
časový okamžik tl	175,255,231,191 156,157,277,276,	177,197,217,237,257, 176,256,211,192,...	0,1,2,3,4,5,6,7,8,9 , 10,11,12,13,14,15,
časový okamžik t2	189,173,154,155 274,275,253,229	175,195,215,235,255, ISO, 191,192, 193,...	0,1<2,3,4,5,6, 7,8,9 , 10,11,12,13,14,15,
časový okamžik t3	187,171,227,251 152,153,272,273	173, 193,213,233,253, 188,189,190,191 ,...	0,1,2,3,4,5,6,7,8,9 ,10,11,12,13,14,15,

V rámci komprimování se nyní nejprve přenášejí, resp. ukládají skupiny pixelů, opatřené prioritou A, potom skupiny oix.clů s prioritou B a nakonec skupiny pixelu s prioritou C.

86620 (866203)

J. íd ♦ · • · · ···· ·· • · ··· ·« • · « ··

Protože se objekt mezitím pohybuje a vzhledem k obrázku 3 zaujímá na obrázcích 4 a 5 jinou pozici, mění se priority jednotlivých skupin pixeiů. Seznam priorit se aktualizuje a oxamžitě se pokračuje s přenosem aktuální skupiny pixeiů s nejvyšší prioritou. Nově vypočítané priority skupin pixeiů pro časové okamžiky t2 (obrázek 4) a t3 (obrázek 5) jsou znázorněné v tabulce 1.

Tím by možný komprimovaný přenos videosianálu mohl podle tabulky 1 vypadat následovně:

Časový okamžik tl: skupiny pixeiů s nejvyšší prioritou A se přenášejí: 175, 255, 231, 191, 156, 157, 277, 276, 177, 197, 217.

K časovému okamžiku t2 se rozpoznávají nové priority. Jiné skupiny pixeiů obdrží nejvyšší prioritu A. Pokračuje se s přenosem nové priority A:

139, 173, 154, 155, 274, 275, 253, 229

Potom následuje přenos skupin pixeiů s prioritou B;

175, 195, 215, 235, 255, 190, 191, 192, 193,...

K časovému okamžiku t3 se opět rozpoznává nová priorita. Ostatní skupiny pixeiů obdrží nejvyšší prioritu A. Pokračuje se s přenosem nové priority A:

171, 227, 251, 152, 1

V dodatečném poli se kontroluje, které skupiny pixeiů již jsou přenesené. Pokud se skupina pixeiů už přenesla, nepotřebuje se přenášet podruhé, pokud se mezitím nezměnila její priorita. Mohou se rozpoznat a přednostně přenášet určité oblasti snímku, např. obličeje. Dodatečně se cd příjemce mchcu vyžadovat i určité skupiny pixeiů (např. při kvůli chybnému CRC Check). Takovým ' zcoznar ;usebem :r.vc přenosu vcupiny pixeiů mcncu potom ocorze' á632Q (86620a) • ·

···· ··· • t · • · * • » « · • 9 ·· vysekou prioritu, takže se přenášejí ihned.

Skupiny pixelů ukládat/přenášet sejmy „ukládat a „přenášet se v dalším používají jako synonyma. Nejprve se ukládá, resp. přenáší několik charakteristických veličin videosnímku. Příkladně uvedeno to jsou např.:

šířka snímku (v pixelech) výška snímku (v pixelech) použitý tvar skupiny pixelů (není nutné, když je standardizován jenom jeden tvar)

Následovně se jednotlivé skupiny pixelů ukládají popř. přenášejí podle své priority, tzn. skupiny pixelů s vysokou prioritou se nejdříve ukládají (a později se také nejdříve čtou) .

K tomu se nejdříve ukládá hodnota pozice referenčního pixelů pO skupiny pixelů. Následně se ukládají skupiny

pixelů	PO, Pl,	P2,	P3, P4.
Příklad
Hodnota	pozice	PO,	hodnoty pixelů PO, Pl, P2, P3, P4; další
hodnota	pozice	PO	(se stejnou nebo nižší prioritou), hodnoty
t·· Ί V ^{1 1}	DO Dl - r - - r	D r z.	, P3, P4, další hodnota pozice FQ ;s

r.ejmenší prioritou), hodnoty pixelů PO, Pl, P2, P3, P4.

ukládání se může optimalizovat různými metodami, které se zde zmiňují jen příkladně. Může se provádět úsekové řádování skupin pixelů. Např. když v nějaké oblasti snímku nejsou žádné červené části, může se tato přenášet místo ? nnty (červená) jenom např. 2 bity, nebo se může využívat počet nevýznamných nul. Pále běžné metody komprimování, se mohou používat všeobecně např. zip-fermát. trčením

36620 (36620a) ·

* * · 9 · · 9 • · «» · 9 9 · · · 9 9 * · 9 • ·94 9» *·· 99 «9 99 hraniční hodnoty pro zprioritnění se může zaručovat určitá kvalita. Např. se může určit hraniční hodnota pro rozdílové hodnoty pixelu, pod kterou přiřazená skupina pixelů obdrží vždy nejnižší hodnotu priority. Pokud se nejprve přenáší 4 skuciny pixelů rohových bodů, dostáváme s několika skupinami pixelů vypočítanou co možná největší plochu.

Rekonstrukce (dekomprimování) videodat

Generování nového obrazového pole Při rekonstrukci komprimovaných videodat se nejprve vytváří obrazové pole srovnatelné se znázorněním v obrázku 1. K tomu se čtou a vyhodnocují identifikační data snímku. Příkladně to jsou šířka snímku, výška snímku a tvar skupiny pixelů, použité ke komprimování. Pokud se výška snímku a šířka původního snímku a nyní žádaného znázornění (např.

ohraničený PDA displej nebo obrazovka s vysokým rozlišením) neshodují, musí se příslušně upravovat. K tomu se nejdříve zjišťují přepočítací koeficienty (šířka snímku_originál/šířka snimku_displej a výška snímku_originál/výška snímku_displej). Tyto koeficienty se mohou používat aby se hodnota pozice z originálního snímku přepočítala na hodnotu pozice nového displeje.

Doplnění skupin pixelů

Jak je znázorněno na obrázku 6, podle pořadí zprioritněných skupin pixelů se tyto nyní načítají. Například se první čtyři skupiny pixelů zanášejí s nejvyšší prioritou do obrazového pole. Na obrázku 6 jsou tyto skupiny pixelů na rozích snímku. Pozice referenčního pixelu pO příslušné srupiny pixelů je určena černě podloženými poli 21, 38, 38í pepř. 396. Tato hodnota pozice (pO) existuje jako celočíselná hodnota v uložené databázi. Následovně se mohou

86S20 (áSSZOa) ♦ ♦ · φ φ φ · φφφ φφφ φ» φ φ • · « · • · · φφφ φφφ φφφφ φφ φφφ tmavošedě podložené hodnoty pixelů, patricí k příslušné skupině pixelů, zanášet do nového obrazového pole. Mezi nimi ležící, světle šedě označené hodnoty pixelů, se potom nechají vypočítat z tmavošedě a černě označených polí. K výpočtu se nejprve rozkládají známé hodnoty pixelů na své součásti červenou, zelenou a modrou. Následovně se vypočítává střední hodnota každé barvy, např. pixel(22) = (pixel(2) + pixel(21) + pixel(42))/3).

čárami. To troj úhelníky,

Vyplňování ploch

Nyní se již existující skupiny pixelů navzájem spojují je znázorněno na obrázku 7. Dostáváme jejíchž rohy jsou definované příslušnými skupinami pixelů. Příkladně se má toto ozřejmit na čáře mezi pozicí pixelů 2 a pozicí pixelů 17. Barevný průběh čáry se vypočítává podle hodnot barvy pixelů 2 a 17 . Nejprve se zjišťuje počet pixelů mezi těmito oběma pozicemi, v příkladu

14. Následovně se pro každou barvu (červená, zelená, modrá) zjišťuje barevný rozdíl, např. hodnota barvy na pozici 2 = 2; hodnota barvy na pozici 17 = 30 dává barevný rozdíl 28). Stupňování hodnot barev na pixel - od pixelů 2 k pixelů 17 se potom vypočítává z barevného roždílu/počet (v příkladu 28/14 = 2) .

Ještě zbývající plochy se vyplňují kreslením od horizontálních čar, např. od pozice 63 k pozici 7 4, od pozice 82 k pozici 93, atd. Také zde se vypočítává předběžný barevný průběh mezi body jak je uvedeno výše.

Jak ukazuje obrázek 8, dává každá další doplněná skupina pixelů další trojúhelníky, které se mohou příslušné vyplňovat. Poté, co se nejprve vyplnila celková plocha využitím 4 rohových bodů (21, 39, 398, 381) , může se nyní s

86620(36620a) ** * · * « · · · · • « · 9 «·· ·· • · • ·

9 · ·« • · · · « · · • ♦ · · • · * ·«·* · každou další skupinou pixelů zjemnit rozlišení. Doplnění skupiny pixelů 87 vede ke 4 trojúhelníkům s referenčními body (21, 38, 87), (21, 87, 38_1) , (381, 87, 398), (398, 78, 38). Pokud se nyní uvnitř takového trojúhelníku, např. 87, 33 1, 398 doplní další skupina pixeiú (247) , vznikají 3 nové trojúhelníky (247, 381, 358), (247, 87, 381) a (247, 8 7, 3 58) . Každá nová skupina pixelů vytváří tím 3 nové trojúhelníky, které se mohou vyplňovat. Čím více skupin pixelů je doplněno, tzn. čím více trojúhelníků se tvoří, tím blíže přichází vypočítaný barevný průběh skutečnému oarevnému průběhu snímku. Protože od nyní vznikají jenom nové trojúhelníky, mohou se pro výpočty používat optimalizované způsoby. Dále se mohou právě 3 nově vzniklé trojúhelníky paralelně vypočítávat, aby se zvýšila rychlost zpracování. Dodatečná možnost paralelní činnosti vzniká tím, když se doplňují nové skupiny pixelů v různých oblastech snímku.

U shora popsaných kroku způsobu se předpokládalo, že se obsah snímku mezitím nezměnil, potom se priority jednotlivých a přenášejí se aktuální skupiny Mění se jenom pořadí právě doplňovaných skupin pixelů. rekonstrukce snímku se ale nic r

Pokud se mění obsah snímku, skupin pixelů nově rozdělují pixelů s nejvyšší prioritou.

přenášených a do snímku Na výše popsaném principu lenění.

Aby se přihlíželo k časovým změnám obsahu snímku, mohcu se ale vytvářet ještě dodatečná pele (s velikostí obrazového pole). Tato mohou obsahovat údaje o čase, tzn. kdy byla hodnota pixelů naposlecy vypočítána pepř. přenášena základech výpočtu. Které přenášené prxely byly použité

36320 (86620ai • · • · · ······ · • ·· k výpočtu hodnoty pixelu.

pravděpodobnost/přesnost. Hodnota pixelu se přenášela nebo vypočítala; když byla vypočítána, jak velký je rozptyl skupin pixelů, ze kterých se vypočítávala nová hodnota?

odchylka od již kalkulovaných hodnot pixelů s potom přenášenými hodnotami pixelů.

Z těchto veličin se nechají potom určovat oblasti snímku, ve kterých existují četné změny skupin pixelů. Sousední skupiny pixelů, nebo také kompletní oblasti, podléhají zpravidla podobným změnám, např. změnám jasu, změnám barvy. Vyhodnocením těchto změn se nechají zpravidla určovat objekty a jejich chování, např. předmět, který se ve videu pohybuje. Rovnoměrné změny vztažené na celkové obrazové pole mohou například odkazovat na jeden pohyb kamery. Pokud se tyto informace vyhodnocují např. s pomocí neuronových sítí schopných učení, nechají se velmi lehce dělat odhady hodnot pixelů ještě nepřenášených skupin pixelů. Pokud se tyto odhady shodují, mohou se identifikovat skupiny pixelů, které mají zvláštní vliv na změny na objektech. Pokud se tyto skupiny pixelů znova vyžadují od zdroje, je možné přesně určovat a předpovídat pohyby objektů s 'enom málo skupinami pixelů. V praxi to znamená, že ačkoliv je k dispozici jenom nízká šířka pásma, vyskyzují se nízké časy zpoždění, které jsou podstatně menší než u způsobu založeném na Práme. Vyhodnocování polí, dodatečně generovaných v přijímači, umožňuje i dobrou identifikaci ocjektu.

V závislosti na kapacitách, které jsou k dispozici, se mohou vedle čistého zprioritnění pomocí hodnot barvy sousedních pixelů brát saké závislosti pclchy zprioritněných

36620 (86620a)

Β * ·

ΒΒΒ

ΒΒΒ Β· • e Β · Β ΒΒΒΒ Β·

ΒΒ skupin pixelů. Το má objasnit případ použití. Pokud se na mcři pozoruje horizont, objeví se jako vodorovná čára. Nechá se očekávat, že prioritní hodnoty každé skupiny pixelů podél tohoto horizontu jsou přibližně stejné. V tomto případě mají nejdále od sebe ležící body horizontální čáry největší vypovídací schopnost. Přenosem nejvíce vnějších levých a nejvíce vnějších pravých skupin pixelů horizontu je již možné tento opět rekonstruovat.

Další možnost zpricritnění spočívá v řádovém vyhodnocení určitých oblastí snímku. Takovou oblastí snímku mcncu například být obličeje. Ačkoliv obličeje na videu z dovolené činí mnohdy jenom procentuálně malou oblast celkového snímku, stojí při pozorování většinou v centru. Takové lidské chování při dívání se může zohledňovat pomocí příslušného zprioritnění skupin pixelů těchto oblastí snímku 'ooiasti obličeje). Skupiny pixelů v centru videa mohou rovněž zakusit příslušně vyšší zprioritnění.

Další možnost optimalizace spočívá ve skutečnosti, že se sousední skupiny pixelů navzájem překrývají. Šikovným výběrem skupin pixelů se může zabraňovat, že se překrývající hodnoty pixelů sousedních skupin pixelů přenášejí opakovaně.

Náxlady na to, co se používá k dekódování, jsou volně opravitelné. U malého displeje (např. mobilní telefony) jsou zapotřebí jistě menší početní náklady než reprodukce na vysoce rozlišitelné velké obrazovce, ačkoliv oba používají stejný prvotní datový proud, sestávající ze zorioritněných skupin pixelů. Tato flexibilní úprava umožňuje výrobcům, koncových přístrojů zabudovat do jejich přístrojů speciální optimalizaci, např. počtu objektů, historie změny snímku, iro výrobce dostáváme možnost, oddálit se od své konkurence,

6552C (366205) ±

··*·· * + · · · * » * · · ·»·« ·· *·· ·· ·· ·· aniž by se ohrozila kompatibilita přenosu videa.

Zastupuj e:

Dr. Miloš VŠetečka v.r.

35620 (85620ai ώ υ

Claims

• · PATENTOVÉ NÁROKY VWI« IYIIIU9 *aciVURQ advokát 120 00 Praha 2, Hálkova 2 • · • « *· ·· I

1. Způsob komprimováni videodat, která sestávají z pole jednotlivých obrazových bodů (pixely), přičemž každý pixel (0-419) má časově proměnnou hodnotu pixelu, která popisuje informaci o barvě nebo jasu pixelu, vyznačující se kroky:

a) Zjištění prioritní hodnoty pro každý pixel pole pomocí výpočtu hodnoty pixelů na základě právě okamžité hodnoty pixelu vzhledem k okamžité hodnotě pixelu předtím určené skupiny sousedních pixelů;

b) Sdružení pixelů, braných pro výpočet prioritní hodnoty, do jedné skupiny pixelů (P0-P4),

c) Třídění skupin pixelů podle jejich prioritních hodnot a ukládání v prioritním poli; a

d) Ukládání a/nebo přenášení skupin pixelů podle jejich priority v prioritním poli, přičemž kroky a) až d) se neustále opakují, přičemž prioritní hodnoty skupin pixelů se zjišťují stále znova a prioritní pole obsahuje v každém časovém okamžiku skupiny pixelů, tříděné podle aktuálních priorit.

2. Způsob podle nároku 1, vyznačující se tím, že hodnotu rozdílu pixelů dostáváme z rozdílu hodnoty pixelu pozorovaného pixelu k hodnotě pixelu každého jeho pozorovaného sousedního pixelu skupiny pixelů.

3. Způsob podle kteréhokoli předcházejícího nároku, vyznačující se tím, že na začátku se ukládají a/nebo přenášejí charakteristické veličiny videosnímku, jako šířka snímku v pixeiech, výška snímku v píxelech a tvar použité

16 36620 (86620a) ±

• · · ···· ·· • · · • · · • · · ··· ·* • · · • · · • · · · • · ·· skupiny pixelů.

4. Způsob podle kteréhokoli předcházejícího nároku, vyznačující se tím, že pro každou skupinu pixelů se ukládá nebo přenáší pozice referenčního pixelu (PO), jene hodnota pixelu, jakož i hodnota pixelu zbývajících pixelů (P1-P4) skupiny pixelů.

5. Způsob podle kteréhokoli předcházejícího nároku, vyznačující se tím, že skupinám pixelů určitých oblastí snímku se přiřazuje zvýšená priorita.

6. Způsob podle kteréhokoli předcházejícího nároku, vyznačující se tím, že hodnoty pixelů skupin pixelů se dále komprimují pomocí úsekového kódování nebo jiným způsobem komprese.

7. Způsob podle kteréhokoli předcházejícího nároku, vyznačující se tím, že nepřetržité zjišťování a vydávání skupin pixelů, tříděných podle priorit, se uskutečňuje již pomocí použitého systému snímajícího snímek, jako např. skener, CCD-kamera.

8. Způscb podle kteréhokoli předcházejícího nároku, vyznačující se tím, že se mohou používat Fraraegrabber-karty (popř. softwarová řešení), aby se konvertoval existující videomateriál nejrůznějších formátů (např. AVI, MPEG-1, MPEG-2, MPEG-4,...).

9 až 12, vytvářených rozpoznávat

9. Způsob k rekonstrukci videodat, krerá se komprimovala způsobem podle některého z nároků 1 až 8, vyznačující se tím, že právě přečtené hodnoty pixelů se znázorňují na způsob obrazového pole, přičemž ještě

16 36620 (36620a) • · · ···· · · ’· · · ; · · ···♦·· * • · · · · · · ♦·· ·· ·♦ ·· nepřenášené pixely se vypočítávají z již přenesených pixelů.

10. Způsob podle nároku 9, vyznačující se kroky:

a) generování prázdného obrazového pole z přečtených charakteristických veličin komprimovaného videosnímku,

b) kontinuální čteni uložených popř, přenášených skupin pixelů a přidání do obrazového pole,

c) tvorba trojúhelníků spojováním právě tří bezprostředně sousedících skupin pixelů pomocí alespoň jedné čáry,

d) vyplňování pixelů, tvořících plochu trojúhelníků, průběhem barev a/nebo jasů, vypočítaným ze skupin pixelů, tvořících trojúhelník, a

e) opakování kroků b) až e).

11. Způsob podle některého z nároků 9 nebo 10, vyznačující se tím, že trojúhelníky jsou ve své velikosti proměnlivé a nechají se přizpůsobit různým rozlišením snímku.

12. Způsob podle některého z nároků 9 až 11, vyznačující se tím, že se mohou vytvářet dodatečná pole, která obsahují údaje o:

času, tzn. kdy byla hodnota pixelů naposledy počítána, resp. přenášena, podkladech výpočtu, tzn. které přenesené pixely se používaly k výpočtu hodnoty pixelů, pravděpodobnosti/přesností, tzn. hodnota pixelů byla přenášena nebo vypočítána; v případě, že byla vypočítána, jak velký je rozptyl skupin pixelů ze kterých se vypočítala nové hodnota, odchylce od již vypočítaných hodnot pixelů s potom přenášenými hodnotami pixelů.

16 36520 (36620a)

£.__/ * i ί ί '»· ϊ · ·*·· ·»· ·· · · ···· ·· ··· ·· ·· ··

13. Způsob podle některého z nároků vyznačující se tím, že se podle polí, podle nároku 12, mohou jednoduchým způsobem profily pohybu a objekty.

14. Způsob podle nároku 13, vyznačující se tím, že vyhodnocením profilů pohybu a objektů se může dosahovat plynulých pohybů s extrémně nízkými čekacími dobami navzdory nejnižších rychlostí přenosu.

Zastupuje:

Dr.

Miloš Všetečka v.r.

16 36620(666203)