RS65954B1

RS65954B1 - Nasleđivanje u podeli sa više stabala na nizu uzoraka

Info

Publication number: RS65954B1
Application number: RS20240955A
Authority: RS
Inventors: Philipp Helle; Detlev Marpe; Simon Oudin; Thomas Wiegand
Original assignee: Ge Video Compression Llc
Priority date: 2010-04-13
Filing date: 2011-04-13
Publication date: 2024-10-31
Also published as: CN106060562B; KR20200111286A; BR122020008249B1; JP2014195278A; EP4422182A3; BR122020008236B1; US20230388558A1; CN106454377B; CN106454371A; KR101690892B1; JP7469393B2; TW201733275A; US20190238896A1; EP4422182C0; JP2025181846A; CN105915913A; US20180324466A1; US10432979B2; JP6106249B2; BR122020008256B1

Description

Opis

[0001] Ovaj pronalazak se odnosi na šeme kodiranja niza uzoraka informacija koji predstavljaju prostorno uzorkovani informacioni signal kao što je video ili statična slika.

[0002] U kodiranju slike i videa, slike ili određeni skupovi nizova uzoraka za slike se obično razlažu u blokove, koji su povezani sa određenim parametrima kodiranja. Slike se obično sastoje od više nizova uzoraka. Pored toga, slika može biti povezana sa dodatnim nizovima pomoćnih uzoraka, koji mogu, na primer, specificirati informacije o transparentnosti ili mape dubine. Nizovi uzoraka slike (uključujući nizove pomoćnih uzoraka) mogu se grupisati u jednu ili više takozvanih grupa ravni, gde se svaka grupa ravni sastoji od jednog ili više nizova uzoraka. Grupe ravni slike mogu se kodirati nezavisno ili, ako je slika povezana sa više od jedne grupe ravni, sa predviđanjem iz drugih grupa ravni iste slike. Svaka grupa ravni se obično razlaže na blokove. Blokovi (ili odgovarajući blokovi nizova uzoraka) se predviđaju ili predviđanjem među slikama ili predviđanjem unutar slike. Blokovi mogu imati različite veličine i mogu biti kvadratni ili pravougaoni. Podela slike na blokove može biti ili fiksirana sintaksom, ili može biti (barem delimično) signalizirana unutar niza bitova. Često se prenose elementi sintakse koji signaliziraju podelu za blokove unapred definisanih veličina. Takvi elementi sintakse mogu specificirati da li i kako je blok podeljen na manje blokove i povezane parametre kodiranja, npr. u svrhu predviđanja. Za sve uzorke bloka (ili odgovarajuće blokove nizova uzoraka) dekodiranje pridruženih parametara kodiranja je specificirano na određeni način. U primeru, svi uzorci u bloku se predviđaju korišćenjem istog skupa parametara predviđanja, kao što su referentni indeksi (identifikovanje referentne slike u skupu već kodiranih slika), parametri kretanja (određivanje mere za kretanje blokova između referentne slike i trenutne slike), parametre za određivanje interpolacionog filtra, režima intra predviđanja itd. Parametri kretanja mogu biti predstavljeni vektorima pomeranja sa horizontalnom i vertikalnom komponentom ili parametrima kretanja višeg reda kao što su parametri afinog kretanja koji se sastoje od šest komponenti. Takođe je moguće da je više od jednog skupa određenih parametara predviđanja (kao što su referentni indeksi i parametri kretanja) povezano sa jednim blokom. U tom slučaju, za svaki skup ovih specifičnih parametara predviđanja, generiše se jedan srednji signal za predviđanje za blok (ili odgovarajuće blokove nizova uzoraka), a konačni signal predviđanja se gradi kombinacijom koja uključuje superponiranje srednjih signala predviđanja. Odgovarajući parametri ponderisanja i potencijalno takođe konstantni pomeraj (koji se dodaje ponderiranoj sumi) mogu biti fiksirani za sliku, ili referentnu sliku, ili skup referentnih slika, ili mogu biti uključeni u skup parametara predviđanja za odgovarajući blok. Razlika između originalnih blokova (ili odgovarajućih blokova nizova uzoraka) i njihovih signala za predviđanje, koji se takođe nazivaju rezidualnim signalom, obično se transformiše i kvantizuje. Često se dvodimenzionalna transformacija primenjuje na rezidualni signal (ili odgovarajuće nizove uzoraka za rezidualni blok). Za kodiranje transformacije, blokovi (ili odgovarajući blokovi nizova uzoraka), za koje je korišćen određeni skup parametara predviđanja, mogu se dalje podeliti pre primene transformacije. Blokovi transformacije mogu biti jednaki ili manji od blokova koji se koriste za predviđanje. Takođe je moguće da blok transformacije uključuje više od jednog od blokova koji se koriste za predviđanje. Različiti blokovi transformacije mogu imati različite veličine i blokovi transformacije mogu predstavljati kvadratne ili pravougaone blokove. Nakon transformacije, dobijeni koeficijenti transformacije se kvantuju i dobijaju se takozvani nivoi koeficijenata transformacije. Nivoi koeficijenta transformacije, kao i parametri predviđanja i, ako postoje, informacije o podeli su entropijski kodirane.

[0003] U standardima kodiranja slike i videa, mogućnosti za podelu slike (ili grupe ravni) na blokove koje su obezbeđene sintaksom su veoma ograničene. Obično se može samo odrediti da li i (potencijalno kako) blok unapred definisane veličine može biti dalje podeljen na manje blokove. Na primer, najveća veličina bloka u H.264 je 16x16. Blokovi 16x16 se takođe nazivaju makroblokovi i svaka slika se deli na makroblokove u prvom koraku. Za svaki makroblok 16x16 može se signalizirati da li je kodiran kao blok 16x16, ili kao dva bloka 16x8, ili kao dva bloka 8x16, ili kao četiri bloka 8x8. Ako je 16x16 blok podeljen na četiri 8x8 bloka, svaki od ovih 8x8 blokova može biti kodiran ili kao jedan 8x8 blok, ili kao dva 8x4 bloka, ili kao dva 4x8 bloka, ili kao četiri 4x4 bloka. Mali skup mogućnosti za specifikaciju podele na blokove u standardima kodiranja slike i video zapisa iz stanja tehnike ima prednost u tome što se brzina protoka sporednih informacija za signalizaciju informacija o podelama može držati na maloj vrednosti, ali ima nedostatak što brzina protoka bitova potrebna za prenos parametara predviđanja za blokove može postati značajna kao što je objašnjeno u nastavku. Brzina protoka sporednih informacija za signalizaciju informacija predviđanja obično predstavlja značajnu količinu ukupne brzine protoka jednog bloka. A efikasnost kodiranja bi se mogla povećati smanjivanjem ovih sporednih informacija, što bi se, na primer, moglo postići korišćenjem većih veličina blokova. Prave slike ili slike video sekvence sastoje se od proizvoljno oblikovanih objekata sa određenim svojstvima. Na primer, takve objekte ili delove objekata karakteriše jedinstvena tekstura ili jedinstveno kretanje. I obično se isti skup parametara predviđanja može primeniti na takav objekat ili deo objekta. Ali granice objekta se obično ne poklapaju sa mogućim granicama bloka za velike blokove predviđanja (npr. 16x16 makroblokovi u H.264).

[0004] Enkoder obično određuje podelu (među ograničenim skupom mogućnosti) koja rezultira minimumom određene mere negativnog uticaja na odnos brzina-izobličenje. Za objekte proizvoljnog oblika to može rezultirati velikim brojem malih blokova. A pošto je svaki od ovih malih blokova povezan sa skupom parametara predviđanja, koji treba da se prenesu, brzina protoka sporednih informacija može postati značajan deo ukupne brzine protoka. Ali pošto nekoliko malih blokova i dalje predstavlja oblasti istog objekta ili dela objekta, parametri predviđanja za jedan broj dobijenih blokova su isti ili veoma slični.

[0005] Prema tome, podela ili razdvajanje slike na manje delove ili pločice ili blokove suštinski utiče na efikasnost kodiranja i složenost kodiranja. Kao što je gore navedeno, podela slike na veći broj manjih blokova omogućava prostorno finije podešavanje parametara kodiranja, čime se omogućava bolja prilagodljivost ovih parametara kodiranja na sliku/video materijal. S druge strane, postavljanje parametara kodiranja na finiju granularnost predstavlja veći teret za količinu sporednih informacija neophodnih da bi se dekoder obavestio o potrebnim podešavanjima. Čak je potrebno napomenuti da svaka sloboda enkodera da (dalje) deli sliku/video prostorno na blokove izuzetno povećava količinu mogućih podešavanja parametara kodiranja i na taj način generalno čini da traženje podešavanja parametra kodiranja koji dovode do najboljeg kompromisa brzina/izobličenja bude još teže.

[0006] Dokument D1, John H. Muller: „Description of sprite and prediction core experiments on coding efficiency in MPEG-4 Video“, 39. MPEG sastanak, ISO/IEC JTC1/SC29/VG11, M2139, 1997, opisuje podelu slike koja koristi razdvojene flegove pri čemu se, prema posebnom grafu susednosti, flegovi spajanja prenose u toku podataka kako bi se spojili određeni segmenti koji su rezultat razdvajanja.

[0007] Dokument D2 (WO 2008/027192) opisuje koncept gde se koristi spajanje i razdvajanje. Konkretno, dokument D2 predstavlja različite video kodeke iz prethodnog stanja tehnike. Neki koriste ujednačenu mrežu makroblokova fiksne veličine.

[0008] Cilj je da se obezbedi šema kodiranja za kodiranje niza uzoraka informacija koji predstavljaju prostorno uzorkovani informacioni signal, kao što su, ali nije ograničeno na, slike video zapisa ili nepokretne slike, što omogućava postizanje boljeg kompromisa između složenost kodiranja i dostižan odnos brzina-izobličenje, i/ili da se postigne bolji odnos brzinaizobličenje.

[0009] Ovaj cilj se postiže kao što je prikazano u nezavisnim zahtevima.

[0010] Ideja na kojoj se temelji ovaj pronalazak je da se dobije bolji kompromis između složenosti kodiranja i dostižnog odnosa brzina-izobličenje, i/ili da se bolji odnos brzinaizobličenje, može postići kada se multitree podela (podela na više stabala) ne koristi samo da bi se podelila neprekidna oblast, odnosno niz uzoraka, u regione listova, nego ako se srednji regioni koriste tako da zajednički dele/koriste parametare kodiranja među odgovarajućim raspoređenim blokovima lista. Ovom merom, procedure kodiranja koje se izvode u pločicama - regionima lista - lokalno, mogu biti povezane sa parametrima kodiranja pojedinačno bez potrebe da se, međutim, eksplicitno prenose celi parametri kodiranja za svaki region lista posebno. Umesto toga, sličnosti se mogu efikasno iskoristiti korišćenjem multitree podele.

[0011] U skladu sa jednim izvođenjem, niz uzoraka informacija koji predstavljaju prostorno uzorkovani informacioni signal je prvo prostorno smešten u regione korena stabla, a zatim se dalje deli, u skladu sa informacijama o podelama sa više stabala ekstrahovanih iz toka podataka, barem na podskup regiona korena stabla u manje jednostavno povezane regione različitih veličina rekurzivnim višestrukim particionisanjem podskupa regiona korena stabla. Da bi se omogućilo pronalaženje dobrog kompromisa između suviše fine podele i suviše grube podele u smislu odnosa brzina-izobličenje, uz razumnu složenost kodiranja, maksimalna veličina regiona korenskih regiona stabla u koje je niz uzoraka informacija prostorno podeljen, uključena je u tok podataka i ekstrahovana iz toka podataka na strani za dekodiranje. Prema tome, dekoder može da sadrži ekstraktor koji je konfigurisan da ekstrahuje maksimalnu veličinu regiona i informacije o podelama više stabala iz toka podataka, razdelnik konfigurisan da prostorno podeli niz uzoraka informacija koji predstavljaju prostorno uzorkovani informacioni signal u korenske regione stabla maksimalne veličine regiona i podela, u skladu sa informacijama o podelama sa više stabala, barem podskup korenskih regiona stabla na manje jednostavno povezane regione različitih veličina rekurzivnim višestrukim particionisanjem podskupa regiona korena stabla; i rekonstruktor konfigurisan da rekonstruiše niz uzoraka informacija iz toka podataka koristeći podelu na manje jednostavno povezane regione.

[0012] Prema jednom izvođenju, tok podataka takođe sadrži maksimalni nivo hijerarhije do kojeg podskup regiona korena stabla podleže rekurzivnom višeparticionisanju. Ovom merom, signalizacija informacija o multitree podelama je olakšana i potrebno je manje bitova za kodiranje.

[0013] Dalje, rekonstruktor može biti konfigurisan da izvrši jednu ili više od sledećih mera u granularnosti koja zavisi od srednje podele: odluka koji režim predviđanja između, najmanje, intra i inter predviđanja režima da se koristi; transformacija iz spektralnog u prostorni domen, izvođenje i/ili postavljanje parametara za inter predviđanje; izvođenje i/ili postavljanje parametara za intra predviđanje.

[0014] Osim toga, ekstraktor može biti konfigurisan da iz toka podataka izdvaja elemente sintakse koji su povezani sa regionima lista particionisanih blokova stabala u redosledu prelaska prvo po dubini. Ovom merom, ekstraktor je u stanju da iskoristi statistiku elemenata sintakse već kodiranih susednih regiona lista sa većom verovatnoćom nego korišćenjem redosleda prelaska prvo po širini.

[0015] Prema jednom drugom izvođenju, koristi se još jedan pod-razdelnik da bi se, u skladu sa daljim informacijama o podeli sa više stabala, podelio bar podskup manjih jednostavno povezanih regiona na još manje jednostavno povezane regione. Podelu prve faze rekonstruktor može da koristiti za izvođenje predviđanja oblasti uzoraka informacija, dok podelu druge faze rekonstruktor može koristiti da izvrši retransformaciju iz spektralnog u prostorni domen. Definisanje preostale podele da bude podređena u odnosu na podelu predviđanja čini da kodiranje ukupne podele zahteva manje bitova, a sa druge strane, ograničenje i sloboda za preostalu podelu koja proizilazi iz podređenosti ima samo manji negativni uticaj na efikasnost kodiranja jer su uglavnom delovi slika sa sličnim parametrima kompenzacije pokreta veći od delova koji imaju slična spektralna svojstva.

[0016] Prema jednom daljem izvođenju, dalja maksimalna veličina regiona je sadržana u toku podataka, pri čemu dalja maksimalna veličina regiona definiše veličinu podregiona korena stabla na koje se manji jednostavno povezani regioni prvo dele pre podele na najmanje podskup podregiona korena stabla u skladu sa daljim informacijama o podeli sa više stabala na još manje jednostavno povezane regione. Ovo, zauzvrat, omogućava nezavisno podešavanje maksimalnih veličina regiona podele predviđanja s jedne strane i rezidualne podele s druge strane i, na taj način, omogućava pronalaženje boljeg kompromisa brzina/izobličenje.

[0017] Prema jednom još daljem izvođenju ovog pronalaska, tok podataka sadrži prvi podskup sintaksnih elemenata koji su odvojeni od drugog podskupa sintaksnih elemenata koji formiraju informacije o podelama sa više stabala, pri čemu je spajač na strani dekodiranja u stanju da kombinuje, u zavisnosti od prvog podskupa elemenata sintakse, prostorno susedne manje jednostavno povezane regione podele sa više stabala da bi dobio srednju podelu niza uzoraka. Rekonstruktor može biti konfigurisan da rekonstruiše niz uzoraka koristeći srednju podelu. Ovom merom, koderu je lakše da prilagodi efektivnu podelu prostornoj distribuciji svojstava niza uzoraka informacija uz pronalaženje optimalnog kompromisa brzina/izobličenje. Na primer, ako je maksimalna veličina regiona velika, informacije o podelama sa više stabala će verovatno postati složenije zbog toga što regioni korena stabla postaju sve veći. S druge strane, međutim, ako je maksimalna veličina regiona mala, postaje verovatnije da se susedni regioni korena stabla odnose na sadržaj informacija sa sličnim svojstvima, tako da su ovi regioni korena stabla takođe mogli biti obrađeni zajedno. Spajanje popunjava ovaj procep između gore navedenih ekstrema, čime se omogućava skoro optimalna podela granularnosti. Iz perspektive enkodera, elementi sintakse spajanja omogućavaju opušteniju ili računski manje složenu proceduru kodiranja, jer ako koder greškom koristi suviše finu podelu, ovu grešku će enkoder naknadno kompenzovati, naknadnim podešavanjem spajanja elemenata sintakse sa ili bez prilagođavanja samo malog dela sintaksnih elemenata koji su postavljeni pre postavljanja spojnih elemenata sintakse.

[0018] Prema jednom još daljem izvođenju, maksimalna veličina regiona i informacije o podelama sa više stabala se koriste za preostalu podelu, a ne za podelu predviđanja.

[0019] Redosled prelaska prvo po dubini za tretiranje jednostavno povezanih regiona podele četvorostrukog stabla niza uzoraka informacija koji predstavljaju prostorno uzorkovani informacioni signal se koristi u skladu sa jednim izvođenjem, a ne redosled prelaska prvo po širini. Korišćenjem redosleda prelaska prvo po dubini, svaki jednostavno povezani region ima veću verovatnoću da ima susedne jednostavno povezane regione koji su već pređeni, tako da se informacije o ovim susednim jednostavno povezanim regionima mogu pozitivno iskoristiti prilikom rekonstrukcije odgovarajućeg trenutnog jednostavno povezanog regiona.

[0020] Kada se niz uzoraka informacija prvo podeli na pravilan raspored regiona korena stabla veličine hijerarhije nultog reda, a zatim se podeli podskup regiona korena stabla na manje jednostavno povezane regione različitih veličina, rekonstruktor može da koristi cik-cak skeniranje da bi skenirao regione korena stabla sa, za svaki region korena stabla koji treba da se particioniše, tretirajući jednostavno povezane regione lista u redosledu prelaska prvo po dubini pre nego što pređe dalje na sledeći region korena stabla u cik-cak redosledu skeniranja. Štaviše, u skladu sa redosledom prelaska prvo po dubini, jednostavno povezani regioni lista istog nivoa hijerarhije mogu se takođe preći u cik-cak redosledu skeniranja. Tako se održava povećana verovatnoća postojanja susednih jednostavno povezanih regiona lista.

[0021] Prema jednom izvođenju, iako flegovi povezani sa čvorovima multitree strukture su sekvencijalno raspoređeni u redosledu prelaska prvo po dubini, sekvencijalno kodiranje flegova koristi kontekste procene verovatnoće koji su isti za flegove povezane sa čvorovima multitree strukture koji leže unutar istog hijerarhijskog nivoa multitree strukture, ali različiti za čvorove multitree strukture koji leže unutar različitih nivoa hijerarhije multitree strukture, čime se omogućava dobar kompromis između broja konteksta koje treba obezbediti i prilagođavanja stvarnoj statistici simbola flegova sa druge strane.

[0022] Prema jednom izvođenju, konteksti procene verovatnoće za unapred određen fleg koji se koristi takođe zavise od flegova koji prethode unapred određenom flegu u skladu sa redosledom prelaska prvo po dubini i koji odgovaraju oblastima regiona korena stabla koje imaju unapred određenu relativnu lokaciju u odnosu na oblast prema kojoj unapred određen fleg odgovara. Slično ideji koja leži u osnovi aspekta postupka, upotreba redosleda prelaska prvo po dubini garantuje veliku verovatnoću da flegovi koji su već kodirani takođe sadrže flegove koje odgovaraju oblastima koje su susedne oblasti koja odgovara unapred određenom flegu, tako da se ovo znanje može koristiti za bolje prilagođavanje konteksta koji će se koristiti za unapred određeni fleg.

[0023] Flegovi koji se mogu koristiti za postavljanje konteksta za unapred određeni fleg, mogu biti oni koje odgovaraju oblastima koje leže na vrhu i/ili levo od oblasti kojoj unapred određeni fleg odgovara. Štaviše, flegovi koji se koriste za izbor konteksta mogu biti ograničeni na flegove koje pripadaju istom hijerarhijskom nivou kao i čvor sa kojim je unapred određeni fleg povezan.

[0024] Prema jednom izvođenju, kodirana signalizacija sadrži indikaciju najvišeg hijerarhijskog nivoa i niz flegova povezanih sa čvorovima strukture sa više stabala nejednakih najvišem hijerarhijskom nivou, pri čemu svaki fleg koji specificira da li je pridruženi čvor srednji čvor ili podređeni čvor, i koji sekvencijalno dekodira, u redosledu prolaska prvo po dubini ili po širini, niza flegova koji se nalaze u toku podataka, sa preskakanjem čvorova najvišeg hijerarhijskog nivoa i automatskim imenovanjem istih čvorova listova, čime se smanjuje brzina kodiranja.

[0025] Prema jednom daljem izvođenju, kodirana signalizacija strukture sa više stabala može da sadrži indikaciju najvišeg hijerarhijskog nivoa. Ovom merom moguće je ograničiti postojanje flegova hijerarhijskih nivoa koji nisu najvišeg hijerarhijskog nivoa, jer je dalja podela blokova najvišeg hijerarhijskog nivoa u svakom slučaju isključena.

[0026] U slučaju da je prostorna podela sa više stabala deo sekundarne podele čvorova lista i neparticionisanih regiona korena stabla primarne podele sa više stabala, kontekst koji se koristi za kodiranje flegova sekundarne podele može biti odabran tako da kontekst bude isti za flegove povezane sa oblastima iste veličine.

[0027] Prema jednom daljem izvođenju, povoljno spajanje ili grupisanje jednostavno povezanih regiona na koje je niz uzoraka informacija podeljen, kodira se sa smanjenom količinom podataka. U tu svrhu, za jednostavno povezane regione, definisan je unapred određeni relativni lokacijski odnos koji omogućava identifikaciju, za unapred određeni jednostavno povezani region, jednostavno povezanih regiona u okviru mnoštva jednostavno povezanih regiona koji imaju unapred određeni relativni lokacijski odnos prema unapred određenom jednostavno povezanom regionu. Naime, ako je broj jednak nuli, indikator spajanja za unapred određeni jednostavno povezani region može biti odsutan u toku podataka. Dalje, ako je broj jednostavno povezanih regiona koji imaju unapred određenu relativnu lokaciju prema unapred određenom jednostavno povezanom regionu jednak jedan, parametri kodiranja jednostavno povezanog regiona mogu biti usvojeni ili se mogu koristiti za predviđanje parametara kodiranja za unapred određene jednostavno povezane regione bez potrebe za dodatnim elementima sintakse. U suprotnom, tj., ako je broj jednostavno povezanih regiona koji imaju unapred određenu relativnu lokaciju prema unapred određenim jednostavno povezanim regionima veći od jedan, uvođenje dodatnog sintaksnog elementa može biti potisnuto čak i ako su parametri kodiranja povezani sa ovim identifikovanim jednostavno povezanim regionima identični jedni drugima.

[0028] Prema jednom izvođenju, ako su parametri kodiranja susednih jednostavno povezanih regiona nejednaki jedni drugima, referentni susedni identifikator može da identifikuje odgovarajući podskup broja jednostavno povezanih regiona koji imaju unapred određenu relativnu lokaciju prema unapred određenom jednostavno povezanom regionu i ovaj odgovarajući podskup se koristi kada se usvajaju parametri kodiranja ili predviđaju parametri kodiranja unapred određenog jednostavno povezanog regiona.

[0029] Prema jednom još daljem izvođenju, vrši se prostorna podela oblasti uzoraka koja predstavlja prostorno uzorkovanje dvodimenzionalnog informacionog signala na više jednostavno povezanih regiona različitih veličina rekurzivnim višeparticionisanjem u zavisnosti od prvog podskupa sintaksnih elemenata sadržanih u toku podataka, nakon čega sledi kombinacija prostorno susednih jednostavno povezanih regiona u zavisnosti od drugog podskupa sintaksnih elemenata unutar toka podataka koji je odvojen od prvog podskupa, da bi se dobila srednja podela niza uzoraka u disjunktne skupove jednostavno povezanih regiona, čija je unija mnoštvo jednostavno povezanih regiona. Srednja podela se koristi kada se rekonstruiše niz uzoraka iz toka podataka. Ovo omogućava da se optimizacija u odnosu na podelu učini manje kritičnom zbog činjenice da se previše fina podela može nadoknaditi naknadnim spajanjem. Dalje, kombinacija podele i spajanja omogućava postizanje srednjih podela što ne bi bilo moguće samo rekurzivnim multiparticionisanjem tako da spajanje podele i spajanje korišćenjem nepovezanih skupova sintakse elemenata omogućava bolje prilagođavanje efektivne ili srednje podele stvarnom sadržaju dvodimenzionalnog informacionog signala. U poređenju sa prednostima, dodatni troškovi koji proizilaze iz dodatnog podskupa elemenata sintakse za indikaciju detalja spajanja su zanemarljivi.

[0030] U daljem tekstu opisana su poželjna izvođenja ovog pronalaska u odnosu na slike koje slede, među kojima

Sl. 1 prikazuje blok dijagram enkodera prema jednom izvođenju ove prijave;

Sl. 2 prikazuje blok dijagram dekodera prema jednom izvođenju ove prijave;

Sl. 3a-c šematski prikazuje ilustrativni primer za podelu četvorostrukog stabla, pri čemu Sl. 3a prikazuje prvi hijerarhijski nivo, Sl. 3b prikazuje drugi hijerarhijski nivo, a Sl. 3c prikazuje treći hijerarhijski nivo;

Sl. 4 šematski prikazuje strukturu stabla za ilustrativnu podelu quadtree (četvorostrukog) stabla sa Sl. 3a do 3c prema jednom izvođenju;

Sl. 5a,b šematski ilustruju podelu quadtree stabla sa Sl. 3a do 3c i strukturu stabla sa indeksima koji indeksiraju pojedinačne blokove listova;

Sl. 6a,b šematski prikazuju binarne nizove ili sekvence flegova koji predstavljaju strukturu stabla sa Sl. 4 i quadtree podelu stabla sa Sl. 3a do 3c, respektivno prema različitim izvođenjima;

Sl. 7 pokazuje dijagram toka koji pokazuje korake koje za izvodi ekstraktor toka podataka prema jednom izvođenju;

Sl. 8 pokazuje dijagram toka koji ilustruje funkcionalnost ekstraktora tokova podataka prema jednom drugom izvođenju;

Sl. 9a, b prikazuje šematske dijagrame ilustrativnih podela quadtree stabla sa susednim blokovima kandidatima za unapred određeni blok koji je istaknut prema jednom izvođenju;

Sl. 10 prikazuje dijagram toka funkcionalnosti ekstraktora tokova podataka u skladu sa jednim daljimizvođenjem;

Sl. 11 šematski prikazuje kompoziciju slike van ravni i grupa ravni i ilustruje kodiranje korišćenjem adaptacije/predviđanja među ravnima prema jednom izvođenju;

Sl. 12a i 12b šematski ilustruju strukturu podstabla i odgovarajuću podelu da bi ilustrovale šemu nasleđivanja prema jednom izvođenju;

Sl. 12c i 12d šematski ilustruju strukturu podstabla da bi ilustrovale šemu nasleđivanja sa usvajanjem i predviđanjem, respektivno, prema izvođenjima;

Sl. 13 prikazuje dijagram toka koji pokazuje korake koje izvodi enkoder koji realizuje šemu nasleđivanja prema jednom izvođenju;

Sl. 14a i 14b prikazuju primarnu podelu i podređenu podelu da bi ilustrovale mogućnost implementacije šeme nasleđivanja u vezi sa inter predviđanjem prema jednom izvođenju;

Sl. 15 prikazuje blok dijagram koji ilustruje proces dekodiranja u vezi sa šemom nasleđivanja prema jednom izvođenju;

Sl. 16 prikazuje šematski dijagram koji ilustruje redosled skeniranja među podregionima multitree podele prema jednom izvođenju, pri čemu su podregioni predmet intra predviđanja;

Sl. 17a,b prikazuju šematske dijagrame koji ilustruju različite mogućnosti podela prema daljim izvođenjima.

[0031] U opisu Slika koji sledi, elementi koji se javljaju na nekoliko od ovih Slika označeni su zajedničkim pozivnim oznakama i izbegava se ponovljeno objašnjenje ovih elemenata. Umesto toga, objašnjenja u vezi sa elementom predstavljenim u okviru jedne slike će se primeniti i na druge Slike u kojima se taj element pojavljuje sve dok objašnjenje predstavljeno ovim drugim Slikama ukazuje na odstupanja od toga.

[0032] Dalje, opis koji sledi počinje sa izvođenjem enkodera i dekodera koji su objašnjeni u odnosu na Sl. 1 do 11. Izvođenja opisana u odnosu na ove Slike kombinuju mnoge aspekte ove prijave što bi, međutim, takođe imalo prednosti ako bi se implementiralo pojedinačno u okviru šeme kodiranja, te se shodno tome, u pogledu kasnijih Slika, ukratko razmatraju izvođenja u kojima se primenjuju upravo pomenuti aspekti pojedinačno na svakom od ovih izvođenja, što predstavlja apstrakciju izvođenja opisanih u odnosu na Sl. 1 i 11 u drugačijem smislu.

[0033] Sl. 1 prikazuje enkoder u skladu sa jednim izvođenjem ovog pronalaska. Enkoder 10 na Sl. 1 sadrži prediktor 12, rezidualni predkoder 14, rezidualni rekonstruktor 16, ubacivač 18 toka podataka i razdelnik 20 blokova. Enkoder 10 služi za kodiranje vremenskog prostorno uzorkovanog signala informacija u tok 22 podataka. Vremenski prostorno uzorkovani informacioni signal može biti, na primer, video zapis, tj. sekvenca slika. Svaka slika predstavlja niz uzoraka slika. Drugi primeri vremenskih prostorno informacionih signala obuhvataju, na primer, dubinske slike snimljene, na primer, time-of-light kamerama. Dalje, treba napomenuti da prostorno uzorkovani informacioni signal može sadržati više od jednog niza po frejmu ili vremenskoj oznaci, kao što je slučaj kod videa u boji koji sadrži, na primer, niz luma uzoraka zajedno sa dva niza hroma uzoraka po frejmu. Takođe je moguće da se brzina vremenskog uzorkovanja za različite komponente informacionog signala, tj. jačinu zvuka i boje, može razlikovati. Isto važi i za prostornu rezoluciju. Video takođe može biti praćen dodatnim prostorno uzorkovanim informacijama kao što su informacije o dubini ili transparentnosti. Opis koji sledi će se, međutim, fokusirati na obradu jednog od ovih nizova radi boljeg razumevanja glavnih problema ove prijave, a zatim se okreće bavljenju više od jedne ravni.

[0034] Enkoder 10 sa Sl. 1 je konfigurisan da kreira tok 22 podataka tako da elementi sintakse toka 22 podataka opisuju slike u granularnosti koja se nalazi između celih slika i pojedinačnih uzoraka slike. U tu svrhu, razdelnik 20 je konfigurisan da podeli svaku sliku 24 na jednostavno povezane regione 26 različitih veličina. U nastavku će se ovi regioni jednostavno zvati blokovi ili podregioni 26.

[0035] Kao što će biti detaljnije istaknuto u nastavku, razdelnik 20 koristi multitree podelu da bi podelio sliku 24 na blokove 26 različitih veličina. Da budemo još precizniji, specifična izvođenja navedena u nastavku u odnosu na Sl. 1 do 11 uglavnom koriste quadtree podelu. Kao što će takođe biti detaljnije objašnjeno u nastavku, razdelnik 20 može, interno, da bude povezan sa razdelnikom 28 za podelu slika 24 u upravo pomenute blokove 26, sa spajačem 30 koji omogućava kombinovanje grupa ovih blokova 26 da bi se dobila efektivna podela ili granularnost koja se nalazi između nepodeljene slike 24 i podele definisane razdelnikom 28.

[0036] Kao što je ilustrovano isprekidanim linijama na Sl. 1, prediktor 12, rezidualni prekoder 14, rezidualni rekonstruktor 16 i ubacivač 18 toka podataka rade na podelama slike definisanim razdelnikom 20. Na primer, kao što će biti istaknuto detaljnije u nastavku, prediktor 12 koristi podelu predviđanja definisanu razdelnikom 20 kako bi odredio za pojedinačne podregione podele predviđanja da li odgovarajući pod-region treba da bude predmet intra predviđanja slike ili inter predviđanja slike sa podešavanjem odgovarajućih parametara predviđanja za odgovarajući podregion u skladu sa izabranim režimom predviđanja.

[0037] Rezidualni prekoder 14, zbog toga, može da koristi zaostalu podelu slika 24 kako bi kodirao ostatak predviđanja slika 24 koje obezbeđuje prediktor 12. Kako rezidualni rekonstruktor 16 rekonstruiše ostatak iz elemenata sintakse koje izlaze iz rezidualnog predkodera 14, rezidualni rekonstruktor 16 takođe radi na upravo pomenutoj rezidualnoj podeli. Umetač 18 toka podataka može iskoristiti podele koje su upravo pomenute, tj. predviđanje i preostale podele, da bi odredio redosled umetanja i susedstva među elementima sintakse za umetanje elemenata sintakse koje izlaze iz rezidualnog predkodera 14 i prediktor 12 u tok 22 podataka pomoću, na primer, entropijskog kodiranja.

[0038] Kao što je prikazano na Sl. 1, enkoder 10 sadrži ulaz 32 gde originalni informacioni signal ulazi u enkoder 10. Oduzimač 34, rezidualni prekoder 14 i umetač 18 toka podataka su povezani u seriji redosledom navedenim između ulaza 32 i izlaza ubacivača18 toka podataka na kojem izlazi kodirani tok 22 podataka. Oduzimač 34 i rezidualni prekoder 14 su deo petlje za predviđanje koja je zatvorena rezidualnim rekonstruktorom 16, sabiračem 36 i prediktorom 12 koji su vezani na red u pomenutom redosledu između izlaza rezidualnog prekodera 14 i invertujućeg ulaza oduzimača 34. Izlaz prediktora 12 je takođe povezan sa sledećim ulazom sabirača 36. Dodatno, prediktor 12 sadrži ulaz direktno povezan sa ulazom 32 i može sadržati još i ulaz koji je takođe povezan sa izlazom sabirača 36 preko opcionog in-loop filtra 38. Dalje, prediktor 12 generiše sporedne informacije tokom rada i, prema tome, izlaz prediktora 12 je takođe povezan sa umetačem 18 toka podataka. Slično, razdelnik 20 sadrži izlaz koji je povezan sa drugim ulazom umetača 18 toka podataka.

[0039] Pošto je opisana struktura enkodera 10, način rada je detaljnije opisan u nastavku.

[0040] Kao što je gore opisano, razdelnik 20 odlučuje za svaku sliku 24 kako da je podeli na podregione 26. U skladu sa podelom slike 24 koja će se koristiti za predviđanje, prediktor 12 odlučuje za svaki podregion koji odgovara ovoj podeli, kako da predvidi odgovarajući podregion. Prediktor 12 šalje predviđanje podregiona na invertujući ulaz supstraktora 34 i na drugi ulaz sabirača 36 i šalje informacije o predviđanju koje odražavaju način na koji je prediktor 12 dobio ovo predviđanje iz prethodno kodiranih delova video zapisa, u umetač 18 toka podataka.

[0041] Na izlazu oduzimača 34, se tako dobija ostatak predviđanja pri čemu rezidualni prekoder 14 obrađuje ovaj ostatak predviđanja u skladu sa rezidualnom podelom koju takođe propisuje razdelnik 20. Kao što je detaljnije opisano u nastavku u vezi sa Sl. 3 do 10, zaostala podela slike 24 koju koristi rezidualni prekoder 14 može biti povezana sa podelom predviđanja koju koristi prediktor 12 tako da se svaka podregija predviđanja usvoji kao

1

rezidualna podregija ili dalje deli na manje rezidualne pod-regione. Međutim, potpuno nezavisno predviđanje i rezidualne podele bi takođe bile moguće.

[0042] Rezidualni prekoder 14 podvrgava svaki rezidualni podregion transformaciji iz prostornog u spektralni domen dvodimenzionalnom transformacijom praćenom, ili inherentno uključivanjem, kvantizacijom rezultujućih koeficijenata transformacije rezultujućih blokova transformacije pri čemu je izobličenje rezultat šum kvantizacije. Umetač 18 toka podataka može, na primer, bez gubitaka da kodira elemente sintakse koji opisuju gore pomenute koeficijente transformacije u tok 22 podataka korišćenjem, na primer, entropijskog kodiranja.

[0043] Rezidualni rekonstruktor 16, zbog toga, ponovo konvertuje, korišćenjem ponovne kvantizacije praćene ponovnom transformacijom, koeficijente transformacije u rezidualni signal pri čemu se rezidualni signal kombinuje unutar sabirača 36 sa predviđanjem koje koristi oduzimač 34 za dobijanje ostatka predviđanja, čime se dobija rekonstruisani deo ili podregija trenutne slike na izlazu sabirača 36. Prediktor 12 može koristiti rekonstruisanu podregiju slike za intra predviđanje direktno, odnosno za predviđanje određene podregione predviđanja ekstrapolacijom iz prethodno rekonstruisanog predviđanja podregiona u susedstvu. Međutim, intra predviđanje izvedeno unutar spektralnog domena predviđanjem spektra trenutnog podregiona od spektra susednog, takođe bi teoretski bilo moguće.

[0044] Za inter predviđanje, prediktor 12 može da koristi prethodno kodirane i rekonstruisane slike u verziji prema kojoj su iste filtrirane opcionim filtrom u petlji 38. Filter u petlji 38 može, na primer, da sadrži filter deblokiranja ili adaptivni filter koji ima funkciju prenosa prilagođenu da povoljno formira prethodno pomenuti šum kvantizacije.

[0045] Prediktor 12 bira parametre predviđanja otkrivajući način predviđanja određenog podregiona predviđanja korišćenjem poređenja sa originalnim uzorcima u okviru slike 24. Parametri predviđanja mogu, kao što je detaljnije istaknuto u nastavku, sadržati za svaku podregiju predviđanja indikaciju režima predviđanja, kao što je predviđanje unutar slike i predviđanje među slikama. U slučaju predviđanja unutar slike, parametri predviđanja mogu takođe sadržati indikaciju ugla pod kojim se uglavnom protežu ivice unutar podregiona predviđanja koje se intra predviđaju, a u slučaju predviđanja među slikama, vektore pokreta, indekse filmskih slika i, eventualno, parametre transformacije kretanja višeg reda i, u slučaju intra i/ili inter predviđanja slike, opcione informacije o filtru za filtriranje rekonstruisanih uzoraka slike na osnovu kojih se predviđa trenutna podregija predviđanja.

[0046] Kao što će biti detaljnije istaknuto u nastavku, gore pomenute podele definisane razdelnikom 20 značajno utiču na odnos brzina-izobličenja koji se maksimalno može postići pomoću rezidualnog prekodera 14, prediktora 12 i umetača 18 toka podataka. U slučaju previše fine podele, parametri 40 predviđanja koji izlaze iz prediktora 12 koji treba da se umetnu u tok 22 podataka zahtevaju preveliku brzinu kodiranja iako bi predviđanje dobijeno od prediktora 12 moglo biti bolje, a preostali signal koji treba kodirati rezidualnim prekoderom 14 mogao biti manji tako da to isti može biti kodiran sa manje bitova. U slučaju suviše grube podele, važi suprotno. Dalje, upravo pomenuta misao važi i za zaostalu podelu na sličan način: transformacija slike koristeći finiju granularnost pojedinačnih transformacionih blokova dovodi do manje složenosti za izračunavanje transformacija i povećane prostorne rezolucije rezultirajuće transformacija. To jest, manji rezidualni podregioni omogućavaju da spektralna distribucija sadržaja unutar pojedinačnih rezidualnih podregiona bude konzistentnija. Međutim, spektralna rezolucija je smanjena i odnos između značajnih i beznačajnih, odnosno kvantizovanih na nulu, koeficijenata se pogoršava. To jest, granularnost transformacije treba da se prilagodi sadržaju slike lokalno. Pored toga, nezavisno od pozitivnog efekta finije granularnosti, finija granularnost redovno povećava količinu sporednih informacija neophodnih da bi se dekoderu ukazao na izabranu potpodelu. Kao što će biti detaljnije istaknuto u nastavku, izvođenja opisana u nastavku daju koderu 10 mogućnost da veoma efikasno prilagodi podele na sadržaj informacionog signala koji treba da se kodira i da signalizira podele koje treba koristiti na strani dekodiranja tako što daje instrukcije uređaju za umetanje toka podataka 18 da ubaci informacije o podelama u kodirani tok 22 podataka. Detalji su predstavljeni u nastavku.

[0047] Međutim, pre detaljnijeg definisanja podele razdelnika 20, dekoder u skladu sa jednim izvođenjem ove prijave je detaljnije opisan u odnosu na Sl. 2.

[0048] Dekoder sa Sl. 2 je označen pozivnom oznakom 100 i sadrži ekstraktor 102, razdelnik 104, rezidualni rekonstruktor 106, sabirač 108, prediktor 110, opcioni filter 112 u petlji i opcioni post-filter 114. Ekstraktor 102 prima kodirani tok podataka na ulazu 116 dekodera 100 i izvlači iz kodiranog toka podataka informacije 118 o podeli, parametre predviđanja 120 i rezidualne podatke 122 koje ekstraktor 102 šalje u razdelnik 104 slike, prediktor 110 i rezidualni rekonstruktor 106, respektivno. Rezidualni rekonstruktor 106 ima izlaz povezan sa prvim ulazom sabirača 108. Drugi ulaz sabirača 108 i njegov izlaz su povezani u petlju predviđanja u kojoj su opcioni in-loop filer 112 i prediktor 110 povezani redno u pomenutom redosledu sa obilaznom putanjom koja vodi od izlaza sabirača 108 do prediktora 110 direktno, slično gore pomenutim vezama između sabirača 36 i prediktora 12 sa Sl. 1, naime jedan za predviđanje unutar slike i drugi za predviđanje među slikama. Bilo koji od izlaza, bilo sabirača 10 ili filtra 112 u petlji može biti povezan sa izlazom 124 dekodera 100 gde se rekonstruisani informacioni signal šalje ka uređaju za reprodukciju, na primer. Opcioni postfilter 114 može biti povezan u putanju koja vodi do izlaza 124 da bi se poboljšao vizuelni kvalitet vizuelnog utiska rekonstruisanog signala na izlazu 124.

[0049] Uopšteno govoreći, rezidualni rekonstruktor 106, sabirač 108 i prediktor 110 deluju kao elementi 16, 36 i 12 na Sl. 1. Drugim rečima, isti emuliraju rad gore navedenih elemenata sa Sl. 1. U tom cilju, rezidualni rekonstruktor 106 i prediktor 110 se kontrolišu parametrima predviđanja 120 i podelom propisanim razdelnikom 104 slike u skladu sa informacijom 118 o podeli iz ekstraktora 102, respektivno, kako bi se predvideli podregioni predviđanja na isti način kao što je prediktor 12 uradio ili odlučio da uradi, i da ponovo transformiše koeficijente transformacije primljene pri istoj granularnosti kao što je uradio rezidualni predkoder 14. Razdelnik slike 104, zbog toga, ponovo gradi podele koje je izabrao razdelnik 20 sa Sl. 1 na sinhronizovan način oslanjajući se na informacije 118 o podelama. Ekstraktor može da koristi, zbog toga, informacije o podelama da bi kontrolisao ekstrakciju podataka, kao što su izbor konteksta, određivanje susedstva, procena verovatnoće, raščlanjivanje sintakse toka podataka itd.

[0050] Nekoliko odstupanja se može izvesti na gornjim izvođenjima. Neka su pomenuti u okviru sledećeg detaljnog opisa u odnosu na podelu izvršenu od strane razdelnika 28 i spajanja izvršenog spajačem 30, a drugi su opisani u odnosu na sledeće Sl. 12 do 16. U odsustvu bilo kakvih prepreka, sva ova odstupanja mogu se pojedinačno ili u podskupovima primeniti na gore pomenuti opis Sl. 1 i Sl. 2, respektivno. Na primer, razdeliću 20 i 104 mogu ne samo da odrede podelu predviđanja i preostalu podelu po slici. Oni takođe mogu odrediti filtersku podelu opcionog filtra 38 i 112 u petlji, respektivno, bilo nezavisno od ili zavisno od drugih podela za predviđanje ili rezidualnog kodiranja, respektivno. Štaviše, određivanje podele ili podela prema ovim elementima ne može se obavljati na principu slika po slika.

Umesto toga, podela ili podele određene za određenu sliku mogu se ponovo koristiti ili usvojiti za određeni broj narednih slika sa samo potom prenošenjem nove podele.

[0051] U obezbeđivanju dodatnih detalja u vezi sa podelom slika na podregije, sledeći opis se prvo fokusira na deo podela za koji razdelnik 28 i 104a preuzimaju odgovornost. Zatim je opisan proces spajanja za koji su odgovorni spajač 30 i spajač 104b. Na kraju, opisana je adaptacija/predviđanje među ravnima.

[0052] Način na koji razdelnik 28 i 104a dele slike je takav da se slika može podeliti na niz blokova moguće različitih veličina u svrhu prediktivnog i rezidualnog kodiranja slike ili video podataka. Kao što je ranije pomenuto, slika 24 može biti dostupna kao jedan ili više nizova vrednosti uzorka slike. U slučaju YUV/YCbCr prostora boja, na primer, prvi niz može predstavljati luma kanal, dok druga dva niza predstavljaju hroma kanale. Ovi nizovi mogu imati različite dimenzije. Svi nizovi mogu biti grupisani u jednu ili više grupa ravni, pri čemu se svaka grupa ravni sastoji od jedne ili više uzastopnih ravni tako da je svaka ravan sadržana u jednoj i samo jednoj grupi ravni. Za svaku grupu ravni važi sledeće. Prvi niz određene grupe ravni se može nazvati primarnim nizom ove grupe ravni. Mogući nizovi koji slede su podređeni nizovi. Blokovska podela primarnog niza može se izvršiti na osnovu pristupa quadtree stabla kao što je opisano u nastavku. Blokovska podela podređenih nizova može biti izvedena na osnovu podele primarnog niza.

[0053] U skladu sa izvođenjima opisanim u nastavku, razdelnici 28 i 104a su konfigurisani da podele primarni niz na više kvadratnih blokova jednake veličine, takozvanih blokova stabla u nastavku. Dužina ivice blokova stabala je tipično stepen broja dva, kao što su 16, 32 ili 64 kada se koriste quadtree stabla. Radi kompletnosti, međutim, napominje se da bi bila moguća i upotreba drugih vrsta stabala, kao što su binarna stabla ili stabla sa bilo kojim brojem listova. Štaviše, broj dece stabla može da varira u zavisnosti od nivoa stabla i u zavisnosti od toga koji signal stablo predstavlja.

[0054] Pored ovoga, kao što je gore pomenuto, niz uzoraka može takođe predstavljati druge informacije osim video sekvenci, kao što su mape dubine ili svetlosna polja, respektivno. Radi jednostavnosti, sledeći opis se fokusira na quadtree stablo kao reprezentativni primer za multitree stabla. Quadtree stabla su stabla koja imaju tačno četiri deteta u svakom unutrašnjem čvoru. Svaki od blokova stabla čini primarno quadtree stablo zajedno sa podređenim quadtree stablima na svakom od listova primarnog quadtree stabla. Primarno quadtree stablo određuje podelu datog bloka stabla za predviđanje, dok podređeno quadtree stablo određuje podelu datog bloka predviđanja u svrhu rezidualnog kodiranja.

[0055] Čvor korena primarnog quadtree stabla odgovara punom bloku stabla. Na primer, Sl.

3a prikazuje blok stabla 150. Treba podsetiti da je svaka slika podeljena na pravilnu mrežu linija i kolona takvih blokova 150 tako da isti, na primer, bez praznina pokrivaju niz uzoraka. Međutim, treba napomenuti da za sve blokovske podele prikazane u nastavku, besprekorna podela bez preklapanja nije kritična. Umesto toga, susedni blok se može preklapati jedan sa drugim sve dok nijedan blok lista nije odgovarajući pravi deo susednog bloka lista.

[0056] Duž quadtree strukture za blok stabla 150, svaki čvor se dalje može podeliti na četiri podređena čvora, što u slučaju primarnog quadtree stabla znači da svaki blok 150 stabla može biti podeljen na četiri podbloka sa polovinom širine i polovinom visine bloka 150 stabla. Na Sl. 3a, ovi podblokovi su označeni pozivnim oznakama 152a do 152d. Na isti način, svaki od ovih podblokova se dalje može podeliti na četiri manja podbloka sa polovinom širine i

1

polovinom visine originalnih podblokova. Na Sl. 3d ovo je prikazano kao primer za podblok 152c koji je dalje podeljen na četiri mala podbloka 154a do 154d. Utoliko, Sl. 3a do 3c pokazuju primer kako se blok stabla 150 prvo deli na svoja četiri podbloka 152a do 152d, zatim se donji levi podblok 152c dalje deli na četiri mala podbloka 154a do 154d i na kraju, kao što je prikazano na Sl. 3c, gornji desni blok 154b ovih manjih podblokova je još jednom podeljen na četiri bloka od jedne osmine širine i visine originalnog bloka stabla 150, pri čemu su ovi još manji blokovi označeni sa 156a do 156d.

[0057] Sl. 4 prikazuje osnovnu strukturu stabla na primeru quadtree bazirane podele kao što je prikazano na Sl. 3a-3d. Brojevi pored čvorova stabla su vrednosti takozvanog flega podele, koji će biti detaljnije objašnjen kasnije kada se bude govorilo o signalizaciji quadtree strukture. Čvor korena quadtree stabla je prikazan na vrhu slike (označen sa "Nivo 0"). Granama (kojih ima četiri) na nivou 1 ovog korenskog čvora odgovaraju četiri podbloka kao što je prikazano na Sl. 3a. Kako je treći od ovih podblokova dalje podeljen na svoja četiri podbloka na Sl. 3b, treći čvor na nivou 1 na Sl. 4 takođe ima četiri grane. Ponovo, u skladu sa podelom drugog (gore desno) podređenog čvora na Sl. 3c, postoje četiri podgrane povezane sa drugim čvorom na nivou 2 quadtree hijerarhije. Čvorovi na nivou 3 se dalje ne dele.

[0058] Svaki list primarnog quadtree stabla odgovara bloku promenljive veličine za koji se mogu specificirati pojedinačni parametri predviđanja (tj., intra ili inter, režim predviđanja, parametri kretanja, itd.). U nastavku se ovi blokovi nazivaju blokovi predviđanja. Konkretno, ovi blokovi listova su blokovi prikazani na Sl. 3c. Uz kratko vraćanje na opis Sl. 1 i 2, razdelnik 20 ili razdelnik 28 određuje quadtree podelu kao što je upravo objašnjeno. Razdelnik 152a-d donosi odluku koji će od blokova 150 stabla, podblokova 152a-d, malih podblokova 154a-d i tako dalje, da se dalje podeli ili particioniše, sa ciljem da pronađe optimalan kompromis između predviđanja suviše fine podele i suviše grube podele kao što je već gore navedeno. Prediktor 12, zbog toga, koristi propisanu podelu predviđanja da bi odredio gore pomenute parametre predviđanja u granularnosti u zavisnosti od podele predviđanja ili za svaki od podregiona predviđanja predstavljenih blokovima prikazanim na Sl. 3c, na primer.

[0059] Blokovi za predviđanje prikazani na Sl. 3c mogu se dalje podeliti na manje blokove u svrhu rezidualnog kodiranja. Za svaki blok predviđanja, tj., za svaki čvor lista primarnog quadtree stabla, odgovarajuća podela je određena jednim ili više podređenih quadtree stabla(stabala) za rezidualno kodiranje. Na primer, kada je dozvoljena maksimalna veličina rezidualnog bloka od 16x16, dati blok predviđanja veličine 32×32 može se podeliti na četiri 16×16 blokova, od kojih je svaki određen podređenim quadtree stablom za rezidualno kodiranje. Svaki 16×16 blok u ovom primeru odgovara čvoru korena podređenog quadtree stabla.

[0060] Baš kao što je opisano za slučaj podele datog bloka stabla na blokove za predviđanje, svaki blok za predviđanje se može podeliti na određeni broj preostalih (rezidualnih) blokova korišćenjem podređene(-ih) quadtree dekompozicije(a). Svaki list podređenog quadtree stabla odgovara zaostalom (rezidualnom) bloku za koji se mogu specificirati pojedinačni parametri rezidualnog kodiranja (tj., mod transformacije, koeficijenti transformacije, itd.) pomoću rezidualnog prekodera 14 čiji parametri rezidualnog kodiranja kontrolišu, tako, rezidualne rekonstruktore 16 i 106, respektivno.

[0061] Drugim rečima, razdelnik 28 može biti konfigurisan da za svaku sliku ili za svaku grupu slika odredi podelu predviđanja i podređenu preostalu podelu tako što prvo podeli sliku na pravilan raspored blokova stabla 150, rekurzivno particionišući podskup ovih blokova stabala prema quadtree podeli da bi se dobila podela predviđanja na blokove predviđanja -koji mogu biti blokovi stabala ako se nije izvršilo particionisanje u odgovarajućem bloku stabla, ili blokovi listova quadtree podele - sa daljim deljenjem podskupa ovih blokova za predviđanje na sličan način, ako je blok predviđanja veći od maksimalne veličine podređene rezidualne podele, prvo deljenjem odgovarajućeg bloka predviđanja u regularan raspored podblokova stabala, a zatim deljenjem podskupa ovih pod-blokova u skladu sa procedurom quadtree podele kako bi se dobili preostali blokovi - koji mogu biti blokovi predviđanja ako se nije desila ni jedna podela na blokove u odgovarajućem bloku za predviđanje, pod-blokovi stabla ako se nije desila nijedna podela na još manje regione u odgovarajućem pod-bloku stabla, ili blokovi listova zaostale quadtree podele.

[0062] Kao što je ukratko gore navedeno, podele izabrane za primarni niz se mogu mapirati na podređene nizove. Ovo je lako kada se razmatraju podređeni nizovi istih dimenzija kao primarni niz. Međutim, posebne mere se moraju preduzeti kada se dimenzije podređenih nizova razlikuju od dimenzija primarnog niza. Uopšteno govoreći, mapiranje podele primarnog niza na podređene nizove u slučaju različitih dimenzija može se izvršiti prostornim mapiranjem, odnosno prostornim mapiranjem granica blokova podele primarnog niza na podređene nizove. Konkretno, za svaki podređeni niz može postojati faktor skaliranja u horizontalnom i vertikalnom pravcu koji određuje odnos dimenzije primarnog niza i podređenog niza. Podela podređenog niza na podblokove za predviđanje i rezidualno kodiranje može biti određena primarnim quadtree stablom i podređenim quadtree stablom(stablima) svakog od raspoređenih blokova stabla primarnog niza, respektivno, sa rezultujućim blokovima stabla podređenog niza skaliranim relativnim faktorom skaliranja. U slučaju da se faktori skaliranja u horizontalnom i vertikalnom pravcu razlikuju (npr. kao u hroma poduzorkovanju 4:2:2), rezultirajuće predviđanje i rezidualni blokovi podređenog niza više ne bi bili kvadrati. U ovom slučaju, moguće je ili unapred odrediti ili adaptivno izabrati (bilo za celu sekvencu, jednu sliku van niza ili za svaki pojedinačni predviđeni ili rezidualni blok) da li će nekvadratni rezidualni blok biti podeljen na kvadratne blokove. U prvom slučaju, na primer, enkoder i dekoder bi mogli da se dogovore o podeli na kvadratne blokove svaki put kada mapirani blok nije kvadrat. U drugom slučaju, razdelnik 28 bi mogao da signalizira izbor preko umetača 18 toka podataka i toka 22 podataka do razdelnika 104a. Na primer, u slučaju hroma poduzorkovanja 4:2:2, gde podređeni nizovi imaju polovinu širine, ali istu visinu kao primarni niz, preostali blokovi bi imali dvostruko veću visinu od širine. Vertikalnim cepanjem ovog bloka, dobijaju se ponovo dva kvadratna bloka.

[0063] Kao što je gore pomenuto, razdelnik 28 ili razdelnik 20, respektivno, signaliziraju quadtree podelu preko toka 22 podataka do razdelnika 104a. U tu svrhu, razdelnik 28 obaveštava umetač 18 toka podataka o podelama izabranim za slike 24. Umetač toka podataka, zbog toga, šalje strukturu primarnog i sekundarnog quadtree stabla, i, prema tome, podelu niza slika u blokove promenljive veličine za predviđanje ili rezidualno kodiranje unutar toka podataka ili toka 22 bitova, respektivno, na stranu za dekodiranje.

[0064] Minimalne i maksimalne dozvoljene veličine bloka se prenose kao sporedne informacije i mogu se menjati od slike do slike. Ili, minimalne i maksimalne dozvoljene veličine bloka se mogu fiksirati u koderu i dekoderu. Ove minimalne i maksimalne veličine bloka mogu biti različite za blokove predviđanja i rezidualne blokove. Za signalizaciju quadtree structure, quadtree stablo se mora preći, i za svaki čvor se mora specificirati da li je ovaj konkretan čvor lista quadtree stabla (tj. odgovarajući blok se dalje ne deli) ili se grana na

1

svoja četiri podređena čvora (tj. odgovarajući blok je podeljen na četiri podbloka sa upola manjom veličinom).

[0065] Signalizacija u okviru jedne slike se vrši blok po blok stabla u rasterskom redosledu skeniranja, kao što je s leva na desno i odozgo nadole kao što je ilustrovano na Sl. 5a na 140. Ovaj redosled skeniranja takođe može biti drugačiji, kao od donjeg desnog do gore levo ili u smislu šahovske table. U preferiranom izvođenju, svaki blok stabla, a time i svako quadtree stablo se prelazi redosledom prvo po dubini za signalizaciju informacija o podelama.

[0066] U preferiranom izvođenju, ne samo informacije o podelama, tj. strukturi stabla, već i podaci predviđanja itd., tj. korisni teret povezan sa lisnim čvorovima stabla, se prenose/obrađuju u redosledu prvo po dubini. Ovo se radi zato što redosled prelaska prvo po dubini ima velike prednosti u odnosu redosled prelaska prvo po širini. Na Sl. 5b, predstavljena je quadtree struktura sa čvorovima lista označenim kao a,b,...,j. Sl. 5a prikazuje rezultujuću blokovsku podelu. Ako se blokovski/lisni čvorovi prelaze redosledom prvo po širini, dobijamo sledeći redosled: abjchidefg. U redosledu prelaska prvo po dubini, međutim, redosled je abc...ij. Kao što se može videti na Sl. 5a, u redosledu prelaska prvo po dubini, levi susedni blok i gornji susedni blok se uvek prenose/obrađuju pre trenutnog bloka. Prema tome, predviđanje vektora kretanja i modeliranje konteksta uvek mogu koristiti parametre specificirane za levi i gornji susedni blok kako bi se postigle poboljšane performanse kodiranja. Na primer, za redosled prelaska prvo po širini, to ne bi bio slučaj, pošto se blok j prenosi pre blokova e, g i i. Shodno tome, signalizacija za svaki blok stabla se vrši rekurzivno duž quadtree strukture primarnog quadtree stabla tako da se za svaki čvor prenosi fleg koji specificira da li je odgovarajući blok podeljen na četiri podbloka. Ako ovaj fleg ima vrednost "1" (za "tačno"), onda se ovaj proces signalizacije ponavlja rekurzivno za sva četiri podređena čvora, tj., podbloka u rasterskom poretku skeniranja (gore levo, gore desno, dole levo, dole desno) sve dok se ne dođe do čvora lista primarnog quadtree stabla. Treba uočiti da je čvor lista karakterističan po tome što njegov fleg podele ima vrednost "0". U slučaju da se čvor nalazi na najnižem hijerarhijskom nivou primarnog quadtree stabla i na taj način odgovara najmanjoj dozvoljenoj veličini bloka predviđanja, fleg podele ne treba da se prenosi. Na primer na Sl. 3a-c, prvo bi se prenela "1", kao što je prikazano na 190 na Sl. 6a, specificirajući da je blok 150 stabla podeljen na svoja četiri podbloka 152a-d. Zatim bi se rekurzivno kodirale informacije o podelama sva četiri podbloka 152a-d u rasterskom poretku skeniranja 200. Za prva dva podbloka 152a, b bi se prenela "0", specificirajući da nisu podeljeni (videti 202 na Sl. 6a). Za treći podblok 152c (dole levo), prenosiće se "1", navodeći da je ovaj blok podeljen (videti 204 na Sl. 6a). Sada, prema rekurzivnom pristupu, četiri podbloka 154a-d ovog bloka bi bila obrađena. Ovde bi se prenosila "0" za prvi (206) i "1" za drugi (gore desno) podblok (208). Sada bi bila obrađena četiri bloka najmanje veličine bloka 156a-d na Sl. 3c. U slučaju da smo već dostigli najmanju dozvoljenu veličinu bloka u ovom primeru, ni jedan više podatak ne bi trebalo da se prenosi, pošto dalje podela nije moguća. U suprotnom, "0000", specificirajući da nijedan od ovih blokova nije dalje podeljen, bi se prenelo kao što je prikazano na Sl. 6a na 210. Nakon toga, prenelo bi se "00" za dva donja bloka na Sl. 3b (videti 212 na Sl. 6a), i konačno "0" za donji desni blok na Sl. 3a (videti 214). Dakle, kompletan binarni niz koji predstavlja quadtree strukturu bio bi onaj prikazan na Sl. 6a.

[0067] Različita senčenja pozadine u ovoj predstavi binarnog niza na Sl. 6a odgovaraju različitim nivoima u hijerarhiji zasnovane na quadtree podeli. Senčenje 216 predstavlja nivo 0 (koji odgovara veličini bloka jednakoj veličini originalnog bloka stabla), senčenje 218 predstavlja nivo 1 (odgovara veličini bloka jednakoj polovini originalne veličine bloka stabla), senčenje 220 predstavlja nivo 2 (odgovara veličini bloka jednakoj jednoj četvrtini

1

veličine originalnog bloka stabla), a senčenje 222 predstavlja nivo 3 (koji odgovara veličini bloka jednakoj jednoj osmini veličine originalnog bloka stabla). Sve flegovi podela istog nivoa hijerarhije (koji odgovaraju istoj veličini bloka i istoj boji u primeru reprezentacije binarnog niza) mogu biti entropijski kodirani korišćenjem jednog te istog modela verovatnoće pomoću umetača 18, na primer.

[0068] Treba uočiti da bi u slučaju redosleda prelaska prvo u širinu, informacije o podelama bile prenete drugačijim redosledom, prikazanim na Sl. 6b.

[0069] Slično podeli svakog bloka stabla u svrhu predviđanja, podela svakog rezultujućeg bloka predviđanja na preostale blokove mora da se prenese pomoću toku bitova. Takođe, može postojati maksimalna i minimalna veličina bloka za rezidualno kodiranje što se prenosi kao sporedna informacija i što se može menjati od slike do slike. Ili maksimalna i minimalna veličina bloka za rezidualno kodiranje može se fiksirati u koderu i dekoderu. Na svakom čvoru lista primarnog quadtree stabla, kao što je prikazano na Sl. 3c, odgovarajući blok predviđanja može biti podeljen na rezidualne blokove maksimalne dozvoljene veličine. Ovi blokovi su sastavni čvorovi korena podređene strukture quadtree stabla za rezidualno kodiranje. Na primer, ako je maksimalna veličina rezidualnog bloka za sliku 64×64 i ako je blok za predviđanje veličine 32x32, onda bi ceo blok predviđanja odgovarao jednom podređenom (rezidualnom) čvoru korena quadtree stabla veličine 32x32. S druge strane, ako je maksimalna veličina rezidualnog bloka za tu sliku 16×16, tada bi se blok predviđanja veličine 32×32 sastojao od četiri rezidualna čvora korena quadtree stabla, svaki veličine 16×16. Unutar svakog bloka predviđanja, signalizacija podređene strukture quadtree stabla se vrši čvor po čvor korena u rasterskom poretku skeniranja (sleva na desno, odozgo nadole). Kao i u slučaju primarne quadtree strukture (predviđanja), za svaki čvor je kodiran fleg koji specificira da li je ovaj određeni čvor podeljen na svoja četiri podređena čvora. Zatim, ako ovaj fleg ima vrednost "1", ova procedura se ponavlja rekurzivno za sva četiri odgovarajuća podređena čvora i njegove odgovarajuće podblokove u redosledu skeniranja rastera (gore levo, gore desno, dole levo, dole desno) sve dok se ne dođe do čvora lista podređenog quadtree stabla. Kao i u slučaju primarnog quadtree stabla, nije potrebna signalizacija za čvorove na najnižem hijerarhijskom nivou podređenog stabla, pošto ti čvorovi odgovaraju blokovima najmanje moguće veličine rezidualnog bloka, koji se ne mogu dalje deliti.

[0070] Za entropijsko kodiranje, flegovi podele rezidualnih blokova koji pripadaju rezidualnim blokovima iste veličine bloka mogu se kodirati korišćenjem jednog te istog modela verovatnoće.

[0071] Dakle, u skladu sa primerom koji je gore predstavljen u odnosu na Sl. 3a do 6a, razdelnik 28 je definisao primarnu podelu za svrhe predviđanja i podređenu podelu blokova različitih veličina primarne podele za potrebe rezidualnog kodiranja. Umetač 18 toka podataka je kodirao primarnu podelu signalizirajući za svaki blok stabla u cik-cak redosledu skeniranja, sekvencu bitova izgrađenu u skladu sa Sl. 6a zajedno sa kodiranjem maksimalne veličine primarnog bloka i maksimalnog hijerarhijskog nivoa primarne podele. Za svaki ovako definisan blok predviđanja, pridruženi parametri predviđanja su uključeni u tok podataka. Pored toga, kodiranje sličnih informacija, tj. maksimalne veličine, maksimalnog nivoa hijerarhije i sekvence bitova, u skladu sa Sl. 6a, obavljeno je za svaki blok predviđanja čija je veličina bila jednaka ili manja od maksimalne veličine za rezidualnu podelu i za svaki rezidualni blok korena stabla u koji su unapred podeljeni blokovi za predviđanje čija je veličina premašila maksimalnu veličinu definisanu za rezidualne blokove. Za svaki ovako definisan rezidualni blok, preostali podaci se ubacuju u tok podataka.

1

[0072] Ekstraktor 102 izdvaja odgovarajuće sekvence bitova iz toka podataka na ulazu 116 i obaveštava razdelnik 104 o tako dobijenim informacijama o podeli. Osim toga, umetač 18 toka podataka i ekstraktor 102 mogu da koriste gore pomenuti redosled između blokova predviđanja i rezidualnih blokova da bi preneli dalje elemente sintakse kao što su rezidualni podaci koji izlaze iz rezidualnog prekodera 14 i parametara predviđanja koji izlaze iz prediktora 12. Korišćenje ovog redosleda ima prednosti u tome što se adekvatni konteksti za kodiranje pojedinačnih elemenata sintakse za određeni blok mogu izabrati korišćenjem već kodiranih/dekodiranih elemenata sintakse susednih blokova. Štaviše, slično, rezidualni prekoder 14 i prediktor 12, kao i rezidualni rekonstruktor 106 i prekoder 110 mogu obraditi pojedinačne blokove predviđanja i rezidualne blokove gore navedenim redosledom.

[0073] Sl. 7 prikazuje dijagram toka koraka, koje može da izvede ekstraktor 102 kako bi se izdvojile informacije o podelama iz toka 22 podataka kada su kodirane na način kako je gore navedeno. U prvom koraku, ekstraktor 102 deli sliku 24 na blokove korena stabla 150. Ovaj korak je označen kao korak 300 na Sl. 7. Korak 300 može uključivati ekstraktor 102 koji izdvaja maksimalnu veličinu bloka predviđanja iz toka 22 podataka. Dodatno ili alternativno, korak 300 može uključiti ekstraktor 102 koji izdvaja maksimalni hijerarhijski nivo iz toka 22 podataka.

[0074] Sledeće, u koraku 302, ekstraktor 102 dekodira fleg ili bit iz toka podataka. Prvi vremenski korak 302 se izvodi, ekstraktor 102 zna da je odgovarajući fleg prvi fleg sekvence bitova koja pripada prvom bloku 150 korena stabla u redosledu 140 skeniranja bloka korena stabla. Pošto je ovaj fleg fleg nivoa hijerarhije 0, ekstraktor 102 može da koristi modeliranje konteksta povezano sa tim nivoom hijerarhije 0 u koraku 302 da bi odredio kontekst. Svaki kontekst može imati odgovarajuću procenu verovatnoće za entropijsko dekodiranje flega koji je sa njim povezan. Procena verovatnoće konteksta može se individualno prilagoditi za odgovarajuću statistiku simbola konteksta. Na primer, da bi se odredio odgovarajući kontekst za dekodiranje oznake nivoa hijerarhije 0 u koraku 302, ekstraktor 102 može da izabere jedan kontekst iz skupa konteksta, koji je povezan sa tim nivoom hijerarhije 0 u zavisnosti od oznake hijerarhijskog nivoa 0 flega iz susednih blokova stabla, ili čak dalje, u zavisnosti od informacija sadržanih u nizovima bitova koji definišu quadtree podelu susednih blokova stabla trenutno obrađenog bloka stabla, kao što su gornji i levi susedni blok stabla.

[0075] U sledećem koraku, odnosno koraku 304, ekstraktor 102 proverava da li nedavno dekodiran fleg sugeriše particionisanje. Ako je to slučaj, ekstraktor 102 deli trenutni blok -trenutno blok stabla - ili ukazuje na ovo particionisanje razdelniku 104a u koraku 306 i proverava, u koraku 308, da li je trenutni hijerarhijski nivo bio jednak maksimalnom hijerarhijskom nivou minus jedan. Na primer, ekstraktor 102 bi, na primer, takođe mogao da ima maksimalni hijerarhijski nivo ekstrahovan iz toka podataka u koraku 300. Ako je trenutni hijerarhijski nivo nejednak maksimalnom hijerarhijskom nivou minus jedan, ekstraktor 102 povećava trenutni hijerarhijski nivo za 1 u koraku 310 i vraća se na korak 302 da bi dekodirao sledeći fleg iz toka podataka. Ovog puta, flegovi koji se dekodiraju u koraku 302 pripadaju drugom hijerarhijskom nivou i, prema tome, u skladu sa jednim izvođenjem, ekstraktor 102 može izabrati jedan od različitih skupova konteksta, skup koji pripada trenutnom hijerarhijskom nivou. Izbor se takođe može zasnivati na sekvencama bitova podele prema Sl.

6a susednih blokova stabla koji su već dekodirani.

[0076] Ako je fleg dekodiran, a provera u koraku 304 otkriva da ovaj fleg ne sugeriše particionisanje trenutnog bloka, ekstraktor 102 nastavlja sa korakom 312 da proveri da li je

1

trenutni hijerarhijski nivo 0. Ako je ovo slučaj, tada ekstraktor 102 nastavlja obradu u odnosu na sledeći blok korena stabla u redosledu skeniranja 140 u koraku 314 ili zaustavlja obradu ekstrahujući informacije o podelama ako nije ostao nijedan blok korena stabla za obradu.

[0077] Treba napomenuti da se opis Sl. 7 fokusira na dekodiranje flegova za indikaciju podela samo za predviđanje podele, tako da bi, u stvari, korak 314 mogao da uključi dekodiranje daljih binova ili elemenata sintakse koji se odnose na, na primer, trenutni blok stabla. U svakom slučaju, ako postoji dalji ili sledeći blok korena stabla, ekstraktor 102 prelazi sa koraka 314 na korak 302 da bi dekodirao sledeći fleg iz informacija o podelama, naime, prvi fleg sekvence flegova koja se odnosi na novi blok korena stabla.

[0078] Ako se u koraku 312 pokaže da hijerarhijski nivo nije jednak 0, operacija se nastavlja u koraku 316 sa proverom da li postoje dalji podređeni čvorovi koji se odnose na trenutni čvor. To jest, kada ekstraktor 102 izvrši proveru u koraku 316, već je provereno u koraku 312 da je trenutni hijerarhijski nivo hijerarhijski nivo različit od hijerarhijskog nivoa 0. Ovo, zbog toga, znači da postoji roditeljski čvor, koji pripada bloku 150 korena stabla ili jednom od manjih blokova 152a-d, ili čak manjim blokovima 152a-d, i tako dalje. Čvor strukture stabla, kojem pripada nedavno dekodiran fleg, ima roditeljski čvor, koji je zajednički za tri sledeća čvora trenutne strukture stabla. Redosled skeniranja među takvim podređenim čvorovima koji imaju zajednički roditeljski čvor je ilustrovan kao primer na Sl. 3a za nivo hijerarhije 0 sa referentnim znakom 200. Tako, u koraku 316, ekstraktor 102 proverava da li su sva ova četiri podređena čvora već bila posećena u okviru procesa na Sl. 7. Ako to nije slučaj, tj. ako postoje dodatni podređeni čvorovi sa trenutnim roditeljskim čvorom, proces sa Sl. 7 nastavlja sa korakom 318, gde je posećen sledeći podređeni čvor u skladu sa cik-cak redosledom skeniranja 200 unutar trenutnog hijerarhijskog nivoa, tako da njegov odgovarajući podblok sada predstavlja trenutni blok procesa 7 i, nakon toga, fleg se dekodira u koraku 302 iz toka podataka u vezi sa trenutnim blokom ili trenutnim čvorom. Ako, međutim, nema daljih podređenih čvorova za trenutni roditeljski čvor u koraku 316, proces sa Sl. 7 prelazi na korak 320 gde se trenutni hijerarhijski nivo smanjuje za 1, a nakon što proces nastavlja sa korakom 312.

[0079] Izvođenjem koraka prikazanih na Sl. 7, ekstraktor 102 i razdelnik 104a sarađuju kako bi iz toka podataka izvukli podelu izabranu na strani enkodera. Proces na Sl. 7 je koncentrisan na gore opisani slučaj podele predviđanja. Sl. 8 pokazuje, u kombinaciji sa dijagramom toka sa Sl. 7, kako ekstraktor 102 i razdelnik 104a sarađuju da bi izvukli rezidualnu podelu iz toka podataka.

[0080] Konkretno, Sl. 8 prikazuje korake koje izvodi ekstraktor 102 i razdelnik 104a, respektivno, za svaki od blokova predviđanja koji su rezultat podele predviđanja. Ovi blokovi predviđanja se prelaze, kao što je gore pomenuto, u skladu sa cik-cak redosledom 140 skeniranja među blokovima 150 stabala podele predviđanja i korišćenjem redosleda prelaska prvo po dubini unutar svakog bloka 150 stabla koji se trenutno posećuje za prelazak preko blokova listova kao što je prikazano, na primer, na Sl. 3c. Prema redosledu prelaska prvo po dubini, blokovi listova particioniranih primarnih blokova stabla se posećuju u redosledu prelaska prvo po dubini sa posećujućim podblokovima određenog hijerarhijskog nivoa koji imaju zajednički trenutni čvor u cik-cak redosledu skeniranja 200 i sa primarnim skeniranjem podele svakog od ovih podblokova prvo pre nego što se pređe na sledeći podblok u ovom cikcak redosledu 200 skeniranja.

1

[0081] Na primer na Sl. 3c, prikazan je rezultujući redosled skeniranja među čvorovima lista bloka 150 stabla sa pozivnom oznakom 350.

[0082] Za trenutno posećeni blok predviđanja, proces na Sl. 8 počinje u koraku 400. U koraku 400, interni parametar koji označava trenutnu veličinu trenutnog bloka je postavljen jednak veličini hijerarhijskog nivoa 0 rezidualne podele, odnosno maksimalnoj veličini bloka rezidualne podele. Treba podsetiti da maksimalna rezidualna veličina bloka može biti manja od najmanje veličine bloka podele predviđanja ili može biti jednaka ili veća od poslednje. Drugim rečima, prema jednom izvođenju, enkoder je slobodan da izabere bilo koju od upravo pomenutih mogućnosti.

[0083] U sledećem koraku, odnosno koraku 402, vrši se provera da li je veličina bloka predviđanja trenutno posećenog bloka veća od internog parametra koji označava trenutnu veličinu. Ako je to slučaj, trenutno posećeni blok predviđanja, koji može biti blok lista podele predviđanja ili blok stabla podele predviđanja, koji nije dalje particionisan, veći je od maksimalne veličine rezidualnog bloka i u ovom slučaju, proces sa Sl. 8 nastavlja se sa korakom 300 sa Sl. 7. To jest, trenutno posećeni blok predviđanja je podeljen na rezidualne blokove korena stabla i prvi fleg sekvence flegova prvog rezidualnog bloka stabla unutar ovog trenutno posećenog bloka predviđanja se dekodira u koraku 302, i tako dalje.

[0084] Međutim, ako trenutno posećeni blok predviđanja ima veličinu jednaku ili manju od internog parametra koji ukazuje na trenutnu veličinu, proces sa Sl. 8 prelazi na korak 404 gde se proverava veličina bloka predviđanja da bi se utvrdilo da li je isti jednak internom parametru koji pokazuje trenutnu veličinu. Ako je to slučaj, korak podele 300 se može preskočiti i proces nastavlja direktno sa korakom 302 sa Sl. 7.

[0085] Međutim, ako je veličina bloka predviđanja trenutno posećenog bloka predviđanja manja od internog parametra koji ukazuje na trenutnu veličinu, proces na Sl. 8 nastavlja sa korakom 406 gde se hijerarhijski nivo povećava za 1 i trenutni veličina je podešena na veličinu novog hijerarhijskog nivoa tako što je podeljena sa 2 (u oba smera ose u slučaju podele quadtree stabla). Nakon toga, provera koraka 404 se ponovo izvodi. Efekat petlje formirane u koracima 404 i 406 je da nivo hijerarhije uvek odgovara veličini odgovarajućih blokova koji će biti podeljeni, nezavisno od toga da je odgovarajući blok za predviđanje manji ili jednak/veći od maksimalne veličine rezidualnog bloka. Dakle, kada se dekodiraju flegovi u koraku 302, izvedeno modeliranje konteksta zavisi od hijerarhijskog nivoa i veličine bloka na koji se fleg odnosi, istovremeno. Upotreba različitih konteksta za oznake različitih hijerarhijskih nivoa ili veličine blokova, respektivno, ima prednost u tome što procena verovatnoće može dobro da odgovara stvarnoj distribuciji verovatnoće među pojavljivanjima vrednosti flega, s druge strane, imajući relativno umeren broj konteksta kojima treba upravljati, smanjuju se opterećenje upravljanja kontekstom, kao što se i povećava prilagođavanje konteksta na stvarnu statistiku simbola.

[0086] Kao što je već pomenuto gore, može postojati više od jednog niza uzoraka i ovi nizovi uzoraka mogu biti grupisani u jednu ili više grupa ravni. Ulazni signal koji treba kodirati, dolaženjem na ulaz 32, na primer, može biti jedna slika video sekvence ili statična slika.

[0087] Slika tako može biti dati u obliku jednog ili više nizova uzoraka. U kontekstu kodiranja slike video sekvence ili nepokretne slike, nizovi uzoraka mogu se odnositi na tri ravni boja, kao što su crvena, zelena i plava ili na luma i hroma ravni, kao što su predstavljanja u bojama YUV ili YCbCr. Pored toga, mogu biti prisutni i nizovi uzoraka koji

2

predstavljaju alfa, tj. informacije o transparentnosti i/ili informacije o dubini za 3-D video materijal mogu biti prisutne. Jedan broj ovih nizova uzoraka može se grupisati zajedno kao takozvana grupa ravani.. Na primer, luma (Y) može biti jedna grupa ravni sa samo jednim nizom uzoraka i hroma, kao što je CbCr, može biti druga grupa ravni sa dva niza uzoraka ili, u drugom primeru, IUV može biti jedna grupa ravni sa tri matrice i informacije o dubini za 3-D video materijal mogu biti druga grupa ravni sa samo jednim nizom uzoraka. Za svaku grupu ravni, jedna primarna quadtree struktura može biti kodirana unutar toka 22 podataka za predstavljanje podele na blokove predviđanja i za svaki blok predviđanja, sekundarna quadtree struktura koja predstavlja podelu na rezidualne blokove. Dakle, u skladu sa prvim primerom koji je upravo pomenut gde je luma komponenta jedna grupa ravni, dok hroma komponenta formira drugu grupu ravni, postojala bi jedna quadtree struktura za blokove predviđanja luma ravni, jedna quadtree struktura za rezidualne blokove luma ravni, jedna quadtree struktura za blok predviđanja hroma ravni i jedna quadtree struktura za rezidualne blokove hroma ravni. U drugom primeru pomenutom ranije, međutim, postojala bi jedna quadtree struktura za blokove predviđanja luma i hroma zajedno (IUV), jedna quadtree struktura za preostale blokove luma i hroma zajedno (IUV), jedna quadtree struktura blokova za predviđanje informacija o dubini za 3-D video materijal i jedna quadtree struktura za rezidualne blokove informacija o dubini za 3-D video materijal.

[0088] Dalje, u prethodnom opisu, ulazni signal je podeljen na blokove predviđanja koristeći primarnu quadtree strukturu i opisano je kako su ovi blokovi za predviđanje dalje podeljeni na rezidualne blokove korišćenjem podređene quadtree strukture. U skladu sa alternativnim izvođenjem, podela se možda neće završiti u podređenoj quadtree fazi. To jest, blokovi dobijeni podelom korišćenjem podređene quadtree strukture mogu se dalje podeliti korišćenjem tercijarne quadtree strukture. Ova podela, zbog toga, može da se koristi u svrhu korišćenja daljih alata za kodiranje koji mogu olakšati kodiranje rezidualnog signala.

[0089] Prethodni opis je koncentrisan na podelu koju obavljaju razdelnik 28 i razdelnik 104a, respektivno. Kao što je gore pomenuto, podela definisana od strane razdelnika 28 i 104a, respektivno, može da kontroliše granularnost obrade gore pomenutih modula enkodera 10 i dekodera 100. Međutim, u skladu sa opisanim izvođenjima, razdelnici 228 i 104a, respektivno, su dalje povezani sa spajačem 30 i spajačem 104b, respektivno. Međutim, treba napomenuti da su spajači 30 i 104b opcioni i da se mogu izostaviti.

[0090] U stvari, međutim, i kao što će biti detaljnije istaknuto u nastavku, spajač pruža koderu mogućnost kombinovanja nekih blokova za predviđanje ili rezidualnih blokova u grupe ili klastere, tako da drugi, ili bar neki od ostalih modula mogu tretirati ove grupe blokova zajedno. Na primer, prediktor 12 može da žrtvuje mala odstupanja između parametara predviđanja nekih blokova predviđanja kao što je određeno optimizacijom korišćenjem podele podrazdelnika 28 i umesto toga koristi parametre predviđanja zajedničke za sve ove blokove predviđanja ako signalizacija grupisanja blokova za predviđanje zajedno sa zajedničkim prenosom parametara za sve blokove koji pripadaju ovoj grupi je više obećavajuća u smislu odnosa brzina-izobličenje nego pojedinačno signaliziranje parametara predviđanja za sve ove blokove predviđanja. Obrada za pronalaženje predviđanja u prediktorima 12 i 110, sama po sebi, zasnovana na ovim uobičajenim parametrima predviđanja, može, međutim, i dalje da se odvija u bloku predviđanja. Međutim, takođe je moguće da prediktori 12 i 110 bar jednom izvrše proces predviđanja za celu grupu blokova predviđanja.

[0091] Kao što će biti detaljnije istaknuto u nastavku, takođe je moguće da grupisanje blokova za predviđanje nije samo za korišćenje istih ili zajedničkih parametara predviđanja za grupu blokova za predviđanje, već, alternativno ili dodatno, omogućava da koder 10 pošalje jedan parametar predviđanja za ovu grupu zajedno sa ostatcima predviđanja za blokove predviđanja koji pripadaju ovoj grupi, tako da se opterećenje signalizacije za signalizaciju parametara predviđanja za ovu grupu može smanjiti. U poslednjem slučaju, proces spajanja može samo uticati na umetač 18 toka podataka pre nego na odluke koje donose rezidualni prekoder 14 i prediktor 12. Međutim, više detalja je predstavljeno u nastavku. Radi potpunosti, međutim, treba napomenuti da se upravo pomenuti aspekt takođe primenjuje na druge podele, kao što su rezidualna podela ili filterska podela pomenuta gore.

[0092] Prvo, spajanje skupova uzoraka, kao što su prethodno pomenuti blokovi predviđanja i rezidualni blokovi, motivisano je u opštijem smislu, tj. nije ograničeno na gore pomenutu multitree podelu. Kasnije se, međutim, opis fokusira na spajanje blokova koji su rezultat multitree podele za koje su izvođenja upravo gore opisana.

[0093] Uopšteno govoreći, spajanje elemenata sintakse povezanih sa određenim skupovima uzoraka u svrhu prenošenja pridruženih parametara kodiranja omogućava smanjenje brzine protoka sporednih informacija u aplikacijama za kodiranje slike i videa. Na primer, nizovi uzoraka signala koji treba da se kodiraju obično su podeljeni na određene skupove uzoraka ili skupove uzoraka, koji mogu predstavljati pravougaone ili kvadratne blokove, ili bilo koju drugu kolekciju uzoraka, uključujući oblasti proizvoljnog oblika, trouglove ili druge oblike. U gornjem opisu, jednostavno povezani regioni su bili blokovi predviđanja i rezidualni blokovi koji su rezultat multitree podele. Podela nizova uzoraka može biti fiksirana sintaksom ili, kao što je gore opisano, podela može biti, bar delimično, signalizirana unutar toka bitova. Da bi brzina protoka sporednih informacija za signalizaciju informacija o podelama bila mala, sintaksa obično dozvoljava samo ograničen broj izbora što rezultira jednostavnim particionisanjem, kao što je podela blokova na manje blokove. Skupovi uzoraka su povezani sa određenim parametrima kodiranja, koji mogu specificirati informacije o predviđanju ili rezidualne režime kodiranja, itd. Detalji u vezi sa ovim problemom su napred opisani. Za svaki skup uzoraka, mogu se preneti pojedinačni parametri kodiranja, kao što su specificiranje predviđanja i/ili rezidualnog kodiranja. Da bi se postigla poboljšana efikasnost kodiranja, aspekt spajanja opisan u daljem tekstu, odnosno spajanje dva ili više skupova uzoraka u takozvane grupe skupova uzoraka, omogućava neke prednosti, koje su dalje opisane u nastavku. Na primer, skupovi uzoraka mogu biti spojeni tako da svi skupovi uzoraka takve grupe dele iste parametre kodiranja, koji se mogu preneti zajedno sa jednim od skupova uzoraka u grupi. Na taj način, parametri kodiranja ne moraju da se prenose za svaki skup uzoraka iz grupe skupova uzoraka pojedinačno, već se parametri kodiranja prenose samo jednom za celu grupu skupova uzoraka. Kao rezultat, brzina protoka sporednih informacija za prenos parametara kodiranja može biti smanjena i ukupna efikasnost kodiranja može biti poboljšana. Kao alternativni pristup, dodatno finije podešavanje za jedan ili više parametara kodiranja može se preneti za jedan ili više skupova uzoraka grupe skupova uzoraka. Ovo podešavanje se može primeniti na sve skupove uzoraka u grupi ili samo na skup uzoraka za koji se prenosi.

[0094] Aspekt spajanja koji je dalje opisan u nastavku takođe pruža koderu veću slobodu u kreiranju toka 22 bitova, pošto pristup spajanja značajno povećava broj mogućnosti za izbor particionisanja za nizove uzoraka slike. Pošto enkoder može da bira između više opcija, kao što je minimiziranje određene mere negativnog uticaja na pdnos brzina-izobličenje, efikasnost kodiranja se može poboljšati. Postoji nekoliko mogućnosti rada enkodera. U jednostavnom pristupu, koder bi mogao prvo da odredi najbolju podelu nizova uzoraka. Ukratko, pozivajući se na Sl. 1, razdelnik 28 bi mogao da odredi optimalnu podelu u prvoj fazi. Nakon toga, može se proveriti, za svaki skup uzoraka, da li spajanje sa drugim skupom uzoraka ili drugom grupom skupova uzoraka smanjuje određenu meru uticaja na odnos brzina-distorzija. Pri tome, parametri predviđanja povezani sa spojenom grupom skupova uzoraka mogu se ponovo proceniti, kao što je izvođenje nove pretrage pokreta ili parametara predviđanja koji su već određeni za zajednički skup uzoraka i skup uzoraka kandidata ili grupu skupova uzoraka za spajanje mogli bi se proceniti za razmatranu grupu skupova uzoraka. U opsežnijem pristupu, određena mera uticaja na odnos brzina-distorzija bi se mogla proceniti za dodatne grupe kandidata skupova uzoraka.

[0095] Treba napomenuti da ovakav pristup spajanja opisan u nastavku ne menja redosled obrade skupova uzoraka. Odnosno, koncept spajanja se može implementirati na način tako da se kašnjenje ne povećava, tj. svaki skup uzoraka može se dekodirati u istom trenutku kao i bez korišćenja ovog pristupa spajanja.

[0096] Ako je, na primer, brzina protoka bitova koja je sačuvana smanjenjem broja kodiranih parametara predviđanja veća od brzine protoka koja treba dodatno da se potroši za kodiranje informacija spajanja za indikaciju spajanja na strani za dekodiranje, pristup spajanja dalje opisan u nastavku rezultira povećanom efikasnošću kodiranja. Dalje treba napomenuti da opisano proširenje sintakse za spajanje daje koderu dodatnu slobodu u izboru particionisanja slike ili grupe ravni na blokove. Drugim rečima, koder nije ograničen da prvo izvrši podelu, a zatim da proveri da li neki od rezultujućih blokova imaju isti skup ili sličan skup parametara predviđanja. Kao jedna jednostavna alternativa, enkoder bi prvo mogao da odredi podelu u skladu sa merom negoativnog uticaja na odnos brzina-distorzija, a zatim, enkoder bi mogao da proveri, za svaki blok, da li spajanja sa jednim od njegovih susednih blokova ili povezivanjem sa već određenom grupom blokova smanjuje meru negativnog uticaja na odnos brzina-distorzija. Pri tome, parametri predviđanja povezani sa novom grupom blokova mogu se ponovo proceniti, izvođenjem nove pretrage pokreta, ili se parametri predviđanja koji su već određeni za trenutni blok i susedni blok ili grupe blokova mogu proceniti za novu grupu blokova. Informacija o spajanju može biti signalizirana na osnovu bloka. Efektivno, spajanje se takođe može tumačiti kao zaključak parametara predviđanja za trenutni blok, pri čemu su izvedeni parametri predviđanja postavljeni da budu jednaki parametrima predviđanja jednog od susednih blokova. Alternativno, ostaci se mogu preneti za blokove unutar grupe blokova.

[0097] Prema tome, osnovna ideja koja leži u osnovi koncepta spajanja dalje opisanog u nastavku je smanjenje brzine protoka koja je potrebna za prenos parametara predviđanja ili drugih parametara kodiranja spajanjem susednih blokova u grupu blokova, gde je svaka grupa blokova povezana sa jedinstvenim skupom parametara kodiranja, kao što su parametri predviđanja ili preostali parametri kodiranja. Informacija o spajanju se signalizira unutar toka bitova pored informacija o podelama, ako postoje. Prednost koncepta spajanja je povećana efikasnost kodiranja koja je rezultat smanjene brzine protoka sporednih informacija za parametre kodiranja. Treba napomenuti da se ovde opisani procesi spajanja mogu proširiti i na druge dimenzije osim na prostorne. Na primer, grupa skupova uzoraka ili blokova, koji se nalaze unutar nekoliko različitih video slika, može se spojiti u jednu grupu blokova. Spajanje se takođe može primeniti na 4-D kompresiju i kodiranje svetlosnog polja.

[0098] Dakle, vraćajući se nakratko na prethodni opis Sl. 1 do 8, primećuje se da je proces spajanja koji sledi posle podele pogodan nezavisno od specifičnog načina na koji podele 28 i 104a, respektivno, dele slike. Preciznije, potonja bi takođe mogla da podeli slike na sličan način kao, na primer, H.264, odnosno tako što će svaku sliku podeliti na pravilan raspored pravougaonih ili kvadratnih makro blokova unapred određene veličine, npr. kao 16x16 luma

2

uzoraka ili veličine signalizirane unutar toka podataka, pri čemu svaki makro blok ima određene parametre kodiranja koji su sa njim povezani, uključujući, između ostalog, parametre particioniranja koji definišu, za svaki makroblok, particionisanje na regularnu podmrežu od 1, 2, 4 ili neki drugi broj particija koje služe kao granularnost za predviđanje i odgovarajuće parametre predviđanja u toku podataka, kao i za definisanje particionisanja za ostatak i odgovarajuću preostalu transformaciju granularnost.

[0099] U svakom slučaju, spajanje pruža gore pomenute ukratko razmotrene prednosti, kao što je smanjenje brzine protoka sporednih informacija u aplikacijama za kodiranje slika i videa. Određeni skupovi uzoraka, koji mogu predstavljati pravougaone ili kvadratne blokove ili regione proizvoljnog oblika ili bilo koju drugu kolekciju uzoraka, kao što je bilo koji jednostavno povezani region ili uzorci, obično su povezani sa određenim skupom parametara kodiranja i za svaki od uzoraka skupova, parametri kodiranja su uključeni u tok bitova, parametri kodiranja predstavljaju, na primer, parametre predviđanja, koji specificiraju kako se odgovarajući skup uzoraka predviđa korišćenjem već kodiranih uzoraka. Particionisanje nizova uzoraka slike u skupove uzoraka može biti fiksirano sintaksom ili može biti signalizirano odgovarajućim informacijama o podelama unutar toka bitova. Parametri kodiranja za skup uzoraka mogu se preneti u unapred definisanom redosledu, koji je dat sintaksom. Prema funkcionalnosti spajanja, spajač 30 može da signalizuje, za zajednički skup uzoraka ili trenutni blok, kao što je blok predviđanja ili rezidualni blok, da je spojen sa jednim ili više drugih skupova uzoraka, u grupu skupa uzoraka. Parametri kodiranja za grupu skupova uzoraka, stoga, treba da se prenesu samo jednom.U jednom posebnom izvođenju, parametri kodiranja trenutnog skupa uzoraka se ne prenose ako je trenutni skup uzoraka spojen sa skupom uzoraka ili već postojećom grupom skupova uzoraka za koje su parametri kodiranja već preneti. Umesto toga, parametri kodiranja za trenutni skup uzoraka su postavljeni jednaki parametrima kodiranja skupa uzoraka ili grupe skupova uzoraka sa kojima je trenutni skup uzoraka spojen. Kao alternativni pristup, dodatno poboljšanje za jedan ili više parametara kodiranja može se preneti za trenutni skup uzoraka. Ovo poboljšanje se može primeniti bilo na sve skupove uzoraka u grupi ili samo na skup uzoraka za koji se prenosi.

[0100] Prema jednom izvođenju, za svaki skup uzoraka kao što je blok za predviđanje kao što je gore pomenuto, rezidualni blok kao što je gore pomenuto ili blok lista multitree podele kao što je gore pomenuto, skup svih prethodno kodiranih/dekodiranih skupova uzoraka naziva se "skup uzročnih skupova uzoraka". Videti, na primer, Sl. 3c. Svi blokovi prikazani na ovoj Sl. su rezultat određene podele, kao što je podela predviđanja ili rezidualna podela ili bilo koja multitree podela sa više stabala, ili slično, i redosled kodiranja/dekodiranja definisan između ovih blokovi je definisan strelicom 350. Uzimajući u obzir određeni blok među ovim blokovima kao trenutni skup uzoraka ili trenutni jednostavno povezan region, njegov skup uzročnih skupova uzoraka se sastoji od svih blokova koji prethode trenutnom bloku duž reda 350. Međutim, opet se podseća da bi isto tako i druga podela koja ne koristi multitree podelu bila moguća što se tiče sledeće diskusije o principima spajanja.

[0101] Skupovi uzoraka koji se mogu koristiti za spajanje sa trenutnim skupom uzoraka se nazivaju "skup kandidata skupova uzoraka" u nastavku i uvek je podskup "skupa uzročnih skupova uzoraka". Način na koji se podskup formira može biti poznat dekoderu ili može biti specificiran unutar toka podataka ili toka bitova od enkodera do dekodera. Ako je određeni trenutni skup uzoraka kodiran/dekodiran i njegov skup kandidata skupova uzoraka nije prazan, signalizira se unutar toka podataka u enkoderu ili se izvodi iz toka podataka u dekoderu da li je zajednički skup uzoraka spojen sa jedanim skupom uzoraka iz ovog skupa kandidata skupova uzoraka i, ako jeste, sa kojim od njih. U suprotnom, spajanje se ne može koristiti za ovaj blok, pošto je skup uzoraka kandidata ionako prazan.

[0102] Postoje različiti načini kako da se odredi podskup skupa uzročnih skupova uzoraka, koji će predstavljati skup kandidata skupova uzoraka. Na primer, određivanje kandidata skupoa uzoraka može biti zasnovano na uzorku unutar trenutnog skupa uzoraka, koji je jedinstveno geometrijski definisan, kao što je gornji levi uzorak slike pravougaonog ili kvadratnog bloka. Polazeći od ovog jedinstveno geometrijski definisanog uzorka, određuje se određeni broj uzoraka različit od nule, koji predstavljaju direktne prostorne susede ovog jedinstveno geometrijski definisanog uzorka. Na primer, ovaj određeni broj uzoraka različit od nule obuhvata gornjeg suseda i levog suseda jedinstveno geometrijski definisanog uzorka trenutnog skupa uzoraka, tako da broj susednih uzoraka različit od nule može biti maksimalno, dva, jedan ako jedan od gornjih ili levih suseda nije dostupan ili leži van slike, ili nula u slučaju da nedostaju oba suseda.

[0103] Skup kandidata skupova uzoraka bi se tada mogao odrediti da obuhvata one skupove uzoraka koji sadrže najmanje jedan od broja koji nije nula od upravo pomenutih susednih uzoraka. Videti, na primer, Sl. 9a. Trenutni skup uzoraka koji se trenutno smatra objektom spajanja, biće blok X a njegov geometrijski jedinstveno definisan uzorak će, na primer, biti gornji levi uzorak naznačen sa 400. Gornji i levi susedni uzorci uzorka 400 su naznačeni sa 402 i 404. Skup uzročnih skupova uzoraka ili skup uzročnih blokova je označen senčenjem. Među ovim blokovima, blokovi A i B sadrže jedan od susednih uzoraka 402 i 404 i, prema tome, ovi blokovi formiraju skup blokova kandidata ili skup kandidata skupova uzoraka.

[0104] Prema jednom drugom izvođenju, skup skupova kandidata uzorka određen radi spajanja može dodatno ili isključivo uključivati skupove uzoraka koji sadrže određeni broj uzoraka različit od nule, koji može biti jedan ili dva, koji imaju istu prostornu lokaciju, ali su sadržani u različitojj slici, naime, na primer, u prethodno kodiranoj/dekodiranoj slici. Na primer, pored blokova A i B na Sl. 9a, mogao bi da se koristi blok prethodno kodirane slike, koji obuhvata uzorak na istoj poziciji kao i uzorak 400. Uzgred, primećuje se da se samo gornji susedni uzorak 404 ili samo levi susedni uzorak 402 može koristiti za definisanje prethodno pomenutog broja susednih uzoraka koji nije nula. Generalno, skup skupova kandidata uzoraka može biti izveden iz prethodno obrađenih podataka u okviru trenutne slike ili iz drugih slika. Izvođenje može uključivati informacije o prostornom pravcu, kao što su koeficijenti transformacije povezani sa određenim pravcem i gradijenti slike trenutne slike ili može uključivati informacije o vremenskom pravcu, kao što su susedne reprezentacije kretanja. Iz takvih podataka dostupnih na prijemniku/dekoderu i drugih podataka i sporednih informacija unutar toka podataka, ako postoje, može se izvesti skup kandidata skupova uzoraka.

[0105] Treba napomenuti da se izvođenje kandidata skupova uzoraka vrši paralelno pomoću spajača 30 na strani kodera i pomoću spajača 104b na strani dekodera. Kao što je upravo pomenuto, oba mogu odrediti skup kandidata skupova uzoraka nezavisno jedan od drugog na osnovu unapred definisanog načina poznatog i jednom i drugom ili enkoder može signalizirati znake unutar toka bitova, koji dovode spajač 104b u poziciju da izvrši derivaciju ovih kandidata skupova uzoraka na način jednak načinu na koji je spajač 30 na strani enkodera odredilo skup kandidata skupova uzoraka.

[0106] Kao što će biti detaljnije opisano u nastavku, spajač 30 i umetač 18 toka podataka sarađuju kako bi preneli jedan ili više elemenata sintakse za svaki skup uzoraka, koji

2

specificiraju da li je skup uzoraka spojen sa drugim skupom uzoraka, što, zbog toga, može biti deo već spojene grupe skupova uzoraka i koji od skupa skupova kandidata uzoraka se koristi za spajanje. Ekstraktor 102, zbog toga, izdvaja ove sintaksne elemente i u skladu sa tim obaveštava spajač 104b. Konkretno, prema jednom specifičnom izvođenju koje je kasnije opisano, jedan ili dva elementa sintakse se prenose za specifikaciju informacija o spajanju za određeni skup uzoraka. Prvi element sintakse određuje da li je trenutni skup uzoraka spojen sa drugim skupom uzoraka. Drugi element sintakse, koji se prenosi samo ako prvi element sintakse specificira da je trenutni skup uzoraka spojen sa drugim skupom uzoraka, specificira koji od skupova kandidata skupova uzoraka se koristi za spajanje. Prenos prvog elementa sintakse može biti potisnut ako je izvedeni skup skupova uzoraka kandidata prazan. Drugim rečima, prvi sintaksni element se može preneti samo ako izvedeni skup skupova uzoraka kandidata nije prazan. Drugi element sintakse može se preneti samo ako izvedeni skup kandidata skupova uzoraka sadrži više od jednog skupa uzoraka, pošto ako je samo jedan skup uzoraka sadržan u skupu kandidata skupova uzoraka, dalji izbor ionako nije moguć. Čak i, prenos drugog elementa sintakse može biti potisnut ako skup kandidata skupova uzoraka sadrži više od jednog skupa uzoraka, u slučaju da su svi skupovi uzoraka skupa kandidata skupova uzoraka povezani sa istim parametrom kodiranja. Drugim rečima, drugi element sintakse može se preneti samo ako su najmanje dva skupa uzoraka izvedenog skupa kandidata skupova uzoraka povezana sa različitim parametrima kodiranja.

[0107] Unutar toka bitova, informacije o spajanju za skup uzoraka mogu biti kodirane pre parametara predviđanja ili drugih specifičnih parametara kodiranja koji su povezani sa tim skupom uzoraka. Parametri predviđanja ili kodiranja mogu se preneti samo ako informacija o spajanju signalizira da trenutni skup uzoraka ne treba da se spoji ni sa jednim drugim skupom uzoraka.

[0108] Informacije o spajanju za određeni skup uzoraka, tj. blok, na primer, mogu biti kodirane nakon što je prenet odgovarajući podskup parametara predviđanja ili, u opštijem smislu, podskup parametara kodiranja koji su povezani sa odgovarajućim skupom uzoraka. Podskup parametara predviđanja/kodiranja može se sastojati od jednog ili više indeksa referentne slike ili jedne ili više komponenti vektora parametara kretanja ili referentnog indeksa i jedne ili više komponenti vektora parametara kretanja itd. Već preneti podskup parametara predviđanja ili kodiranja može se koristiti za izvođenje skupa kandidata skupova uzoraka iz većeg privremenog skupa kandidata skupova uzoraka, koji su možda izvedeni kao što je upravo gore opisano. Kao primer, može se izračunati mera razlike ili rastojanje prema unapred određenoj meri udaljenosti, između već kodiranih parametara predviđanja i kodiranja trenutnog skupa uzoraka i odgovarajućih parametara predviđanja ili kodiranja preliminarnog skupa kandidata skupova uzoraka. Zatim, samo oni skupovi uzoraka za koje je izračunata mera razlike, ili rastojanje, manja ili jednaka unapred definisanom ili izvedenom pragu, uključeni su u konačni, odnosno redukovani skup kandidata skupova uzoraka. Videti, na primer, Sl. 9a. Trenutni skup uzoraka će biti blok X. Podskup parametara kodiranja koji se odnosi na ovaj blok će već biti ubačen u tok 22 podataka. Zamislimo, na primer, da je blok X bio blok predviđanja, u kom slučaju bi odgovarajući podskup parametara kodiranja mogao biti podskup parametara predviđanja za ovaj blok X, kao što je podskup iz skupa koji sadrži referentni indeks slike i informaciju o mapiranju kretanja, kao što je vektor kretanja. Ako je blok X bio rezidualni blok, podskup parametara kodiranja je podskup preostalih informacija, kao što su koeficijenti transformacije ili mapa koja ukazuje na pozicije značajnih koeficijenata transformacije unutar bloka X. Na osnovu ovih informacija, i umetač 18 toka podataka i ekstraktor 102 mogu da koriste ove informacije kako bi odredili podskup blokova A i B, koji formiraju, u ovom konkretnom izvođenju, prethodno pomenuti preliminarni skup kandidata

2

skupova uzoraka. Konkretno, pošto blokovi A i B pripadaju skupu uzročnih skupova uzoraka, njihovi parametri kodiranja su dostupni i enkoderu i dekoderu u vreme kada su parametri kodiranja bloka X trenutno kodirani/dekodirani. Prema tome, gore pomenuto poređenje korišćenjem mere razlike može da se koristi da se isključi bilo koji broj blokova preliminarnog skupa kandidata skupova uzoraka A i B. Rezultujući redukovani skup kandidata skupova uzoraka može se zatim koristiti kao što je gore opisano, naime da bi se utvrdilo da li indikator spajanja koji ukazuje na spajanje treba da se prenese unutar ili da se izdvoji iz toka podataka u zavisnosti od broja skupova uzoraka unutar smanjenog skupa kandidata skupova uzoraka i da li drugi element sintakse mora biti prenet unutar ili mora biti izdvojen iz toka podataka sa drugim elementom sintakse koji pokazuje koji od skupova uzoraka unutar smanjenog skupa kandidata skupovi uzoraka će biti partnerski blok za spajanje.

[0109] Gore pomenuti prag sa kojim se upoređuju gore pomenute udaljenosti može biti fiksiran i poznat i enkoderu i dekoderu ili može biti izveden na osnovu izračunatih udaljenosti kao što je medijana vrednosti razlike, ili neke druge centralne tendencije ili slično. U ovom slučaju, smanjeni skup kandidata skupova uzoraka neizbežno bi bio pravi podskup preliminarnog skupa kandidata skupova uzoraka. Alternativno, samo oni skupovi uzoraka se biraju iz preliminarnog skupa kandidata skupova uzoraka za koje je rastojanje prema meri udaljenosti minimizirano. Alternativno, tačno jedan set uzoraka se selektuje iz preliminarnog skupa kandidata skupova uzoraka koristeći prethodno pomenutu meru udaljenosti. U poslednjem slučaju, informacije o spajanju bi samo trebale da preciziraju da li će trenutni skup uzoraka biti spojen sa jednim kandidatom skupom uzoraka ili ne.

[0110] Dakle, skup kandidata blokova može biti formiran ili izveden kao što je opisano u nastavku u odnosu na Sl. 9a. Počevši od gornje leve pozicije uzorka 400 trenutnog bloka X na Sl. 9a, izvode se njegova leva susedna pozicija uzorka 402 i njegova gornja susedna pozicija uzorka 404 - na stranama enkodera i dekodera. Skup blokova kandidata može, dakle, imati samo do dva elementa, odnosno one blokove iz osenčenog skupa uzročnih blokova na Sl. 9a koji sadrže jednu od dve pozicije uzorka, koje su u slučaju Sl. 9a, blokovi B i A. Dakle, skup kandidata blokova može imati samo dva direktno susedna bloka gornje leve pozicije uzorka trenutnog bloka kao svoje elemente. Prema jednom drugom izvođenju, skup kandidata blokova mogao bi biti dat svim blokovima koji su kodirani pre trenutnog bloka i sadrže jedan ili više uzoraka koji predstavljaju direktne prostorne susede bilo kog uzorka trenutnog bloka. Direktno prostorno susedstvo može biti ograničeno na direktne leve susede i/ili direktne gornje susede i/ili direktne desne susede i/ili direktne donje susede bilo kog uzorka trenutnog bloka. Videti, na primer, Sl. 9b koja prikazuje drugu podelu bloka. U ovom slučaju, kandidati blokovi se sastoje od četiri bloka, odnosno blokova A, B, C i D.

[0111] Alternativno, skup kandidata blokova, dodatno ili isključivo, može uključivati blokove koji sadrže jedan ili više uzoraka koji se nalaze na istoj poziciji kao bilo koji od uzoraka trenutnog bloka, ali su sadržani u drugom, tj. već kodirana/dešifrovana slika.

[0112] Čak i alternativno, skup kandidata blokova predstavlja podskup gore opisanih skupova blokova, koji su određeni susedstvom u prostornom ili vremenskom pravcu. Podskup kandidata blokova može biti fiksiran, signaliziran ili izveden. Izvođenje podskupa kandidata blokova može uzeti u obzir odluke donete za druge blokove na slici ili na drugim slikama. Na primer, blokovi koji su povezani sa istim ili veoma sličnim parametrima kodiranja od drugih kandidata blokova možda neće biti uključeni u skup kandidata blokova.

2

[0113] Sledeći opis izvođenja se primenjuje za slučaj gde se samo dva bloka koja sadrže levi i gornji susedni uzorak gornjeg levog uzorka trenutnog bloka smatraju maksimalno potencijalnim kandidatima.

[0114] Ako skup blokova kandidata nije prazan, signalizira se jedan fleg koji se zove spajanje_fleg, specificirajući da li je trenutni blok spojen sa nekim od blokova kandidata. Ako je spajanje_fleg jednak 0 (za "netačno"), ovaj blok se ne spaja sa jednim od njegovih blokova kandidata i svi parametri kodiranja se prenose uobičajeno. Ako je spajanje_fleg jednak 1 (za "tačno"), važi sledeće. Ako skup blokova kandidata sadrži jedan i samo jedan blok, ovaj blok kandidata se koristi za spajanje. Inače, skup blokova kandidata sadrži tačno dva bloka. Ako su parametri predviđanja ova dva bloka identični, ovi parametri predviđanja se koriste za trenutni blok. U suprotnom (dva bloka imaju različite parametre predviđanja), signalizira se fleg koji se zove spajanje_levo_fleg. Ako je spajanje_levo_fleg jednak 1 (za "tačno"), blok koji sadrži levu susednu poziciju uzorka gornje leve pozicije uzorka trenutnog bloka se bira iz skupa blokova kandidata. Ako je spajanje_levo_fleg jednak 0 (za "netačno"), drugi (tj. gornji susedni) blok iz skupa blokova kandidata je izabran. Parametri predviđanja izabranog bloka se koriste za trenutni blok.

[0115] U sumiranju nekih od gore opisanih izvođenja u pogledu spajanja, prelazi se na Sl. 10 koja prikazuje korake koje izvodi ekstraktor 102 za izdvajanje informacija o spajanju iz toka22 podataka koji dolazi do ulaza 116.

[0116] Proces počinje od 450 sa identifikacijom blokova kandidata ili skupova uzoraka za trenutni skup uzoraka ili blok. Treba podsetiti da se parametri kodiranja za blokove prenose unutar toka 22 podataka u određenom jednodimenzionalnom redosledu i shodno tome, Sl. 10 se odnosi na proces reprodukovanja informacije o spajanju za trenutno posećeni skup uzoraka ili blok.

[0117] Kao što je ranije pomenuto, identifikacija i korak 450 mogu da obuhvataju identifikaciju između prethodno dekodiranih blokova, tj. uzročni skup blokova, na osnovu aspekata susedstva. Na primer, ti susedni blokovi mogu biti imenovani kao kandidati, koji uključuju određene susedne uzorke koji su susedni sa jednim ili više geometrijski unapred određenih uzoraka trenutnog bloka X u prostoru ili vremenu. Dalje, korak identifikacije može da se sastoji od dve faze, odnosno prve faze koja uključuje identifikaciju kao što je upravo pomenuto, naime na osnovu susedstva, što vodi do preliminarnog skupa blokova kandidata, i drugu fazu prema kojoj se samo ti blokovi određuju za kandidate čiji već preneseni parametri kodiranja ispunjavaju određeni odnos prema odgovarajućem podskupu parametara kodiranja trenutnog bloka X, koji je već dekodiran iz toka podataka pre koraka 450.

[0118] Zatim, proces prelazi na korak 452 gde se utvrđuje da li je broj blokova kandidata veći od nule. Ako je to slučaj, spajanje_fleg se izdvaja iz toka podataka u koraku 454. Korak izdvajanja 454 može uključivati entropijsko dekodiranje. Kontekst za entropijsko dekodiranje spajanje_fleg u koraku 454 može se odrediti na osnovu elemenata sintakse koji pripadaju, na primer, skupu blokova kandidata ili preliminarnom skupu blokova kandidata, pri čemu zavisnost od elemenata sintakse može biti ograničena na informaciju da li su blokovi koji pripadaju skupu interesa bili predmet spajanja ili ne. Procena verovatnoće izabranog konteksta se može prilagoditi.

[0119] Međutim, ako se utvrdi da je broj blokova kandidata nula umesto 452, proces na Sl. 10 nastavlja sa korakom 456 gde se parametri kodiranja trenutnog bloka izdvajaju iz toka bitova

2

ili, u slučaju gore navedenog, pomenuta dvostepena alternativa identifikacije, njeni preostali parametri kodiranja pri čemu nakon što ekstraktor 102, nastavlja sa obradom sledećeg bloka u redosledu skeniranja bloka kao što je red 350 prikazan na Sl. 3c.

[0120] Vraćajući se na korak 454, proces se nastavlja nakon ekstrakcije u koraku 454, sa korakom 458 sa proverom da li ekstrahovani spajanje_fleg sugeriše pojavu ili odsustvo spajanja trenutnog bloka. Ako nema spajanja, proces se nastavlja sa gore pomenutim korakom 456. U suprotnom, proces nastavlja sa korakom 460, uključujući proveru da li je broj blokova kandidata jednak jedan. Ako je to slučaj, prenos indikacije određenog bloka kandidata između blokova kandidata nije bio neophodan i stoga, proces sa Sl. 10 nastavlja sa korakom 462 prema kojem je partner za spajanje trenutnog bloka postavljen da bude jedini kandidat blok gde se posle u koraku 464 parametri kodiranja spojenog partnerskog bloka koriste za prilagođavanje ili predviđanje parametara kodiranja ili preostalih parametara kodiranja trenutnog bloka. U slučaju prilagođavanja, nedostajući parametri kodiranja trenutnog bloka se samo kopiraju iz bloka partnera za spajanje. U drugom slučaju, naime u slučaju predviđanja, korak 464 može uključiti dalje izdvajanje rezidualnih podataka iz toka podataka, rezidualnih podataka koji se odnose na ostatak predviđanja nedostajućih parametara kodiranja trenutnog bloka i kombinaciju ovih rezidualnih podataka za predviđanje ovih nedostajućih parametara kodiranja dobijenih iz bloka partnera za spajanje.

[0121] Ako se, međutim, utvrdi da je broj blokova kandidata veći od jedan u koraku 460, proces sa Sl. 10 prelazi na korak 466 gde se vrši provera da li su parametri kodiranja ili interesantni deo parametara kodiranja - odnosno poddeo koji se odnosi na deo koji još nije prenet u toku podataka za trenutni blok - identični međusobom. Ako je to slučaj, ovi zajednički parametri kodiranja se postavljaju kao referenca spajanja ili se blokovi kandidata postavljaju kao partneri za spajanje u koraku 468 i odgovarajući interesantni parametri kodiranja se koriste za prilagođavanje ili predviđanje u koraku 464.

[0122] Treba napomenuti da je sam partner za spajanje mogao biti blok za koji je signalizirano spajanje. U ovom slučaju, usvojeni ili predviđanjem dobijeni parametri kodiranja tog partnera u spajanju se koriste u koraku 464.

[0123] U suprotnom, međutim, tj. u slučaju da parametri kodiranja nisu identični, proces sa Sl. 10 prelazi na korak 470, gde se sledeći element sintakse izdvaja iz toka podataka, naime ovaj spajanje_levo_fleg. Za entropijsko dekodiranje ovog flega može se koristiti poseban skup konteksta. Skup konteksta koji se koristi za entropijsko dekodiranje spajanje_levo_fleg-a takođe može da sadrži samo jedan kontekst. Posle koraka 470, blok kandidat označen sa spajanje_levo_fleg je postavljen da bude partner spajanja u koraku 472 i koristi se za prilagođavanje ili predviđanje u koraku 464. Posle koraka 464, ekstraktor 102 nastavlja sa obradom sledećeg bloka po blokovskom redosledu.

[0124] Naravno, postoji mnogo alternativa. Na primer, kombinovani element sintakse se može preneti unutar toka podataka umesto odvojenih elemenata sintakse spajanje_fleg i spajanje_levo_fleg opisanih ranije, pri čemu kombinovani elementi sintakse signaliziraju proces spajanja. Dalje, gore pomenuti spajanje_levo_fleg se može preneti unutar toka podataka bez obzira na to da li dva kandidata bloka imaju iste parametre predviđanja ili ne, čime se smanjuje računsko opterećenje za izvođenje procesa sa Sl. 10.

[0125] Kao što je već naznačeno u odnosu na, na primer, Sl. 9b, više od dva bloka može biti uključeno u skup blokova kandidata. Dalje, informacija o spajanju, tj. informacija koja

2

signalizira da li je blok spojen i, ako jeste, sa kojim blokom kandidata treba da se spoji, može biti signalizirana jednim ili više elemenata sintakse. Jedan element sintakse može odrediti da li je blok spojen sa bilo kojim od blokova kandidata kao što je gore opisan fleg spajanje_fleg. Fleg se može preneti samo ako skup blokova kandidata nije prazan. Drugi element sintakse može signalizirati koji od blokova kandidata se koristi za spajanje, kao što je gore pomenuti spajanje_levo_fleg, ali uopšteno ukazuje na izbor između dva ili više od dva kandidata bloka. Drugi element sintakse može se preneti samo ako prvi element sintakse signalizira da će trenutni blok biti spojen sa jednim od blokova kandidata. Drugi element sintakse može se dalje prenositi samo ako skup blokova kandidata sadrži više od jednog bloka kandidata i/ili ako bilo koji od blokova kandidata ima različite parametre predviđanja od bilo kojeg drugog od blokova kandidata. Sintaksa može zavisiti od toga koliko je blokova kandidata dato i/ili od toga koliko su različiti parametri predviđanja povezani sa blokovima kandidata.

[0126] Sintaksa za signalizaciju koji od blokova kandidata će da se koristi, može biti postavljena istovremeno i/ili paralelno na strani enkodera i dekodera. Na primer, ako postoje tri izbora za blokove kandidata identifikovane u koraku 450, sintaksa se bira tako da su samo ova tri izbora dostupna i da se razmatraju za entropijsko kodiranje, na primer, u koraku 470. Drugim rečima, element sintakse je izabran tako da njegov alfabet simbola ima samo onoliko elemenata koliko postoji izbor blokova kandidata. Verovatnoće za sve druge izbore se mogu smatrati nultim i entropijsko kodiranje/dekodiranje se može podesiti istovremeno na enkoderu i dekoderu.

[0127] Dalje, kao što je već napomenuto u vezi sa korakom 464, parametri predviđanja koji su zaključeni kao posledica procesa spajanja mogu predstavljati kompletan skup parametara predviđanja koji su povezani sa trenutnim blokom ili mogu predstavljati podskup ovih parametara predviđanja kao što su parametri predviđanja za jednu hipotezu bloka za koji se koristi predviđanje sa više hipoteza.

[0128] Kao što je gore navedeno, elementi sintakse koji se odnose na informacije spajanja mogu biti entropijski kodirani korišćenjem kontekstnog modeliranja. Elementi sintakse mogu se sastojati od spajanje_fleg i spajanje_levo_fleg opisanih gore (ili sličnih elemenata sintakse). U konkretnom primeru, jedan od tri kontekstna modela ili konteksta bi se mogao koristiti za kodiranje/dekodiranje spajanje_fleg u koraku 454, na primer. Korišćeni indeks modela konteksta spajanje_fleg_ctx može se izvesti na sledeći način: ako skup blokova kandidata sadrži dva elementa, vrednost spajanje_levo_fleg jednaka je zbiru vrednosti spajanje_fleg dva kandidata bloka. Međutim, ako skup blokova kandidata sadrži jedan element, vrednost spajanje_fleg_ctx može biti jednaka dvostrukoj vrednosti spajanje_fleg ovog jednog bloka kandidata. Kako svaki spajanje_fleg susednih blokova kandidata može biti ili jedan ili nula, za spajanje_fleg su dostupna tri konteksta. Spajanje_levo_fleg može biti kodiran korišćenjem samo jednog modela verovatnoće.

[0129] Međutim, prema jednom alternativnom uzvođenju, mogu se koristiti različiti kontekstni modeli. Na primer, nebinarni elementi sintakse mogu biti mapirani u niz binarnih simbola, takozvanih binova. Modeli konteksta za neke elemente sintakse ili binove elemenata sintakse koji definišu informacije o spajanju mogu biti izvedeni na osnovu već prenetih elemenata sintakse susednih blokova ili broja blokova kandidata ili drugih mera, dok drugi elementi sintakse ili binovi elemenata sintakse mogu biti kodirani sa modelom fiksnog konteksta.

[0130] U vezi sa gornjim opisom spajanja blokova, primećuje se da se skup blokova kandidata takođe može izvesti na isti način kao što je gore opisano za bilo koje od navedenih izvođenja, sa sledećim amandmanom: blokovi kandidati su ograničeni na blokove korišćenjem predviđanja ili inter predviđanja sa kompenzacijom kretanja, respektivno. Samo oni mogu biti elementi skupa blokova kandidata. Signalizacija i kontekstualno modeliranje informacija spajanja može se uraditi kao što je gore opisano.

[0131] Vraćajući se kombinaciji gore opisanih izvođenja multitree podele i aspekta spajanja koji je sada opisan, ako je slika podeljena na kvadratne blokove promenljive veličine korišćenjem strukture podele zasnovane na quadtree stablu, na primer, spajanje_fleg i spajanje_levo_fleg ili drugi elementi sintakse koji specificiraju spajanje mogu se preplitati sa parametrima predviđanja koji se prenose za svaki čvor lista strukture quadtree stabla. Razmotrimo ponovo, na primer, Sl. 9a. Sl. 9a prikazuje primer za podelu slike na osnovu quadtree stabla na blokove predviđanja promenljive veličine. Gornja dva bloka najveće veličine su takozvani blokovi stabla, odnosno blokovi za predviđanje najveće moguće veličine. Ostali blokovi na ovoj slici su dobijeni kao podela njihovog odgovarajućeg bloka stabla. Trenutni blok je označen sa "X". Svi osenčeni blokovi se kodiraju/dekodiraju pre trenutnog bloka, tako da formiraju skup uzročnih blokova. Kao što je objašnjeno u opisu dobijanja skupa blokova kandidata u jednom od izvođenja, samo blokovi koji sadrže direktne (tj. gornji ili levi) susedni uzorci gornje leve pozicije uzorka trenutnog bloka mogu biti članovi skupa blokova kandidata. Tako se trenutni blok može spojiti sa bilo blokom "A" ili blokom "B". Ako je spajanje_fleg jednak 0 (za "netačno"), trenutni blok "X" nije spojen ni sa jednim od dva bloka. Ako blokovi "A" i "B" imaju identične parametre predviđanja, ne treba praviti razliku, pošto će spajanje sa bilo kojim od dva bloka dovesti do istog rezultata. Dakle, u ovom slučaju, spajanje_levo_fleg se ne prenosi. U suprotnom, ako blokovi "A" i "B" imaju različite parametre predviđanja, spajanje_levo_fleg jednak 1 (za "tačno") će spojiti blokove "X" i "B", dok će spajanje_levo_fleg jednak 0 (za "netačno") spojiti blokove "X" i "A". U jednom drugom poželjnom izvođenju, dodatni susedni (već preneti) blokovi predstavljaju kandidate za spajanje.

[0132] Na Sl. 9b je prikazan još jedan primer. Ovde su trenutni blok "X" i levi susedni blok "B" blokovi stabla, odnosno imaju maksimalnu dozvoljenu veličinu bloka. Veličina gornjeg susednog bloka "A" je jedna četvrtina veličine bloka stabla. Blokovi koji su element skupa uzročnih blokova su osenčeni. Uzmimo u obzir da, prema jednom od poželjnih izvođenja, trenutni blok "X" se može spojiti samo sa dva bloka "A" ili "B", ne sa bilo kojim drugim gornjim susednim blokovima. U drugom poželjnom izvođenju, dodatni susedni (već preneti) blokovi predstavljaju kandidate za spajanje.

[0133] Pre nego što nastavimo sa opisom u vezi sa aspektom kako da se postupa sa različitim nizovima uzoraka slike prema izvođenjima predmetne prijave, jasno je da gornja diskusija u vezi sa multitree podelom i signalizacijom s jedne strane i aspektom spajanja s druge strane pokazuje da ovi aspekti pružaju prednosti koje se mogu iskoristiti nezavisno jedan od drugog. To jest, kao što je već objašnjeno u prethodnom tekstu, kombinacija multitree podele sa aspektom spajanja ima specifične prednosti, ali prednosti takođe proizilaze iz alternativa gde je, na primer, princip spajanja izveden sa, međutim, podelom koju obavljaju razdelnici 30 i 104a koji se ne zasnivaju na quadtree ili multitree podeli, ali pre odgovaraju makroblokovskoj podeli sa redovnim particionisanjem ovih makroblokova na manje particije. S druge strane, zbog toga, kombinacija multitree podele zajedno sa prenosom indikacije maksimalne veličine bloka stabla unutar toka bitova, i upotreba multitree podele zajedno sa korišćenjem redosleda prelaska prvo po dubini koji transportuje odgovarajuće parametre kodiranja blokova su

1

korisni nezavisno od toga da li se funkcija spajanja koristi istovremeno ili ne. Generalno, prednosti spajanja se mogu razumeti ako se uzme u obzir da se, intuitivno, efikasnost kodiranja može povećati kada se sintaksa kodiranja niza uzoraka proširi na način da ne samo da dozvoljava da se blok podeli, već i da se spoje dva ili više blokova koji se dobijaju nakon podele. Kao rezultat, dobija se grupa blokova koji su kodirani istim parametrima predviđanja. Parametri predviđanja za takvu grupu blokova moraju biti kodirani samo jednom. Dalje, u pogledu spajanja skupova uzoraka, ponovo treba napomenuti da razmatrani skupovi uzoraka mogu biti pravougaoni ili kvadratni blokovi, u kom slučaju spojeni skupovi uzoraka predstavljaju kolekciju pravougaonih i/ili kvadratnih blokova. Alternativno, međutim, razmatrani skupovi uzoraka su proizvoljno oblikovani regioni slike, a spojeni skupovi uzoraka predstavljaju kolekciju proizvoljno oblikovanih regiona slike.

[0134] Sledeći opis se fokusira na postupanje sa različitim nizovima uzoraka slike u slučaju da postoji više od jednog niza uzoraka po slici, a neki aspekti navedeni u sledećem opisu su korisni nezavisno od vrste korišćene podele, tj. nezavisno od toga da li je podela zasnovana na multitree podeli ili ne, i nezavisno od toga da li se proces spajanja koristi ili ne. Pre nego što se počne sa opisivanjem konkretnih izvođenja u vezi sa postupanjem sa različitim nizovima uzoraka slike, suština ovih izvođenja je obrazložena kratkim uvodom u oblast postupanja sa različitim nizovima uzoraka po slici.

[0135] Sledeća diskusija se fokusira na parametre kodiranja između blokova različitih nizova uzoraka slike u aplikaciji za kodiranje slike ili videa, a posebno na način adaptivnog predviđanja parametara kodiranja između različitih nizova uzoraka slike u, npr., ali ne isključivo u enkoderu i dekoderu Sl. 1 i 2, odnosno u drugom okruženju za kodiranje slike ili video zapisa. Nizovi uzoraka mogu, kao što je gore navedeno, predstavljati nizove uzoraka koji su povezani sa različitim komponentama boja ili nizove uzoraka koji povezuju sliku sa dodatnim informacijama kao što su podaci o transparentnosti ili mape dubine. Nizovi uzoraka koji su povezani sa komponentama boja na slici se takođe nazivaju ravni boja. Tehnika opisana u nastavku se takođe naziva usvajanje/predviđanje među ravnima i može se koristiti u blokovskim enkoderima i dekoderima slike i videa, pri čemu redosled obrade blokova nizova uzoraka za sliku može biti proizvoljan.

[0136] Koderi za slike i video su tipično dizajnirani za kodiranje slika u boji (bilo mirnih slika ili slika video sekvence). Slika u boji se sastoji od više ravni boja, koje predstavljaju nizove uzoraka za različite komponente boja. Često su slike u boji kodirane kao skup nizova uzoraka koji se sastoje od luma ravni i dve hroma ravni, gde ove poslednje specificiraju komponente razlike u boji. U nekim oblastima primene, takođe je uobičajeno da se skup kodiranih nizova uzoraka sastoji od tri ravni boja koje predstavljaju nizove uzoraka za tri primarne boje crvenu, zelenu i plavu. Pored toga, za poboljšanu predstavu boja, slika u boji može se sastojati od više od tri ravni boja. Štaviše, slika se može povezati sa pomoćnim nizovima uzoraka koji specificiraju dodatne informacije za sliku. Na primer, takvi nizovi pomoćnih uzoraka mogu biti nizovi uzoraka koji specificiraju transparentnost (pogodno za specifične svrhe prikaza) za povezane nizove uzoraka boja ili nizove uzoraka koji specificiraju mapu dubine (pogodno za rendiranje višestrukih prikaza, npr. za 3-D ekrane ).

[0137] U konvencionalnim standardima kodiranja slike i videa (kao što je H.264), ravni boja se obično kodiraju zajedno, pri čemu se određeni parametri kodiranja kao što su režimi predviđanja makroblokova i podmakroblokova, referentni indeksi i vektori kretanja koriste za sve komponente u boji bloka. Luma ravan može se smatrati primarnom ravni boje za koju su određeni parametri kodiranja specificirani u toku bitova, a hroma ravni se mogu smatrati

2

sekundarnim ravnima, za koje se odgovarajući parametri kodiranja izvode iz primarne luma ravni. Svaki luma blok je povezan sa dva hroma bloka koji predstavljaju istu oblast na slici. U zavisnosti od korišćenog formata hroma uzorkovanja, nizovi hroma uzoraka mogu biti manji od niza luma uzoraka za blok. Za svaki makroblok koji se sastoji od luma komponente i dve hroma komponente, koristi se ista podela na manje blokove (ako je makroblok podeljen). Za svaki blok koji se sastoji od bloka luma uzoraka i dva bloka hroma uzoraka (koji mogu biti sam makroblok ili podblok makrobloka), isti skup parametara predviđanja kao što su referentni indeksi, parametri kretanja, a ponekad i režimi intra predviđanja su korišćeni. U specifičnim profilima konvencionalnih standarda video kodiranja (kao što su profili 4:4:4 u H.264), takođe je moguće nezavisno kodirati različite ravni boja slike. U toj konfiguraciji, particionisanje makroblokova, režimi predviđanja, referentni indeksi i parametri kretanja mogu se posebno izabrati za komponentu boje makrobloka ili podbloka. Konvencionalni standardi kodiranja, bilo da se sve ravni boja kodiraju zajedno koristeći isti skup određenih parametara kodiranja (kao što su informacije o podeli i parametri predviđanja) ili su sve ravni boja kodirane potpuno nezavisno jedna od druge.

[0138] Ako su ravni boja kodirane zajedno, jedan skup parametara podele i predviđanja mora da se koristi za sve komponente boje u bloku. Ovo osigurava da se sporedne informacije održavaju male, ali može rezultirati smanjenjem efikasnosti kodiranja u poređenju sa nezavisnim kodiranjem, pošto upotreba različitih dekompozicija blokova i parametara predviđanja za različite komponente boje može rezultovati povoljnijim odnosom brzinaizobličenje. Kao primer, upotreba drugačijeg vektora kretanja ili referentnog frejma za hroma komponente može značajno smanjiti energiju zaostalog signala za hroma komponente i povećati njihovu ukupnu efikasnost kodiranja. Ako su ravni boja kodirane nezavisno, parametri kodiranja kao što su particionisanje blokova, referentni indeksi i parametri kretanja mogu se izabrati za svaku komponentu boje posebno kako bi se optimizovala efikasnost kodiranja za svaku komponentu boje. Ali nije moguće iskoristiti redundantnost između komponenti boja. Višestruki prenosi određenih parametara kodiranja rezultuju povećanom brzinom protoka sporednih informacija (u poređenju sa kombinovanim kodiranjem) i ova povećana brzina protoka sporednih informacija može imati negativan uticaj na ukupnu efikasnost kodiranja. Takođe, podrška za nizove pomoćnih uzoraka u najsavremenijim standardima video kodiranja (kao što je H.264) je ograničena na slučaj da su nizovi pomoćnih uzoraka kodirani korišćenjem sopstvenog skupa parametara kodiranja.

[0139] Prema tome, u svim izvođenjima opisanim do sada, sa ravnima slike se može postupati kao što je gore opisano, ali kao što je takođe diskutovano gore, ukupna efikasnost kodiranja za kodiranje više nizova uzoraka (koji mogu biti povezani sa različitim ravnima boja i/ ili pomoćni nizovi uzoraka) može se povećati, kada bi bilo moguće odlučiti na bazi bloka, na primer, da li su svi nizovi uzoraka za blok kodirani istim parametrima kodiranja ili se koriste različiti parametri kodiranja. Osnovna ideja sledećeg predviđanja među ravnima je da se dozvoli takva adaptivna odluka na bazi blokova, na primer. Enkoder može izabrati, na primer na osnovu kriterijuma brzina-izobličenje, da li su svi ili neki nizovi uzoraka za određeni blok kodirani korišćenjem istih parametara kodiranja ili da li se različiti parametri kodiranja koriste za različite nizove uzoraka. Ovaj izbor se takođe može postići signalizacijom za određeni blok niza uzoraka da li su specifični parametri kodiranja zaključeni iz već kodiranog ko-lociranog bloka drugog niza uzoraka. Takođe je moguće rasporediti različite nizove uzoraka za sliku u grupe, koje se takođe nazivaju grupe nizova uzoraka ili grupe ravni. Svaka grupa ravni može da sadrži jedan ili više nizova uzoraka slike. Zatim, blokovi nizova uzoraka unutar grupe ravni dele iste izabrane zajedničke parametre kodiranja, kao što su informacije o podelama, režimi predviđanja i rezidualni režimi kodiranja, dok se drugi parametri kodiranja, kao što su nivoi koeficijenta transformacije, posebno prenose za svaki niz uzoraka unutar ravni. grupa. Jedna grupa ravni je kodirana kao primarna grupa ravni, tj. nijedan od parametara kodiranja se ne zaključuje ili predviđa iz drugih grupa ravni. Za svaki blok grupe sekundarne ravni, može se adaptivno izabrati da li se prenosi novi skup izabranih parametara kodiranja ili da li se izabrani parametri kodiranja izvode ili predviđaju iz primarne ili druge grupe sekundarnih ravni. Odluke o tome da li su izabrani parametri kodiranja za određeni blok zaključeni ili predviđeni su uključene u tok bitova. Predviđanje među ravnima omogućava veću slobodu u izboru kompromisa između brzine prenosa sporednih informacija i kvaliteta predviđanja u odnosu na najsavremenije kodiranje slika koje se sastoji od više nizova uzoraka. Prednost je poboljšana efikasnost kodiranja u odnosu na konvencionalno kodiranje slika koje se sastoji od više nizova uzoraka.

[0140] Usvajanje/predviđanje unutar ravni može proširiti koder slike ili videa, kao što su oni iz prethodno navedenih izvođenja opisa, na način da se može adaptivno izabrati za blok niza uzoraka boja ili pomoćnog niza uzoraka ili skupa nizova uzoraka boja i/ili pomoćnih nizova uzoraka da li se izabrani skup parametara kodiranja zaključuje ili predviđa iz već kodiranih ko-lociranih blokova drugih nizova uzoraka na istoj slici ili je izabrani skup parametara kodiranja za blok nezavisno kodiran bez pozivanja na ko-locirane blokove drugih nizova uzoraka na istoj slici. Odluke o tome da li se izabrani skup parametara kodiranja zaključuje ili predviđa za blok niza uzoraka ili blok višestrukih nizova uzoraka mogu biti uključene u tok bitova. Različiti nizovi uzoraka koji su povezani sa slikom ne moraju imati istu veličinu.

[0141] Kao što je gore opisano, nizovi uzoraka koji su povezani sa slikom (nizovi uzoraka mogu predstavljati komponente boja i/ili pomoćne nizove uzoraka) mogu biti raspoređeni u dve ili više takozvanih grupa ravni, gde se svaka grupa ravni sastoji od jednog ili više nizova uzoraka. Nizovi uzoraka koji se nalaze u određenoj grupi ravni ne moraju imati istu veličinu. Uočimo da ovaj raspored u grupi ravni uključuje slučaj da je svaki niz uzoraka odvojeno kodiran.

[0142] Da budemo precizniji, prema jednom izvođenju, vrši se adaptivni izabor, za svaki blok grupe ravni, da li se parametri kodiranja koji specificiraju kako je blok predviđen, izvode ili predviđaju iz već kodiranog ko-lociranog bloka različite grupe ravni za istu sliku ili da li su ovi parametri kodiranja posebno kodirani za blok. Parametri kodiranja koji određuju kako se blok predviđa uključuju jedan ili više od sledećih parametara kodiranja: režime predviđanja blokova koji specificiraju koje se predviđanje koristi za blok (intra predviđanje, inter predviđanje koje koristi jedan vektor kretanja i referentnu sliku, inter predviđanje koje koristi dva vektora kretanja i referentne slike, inter predviđanje koje koristi model višeg reda, tj. model netranslacionog kretanja i jednu referentnu sliku, inter predviđanje koje koristi višestruki model kretanja i referentnih slika), režime intra predviđanja koji specificiraju kako se generiše signal intra predviđanja, identifikator koji specificira koliko se signala predviđanja kombinuje za generisanje konačnog signala predviđanja za blok, referentne indekse koji specificiraju koja se referentna slika(e) koristi za predviđanje sa kompenzacijom kretanja, parametre kretanja (kao što su vektori pomeranja ili parametri afinog kretanja) specificirajući kako se signal(i) predviđanja generiše(ju) korišćenjem referentne(ih) slike(a), identifikator koji specificira kako se referentna(e) slika(e) filtrira(ju) za generisanje signala predviđanja kompenzovanih kretanja. Uočimo da generalno, blok može biti povezan samo sa podskupom pomenutih parametara kodiranja. Na primer, ako režim predviđanja bloka specificira da je blok intra predviđen, parametri kodiranja za blok mogu dodatno uključiti režime intra predviđanja, ali parametri kodiranja kao što su referentni indeksi i parametri kretanja koji određuju kako se generiše signal inter predviđanja nisu navedeni; ili ako režim predviđanja

4

bloka specificira inter predviđanje, povezani parametri kodiranja mogu dodatno uključiti referentne indekse i parametre kretanja, ali načini intra predviđanja nisu specificirani.

[0143] Jedna od dve ili više grupa ravni može biti kodirana ili naznačena unutar toka bitova kao primarna grupa ravni. Za sve blokove ove primarne grupe ravni, parametri kodiranja koji specificiraju kako se generiše signal predviđanja prenose se bez upućivanja na druge grupe ravni iste slike. Preostale grupe ravni su kodirane kao sekundarne grupe ravni. Za svaki blok sekundarnih grupa ravni, prenosi se jedan ili više elemenata sintakse koji signaliziraju da li su parametri kodiranja za specificiranje načina na koji se blok predviđa, izvedeni ili predviđeni iz ko-lociranog bloka drugih grupa ravni ili da li je novi skup ovih parametri kodiranja prenesen za blok. Jedan od jednog ili više elemenata sintakse može se nazvati flegom predviđanja među ravnima ili parametrom predviđanja među ravnima. Ako elementi sintakse signaliziraju da odgovarajući parametri kodiranja nisu izvedeni ili dobijeni predviđanjem, novi skup odgovarajućih parametara kodiranja za blok se prenosi pomoću toka bitova. Ako elementi sintakse signaliziraju da su odgovarajući parametri kodiranja zaključeni ili predviđeni, određuje se ko-locirani blok u takozvanoj grupi referentne ravni. Dodeljivanje grupe referentne ravni za blok može se konfigurisati na više načina. U jednom izvođenju, određena grupa referentnih ravni je dodeljena svakoj grupi sekundarnih ravni; ovo dodeljivanje može biti fiksno ili signalizirano u strukturama sintakse visokog nivoa kao što su skupovi parametara, zaglavlje pristupne jedinice, zaglavlje slike ili zaglavlje preseka.

[0144] U drugom primeru, dodeljivanje referentne grupe ravni je kodirano unutar toka bitova i signalizira se jednim ili više elemenata sintakse koji su kodirani za blok kako bi se specificiralo da li su izabrani parametri kodiranja zaključeni ili dobijeni predviđanjem ili odvojeno kodirani.

[0145] Da bi se olakšale upravo pomenute mogućnosti u vezi sa predviđanjem među ravnima i sledećim detaljnim izvođenjima, upućuje se na Sl. 11, koja ilustrativno prikazuje sliku 500 sastavljenu od tri niza 502, 504 i 506 uzoraka. Radi lakšeg razumevanja, samo pod-delovi nizova 502-506 uzoraka su prikazani na Sl. 11. Nizovi uzoraka su prikazani kao da su registrovani jedan naspram drugog prostorno, tako da nizovi 502-506 uzoraka prekrivaju jedan drugog duž pravca 508 i tako da projekcija uzoraka nizova 502-506 uzoraka duž pravca 508 rezultira da uzorci svih ovih nizova 502-506 uzoraka budu pravilno prostorno raspoređeni jedni prema drugima. Drugim rečima, ravni 502 i 506 su raširene duž horizontalnog i vertikalnog pravca kako bi jedna drugoj prilagodile svoju prostornu rezoluciju i međusobno ih registrovale.

[0146] Prema jednom izvođenju, svi nizovi uzoraka slike mogu pripadati istom delu prostorne scene pri čemu se rezolucija duž vertikalnog i horizontalnog smera može razlikovati između pojedinačnih nizova 502-506 uzoraka. Dalje, u svrhu ilustracije, smatra se da nizovi 502 i 504 uzoraka pripadaju jednoj grupi ravni 510, dok se smatra da niz 506 uzoraka pripada drugoj grupi ravni 512. Dalje, Sl. 11 ilustruje primer slučaja gde je prostorna rezolucija duž horizontalne ose niza 504 uzoraka dvostruko veća od rezolucije u horizontalnom pravcu niza 502 uzoraka. Štaviše, smatra se da niz504 uzoraka formira primarni niz u odnosu na niz 502 uzoraka, koji formira podređeni niz u odnosu na primarni 504 niz. Kao što je ranije objašnjeno, u ovom slučaju, podela niza 504 uzoraka na blokove kako je odlučeno od strane razdelnika 30 sa Sl.1 je usvojena od strane podređenog 502 niza pri čemu, u skladu sa primerom sa Sl. 11, zbog vertikalne rezolucije uzorka 502 koja je jednaka polovi rezolucije u vertikalnom pravcu primarnog niza 504, svaki blok je prepolovljen na dva horizontalno postavljena bloka, koji su, zbog polovljenja, ponovo kvadratni blokovi kada se mere u jedinicama pozicija uzorka unutar niza 502 uzoraka.

[0147] Kao što je na primer prikazano na Sl. 11, podela izabrana za niz 506 uzoraka se razlikuje od podele druge grupe 510 ravni. Kao što je ranije opisano, razdelnik 30 može da izabere podelu niza506 piksela odvojeno ili nezavisno od podela za grupu 510 ravni. Naravno, rezolucija niza 506 uzoraka se takođe može razlikovati od rezolucija ravni 502 i 504 grupe 510 ravni.

[0148] Sada, kada se kodira pojedinačni niz 502-506 uzoraka, koder 10 može početi sa kodiranjem primarnog niza 504 grupe 510 ravni na, na primer, način opisan gore. Blokovi prikazani na Sl. 11 mogu, na primer, biti gore pomenuti blokovi za predviđanje. Alternativno, blokovi su rezidualni blokovi ili drugi blokovi koji definišu granularnost za definisanje određenih parametara kodiranja. Predviđanje među ravnima nije ograničeno na podelu quadtree ili multitree stabla, iako je to ilustrovano na Sl. 11.

[0149] Nakon prenosa elementa sintakse za primarni niz 504, koder 10 može da odluči da proglasi primarni niz 504 kao referentnu ravan za podređenu ravan 502. Enkoder 10 i ekstraktor 30, respektivno, mogu da signaliziraju ovu odluku preko toka 22 bitova, dok povezanost može biti jasna iz činjenice da niz 504 uzoraka formira primarni niz grupe 510 ravni čija informacija, zbog toga, takođe može biti deo toka 22 bitova. U svakom slučaju, za svaki blok u okviru niza 502 uzoraka umetač 18 ili bilo koji drugi modul enkodera 10 zajedno sa umetačem 18 može odlučiti ili da potisne prenos parametara kodiranja ovog bloka unutar toka bitova i da umesto toga signalizira unutar toka bitova za taj blok da će se koristiti parametri kodiranja ko-lociranog bloka unutar primarnog niza 504, ili da će se parametri kodiranja ko-lociranog bloka unutar primarnog niza 504 koristiti kao predviđanje za parametre kodiranja trenutnog bloka niza 502 uzoraka sa samo prenošenjem njegovih preostalih podataka za trenutni blok niza 502 uzoraka unutar bitstreama. U slučaju negativne odluke, parametri kodiranja se prenose unutar toka podataka kao i obično. Odluka se signalizira unutar toka 22 podataka za svaki blok. Na strani dekodera, ekstraktor 102 koristi ovu informaciju predviđanja među ravnima za svaki blok da bi dobio parametre kodiranja odgovarajućeg bloka niza 502 uzoraka u skladu sa tim, naime zaključivanjem parametara kodiranja ko-lociranog bloka u primarni niz 504 ili, alternativno, izdvajanje preostalih podataka za taj blok iz toka podataka i kombinovanje ovih zaostalih podataka sa predviđanjem dobijenim iz parametara kodiranja ko-lociranog bloka primarnog niza 504 ako se informacije o usvajanju/predviđanju među ravnima predlaže usvajanje/predviđanje među ravnima, ili izdvajanje parametara kodiranja trenutnog bloka niza uzoraka 502 kao i obično nezavisno od primarnog niza 504.

[0150] Kao što je takođe ranije opisano, referentne ravni nisu ograničene da budu unutar iste grupe ravni kao blok za koji je predviđanje među ravnima trenutno od interesa. Stoga, kao što je gore opisano, grupa 510 ravni može predstavljati primarnu grupu ravani ili grupu referentne ravni za grupu 512 sekundarnih ravni. U ovom slučaju, tok bitova može sadržati element sintakse koji za svaki blok niza uzoraka 506 pokazuje da li će se prethodno pomenuto usvajanje/predviđanje parametara kodiranja ko-lociranih makroblokova bilo koje od ravni 502 i 504 grupe primarne ravni ili grupe referentne ravni 510 izvršiti ili ne, pri čemu u poslednjem slučaju parametri kodiranja trenutnog bloka uzorka niza 506 se prenose kao i obično.

[0151] Treba napomenuti da parametri podele i/ili predviđanja za ravni unutar grupe ravni mogu biti isti, tj. zato što su samo jednom kodirani za grupu ravni (sve sekundarne ravni grupe ravni zaključuju podelu informacije i/ili parametri predviđanja iz primarne ravni unutar iste grupe ravni), a adaptivno predviđanje ili zaključivanje informacija o podeli i/ili parametara predviđanja se vrši između grupa ravni.

[0152] Treba napomenuti da grupa referentne ravni može biti primarna grupa ravni ili sekundarna grupa ravni.

[0153] Ko-lociranje između blokova različitih ravni unutar grupe ravni je lako razumljivo pošto je podela primarnog niza 504 uzoraka prostorno usvojena od strane podređenog niza 502 uzoraka, osim upravo opisanog potparticionisanja blokova kako bi se usvojeni blokovi listova pretvorili u kvadratne blokove. U slučaju usvajanja/predviđanja među ravnima između različitih grupa ravni, kolokacija bi se mogla odrediti na način da omogući veću slobodu između podela ovih grupa ravni. S obzirom na grupu referentne ravni, određuje se ko-locirani blok unutar grupe referentne ravni. Izvođenje ko-lociranog bloka i grupe referentne ravni može se izvršiti postupkom sličnim sledećem. Odabran je određeni uzorak 514 u trenutnom bloku 516 jednog od nizova 506 uzoraka iz grupe sekundarnih ravni 512. Isti može biti gornji levi uzorak trenutnog bloka 516 kao što je prikazano na 514 na Sl. 11 u ilustrativne svrhe ili uzorak u trenutnom bloku 516 blizu sredine trenutnog bloka 516 ili bilo koji drugi uzorak unutar trenutnog bloka, koji je geometrijski jedinstveno definisan. Izračunava se lokacija ovog izabranog uzorka 515 unutar niza 502 i 504 uzoraka grupe 510 referentnih ravni 510. Položaji uzorka 514 unutar nizova 502 i 504 uzoraka prikazani su na Sl. 11 na 518 i 520, respektivno. Koja od ravni 502 i 504 unutar grupe 510 referentnih ravni se zapravo koristi može biti unapred određeno ili može biti signalizirano unutar toka bitova. Određuje se uzorak unutar odgovarajućeg niza 502 ili 504 uzoraka grupe 510 referentne ravni, koji je najbliži pozicijama 518 i 520, a blok koji sadrži ovaj uzorak se bira kao ko-locirani blok unutar odgovarajućeg niza 502 i 504 uzoraka, respektivno. U slučaju Sl. 11, to su blokovi 522 i 524, respektivno. Alternativni pristup za određivanje ko-lociranog bloka u drugim ravnima je opisan kasnije.

[0154] U jednom izvođenju, parametri kodiranja koji specificiraju predviđanje za trenutni blok 516 mogu se u potpunosti zaključiti korišćenjem odgovarajućih parametara predviđanja kolociranog bloka 522/524 u drugoj grupi 510 ravni iste slike 500, bez prenosa dodatne sporedne informacije. Zaključak se može sastojati od jednostavnog kopiranja odgovarajućih parametara kodiranja ili prilagođavanja parametara kodiranja uzimajući u obzir razlike između trenutne 512 i referentne grupe 510 ravni. Kao primer, ovo prilagođavanje se može sastojati od dodavanja korekcije parametara kretanja (npr. korekcije vektora pomeranja) kako bi se uzela u obzir fazna razlika između nizova luma i hroma uzoraka; ili se prilagođavanje može sastojati od modifikovanja nivoa tačnosti parametara kretanja (npr. modifikovanja nivoa tačnosti vektora pomeranja) radi uzimanja u obzir različite rezolucije nizova luma i hroma uzoraka. U jednom daljem izvođenju, jedan ili više pretpostavljenih parametara kodiranja za specificiranje generisanja signala predviđanja ne koriste se direktno za trenutni blok 516, već se koriste kao predviđanje za odgovarajuće parametre kodiranja za trenutni blok 516 i finije podešavanje ovih parametara kodiranja za trenutni blok 516 se prenosi preko toka 22 bitova. Kao primer, izvedeni parametri kretanja se ne koriste direktno, ali odstupanja parametara kretanja (kao što je odstupanje vektora pomeranja) koji specificiraju odstupanje između parametara kretanja koji se koriste za trenutni blok 516 i zaključenih parametara kretanja su kodirani u toku bitova; na strani dekodera, stvarni korišćeni parametri kretanja se dobijaju kombinovanjem zaključenih parametara kretanja i prenetih razlika parametara kretanja.

[0155] U jednom daljem izvođenju, podela bloka, kao što su blokovi stabla gore pomenute podele predviđanja na blokove predviđanja (tj. blokove uzoraka za koje se koristi isti skup parametara predviđanja) adaptivno je zaključena ili dobijena predviđanjem iz već kodiranog ko-lociranog bloka različite grupe ravni za istu sliku, odnosno sekvencu bitova prema Sl. 6a ili 6b. U jednom izvođenju, jedna od dve ili više grupa ravni je kodirana kao primarna grupa ravni. Za sve blokove ove primarne grupe ravni, informacije o podeli se prenose bez upućivanja na druge grupe ravni iste slike. Preostale grupe ravni su kodirane kao sekundarne grupe ravni. Za blokove sekundarnih grupa ravni, jedan ili više elemenata sintakse se prenose koji signaliziraju da li je informacija o podeli zaključena ili dobijena predviđanjem iz kolociranog bloka drugih ravni grupa ili da li se informacija o podeli prenosi u toku bitova. Jedan od jednog ili više sintaksnih elemenata može se nazvati flegom predviđanja među ravnima ili parametrom predviđanja među ravnima. Ako elementi sintakse signaliziraju da informacija o podeli nije zaključena ili predviđena, informacija o podeli za blok se prenosi preko toka bitova bez upućivanja na druge ravni grupe iste slike. Ako elementi sintakse signaliziraju da su informacije o podelama zaključene ili predviđene, određuje se ko-locirani blok u takozvanoj grupi referentne ravni. Dodeljivanje grupe referentne ravni za blok može se konfigurisati na više načina. U jednom izvođenju, određena grupa referentne ravni je dodeljena svakoj grupi sekundarnih ravni; ovo dodeljivanje može biti fiksno ili se može signalizirati u sintaksnim strukturama visokog nivoa kao skupovi parametara, zaglavlje pristupne jedinice, zaglavlje slike ili zaglavlje preseka. U jednom drugom izvođenju, dodeljivanje grupe referentne ravni je kodirano unutar toka bitova i signalizirano jednim ili više elemenata sintakse koji su kodirani za blok kako bi se specificiralo da li je informacija o podelama zaključena ili predviđena ili posebno kodirana. Grupa referentne ravni može biti grupa primarne ravni ili druga grupa sekundarne ravni. S obzirom na grupu referentne ravni, određuje se ko-locirani blok unutar grupe referentne ravni. Kolocirani blok je blok u grupi referentne ravni koji odgovara istoj oblasti slike kao trenutni blok, ili blok koji predstavlja blok unutar grupe referentne grupe ravni koji deli najveći deo oblasti slike sa trenutnim blokom. Kolocirani blok se može podeliti na manje blokove predviđanja.

[0156] U jednom daljem izvođenju, informacija o podeli za trenutni blok, kao što je quadtree zasnovana podela prema Sl. 6a ili 6b, u potpunosti se zaključuje korišćenjem informacija o podeli kolociranog bloka u drugoj grupi ravni iste slike, bez prenošenja dodatnih sporednih informacija. Kao poseban primer, ako je ko-locirani blok podeljen na dva ili četiri bloka za predviđanje, trenutni blok se takođe deli na dva ili četiri podbloka u svrhu predviđanja. Kao još jedan poseban primer, ako je ko-locirani blok podeljen na četiri podbloka i jedan od ovih podblokova je dalje podeljen na četiri manja podbloka, trenutni blok je takođe podeljen na četiri podbloka i jedan od ovih podblokova (onaj koji odgovara podbloku kolociranog bloka koji se dalje dekomponuje) je takođe podeljen na četiri manja podbloka. U jednom daljem poželjnom izvođenju, zaključena informacija o podeli se ne koristi direktno za trenutni blok, ali se koristi kao predviđanje za stvarnu informaciju o podeli za trenutni blok, a odgovarajuća informacija o preciziranju se prenosi preko toka bitova. Kao primer, informacija o podelama koje se izvode iz ko-lociranog bloka mogu biti dalje precizirane. Za svaki podblok koji odgovara podbloku u ko-lociranom bloku koji nije podeljen na manje blokove, element sintakse može biti kodiran kroz tok bitova, koji određuje da li se podblok dalje dekomponuje u trenutnoj grupi ravni. Prenos takvog sintaksnog elementa može biti uslovljen veličinom podbloka. Ili se može signalizirati preko toka bitova da podblok koji je dalje particionisan u grupi referentne ravni nije podeljen na manje blokove u trenutnoj grupi ravni.

[0157] U jednom daljem izvođenju, I podela bloka na blokove predviđanja i parametri kodiranja koji specificiraju kako se ti podblokovi predviđaju se adaptivno zaključuju ili dobijaju predviđanjem iz već kodiranog ko-lociranog bloka druge grupe ravni za istu sliku. U jednom poželjnom izvođenju pronalaska, jedna od dve ili više grupa ravni je kodirana kao primarna grupa ravni. Za sve blokove ove primarne grupe ravni, informacije o podeli i parametri predviđanja se prenose bez upućivanja na druge grupe ravni iste slike. Preostale grupe ravni su kodirane kao sekundarne grupe ravni. Za blokove sekundarnih grupa ravni, prenosi se jedan ili više elemenata sintakse koji signaliziraju da li su informacije o podeli i parametri predviđanja zaključeni ili dobijeni predviđanjem iz ko-lociranog bloka drugih grupa ravni ili da li se prenose informacije o podeli i parametri predviđanja u tok bitova. Jedan od jednog ili više elemenata sintakse može se nazvati flegom predviđanja među ravnima ili parametrom predviđanja među ravnima. Ako elementi sintakse signaliziraju da informacije o podeli i parametri predviđanja nisu izvedeni ili dobijeni predviđanjem, informacije o podeli za blok i parametri predviđanja za rezultujuće podblokove se prenose preko toka bitova bez upućivanja na druge ravni grupe iste slike. Ako elementi sintakse signaliziraju da su informacije o podeli i parametri predviđanja za podblok zaključeni ili dobijeni predviđanjem, određuje se ko-locirani blok u takozvanoj grupi referentne ravni. Dodeljivanje grupe referentne ravni za blok može se konfigurisati na više načina. U jednom izvođenju, jedna određena grupa referentne ravni je dodeljena svakoj grupi sekundarnih ravni; ovo dodeljivanje može biti fiksno ili signalizirano u sintaksnim strukturama visokog nivoa kao što su skupovi parametara, zaglavlje pristupne jedinice, zaglavlje slike ili zaglavlje preseka. U jednom drugom izvođenju, dodeljivanje grupe referentne ravni je kodirano unutar toka bitova i signalizira se jednim ili više elemenata sintakse koji su kodirani za blok kako bi se naznačilo da li su informacije o podeli i parametri predviđanja zaključeni ili dobijeni predviđanjem ili posebno kodirani. Grupa referentne ravni može biti grupa primarne ravni ili druga grupa sekundarne ravni. S obzirom na grupu referentne ravni, određuje se ko-locirani blok unutar grupe referentne ravni. Kolocirani blok može biti blok u grupi referentne ravni koji odgovara istoj oblasti slike kao trenutni blok, ili blok koji predstavlja blok unutar grupe referentne ravni koji deli najveći deo oblasti slike sa trenutnom blokom. Kolocirani blok se može podeliti na manje blokove predviđanja. U jednom poželjnom izvođenju, informacije o podeli za trenutni blok kao i parametri predviđanja za rezultujuće podblokove se u potpunosti izvode korišćenjem informacija o podeli kolociranog bloka u različitoj grupi ravni iste slike i parametara predviđanja odgovarajućih podblokova, bez prenošenje dodatnih sporednih informacija. Kao poseban primer, ako je ko-locirani blok podeljen na dva ili četiri bloka za predviđanje, trenutni blok je takođe podeljen na dva ili četiri podbloka u svrhu predviđanja, a parametri predviđanja za podblokove trenutnog bloka su izvedeni kao je gore opisano. Kao još jedan poseban primer, ako je ko-locirani blok podeljen na četiri podbloka i jedan od ovih podblokova je dalje podeljen na četiri manja podbloka, trenutni blok je takođe podeljen na četiri podbloka i jedan od ovih podblokova (onaj koji odgovara podbloku kolociranog bloka koji se dalje dekomponuje) se takođe deli na četiri manja podbloka i parametri predviđanja za sve podblokove koji nisu dalje particionisani se izvode kao što je gore opisano. U jednom daljem poželjnom izvođenju, informacija o podeli se u potpunosti izvodi na osnovu informacije o podeli ko-lociranog bloka u grupi referentne ravni, ali se izvedeni parametri predviđanja za podblokove koriste samo kao predviđanje za stvarne parametre predviđanja podblokova. Odstupanja između stvarnih parametara predviđanja i zaključenih parametara predviđanja su kodirana u okviru toka bitova. U jednom daljem izvođenju, zaključene informacije o podeli se koriste kao predviđanje za stvarne informacije o potpodeli za trenutni blok i razlika se prenosi preko toka bitova (kao što je gore opisano), ali se parametri predviđanja u potpunosti izvode. U jednom daljem izvođenju, i izvedene informacije o podeli i izvedeni parametri predviđanja koriste se kao predviđanje, a razlike između stvarnih informacija o podeli i parametara predviđanja i njihovih izvedenih vrednosti se prenose preko toka bitova.

[0158] U jednom daljem izvođenju, vrši se adaptivni izabor, za blok grupe ravni, da li se rezidualni modovi kodiranja (kao što je tip transformacije) izvode ili predviđaju iz već kodiranog ko-lociranog bloka različite grupe ravni za istu sliku ili da li su rezidualni načini kodiranja posebno kodirani za blok. Ovo izvođenje je slično izvođenju sa adaptivnim zaključivanjem/predviđanjem parametara predviđanja gore opisanom.

[0159] U jednom drugom izvođenju, podela bloka (npr. bloka predviđanja) na blokove transformacije (tj. blokove uzoraka na koje se primenjuje dvodimenzionalna transformacija) adaptivno se izvodi ili predviđa iz već kodiranog ko-lociranog bloka različite grupe ravni za istu sliku. Ova izvođenje je slično izvođenju za adaptivno zaključivanje/predviđanje podele na blokove za predviđanje opisanom gore.

[0160] U jednom drugom izvođenju, podela bloka na blokove transformacije i rezidualne modove kodiranja (npr. tipovi transformacije) za rezultujuće blokove transformacije se adaptivno zaključuje ili predviđa iz već kodiranog ko-lociranog bloka različite grupe ravni za istu sliku. Ovo izvođenje je slično izvođenju sa adaptivnim zaključivanjem/predviđanjem podele na blokove predviđanja i parametrima predviđanja za rezultujuće blokove predviđanja opisanom gore.

[0161] U jednom drugom izvođenju, podela bloka na blokove za predviđanje, pridružene parametre predviđanja, informacije o podeli blokova za predviđanje i rezidualni načini kodiranja za blokove transformacije se adaptivno zaključuju ili predviđaju iz već kodiranog ko-lociranog bloka druge grupe ravni za istu sliku. Ovo izvođenje predstavlja kombinaciju gore opisanih izvođenja. Takođe je moguće da su samo neki od navedenih parametara kodiranja izvedeni ili dobijeni predviđanjem.

[0162] Prema tome, usvajanje/predviđanje među ravnima može povećati efikasnost kodiranja što je ranije opisano. Međutim, povećanje efikasnosti kodiranja putem usvajanja/predviđanja među ravnima je takođe dostupno u slučaju da se koriste druge podele blokova osim podela zasnovanih na multitree principu i nezavisno od toga da li se spajanje blokova implementira ili ne.

[0163] Gore navedena izvođenja u pogledu adaptacije/predviđanja među ravnima su primenljiva na enkodere i dekodere slike i videa koji dele ravni boja slike i, ako postoje, nizove pomoćnih uzoraka povezanih sa slikom na blokove i pridružuju ovim blokovima parametre kodiranja. Za svaki blok, skup parametara kodiranja može biti uključen u tok bitova. Na primer, ovi parametri kodiranja mogu biti parametri koji opisuju kako se blok predviđa ili dekodira na strani dekodera. Kao posebni primeri, parametri kodiranja mogu predstavljati režime predviđanja makroblokova ili blokova, informacije o podelama, režime intra predviđanja, referentne indekse koji se koriste za predviđanje kompenzacije kretanja, parametre kretanja kao što su vektori izmeštanja, rezidualni režimi kodiranja, koeficijenti transformacije, itd. Različiti nizovi uzoraka koji su povezani sa slikom mogu imati različite veličine.

[0164] Sledeće, opisana je šema za poboljšano signaliziranje parametara kodiranja u okviru multitree šeme particionisanja, kao što je, na primer, ona koja je gore opisana u odnosu na Sl.

1 do 8. Kao i kod drugih šema, naime spajanja i usvajanja/predviđanja među ravnima, efekti i prednosti poboljšanih šema signalizacije, u daljem tekstu koji se često nazivaju nasleđivanje, opisani su nezavisno od gornjih izvođenja, iako se dole opisane šeme mogu kombinovati sa bilo kojim od gore navedenih izvođenja, sami ili u kombinaciji.

4

[0165] Generalno, poboljšana šema kodiranja za sporedne informacije kodiranja u okviru šeme particionisanja zasnovane na principu stabla, nazvana nasleđivanje, koja je opisana u nastavku, omogućava sledeće prednosti u odnosu na konvencionalne šeme tretmana parametara kodiranja.

[0166] U konvencionalnom kodiranju slika i video zapisa, slike ili određeni skupovi nizova uzoraka za slike se obično razlažu u blokove, koji su povezani sa određenim parametrima kodiranja. Slike se obično sastoje od više nizova uzoraka. Pored toga, slika može biti povezana sa dodatnim nizovima pomoćnih uzoraka, koji mogu, na primer, specificirati informacije o transparentnosti ili mape dubine. Nizovi uzoraka slike (uključujući nizove pomoćnih uzoraka) mogu se grupisati u jednu ili više takozvanih grupa ravni, gde se svaka grupa ravni sastoji od jednog ili više nizova uzoraka. Grupe ravni slike mogu se kodirati nezavisno ili, ako je slika povezana sa više od jedne grupe ravni, sa predviđanjem iz drugih grupa ravni iste slike. Svaka grupa ravni se obično razlaže na blokove. Blokovi (ili odgovarajući blokovi nizova uzoraka) se predviđaju ili predviđanjem među slikama ili predviđanjem unutar slike. Blokovi mogu imati različite veličine i mogu biti kvadratni ili pravougaoni. Podela slike na blokove može biti ili fiksirana sintaksom, ili može biti (barem delimično) signalizirana unutar toka bitova. Često se prenose elementi sintakse koji signaliziraju podelu za blokove unapred definisanih veličina. Takvi elementi sintakse mogu specificirati da li i kako je blok podeljen na manje blokove i da li su povezani parametri kodiranja, npr. u svrhu predviđanja. Za sve uzorke bloka (ili odgovarajuće blokove nizova uzoraka) dekodiranje pridruženih parametara kodiranja je specificirano na određeni način. U primeru, svi uzorci u bloku se predviđaju korišćenjem istog skupa parametara predviđanja, kao što su referentni indeksi (identifikovanje referentne slike u skupu već kodiranih slika), parametri kretanja (određivanje mere za kretanje blokova između referentne slike i trenutne slike), parametri za određivanje filtera interpolacije, režim intra predviđanja itd. Često se prenose elementi sintakse koji signaliziraju podelu za blokove unapred definisanih veličina. Takvi elementi sintakse mogu specificirati da li i kako je blok podeljen na manje blokove i da li su povezani parametri kodiranja, npr. u svrhu predviđanja. Za sve uzorke bloka (ili odgovarajuće blokove nizova uzoraka) dekodiranje pridruženih parametara kodiranja je specificirano na određeni način. U primeru, svi uzorci u bloku se predviđaju korišćenjem istog skupa parametara predviđanja, kao što su referentni indeksi (identifikovanje referentne slike u skupu već kodiranih slika), parametri kretanja (određivanje mere za kretanje blokova između referentne slike i trenutne slike), parametri za određivanje filtera interpolacije, režima intra predviđanja itd. Parametri kretanja mogu biti predstavljeni vektorima pomeraja sa horizontalnom i vertikalnom komponentom ili parametrima kretanja višeg reda kao što su parametri afinog kretanja koji se sastoje od šest komponenti. Takođe je moguće da je više od jednog skupa određenih parametara predviđanja (kao što su referentni indeksi i parametri kretanja) povezani sa jednim blokom. U tom slučaju, za svaki skup ovih specifičnih parametara predviđanja, generiše se jedan srednji signal za predviđanje za blok (ili odgovarajuće blokove nizova uzoraka), a konačni signal predviđanja se gradi kombinacijom koja uključuje superponiranje signala srednjeg predviđanja. Odgovarajući parametri ponderisanja i potencijalno takođe konstantni pomeraj (koji se dodaje ponderisanoj sumi) mogu biti fiksirani za sliku, ili referentnu sliku, ili skup referentnih slika, ili mogu biti uključeni u skup parametara predviđanja za odgovarajući blok. Razlika između originalnih blokova (ili odgovarajućih blokova nizova uzoraka) i njihovih signala za predviđanje, koji se takođe nazivaju rezidualnim signalom, obično se transformiše i kvantizuje. Često se dvodimenzionalna transformacija primenjuje na rezidualni signal (ili odgovarajuće nizove uzoraka za rezidualni blok). Za kodiranje transformacije, blokovi (ili odgovarajući blokovi nizova uzoraka), za koje je korišćen određeni skup parametara predviđanja, mogu se dalje podeliti pre primene transformacije. Blokovi transformacije mogu biti jednaki ili manji od blokova koji se koriste za predviđanje. Takođe je moguće da blok transformacije sadrži više od jednog od bloka koji se koriste za predviđanje. Različiti blokovi transformacije mogu imati različite veličine i blokovi transformacije mogu predstavljati kvadratne ili pravougaone blokove. Nakon transformacije, dobijeni koeficijenti transformacije se kvantuju i dobijaju se takozvani nivoi koeficijenata transformacije. Nivoi koeficijenta transformacije, kao i parametri predviđanja i, ako postoje, informacije o podeli su entropijski kodirane.

[0167] U nekim standardima za kodiranje slike i videa, mogućnosti za podelu slike (ili grupe ravni) na blokove koje obezbeđuje sintaksa su veoma ograničene. Obično se može samo odrediti da li i (potencijalno kako) blok unapred definisane veličine može biti podeljen na manje blokove. Na primer, najveća veličina bloka u H.264 je 16x16. Blokovi 16x16 se takođe nazivaju makroblokovi i svaka slika se deli na makroblokove u prvom koraku. Za svaki makroblok 16x16 može se signalizirati da li je kodiran kao blok 16x16, ili kao dva bloka 16x8, ili kao dva bloka 8x16, ili kao četiri bloka 8x8. Ako je blok 16x16 podeljen na četiri bloka 8x8, svaki od ovih blokova 8x8 može biti kodiran ili kao jedan blok 8x8, ili kao dva 8x4 bloka, ili kao dva 4x8 bloka, ili kao četiri 4x4 bloka. Mali skup mogućnosti za specifikaciju particionisanja na blokove u najsavremenijim standardima kodiranja slika i video zapisa ima prednost u tome što se brzina protoka sporednih informacija za signalizaciju informacija podele može zadržati malom, ali ima nedostatak što brzina toka bitova potrebna za prenos parametara predviđanja za blokove može postati značajna kao što je objašnjeno u nastavku. Brzina protoka sporednih informacija za signalizaciju informacija predviđanja obično predstavlja značajnu količinu ukupne brzine protoka za blok. A efikasnost kodiranja bi se mogla povećati kada bi se ove sporedne informacije smanjile, što bi se, na primer, moglo postići korišćenjem većih veličina blokova. Prave slike ili slike video sekvence sastoje se od proizvoljno oblikovanih objekata sa određenim svojstvima. Na primer, takve objekte ili delove objekata karakteriše jedinstvena tekstura ili jedinstveno kretanje. I obično se isti skup parametara predviđanja može primeniti na takav objekat ili deo objekta. Ali granice objekta se obično ne poklapaju sa mogućim granicama bloka za velike blokove predviđanja (npr. 16x16 makroblokova u H.264). Enkoder obično određuje podelu (među ograničenim skupom mogućnosti) koja rezultira minimumom mere negativnog uticaja na odnos brzina-izobličenje. Za objekte proizvoljnog oblika to može rezultirati velikim brojem malih blokova. A pošto je svaki od ovih malih blokova povezan sa skupom parametara predviđanja, koji treba da se prenesu, brzina prenosa bočne informacije može postati značajan deo ukupne brzine prenosa. Ali pošto nekoliko malih blokova i dalje predstavlja oblasti istog objekta ili dela objekta, parametri predviđanja za određeni broj dobijenih blokova su isti ili veoma slični. Intuitivno, efikasnost kodiranja bi se mogla povećati ako se sintaksa proširi na način da ne samo da omogućava podelu bloka, već i deljenje parametara kodiranja između blokova koji se dobijaju nakon podele. U podelama zasnovanim na stablu, deljenje parametara kodiranja za dati skup blokova može se postići dodeljivanjem parametara kodiranja ili njihovih delova jednom ili više roditeljskih čvorova u hijerarhiji zasnovanoj na stablu. Kao rezultat, zajednički parametri ili njihovi delovi mogu da se koriste da bi se smanjile sporedne informacije koje su neophodne da bi se signalizirao stvarni izbor parametara kodiranja za blokove dobijene nakon podele. Smanjenje se može postići izostavljanjem signalizacije parametara za naredne blokove ili korišćenjem zajedničkog(ih) parametra(a) za predviđanje i/ili kontekstualno modeliranje parametara za naredne blokove.

[0168] Osnovna ideja dole opisane šeme nasleđivanja je smanjenje brzine protoka bitova koja je potrebna za prenos parametara kodiranja deljenjem informacija duž hijerarhije blokova zasnovane na stablu. Zajednička informacija se signalizuje unutar toka bitova (pored informacija o podelama). Prednost šeme nasleđivanja je u povećanoj efikasnosti kodiranja koja je rezultat smanjene brzine protoka bočnih informacija za parametre kodiranja.

[0169] Da bi se smanjila brzina protoka sporednih informacija, prema dole opisanim izvođenjima, odgovarajući parametri kodiranja za određene skupove uzoraka, tj. jednostavno povezane regione, koji mogu predstavljati pravougaone ili kvadratne blokove ili regione proizvoljnog oblika ili bilo koju drugu kolekciju uzoraka, podele sa više stabala, signaliziraju se unutar toka podataka na efikasan način. Šema nasleđivanja opisana u nastavku omogućava da parametri kodiranja ne moraju biti eksplicitno uključeni u tok bitova za svaki od ovih skupova uzoraka u potpunosti. Parametri kodiranja mogu predstavljati parametre predviđanja, koji specificiraju kako se odgovarajući skup uzoraka predviđa korišćenjem već kodiranih uzoraka. Mnoge mogućnosti i primeri su opisani gore i takođe se primenjuju ovde. Kao što je takođe gore navedeno, a biće opisano dalje u nastavku, što se tiče sledeće šeme nasleđivanja, particionisanje nizova uzoraka slike na skupove uzoraka na osnovu stabla može biti fiksirano sintaksom ili može biti signalizirano pomoću odgovarajuće informacije o podeli unutar toka bitova. Parametri kodiranja za skupove uzoraka mogu se, kao što je gore opisano, preneti u unapred definisanom redosledu, koji je dat sintaksom.

[0170] U skladu sa šemom nasleđivanja, dekoder ili ekstraktor 102 dekodera je konfigurisan da izvede informacije o parametrima kodiranja pojedinačnog jednostavno povezanog regiona ili skupova uzoraka na specifičan način. Konkretno, parametri kodiranja ili njihovi delovi, kao što su oni parametri koji služe u svrhu predviđanja, dele se između blokova duž date šeme particionisanja zasnovane na stablu, pri čemu grupu za deljenje duž strukture stabla odlučuje koder ili umetač 18, respektivno. U jednom posebnom izvođenju, korišćenje zajedničkih parametara kodiranja za sve podređene čvorove datog unutrašnjeg čvora particionisanog stabla particionisanje je naznačeno korišćenjem specifičnog flega za označavanje zajedničkog korišćenja koji ima binarnu veličinu. Kao alternativni pristup, preciziranja parametara kodiranja mogu se preneti za svaki čvor tako da se akumulirana preciziranja parametara duž hijerarhije blokova zasnovane na stablu mogu primeniti na sve skupove uzoraka bloka u datom čvoru lista. U jednom drugom izvođenju, delovi parametara kodiranja koji se prenose za unutrašnje čvorove duž hijerarhije blokova zasnovane na stablu mogu se koristiti za kontekst-adatptivno entropijsko kodiranje i dekodiranje parametra kodiranja ili delova, stoga za blok na datom lisnom čvoru.

[0171] Slike 12a i 12b ilustruju osnovnu ideju nasleđivanja za specifičan slučaj korišćenja particioniranja zasnovanog na quadtree stablu. Međutim, kao što je nekoliko puta gore navedeno, mogu se koristiti i druge šeme multitree podele. Struktura stabla je prikazana na Sl.

12a, dok je odgovarajuća prostorna multitree podela koja odgovara strukturi stabla sa Sl. 12a prikazana na Sl. 12b. Podela koja je ovde prikazana je slična onoj prikazanoj u odnosu na Sl.

3a do 3c. Uopšteno govoreći, šema nasleđivanja će omogućiti da se sporedne informacije dodele čvorovima na različitim slojevima koji nisu listovi unutar strukture stabla. U zavisnosti od dodeljivanja sporednih informacija čvorovima na različitim slojevima u stablu, kao što su unutrašnji čvorovi u stablu na Sl. 12a ili njegov čvor korena, mogu se postići različiti stepeni zajedničkog korišćenja (šerovanja) sporednih informacija unutar hijerarhije stabla blokova prikazanih na Sl. 12b. Na primer, ako je odlučeno da svi čvorovi lista u sloju 4, koji u slučaju Sl. 12a svi imaju isti roditeljski čvor, zajednički koriste sporednu informaciju, to praktično znači da će najmanji blokovi na Sl. 12b označeni sa 156a do 156d zajednički koristiti ovu sporednu informaciju i više nije potrebno prenositi sporedne informacije za sve ove male blokove 156a do 156d u potpunosti, odnosno četiri puta, iako je to zadržano kao opcija za

4

enkoder. Međutim, takođe bi bilo moguće odlučiti da ceo region hijerarhijskog nivoa 1 (sloj 2) na Sl. 12a, odnosno četvrtina dela u gornjem desnom uglu bloka 150 stabla uključujući podblokove 154a, 154b i 154d, kao i još manji podblok 156a do 156d koji su upravo pomenuti, služi kao region u kome se koriste zajednički parametri kodiranja. Tako se povećava oblast sa zajedničkom sporednom informacijom. Sledeći nivo povećanja bi bio da se sumiraju svi podblokovi sloja 1, odnosno podblokovi 152a, 152c i 152d i gore pomenuti manji blokovi. Drugim rečima, u ovom slučaju, ceo blok stabla bi imao sporednu informaciju koja bi mu bila dodeljena sa svim podblokovima ovog bloka 150 stabla koji dele zajedničku sporednu informaciju.

[0172] U sledećem opisu nasleđivanja, sledeća notacija se koristi za opisivanje izvođenja:

a. Rekonstruisani uzorci trenutnog čvora lista: r

b. Rekonstruisani uzorci susednih listova: r'

c. Prediktor trenutnog čvora lista: p

d. Ostatak trenutnog čvora lista: Res

e. Rekonstruisani ostatak trenutnog čvora lista: Rec Res

f. Skaliranje i inverzna transformacija: SIT

g. Fleg šerovanja: f

[0173] Kao prvi primer nasleđivanja, može se opisati signalizacija intra predviđanja na unutrašnjim čvorovima. Da budemo precizniji, opisano je kako se signaliziraju režimi intra predviđanja particionisanja na unutrašnjim čvorovima bloka zasnovanog na stablu u svrhu predviđanja. Prelaženjem kroz stablo od čvora korena do čvorova lista, unutrašnji čvorovi (uključujući čvor korena) mogu da prenesu delove sporedne informacije koje će iskoristiti njegovi odgovarajući podređeni čvorovi. Da budemo precizniji, fleg šerovanja f se prenosi za unutrašnje čvorove sa sledećim značenjem:

· Ako f ima vrednost 1 ("tačno"), svi podređeni čvorovi datog unutrašnjeg čvora dele isti režim intra predviđanja. Pored flega šerovanja f koji ima vrednost 1, interni čvor takođe signalizira parametar režima intra predviđanja koji će se koristiti za sve podređene čvorove. Shodno tome, svi naredni podređeni čvorovi ne nose nikakve informacije o režimu predviđanja, kao ni flegove šerovanja. Za rekonstrukciju svih povezanih lisnih čvorova, dekoder primenjuje režim intra predviđanja iz odgovarajućeg unutrašnjeg čvora. · Ako f ima vrednost 0 ("netačno"), podređeni čvorovi odgovarajućeg unutrašnjeg čvora ne dele isti režim intra predviđanja i svaki podređeni čvor koji je unutrašnji čvor nosi zaseban fleg šerovanja.

[0174] Sl. 12c ilustruje signalizaciju unutar predviđanja na unutrašnjim čvorovima kao što je gore opisano. Unutrašnji čvor u sloju 1 sadrži fleg šerovanja i sporedne informacije koje su date informacijama o režimu intra predviđanja, a podređeni čvorovi ne nose nikakvu sporednu informaciju.

[0175] Kao drugi primer nasleđivanja, može se opisati prečišćavanje inter predviđanjem. Da budemo precizniji, opisano je kako signalizirati sporednu informaciju o režimima inter predviđanja u internim režimima particioniranja blokova na bazi stabla u svrhu finijeg podešavanja parametara kretanja, kada što su npr. dati vektorima kretanja. Prelaskom stabla od čvora korena do čvorova listova, unutrašnji čvorovi (uključujući čvor korena) mogu da prenesu delove sporednih informacija koji će biti finije podešeni od strane njegovih odgovarajućih podređenih čvorova. Da budemo precizniji, fleg šerovanja f se prenosi za unutrašnje čvorove sa sledećim značenjem:

· Ako f ima vrednost 1 ("tačno"), svi podređeni čvorovi datog unutrašnjeg čvora dele istu referencu vektora kretanja. Pored flega šerovanja f sa vrednošću 1, unutrašnji čvor takođe signalizira vektor kretanja i referentni indeks. Shodno tome, svi naredni podređeni čvorovi ne nose dalje flegove šerovanja, ali mogu da nose finije podešavanje ove nasleđene reference vektora kretanja. Za rekonstrukciju svih povezanih čvorova lista, dekoder dodaje korekciju u smislu tačnijeg vektora kretanja na datom čvoru lista nasleđenom referentnom vektoru kretanja koje pripada njegovom odgovarajućem unutrašnjem roditeljskom čvoru koji ima fleg šerovanja f sa vrednošću 1. To znači da je korekcija vektora kretanja u datom lisnom čvoru razlika između stvarnog vektora kretanja, na koji treba primeniti predviđanje sa kompenzacijom kretanja u ovom lisnom čvoru, i referentnog vektora kretanja njegovog odgovarajućeg unutrašnjeg roditeljskog čvora. · Ako f ima vrednost 0 ("netačno"), podređeni čvorovi odgovarajućeg unutrašnjeg čvora ne moraju nužno da dele isti režim inter predviđanja i ne vrši se preciziranje parametara kretanja na podređenim čvorovima korišćenjem parametara kretanja iz odgovarajućeg unutrašnjeg čvora i svaki podređeni čvor koji je unutrašnji čvor nosi posebnu fleg šerovanja.

[0176] Sl. 12d ilustruje preciziranje parametara kretanja kao što je gore opisano. Unutrašnji čvor u sloju 1 prenosi fleg šerovanja i sporedne informacije. Podređeni čvorovi koji su čvorovi lista nose samo preciziranja(poboljšanja) parametara kretanja i, na primer, unutrašnji podređeni čvor u sloju 2 ne nosi nikakve sporedne informacije.

[0177] Sada pogledajmo Sl. 13. Sl. 13 prikazuje dijagram toka koji ilustruje način rada dekodera kao što je dekoder sa Sl. 2 u rekonstrukciji niza uzoraka informacija koji predstavljaju prostorni primer informacionog signala, koji je podeljen na regione listova različitih veličina multitree podelom, iz toka podataka. Kao što je gore opisano, svaki region lista ima pridružen sebi hijerarhijski nivo iz niza hijerarhijskih nivoa multitree podele. Na primer, svi blokovi prikazani na Sl. 12b su regioni lista. Regija lista 156c, na primer, povezana je sa hijerarhijskim slojem 4 (ili nivoom 3). Svaki region lista ima povezane parametre kodiranja. Primeri ovih parametara kodiranja su opisani gore. Parametri kodiranja su, za svaki region lista, predstavljeni odgovarajućim skupom elemenata sintakse. Svaki element sintakse je odgovarajućeg tipa elementa sintakse iz skupa tipova elemenata sintakse. Takav tip elementa sintakse je, na primer, režim predviđanja, komponenta vektora kretanja, indikacija režima intra predviđanja ili slično. Prema Sl. 13, dekoder izvodi sledeće korake.

[0178] U koraku 550, informacija o nasleđivanju se ekstrahuje iz toka podataka. U slučaju Sl.

2, ekstraktor 102 je odgovoran za korak 550. Informacija o nasleđivanju pokazuje da li se nasleđivanje koristi ili ne za trenutni niz uzoraka informacija. Sledeći opis će pokazati da postoji nekoliko mogućnosti za informacije o nasleđivanju, kao što je, između ostalog, fleg šerovanja f i signalizacija multitree strukture podeljene na primarni i sekundarni deo.

[0179] Niz informacionih uzoraka može već biti deo slike, kao što je blok stabla, odnosno blok 150 stabla sa Sl. 12b, na primer. Prema tome, informacije o nasleđivanju pokazuju da li

4

se nasleđivanje koristi ili ne za određeni blok 150 stabla. Takve informacije o nasleđivanju mogu biti umetnute u tok podataka za sve blokove stabla podele predviđanja, na primer.

[0180] Dalje, informacije o nasleđivanju ukazuju, da li je naznačeno da će se nasleđivanje koristi, najmanje jedan region nasleđivanja iz niza uzoraka informacija, koji se sastoji od skupa regiona listova i odgovara hijerarhijskom nivou sekvence hijerarhijskih nivoi multitree podele, koji su niži od svakog hijerarhijskog nivoa sa kojim je skup regiona lista povezan. Drugim rečima, informacije o nasleđivanju pokazuju da li će se nasleđivanje koristiti ili ne za trenutni niz uzoraka kao što je blok 150 stabla. Ako je odgovor da, onda to znači da najmanje jedan region nasleđivanja ili podregion ovog bloka 150 stabla, u okviru regiona lista dele parametre kodiranja. Dakle, region nasleđivanja ne mora biti region lista. U primeru na Sl.

12b, ovaj region nasleđivanja može, na primer, biti region formiran od podblokova 156a do 156b. Alternativno, region nasleđivanja može biti veći i može dodatno da obuhvata podblokove 154a,b i d, pa čak i alternativno, region nasleđivanja može biti sam blok stabla 150 sa svim njegovim lisnim blokovima koji zajednički dele parametre kodiranja koji su povezani sa tim regionom nasleđivanja.

[0181] Treba napomenuti, međutim, da više od jednog regiona nasleđivanja može biti definisano unutar jednog niza uzoraka ili bloka 150 stabla, respektivno. Zamislite, na primer, donji levi podblok 152c da je takođe podeljen na manje blokove. U ovom slučaju, podblok 152c takođe može formirati region nasleđivanja.

[0182] U koraku 552, proverava se informacija o nasleđivanju u smislu da li će se nasleđivanje koristiti ili ne. Ako hoće, onda proces na Sl. 13 nastavlja sa korakom 554 gde se podskup nasleđivanja koji uključuje najmanje jedan element sintakse unapred određenog tipa elementa sintakse izdvaja iz toka podataka po regionu inter-nasleđivanja. U sledećem koraku 556, ovaj nasledni podskup se zatim kopira u, ili koristi kao predviđanje za, odgovarajući nasledni podskup sintaksnih elemenata u okviru skupa elemenata sintakse koji predstavljaju parametre kodiranja koji su povezani sa skupom listova regiona od kojih je najmanje jedan nasledni region sastavljen od. Drugim rečima, za svaki region nasleđivanja naznačen unutar informacija o nasleđivanju, tok podataka sadrži nasledni podskup elemenata sintakse. Čak drugim rečima, nasleđe se odnosi na najmanje jedan određeni tip elementa sintakse ili kategoriju elementa sintakse koja je dostupna za nasleđivanje. Na primer, sintaksni element režima predviđanja ili režima inter predviđanja ili režima intra predviđanja može biti predmet nasleđivanja. Na primer, podskup nasleđivanja sadržan u toku podataka za region nasleđivanja može da sadrži element sintakse režima inter predviđanja. Podskup nasleđivanja može takođe da sadrži dodatne elemente sintakse čiji tipovi elemenata sintakse zavise od vrednosti prethodno pomenutog fiksnog tipa elementa sintakse povezanog sa šemom nasleđivanja. Na primer, u slučaju da je režim inter predviđanja fiksna komponenta podskupa nasleđivanja, elementi sintakse koji definišu kompenzaciju kretanja, kao što su komponente vektora kretanja, mogu, ali ne moraju biti uključeni u podskup nasleđivanja po sintaksi. Zamislite, na primer, da je gornja desna četvrtina bloka 150 stabla 150, odnosno podbloka 152b, bila region nasleđivanja, tada bi se za ovaj region nasleđivanja mogao naznačiti ili samo režim inter predviđanja ili režim inter predviđanja zajedno sa vektorima kretanja i indeksima vektora kretanja.

[0183] Svi elementi sintakse sadržani u podskupu nasleđivanja se kopiraju u ili koriste kao predviđanje za odgovarajuće parametre kodiranja blokova lista unutar tog regiona nasleđivanja, tj. blokova 154a,b,d i 156a do 156d listova. U slučaju da se koristi predviđanje, ostaci se prenose za pojedinačne blokove listova.

4

[0184] Jedna od mogućnosti prenošenja informacija o nasleđivanju za blok 150 stabla je prethodno pomenuti prenos flega šerovanja f. Ekstrakcija informacije o nasleđivanju u koraku 550 bi, u ovom slučaju, mogla da obuhvata sledeće. Konkretno, dekoder bi mogao biti konfigurisan da izdvaja i proverava, za regione bez lista koji odgovaraju bilo kom od nasleđenog skupa od najmanje jednog nivoa hijerarhije multitree podele, koristeći redosled hijerarhijskih nivoa od nižeg hijerarhijskog nivoa do višeg hijerarhijskog nivoa, fleg šerovanja f iz toka podataka, u vezi sa tim da li odgovarajući fleg nasleđivanja ili fleg šerovanja propisuje nasleđivanje ili ne. Na primer, nasleđeni skup hijerarhijskih nivoa može biti formiran od slojeva hijerarhije 1 do 3 na Sl. 12a. Prema tome, bilo koji od čvorova strukture podstabla koji nije čvor lista a koji leži u bilo kom od slojeva 1 do 3 mogao bi imati fleg šerovanja koji je povezan sa njim unutar toka podataka. Dekoder izdvaja ove flegove šerovanja redosledom od sloja 1 do sloja 3, kao što je redosled prelaska prvo po dubini ili prvo po širini. Čim jedan od flegova šerovanja bude jednak 1, dekoder zna da blokovi listova sadržani u odgovarajućem regionu nasleđivanja dele podskup nasleđa koji je naknadno ekstrahovan u koraku 554. Za podređene čvorove trenutnog čvora, provera flegova nasleđa nije dalje potrebna. Drugim rečima, flegovi nasleđivanja za ove podređene čvorove se ne prenose unutar toka podataka, pošto je jasno da oblast ovih čvorova već pripada regionu nasleđivanja unutar kojeg je nasledni podskup elemenata sintakse šperovan.

[0185] Flegovi šerovanja f mogu da se preklapaju sa prethodno navedenim bitovima koji signaliziraju podelu quadtree stabla. Na primer, sekvenca bitova preplitanja koja uključuje oba flega podele i flega šerovanja može biti:

10001101(0000)000,

što je ista informacija o podeli kao što je ilustrovano na Sl. 6a sa dva preklopljena flega šerovanja, što je istaknuto senčenjem, kako bi se ukazalo da su na Sl. 3c svi podblokovi unutar donja leve četvrtine bloka 150 stabla zajednički dele (šeruju) parametare kodiranja.

[0186] Prema pronalasku, informacija o nasleđivanju koja ukazuje na region nasleđivanja se definiše upotrebom dve podele definisane tako da su podređene jedna drugoj, kao što je objašnjeno gore u pogledu predviđanja i rezidualne podele, respektivno. Uopšteno govoreći, blokovi listova primarne podele mogu da formiraju region nasleđivanja koji definiše regione u okviru kojih su nasledni podskupovi elemenata sintakse šerovani, dok podređena podela definiše blokove unutar ovih naslednih regiona za koje je nasledni podskup elemenata sintakse su kopirani ili korišćeni kao predviđanje.

[0187] Razmotrimo, na primer, rezidualno stablo kao proširenje stabla predviđanja. Dalje, razmotrimo slučaj gde se blokovi predviđanja mogu dalje podeliti na manje blokove u svrhu rezidualnog kodiranja. Za svaki blok predviđanja koji odgovara čvoru lista quadtree stabla vezanog za predviđanje, odgovarajuća podela za rezidualno kodiranje je određena jednim ili više podređenih quadtree stabla(stabala).

[0188] U ovom slučaju, umesto da se koristi bilo kakva signalizaciju predviđanja na unutrašnjim čvorovima, smatra se da je rezidualno stablo interpretirano na takav način da takođe specificira preciziranje predviđanja stabla u smislu korišćenja konstantnog režima predviđanja (signalizovanog odgovarajućim čvorom lista stabla vezanog za predviđanje) ali sa rafiniranim referentnim uzorcima. Sledeći primer ilustruje ovaj slučaj.

[0189] Na primer, Sl. 14a i 14b prikazuju quadtree particionisanje stabla za intra predviđanje sa susednim referentnim uzorcima koji su osenčeni za jedan specifični čvor lista primarne

4

podele, dok Sl. 14b prikazuje preostalu podelu quadtree stabla za isti čvor lista predviđanja sa poboljšanim referentnim uzorcima. Svi podblokovi prikazani na Sl. 14b dele zajednički iste parametre intra predviđanja sadržane u toku podataka za odgovarajući blok lista osenčen na Sl. 14a. Dakle, Sl. 14a pokazuje primer za konvencionalno quadtree particionisanje stabla za intra predviđanje, gde su prikazani referentni uzorci za jedan specifični čvor lista. U našem predloženom izvođenju, međutim, poseban signal intra predviđanja se izračunava za svaki čvor lista u rezidualnom stablu korišćenjem susednih uzoraka već rekonstruisanih čvorova lista u rezidualnom stablu, npr., kao što je naznačeno sivim osenčenim prugama na Sl. 4(b). Zatim, rekonstruisani signal datog rezidualnog čvora lista se dobija na uobičajen način dodavanjem kvantizovanog rezidualnog signala ovom signalu predviđanja. Ovaj rekonstruisani signal se zatim koristi kao referentni signal za sledeći proces predviđanja. Treba uočiti da je redosled dekodiranja za predviđanje isti kao i rezidualni redosled dekodiranja.

[0190] U procesu dekodiranja, kao što je prikazano na Sl. 15, za svaki rezidualni čvor lista, signal predviđanja p se izračunava prema stvarnom režimu intra predviđanja (kao što je naznačeno quadtree čvorom lista u pogledu predviđanja) korišćenjem referentnih uzoraka r'.

[0191] Nakon SIT procesa,

RecRes = SIT(Res)

rekonstruisani signal r se izračunava i čuva za sledeći proces izračunavanja predviđanja:

r = RecRes p

[0192] Redosled dekodiranja za predviđanje je isti kao i redosled rezidualnog dekodiranja, koji je ilustrovan na Sl. 16.

[0193] Svaki rezidualni čvor lista se dekodira kao što je opisano u prethodnom paragrafu. Rekonstruisani signal r se čuva u baferu kao što je prikazano na Sl. 16. Iz ovog bafera, referentni uzorci r' biće uzeti za sledeće procese predviđanja i dekodiranja.

[0194] Nakon što su opisana specifična izvođenja u odnosu na Sl. 1 do 16 sa kombinovanim različitim podskupovima gore navedenih aspekata, opisana su dalja izvođenja predmetne prijave koja se fokusiraju na određene aspekte koji su već opisani gore, ali koja izvođenja predstavljaju generalizacije nekih od gore opisanih izvođenja. Konkretno, gore opisana izvođenja prema sadržaju Sl. 1 i 2 uglavnom kombinuju mnoge aspekte ove aplikacije, što bi takođe bilo korisno kada bi se koristilo u drugim aplikacijama ili drugim oblastima kodiranja. Kao što je često pomenuto tokom gornje diskusije, multitree podela, na primer, može biti korišćena bez spajanja i/ili bez usvajanja/predviđanja među ravnima i/ili bez nasleđivanja. Na primer, prenos maksimalne veličine bloka, korišćenje redosleda prelaska prvo po dubini, prilagođavanje konteksta u zavisnosti od hijerarhijskog nivoa odgovarajućeg flega podele i prenos maksimalnog nivoa hijerarhije unutar toka bitova da bi se sačuvala sporedna informacija o brzini protoka bitova, svi ovi aspekti imaju prednosti nezavisno jedan od drugog. Ovo je takođe tačno kada se razmatra šema nasleđivanja. Nasleđivanje parametara kodiranja takođe ima prednosti nezavisno od multitree podele koja se koristi da bi se slika podelila na jednostavno povezane regione i ima prednosti nezavisno od postojanja više od jednog niza uzoraka ili upotrebe usvajanja/predviđanja među ravnima. Isto važi i za prednosti koje se odnose na usvajanje/predviđanje među ravnima i nasleđivanje.

4

[0195] Shodno tome, generalizujući izvođenja, šema kodiranja koja koristi gore opisanu šemu nasleđivanja nije ograničena na hibridna okruženja kodiranja. Odnosno, rekonstrukcija bi se mogla izvršiti bez predviđanja. Nasleđeni parametri kodiranja mogu se odnositi na druge parametre kodiranja kao što su indikacije detalja filtera ili slično. Kao što je gore opisano, jednostavno povezani regioni na koje se deli niz uzoraka informacija mogu proizaći iz podele četvorostrukog stabla i mogu biti kvadratnog ili pravougaonog oblika. Dalje, specifično opisana izvođenja za podelu niza uzoraka su samo specifična izvođenja i mogu se koristiti i druge podele. Neke mogućnosti su prikazane na Sl. 17a i b. Slika 17a, na primer, prikazuje podelu niza 606 uzoraka u pravilan dvodimenzionalni raspored blokova 608 stabala koji se ne preklapaju i koji se naslanjaju jedan na drugi, od kojih su neki podeljeni u skladu sa multitree strukturom u podblokove 610 različitih veličina. Kao što je gore pomenuto, iako je quadtree podela ilustrovana na Sl. 17a, moguće je i particionisanje svakog roditeljskog čvora na bilo koji drugi broj podređenih čvorova. Slika 17b prikazuje izvođenje prema kome je niz uzoraka 606 podeljen na podblokove različitih veličina primenom multitree podele direktno na ceo niz 606 piksela. To jest, ceo niz 606 piksela se tretira kao blok stabla. Obe podele sa Sl. 17a i 17b dovode do podele niza 606 uzoraka na jednostavno povezane regione koji su primerno, u skladu sa izvođenjima na Sl. 17a i 17b, bez preklapanja. Međutim, moguće je nekoliko alternativa. Na primer, blokovi se mogu međusobno preklapati. Preklapanje se, međutim, može ograničiti do te mere da svaki blok ima deo koji se ne preklapa ni sa jednim susednim blokom, ili tako da se svaki uzorak blokova preklapa sa, maksimalno, jednim blokom između susednih blokova raspoređenih u suprotstavljenom položaju. do trenutnog bloka duž unapred određenog pravca. Ovo poslednje bi značilo da levi i desni susedni blok mogu da se preklapaju sa trenutnim blokom tako da u potpunosti pokriju trenutni blok, ali ne mogu da se preklapaju jedan sa drugim, a isto važi i za susede u vertikalnom i dijagonalnom pravcu.

[0196] Kao što je gore opisano u odnosu na Sl. 1 do 16, niz uzoraka informacija ne predstavlja nužno sliku video zapisa ili statičnu sliku. Niz uzoraka takođe može predstavljati mapu dubine ili mapu transparentnosti neke scene.

[0197] Određivanje parametara kodiranja i informacija o nasleđivanju može biti iterativni proces. Na primer, ako su prethodno preliminarno, u smislu optimalne vrednosti odnosa brzina-izobličenje određeni parametri kodiranja susednih jednostavno povezanih regiona koji pripadaju prethodno preliminarno, u smislu odnosa brzina-izobličenje, optimalno određenom roditeljskom sličnom regionu, iterativni proces može utvrditi da odustajanje od malih razlika između ovih parametara kodiranja može biti poželjnije u odnosu na signalizaciju ove razlike dekoderu kada se uzme u obzir da nasleđivanje omogućava da se potpuno potisne eksplicitni prenos parametara kodiranja svih ovih jednostavno povezanih regiona i da se zameniti podnošenje ovih parametara kodiranja u potpunosti podnošenjem samo ostatka ili samo prenosom zajedničkih (šerovanih) parametara kodiranja.

[0198] Iako su neki aspekti opisani u kontekstu uređaja, jasno je da ovi aspekti takođe predstavljaju opis odgovarajuće metode, gde blok ili uređaj odgovara koraku metode ili karakteristikama koraka metode. Analogno tome, aspekti opisani u kontekstu koraka metode takođe predstavljaju opis odgovarajućeg bloka ili stavke ili karakteristika odgovarajućeg uređaja. Neki ili svi koraci metode mogu biti izvršeni pomoću (ili korišćenjem) hardverskog uređaja, kao što je, na primer, mikroprocesor, programabilni računar ili elektronsko kolo. U nekim izvođenjima, neki jedan ili više najvažnijih koraka metode mogu biti izvedeni pomoću takvog uređaja.

4

[0199] Inventivni kodirani/komprimovani signali mogu biti memorisani na digitalnom medijumu za skladištenje ili se mogu preneti na medijum za prenos kao što je medij za bežični prenos ili žičani prenosni medijum kao što je Internet.

[0200] U zavisnosti od određenih zahteva implementacije, izvođenja pronalaska mogu biti implementirana u hardveru ili softveru. Implementacija se može izvršiti korišćenjem digitalnog medija za skladištenje, na primer flopi diska, DVD-a, Blu-Ray-a, CD-a, ROM-a, PROM-a, EPROM-a, EEPROM-a ili FLASH memorije, sa elektronski čitljivim kontrolnim signalima. na njemu, koji sarađuju (ili su sposobni da sarađuju) sa programabilnim računarskim sistemom tako da se primenjuje odgovarajući metod. Stoga, digitalni medij za skladištenje može biti čitljiv računarom.

[0201] Neka izvođenja prema pronalasku obuhvataju nosač podataka koji ima elektronski čitljive kontrolne signale, koji su sposobni da sarađuju sa programabilnim računarskim sistemom, tako da se izvodi jedan od ovde opisanih metoda.

[0202] Generalno, izvođenja ovog pronalaska mogu se implementirati kao računarski programski proizvod sa programskim kodom, pri čemu je programski kod operativan za izvođenje jednog od metoda kada se računarski programski proizvod pokreće na računaru. Programski kod može, na primer, biti sačuvan na mašinski čitljivom nosaču.

[0203] Druge realizacije obuhvataju kompjuterski program za izvođenje jednog od ovde opisanih metoda, uskladišten na mašinski čitljivom nosaču.

[0204] Drugim rečima, izvođenje inventivnog metoda je, prema tome, kompjuterski program koji ima programski kod za izvođenje jednog od ovde opisanih metoda, kada se računarski program pokreće na računaru.

[0205] Dalje izvođenje inventivnih metoda je, prema tome, nosač podataka (ili digitalni medij za skladištenje, ili računarski čitljiv medij) koji sadrži, snimljen na njemu, kompjuterski program za izvođenje jednog od metoda opisanih ovde.

[0206] Dalje izvođenje inventivnog metoda je, prema tome, tok podataka ili sekvenca signala koji predstavljaju kompjuterski program za izvođenje jednog od ovde opisanih metoda. Tok podataka ili sekvenca signala može biti, na primer, konfigurisana da se prenosi preko veze za prenos podataka, na primer preko Interneta.

[0207] Dalje izvođenje obuhvata sredstvo za obradu, na primer računar, ili programibilni logički uređaj, konfigurisan ili prilagođen da izvrši jedan od ovde opisanih metoda.

[0208] Dalje izvođenje obuhvata računar koji ima instaliran kompjuterski program za izvođenje jednog od ovde opisanih metoda.

[0209] U nekim izvođenjima, programibilni logički uređaj (npr. polje programabilnog niza gejtova) može da se koristi za obavljanje nekih ili svih funkcionalnosti metoda opisanih ovde. U nekim izvođenjima, polje programabilnog niza gejtova može da sarađuje sa mikroprocesorom da bi izvršio jedan od ovde opisanih metoda. Generalno, metode se poželjno izvode bilo kojim hardverskim aparatom.

[0210] Gore opisana izvođenja su samo ilustrativna za principe ovog pronalaska. Podrazumeva se da će modifikacije i varijacije uređaja i detalji koji su ovde opisani biti očigledni drugim stručnjacima u ovoj oblasti. Stoga je namera da jedino ograničenje predstavlja obim predstojećih patentnih zahteva, a ne specifični detalji prikazani u opisu i objašnjenja prikazanih izvođenja.

1

Claims

PATENTNI ZAHTEVI

1. Dekoder za rekonstrukciju niza uzoraka informacija koji predstavlja prostorno uzorkovani informacioni signal, koji je podeljen na multitree strukturu regiona listova različitih veličina multitree podelom, iz toka podataka, pri čemu je multitree struktura podeljena na primarnu quadtree podelu i podređenu quadtree podelu definisane tako da su podređene jedna drugoj, tako da je blok korena stabla primarne quadtree podele podeljen na blokove listova primarne quadtree podele koji, zbog toga, formiraju blokove korena stabla podređene quadtree podele, dalje podeljene na regione listova multitree strukture, pri čemu je svaki region lista multitree strukture povezan sa hijerarhijskim nivoom iz niza hijerarhijskih nivoa multitree podele, svaki region lista multitree strukture ima povezane parametre kodiranja, parametri kodiranja su, za svaki region lista, predstavljeni odgovarajućim skupom elemenata sintakse, svaki element sintakse je odgovarajućeg tipa elementa sintakse iz skupa tipova elemenata sintakse, a koji dekoder sadrži

ekstraktor (102) za izdvajanje multitree strukture iz toka podataka, tako da se dobije informacija o nasleđivanju iz toka podataka, koja informacija o nasleđivanju pokazuje da li se nasleđivanje koristi ili ne, i ako je naznačeno da se nasleđivanje koristi, najmanje jedan region nasleđivanja niza uzoraka informacija koji se sastoji od skupa regiona listova multitree strukture, odgovara hijerarhijskom nivou sekvence hijerarhijskih nivoa multitree podele, koji je niži od svakog hijerarhijskog nivoa sa kojim je skup regiona lista multitree strukture povezan, i formiran je od regiona lista primarne quadtree podele;

pri čemu ekstraktor (102) je dalje konfigurisan da izdvaja (554) podskup nasleđivanja koji uključuje najmanje jedan element sintakse unapred određenog tipa elementa sintakse iz toka podataka po regionu nasleđivanja, pri čemu najmanje jedan element sintakse unapred određenog tipa elementa sintakse je element sintakse režima intra predviđanja,

pri čemu je dekoder konfigurisan da

dekodira, u rezidualnom redosledu dekodiranja, rezidualni signal za svaki od regiona lista multitree strukture od kojih se sastoji određeni region nasleđivanja, kopira (556) nasledni podskup u odgovarajući podskup nasleđivanja elemenata sintakse unutar skupa elemenata sintakse koji predstavljaju parametre kodiranja povezane sa skupom regiona listova multitree strukture od kojih se sastoji takav najmanje jedan region nasleđivanja, i

izračuna, u rezidualnom redosledu dekodiranja, poseban signal intra predviđanja za svaki od regiona lista multitree strukture od kojih je dotični region nasleđivanja sastavljen, u skladu sa režimom intra predviđanja koji je naznačen sintaksnim elementom režima intra predviđanja, korišćenjem susednih uzoraka rekonstruisanog signala već rekonstruisanih regiona lista multitree strukture kao referentnog signala, uz rekonstrukciju odgovarajućeg regiona lista multitree strukture dodavanjem signala intra predviđanja i rezidualnog signala.

2. Dekoder prema zahtevu 1, pri čemu je prostorno uzorkovani informacioni signal niz slika gde svaka slika sadrži niz luma uzoraka zajedno sa dva niza hroma uzoraka po frejmu pri čemu se faktor skaliranja za prostornu rezoluciju nizova hroma uzoraka u odnosu na niz

2

luma uzoraka u horizontalnom pravcu razlikuje od faktora skaliranja za prostornu rezoluciju u vertikalnom pravcu.

3. Dekoder prema zahtevu 1, pri čemu je niz uzoraka informacija jedan od nizova uzoraka koji se odnose na različite komponente boja i formira ravni boja slike, a dekoder je konfigurisan da različite ravni boja slike dekodira nezavisno.

4. Dekoder prema zahtevu 1, gde prostorno uzorkovani informacioni signal je video zapis praćen informacijama o dubini.

5. Metod za rekonstrukciju niza uzoraka informacija koji predstavlja prostorno uzorkovani informacioni signal, koji je podeljen na multitree strukturu regiona listova različitih veličina multitree podelom, iz toka podataka, pri čemu je multitree struktura podeljena na primarnu quadtree podelu i podređenu quadtree podelu definisane tako da su podređene jedna drugoj, tako da je blok korena stabla primarne quadtree podele podeljen na blokove listova primarne quadtree podele koji, zbog toga, formiraju blokove korena stabla podređene quadtree podele, dalje podeljene na regione lista multitree strukture, pri čemu je svaki lisni region multitree strukture povezan sa hijerarhijskim nivoom iz niza hijerarhijskih nivoa multitree podele, svaki region lista multitree strukture ima pridružene parametre kodiranja, koji parametri kodiranja su, za svaki region lista, predstavljeni odgovarajućim skupom elemenata sintakse, svaki element sintakse je odgovarajućeg tipa elementa sintakse iz skupa tipova elemenata sintakse, a koji metod sadrži

izdvajanje multitree strukture iz toka podataka, tako da se dobije (550) informacija o nasleđivanju iz toka podataka, koja informacija o nasleđivanju pokazuje da li se nasleđivanje koristi ili ne, i kada je naznačeno da se nasleđivanje koristi, najmanje jedan region nasleđivanja niza uzoraka informacija koji se sastoji od skupa lisnih regiona multitree strukture, odgovara hijerarhijskom nivou iz sekvence hijerarhijskih nivoa multitree podele, koji je niži od svakog hijerarhijskog nivoa sa kojim je skup regiona lista multitree strukture povezan, i formiran je od regiona lista primarne quadtree podele;

izdvajanje (554) podskupa nasleđivanja koji uključuje najmanje jedan element sintakse unapred određenog tipa elementa sintakse iz toka podataka po regionu nasleđivanja, pri čemu najmanje jedan element sintakse unapred određenog tipa elementa sintakse je element sintakse režima intra predviđanja,

dekodiranje, u rezidualnom redosledu dekodiranja, rezidualnog signala za svaki od regiona lista multitree strukture od kojih se sastoji dotični region nasleđivanja, kopiranje (556) podskupa nasleđivanja u odgovarajući podskup nasleđivanja elemenata sintakse unutar skupa elemenata sintakse koji predstavljaju parametre kodiranja povezane sa skupom regiona listova multitree strukture od kojih se sastoji takav najmanje jedan region nasleđivanja, i

izračunavanje, u rezidualnom redosledu dekodiranja, posebnog signala intra predviđanja za svaki od regiona lista multitree strukture od kojih se sastoji dotični region nasleđivanja, u skladu sa režimom intra predviđanja naznačenim elementom sintakse režima intra predviđenja, korišćenjem susednih uzoraka rekonstruisanog signala već rekonstruisanih regiona lista multitree strukture kao referentnog signala, uz rekonstrukciju odgovarajućeg regiona lista multitree strukture sa dodavanjem signala intra predviđanja i rezidualnog signala.

6. Enkoder za kodiranje niza uzoraka informacija koji predstavlja prostorno uzorkovani informacioni signal, koji je podeljen na multitree strukturu regiona listova različitih veličina multitree podelom, u tok podataka, pri čemu je multitree struktura je podeljena na primarnu quadtree podelu i podređenu quadtree podelu definisane tako da su podređene jedna drugoj, tako da je blok korena stabla primarne quadtree podele podeljen na blokove listova primarne quadtree podele koji, zbog toga, formiraju blokove korena stabla podređene quadtree podele, dalje podeljene na regione lista multitree strukture, pri čemu je svaki region lista multitree strukture povezan sa hijerarhijskim nivoom iz niza hijerarhijskih nivoa multitree podele, svaki region lista multitree strukture ima povezane parametre kodiranja, koji parametri kodiranja su, za svaki region lista, predstavljeni odgovarajućim skupom elemenata sintakse, svaki element sintakse je odgovarajućeg tipa elementa sintakse iz skupa tipova elemenata sintakse, a koji koder sadrži

umetač za umetanje multitree strukture u tok podataka, tako da se u tok podataka ubaci informacija o nasleđivanju, koja informacija o nasleđivanju pokazuje da li se nasleđivanje koristi ili ne, i ako je naznačeno da se nasleđivanje koristi, najmanje jedan region nasleđivanja iz niza uzoraka informacija koji se sastoji od skupa listova regiona multitree strukture, odgovara hijerarhijskom nivou sekvence hijerarhijskih nivoa multitree podele, koji je niži od svakog hijerarhijskog nivoa sa kojim je skup regiona lista multitree strukture povezan, i formiran je od regiona listova primarne quadtree podele;

pri čemu je umetač dalje konfigurisan da ubaci podskup nasleđivanja koji sadrži najmanje jedan element sintakse unapred određenog tipa elementa sintakse u tok podataka po regionu nasleđivanja, pri čemu najmanje jedan element sintakse unapred određenog tipa elementa sintakse je sintaksni element režima intra predviđanja, pri čemu je koder konfigurisan da

enkodira, u rezidualnom redosledu dekodiranja, rezidualni signal za svaki od regiona lista multitree strukture od kojih se sastoji dotični region nasleđivanja, i kopira nasledni podskup u odgovarajući podskup nasleđivanja elemenata sintakse unutar skupa elemenata sintakse koji predstavljaju parametre kodiranja povezane sa skupom regiona lista multitree strukture od kojih se sastoji takav najmanje jedan region nasleđivanja, i

izračuna, u rezidualnom redosledu dekodiranja, poseban signal intra predviđanja za svaki od regiona lista multitree strukture od kojih se sastoji dotični region nasleđivanja, u skladu sa režimom intra predviđanja koji je naznačen elementom sintakse režima intra predviđanja, korišćenjem susednih uzoraka rekonstruisanog signala već rekonstruisanih regiona listova multitree strukture kao referentnog signala, sa kodiranjem odgovarajućeg regiona lista multitree strukture kodiranjem rezidualnog signala koji se dodaje signalu intra predviđanja za rekonstrukciju odgovarajućeg regiona lista multitree strukture u tok podataka.

7. Enkoder prema zahtevu 6, gde je prostorno uzorkovani informacioni signal niz slika pri čemu svaka slika sadrži niz luma uzoraka zajedno sa dva niza hroma uzoraka po frejmu, pri čemu se faktor skaliranja za prostornu rezoluciju nizova hroma uzoraka u odnosu na

4

niz luma uzoraka u horizontalnom pravcu razlikuje od faktora skaliranja za prostornu rezoluciju u vertikalnom pravcu.

8. Enkoder prema zahtevu 6, pri čemu je niz uzoraka informacija jedan od nizova uzoraka koji se odnose na različite komponente boja i formiraju ravni boja slike, a enkoder je konfigurisan da različite ravni boja slike kodira nezavisno.

9. Enkoder prema zahtevu 6, pri čemu je prostorno uzorkovani informacioni signal video zapis praćen informacijama o dubini.

10. Metod za kodiranje niza uzoraka informacija koji predstavlja prostorno uzorkovani informacioni signal, koji je podeljen na multitree strukturu regiona listova različitih veličina multitree podelom, u tok podataka, pri čemu je multitree struktura podeljena na primarnu quadtree podelu i podređenu quadtree podelu definisane tako da su podređene jedna drugoj, tako da je blok korena stabla primarne quadtree podele podeljen na blokove listova primarne quadtree podele koji, zbog toga, formiraju blokove korena stabala podređene quadtree podele, dalje podeljene na regione listova multitree strukture, pri čemu je svaki lisni region multitree strukture povezan sa hijerarhijskim nivoom iz niza hijerarhijskih nivoa multitree podele, svaki region lista multitree strukture ima pridružene parametre kodiranja, koji parametri kodiranja su, za svaki region lista, predstavljeni odgovarajućim skupom elemenata sintakse, svaki element sintakse je odgovarajućeg tipa elementa sintakse iz skupa tipova elemenata sintakse, a koji metod obuhvata

ubacivanje multitree strukture u tok podataka, tako da se u tok podataka ubaci informacija o nasleđivanju, koja informacija o nasleđivanju pokazuje da li se nasleđivanje koristi ili ne, i ako je naznačeno da se nasleđivanje koristi, najmanje jedan region nasleđivanja niza uzoraka informacija koji se sastoji od skupa regiona listova multitree strukture, odgovara hijerarhijskom nivou iz sekvence hijerarhijskih nivoa multitree podele, koji je niži od svakog hijerarhijskog nivoa sa kojim je povezan skup regiona lista multitree strukture povezan, i formiran je od regiona lista primarne quadtree podele;

pri čemu metod dalje obuhvata umetanje podskupa nasleđivanja koji uključuje najmanje jedan element sintakse unapred određenog tipa elementa sintakse u tok podataka po regionu nasleđivanja, pri čemu najmanje jedan element sintakse unapred određenog tipa elementa sintakse je element sintakse režima intra predviđanja,

pri čemu metod dalje obuhvata

kodiranje, u rezidualnom redosledu dekodiranja, rezidualnog signala za svaki od regiona lista multitree strukture od kojih se sastoji dotični region nasleđivanja, i kopiranje podskupa nasleđivanja u odgovarajući podskup nasleđivanja elemenata sintakse iz skupa elemenata sintakse koji predstavljaju parametre kodiranja povezane sa skupom regiona lista multitree strukture od kojih se sastoji takav najmanje jedan region nasleđivanja, i

izračunavanje, u rezidualnom redosledu dekodiranja, posebnog signala intra predviđanja za svaki od regiona lista multitree strukture od kojih se sastoji dotični region nasleđivanja, u skladu sa režimom intra predviđanja koji je naznačen elementom sintakse režima intra predviđanja, korišćenjem susednih uzoraka rekonstruisanog signala već rekonstruisanih regiona lista multitree strukture kao referentnog signala, sa kodiranjem odgovarajućeg regiona lista multitree strukture kodiranjem rezidualnog signala koji se dodaje signalu intra predviđanja za rekonstrukciju odgovarajućeg regiona lista multitree strukture u tok podataka.

11. Tok podataka iz kojeg se metodom prema zahtevu 10 formira niz uzoraka informacija koji predstavljaju prostorno uzorkovani informacioni signal, koji je podeljen multitree podelom na multitree strukturu regiona listova različitih veličina.

12. Tok podataka prema zahtevu 10, gde je prostorno uzorkovani informacioni signal niz slika gde svaka slika sadrži niz luma uzoraka zajedno sa dva niza hroma uzoraka po frejmu, pri čemu se faktor skaliranja za prostornu rezoluciju nizova hroma uzoraka u odnosu na niz luma uzoraka u horizontalnom pravcu razlikuje od faktora skaliranja za prostornu rezoluciju u vertikalnom pravcu.

13. Tok podataka prema zahtevu 10, pri čemu je niz uzoraka informacija jedan od nizova uzoraka koji se odnose na različite komponente boja i formiranje ravni boja slike, pri čemu se tok podataka formira kodiranjem različitih ravni boja slike nezavisno.

14. Tok podataka prema zahtevu 10, pri čemu je prostorno uzorkovani informacioni signal video zapis koji uključuje informacije o dubini.

15. Kompjuterski čitljiv digitalni medij za skladištenje koji ima na njemu uskladišten računarski program koji ima programski kod za izvršavanje, pri izvršavanju na računaru, metoda prema zahtevu 5 ili 10.