RS67880B1 - Postupak dekodiranja slike i postupak kodiranja slike - Google Patents

Description

[0001] Opis

[0003] Oblast tehnike

[0005] Primeri izvođenja ovog pronalaska odnose se na postupak kodiranja slike, postupak dekodiranja slike, aparat za kodiranje slike i aparat za dekodiranje slike.

[0007] Pozadina

[0009] U tehnici video kodiranja i dekodiranja, generalno se izvršava interpolacija sa kompenzacijom kretanja za svaki blok. Signal slike koji se referiše čuva se u eksternoj memoriji; stoga, kada se video kodiranje i dekodiranje implementira hardverski, mogu postojati ograničenja u količini pročitanih podataka. Shodno tome, kada se količina pristupa memoriji poveća, takozvani propusni opseg memorije, koji predstavlja usko grlo u operacijama kodiranja i dekodiranja, postaje problem.

[0010] U interpolaciji sa kompenzacijom kretanja, za svaki blok, izvršava se postupak interpolacionog filtriranja korišćenjem FIR (Finite Impulse Response) filtera u horizontalnom i vertikalnom smeru. U postupku interpolacionog filtriranja, mora se pristupiti pikselu van bloka. Kada se broj piksela van bloka poveća, povećava se i propusni opseg memorije po pikselu.

[0011] Konvencionalno, propusni opseg memorije po pikselu je smanjen primenom interpolacionog filtera sa kratkom dužinom koeficijenta na blok male veličine, čime se odnos pristupljenih piksela van bloka relativno povećava.

[0013] Lista citata

[0015] Hung-Chih Lin et al: "Fast temporal prediction selection for H.264/AVC scalable video coding" opisuje brzi algoritam koji bira tip vremenskog predviđanja za dijadnu hijerarhijsku strukturu predviđanja u skalabilnom video kodiranju.

[0016] Maani et al: "CE6: Differential coding of Intra Modes" opisuje opis i rezultate diferencijalnog kodiranja intra modova.

[0017] Patentna literatura

[0019] Patentna literatura 1: japanski patent br.4120301

[0020] US 2007/217512 opisuje postupak kodiranja slike za odgovarajuće smanjenje količine kodiranja vektora kretanja bez smanjenja efikasnosti kodiranja.

[0022] Rezime

[0024] Tehnički problem

[0026] Međutim, u konvencionalnoj struci, propusni opseg memorije ne može se na odgovarajući način smanjiti. Na primer, u slučaju hromatskog formata, kao što je 4:2:0 ili 4:2:2, u kome je broj uzoraka piksela za razliku u boji (komponenta razlike u boji) manji od broja uzoraka piksela za luminanciju (komponenta luminancije), a rezolucija je niska, interpolacija mora biti izvršena na takav način da se razlika u boji više uveća, pri čemu je luminancija definisana kao referenca. Stoga, kada se filter sa koeficijentima („taps“ engl.) dužim od dva koeficijenta koristi za interpolaciju za razliku u boji, proces za signal razlike u boji ne može biti ograničen, čak i ako se postupak menja po bloku luminancije.

[0028] Rešenje problema

[0030] Postupak kodiranja jednog primera izvođenja je dat kao što je navedeno u patentnom zahtevu 2. Postupak dekodiranja jednog primera izvođenja je dat kao što je navedeno u patentnom zahtevu 1.

[0032] Kratak opis crteža

[0034]

[0035] Slika 1 je blok dijagram koji ilustruje uređaj za kodiranje slike prema jednom primeru izvođenja ovog pronalaska.

[0036] Slika 2 je prikaz koji ilustruje jedan primer informacija o formatu boje.

[0037] Slika 3 je prikaz vektora kretanja sa signalom razlike u boji u formatu 4:2:0.

[0038] Slika 4 je prikaz vektora kretanja sa signalom luminancije u formatu 4:2:0.

[0039] Slika 5 je prikaz vektora kretanja sa signalom razlike u boji u formatu 4:2:2.

[0040] Slika 6 je prikaz vektora kretanja sa signalom luminancije u formatu 4:2:2.

[0041] Slika 7 je prikaz koji ilustruje primer piksela kojima se pristupa u formatu 4:2:0.

[0042] Slika 8 je prikaz koji ilustruje primer piksela kojima se pristupa u formatu 4:2:0.

[0043] Slika 9 je prikaz koji ilustruje primer piksela kojima se pristupa u formatu 4:2:2.

[0044] Slika 10 je blok dijagram koji ilustruje uređaj za dekodiranje slike koji odgovara uređaju za kodiranje slike.

[0045] Slika 11 je blok dijagram koji ilustruje jedinicu za generisanje predviđene slike.

[0046] Slika 12 je dijagram toka upravljanja prema primeru izvođenja.

[0047] Slika 13 je dijagram toka procesa smanjenja propusnog opsega memorije.

[0048] Slika 14 je dijagram toka procesa smanjenja propusnog opsega memorije.

[0049] Slika 15 je dijagram toka procesa smanjenja propusnog opsega memorije.

[0050] Slika 16 je dijagram koji ilustruje hardversku konfiguraciju uređaja prema primeru izvođenja.

[0052] Opis primera izvođenja

[0054] Poželjni primeri izvođenja postupka kodiranja slike, postupka dekodiranja slike, aparata za kodiranje slike i aparata za dekodiranje slike prema ovom pronalasku biće detaljno opisani u nastavku uz poziv na prateće crteže.

[0055] Aparat za kodiranje slike i aparat za dekodiranje slike prema predmetnom primeru izvođenja vrše kontrolu pozivajući se na informacije o formatu boje tako da položaj piksela označen vektorom kretanja u bloku veličine manje od unapred određene veličine nije podložan interpolaciji za razliku u boji, čime se smanjuje propusni opseg memorije.

[0056] Slika 1 je blok dijagram koji ilustruje jedan primer konfiguracije aparata 100 za kodiranje slike prema predmetnom primeru izvođenja. Kao što je ilustrovano na slici 1, aparat 100 za kodiranje slike uključuje jedinicu 102 za oduzimanje, jedinicu 103 za transformaciju/kvantizaciju, jedinicu 104 za inverznu kvantizaciju/inverznu transformaciju, jedinicu 105 za entropijsko kodiranje, jedinicu 106 za sabiranje, memoriju 108 frejmova, jedinicu 110 za generisanje predviđene slike, jedinicu 112 za kontrolu predviđanja, jedinicu 113 za kontrolu kodiranja i jedinicu 116 za pretragu vektora kretanja.

[0057] Aparat 100 za kodiranje slike generiše kodirane podatke 120 iz ulaznog video signala 101. Na primer, ulazni video signal 101 se unosi u aparat 100 za kodiranje slike u jedinicama frejmova. Ulazni video signal 101 je podeljen na blok koji je makroblok.

[0058] Jedinica 102 za oduzimanje emituje signal greške predviđanja koji je razlika između signala 111 predviđene slike generisanog od strane jedinice 110 za generisanje predviđene slike i ulaznog video signala 101.

[0059] Jedinica 103 za transformaciju/kvantizaciju izvršava kvantizaciju nakon izvršavanja ortogonalne transformacije na signalu greške predviđanja pomoću diskretne kosinusne transformacije (DCT), čime se generišu informacije o kvantizovanom koeficijentu transformacije. Informacije o kvantizovanom koeficijentu transformacije se dele na dve. Jedna od podeljenih informacija se unosi u jedinicu 105 za entropijsko kodiranje. Druga se unosi u jedinicu 104 za inverznu kvantizaciju/inverznu transformaciju.

[0060] Jedinica 104 za inverznu kvantizaciju/inverznu transformaciju izvršava inverznu kvantizaciju i inverznu transformaciju na informacijama o kvantizovanom koeficijentu transformacije kao proces inverzan obradi koju izvršava jedinica 103 za transformaciju/kvantizaciju, čime se reprodukuje signal greške predviđanja.

[0061] Jedinica 106 za sabiranje sabira signal greške predviđanja i signal predviđene slike. Prema ovom postupku, generiše se dekodirani signal 107 slike. Dekodirani signal 107 slike se unosi u memoriju 108 frejmova.

[0062] Memorija 108 frejmova je memorijska jedinica koja u sebi čuva signal referentne slike. Memorija 108 frejmova izvršava postupak filtriranja ili drugi postupak na dekodiranom signalu 107 slike, a zatim određuje da li je dekodirani signal 107 slike sačuvan ili ne kako bi se omogućilo da dekodirani signal 107 slike postane signal 109 referentne slike koji se unosi u jedinicu 110 za generisanje predviđene slike. Signal 109 referentne slike se unosi u jedinicu 110 za generisanje predviđene slike i u jedinicu 116 za pretragu vektora kretanja.

[0063] Jedinica 116 za pretragu vektora kretanja generiše informacije o vektoru 117 kretanja iz ulaznog video signala 101 i signala 109 referentne slike. Informacije 117 o vektoru kretanja se unose u jedinicu 110 za generisanje predviđene slike, a takođe se prenose i u jedinicu 105 za entropijsko kodiranje.

[0064] Jedinica 110 za generisanje predviđene slike generiše signal 111 predviđene slike iz signala 109 referentne slike, informacija 118 o kontroli predviđanja i informacija 117 o vektoru kretanja.

[0065] Jedinica 113 za kontrolu kodiranja unosi informacije 115 o ograničenju veličine bloka u jedinicu 112 za kontrolu predviđanja i prenosi informacije 119 o profilu/nivou u jedinicu 105 za entropijsko kodiranje.

[0066] [0022] Informacije 119 o profilu/nivou uključuju informacije o profilu koje ukazuju na kombinaciju grupa alata za kodiranje i informacije o nivou, odnosno informacije o ograničenjima uređaja za kodiranje slike u skladu sa procesorskom snagom uređaja za dekodiranje slike. Informacije o nivou ukazuju na kombinaciju ograničenja maksimalnog broja makroblokova na sat, maksimalnog broja makroblokova po kadru, maksimalnog opsega pretrage vektora i broja vektora u dva uzastopna makrobloka.

[0067] Na primer, H.264 specificira informacije o profilu kao što su osnovni profil, glavni profil i visoki profil. H.264 takođe specificira informacije na 16 nivoa.

[0068] U ovom primeru izvođenja, parametri se određuju korišćenjem informacija o profilu/nivou. Parametri uključuju parametar koji određuje da li se primenjuje postupak smanjenja propusnog opsega memorije ili ne, vrednost ograničenja veličine bloka (informacije 115 o ograničenju veličine bloka) i postupak ograničenja. Ovi parametri mogu se odrediti korišćenjem informacija koje nisu informacije o profilu/nivou.

[0069] Informacija 115 o ograničenju veličine bloka je informacija koja određuje graničnu vrednost (vrednost ograničenja veličine bloka) koja se koristi za određivanje veličine bloka. Na primer, jedinica 113 za kontrolu kodiranja postavlja različite informacije 115 o ograničenju veličine bloka u skladu sa informacijama o profilu/nivou. Informacija 115 o ograničenju veličine bloka može biti uključena u informacije o profilu/nivou.

[0070] Jedinica 112 za kontrolu predviđanja kontroliše generisanje predviđene slike koju izvršava jedinica 110 za generisanje predviđene slike u skladu sa informacijama 115 o ograničenju veličine bloka koje ulaze iz jedinice 113 za kontrolu kodiranja, informacijama 114 o formatu boje ulaznog video signala 101 i informacijama 117 o vektoru kretanja koje ulaze iz jedinice 116 za pretragu vektora kretanja (detalji će biti opisani kasnije). Jedinica 112 za kontrolu predviđanja generiše informacije 118 o kontroli predviđanja koje se koriste za kontrolu generisanja predviđene slike. Informacije 118 o kontroli predviđanja se unose u jedinicu 110 za generisanje predviđene slike, a takođe se prenose i u jedinicu 105 za entropijsko kodiranje.

[0071] Jedinica 105 za entropijsko kodiranje vrši entropijsko kodiranje informacija o kodiranju kako bi generisala kodirane podatke 120 prema propisanoj sintaksi. Informacije o kodiranju uključuju, na primer, informacije o kvantizovanom koeficijentu transformacije koje ulaze iz jedinice 103 za transformaciju/kvantizaciju, informacije 114 o formatu boje ulaznog video signala, informacije 117 o vektoru kretanja koje ulaze iz jedinice 116 za pretragu vektora kretanja, informacije 118 o kontroli predviđanja koje ulaze iz jedinice 112 za kontrolu predviđanja i informacije 119 o profilu/nivou koje ulaze iz jedinice 113 za kontrolu kodiranja.

[0072] [0028] Ovde će biti opisane informacije 114 o formatu boje. Informacije 114 o formatu boje su informacije koje ukazuju na format boje ulaznog video signala 101. Slika 2 je prikaz koji ilustruje jedan primer informacija 114 o formatu boje. Slika 2 ilustruje primer u kome se chroma_format_idc koji se koristi u H.264 koristi kao informacija 114 o formatu boje.

[0073] chroma_format_idc = 0 označava monohromatski format samo sa luminancijom. chroma_format_idc = 1 označava format 4:2:0 u kome se razlika u boji uzorkuje na polovini horizontalno i vertikalno u odnosu na luminanciju. chroma_format_idc = 2 označava format 4:2:2 u kome se razlika u boji uzorkuje na polovini samo horizontalno u odnosu na luminanciju. chroma_format_idc = 3 označava format 4:4:4 u kome luminacija i razlika u boji imaju isti broj piksela.

[0074] Horizontalna veličina predikcijskog bloka signala luminancije je definisana kao nPSW, a vertikalna veličina je definisana kao nPSH. U formatu 4:2:0, horizontalna veličina blokova signala razlike boja Cb i Cr je nPSW/2, dok je vertikalna veličina nPSH/2. U formatu 4:2:2, horizontalna veličina blokova signala razlike boja Cb i Cr je nPSW/2, dok je vertikalna veličina nPSH. U formatu 4:4:4, horizontalna veličina blokova signala razlike boja Cb i Cr je nPSW, dok je vertikalna veličina nPSH.

[0075] Zatim će biti opisan odnos između hromatskog formata i interpolacije.

[0076] Slika 3 je prikaz koji ilustruje položaj vektora kretanja na interpolacionoj slici sa tačnošću od 1/8 pel signala razlike boja u formatu 4:2:0. „B“ je položaj celobrojnog piksela signala razlike boja, što je položaj vektora kretanja kojem nije potrebna interpolacija. Beli delovi označavaju položaj vektora kretanja kojem je potrebna jednodimenzionalna interpolacija za signal razlike boja samo horizontalno ili samo vertikalno. Svetlo osenčeni delovi označavaju položaj vektora kretanja kojem je potrebna dvodimenzionalna interpolacija za izvođenje interpolacije na signal razlike boja i horizontalno i vertikalno.

[0077] Slika 4 je prikaz koji ilustruje položaj vektora kretanja na interpolacionoj slici sa tačnošću od 1/4 pel signala luminacije u formatu 4:2:0. „A“ je položaj celobrojnog piksela signala luminacije, što je položaj vektora kretanja kojem nije potrebna interpolacija. Beli delovi sa „A“ označavaju položaj vektora kretanja kojem nije potrebna interpolacija ni za signal luminacije ni za signal razlike boja. Svetlo osenčeni delovi sa „A“ označavaju položaj vektora kretanja kojem nije potrebna interpolacija za signal luminacije, ali je potrebna interpolacija za signal razlike boja.

[0078] [0034] Beli delovi bez „A“ označavaju položaj vektora kretanja kome je potrebna jednodimenzionalna interpolacija za signal luminacije i signal razlike boja samo horizontalno ili samo vertikalno. Svetlo osenčeni delovi bez „A“ označavaju položaj vektora kretanja kome je potrebna dvodimenzionalna interpolacija u kojoj se obrada interpolacije vrši horizontalno i vertikalno za signal luminacije i signal razlike boja. Tamno osenčeni delovi označavaju položaj vektora kretanja kome je potrebna jednodimenzionalna interpolacija samo horizontalno ili samo vertikalno za signal luminacije i potrebna je dvodimenzionalna interpolacija u kojoj se interpolacija vrši horizontalno i vertikalno za signal razlike boja.

[0079] Slika 5 je prikaz koji ilustruje položaj vektora kretanja na interpolacionoj slici sa tačnošću od 1/4 pel signala razlike boja u horizontalnom smeru i sa tačnošću od 1/8 pel signala razlike boja u vertikalnom smeru u formatu 4:2:2. „B“ je položaj celobrojnog piksela signala razlike boja, što je položaj vektora kretanja kome nije potrebna interpolacija. Beli delovi označavaju položaj vektora kretanja kome je potrebna jednodimenzionalna interpolacija za signal razlike boja samo horizontalno ili samo vertikalno. Svetlo osenčeni delovi označavaju položaj vektora kretanja kome je potrebna dvodimenzionalna interpolacija za izvođenje interpolacije na signal razlike boja horizontalno i vertikalno.

[0080] Slika 6 je prikaz koji ilustruje položaj vektora kretanja na interpolacionoj slici sa tačnošću od 1/4 pel signala luminacije u formatu 4:2:2. „A“ je položaj celobrojnog piksela signala luminacije, što je položaj vektora kretanja kojem nije potrebna interpolacija za signal luminacije. Beli delovi sa „A“ označavaju položaj vektora kretanja kojem nije potrebna interpolacija ni za signal luminacije ni za signal razlike boja. Svetlo osenčeni delovi sa „A“ označavaju položaj vektora kretanja kojem nije potrebna interpolacija za signal luminacije, ali je potrebna interpolacija za signal razlike boja.

[0081] Beli delovi bez „A“ označavaju položaj vektora kretanja kome je potrebna jednodimenzionalna interpolacija za signal luminacije i signal razlike boja samo horizontalno ili samo vertikalno. Svetlo osenčeni delovi bez „A“ označavaju položaj vektora kretanja kome je potrebna dvodimenzionalna interpolacija u kojoj se interpolacija vrši horizontalno i vertikalno za signal luminacije i signal razlike boja. Tamno osenčeni delovi označavaju položaj vektora kretanja kome je potrebna jednodimenzionalna interpolacija samo horizontalno za signal luminacije i potrebna je dvodimenzionalna interpolacija u kojoj se interpolacija vrši horizontalno i vertikalno za signal razlike boja.

[0082] Zatim će biti opisan odnos između formata hroma i piksela kojem se pristupa u interpolaciji.

[0083] Slike 7 i 8 su prikazi koji ilustruju jedan primer piksela kome se pristupa pri generisanju interpolacione slike na blokovskoj osnovi u formatu 4:2:0.

[0084] [0040] Slika 7 ilustruje maksimalan broj piksela kojima se mora pristupiti prilikom generisanja interpolacione slike bloka piksela 4×4 za signal luminancije sa interpolacionim filterom sa 8 koeficijenata. Kod dvodimenzionalne interpolacije, za generisanje interpolacione slike sa blokom piksela 4×4 potrebno je pristupiti tri spoljna piksela sa leve strane i iznad bloka piksela, kao i četiri spoljna piksela sa desne strane i ispod bloka piksela. Konkretno, potrebno je pristupiti 11×11 piksela kao celini. Broj spoljnih piksela kojima se pristupa zavisi od dužine koeficijenta. Stoga, kada se koristi interpolacioni filter sa istim koeficijentom, broj pristupa po pikselu se više povećava za manji blok.

[0085] Slika 8 ilustruje maksimalan broj piksela kojima se mora pristupiti prilikom generisanja interpolacione slike bloka piksela 2x2, što odgovara bloku piksela 4×4 za signal luminancije, za signal razlike boja sa interpolacionim filterom sa četiri koeficijenta. Kod dvodimenzionalne interpolacije, za generisanje interpolacione slike sa blokom piksela 2×2 mora se pristupiti jednom spoljnom pikselu levo i iznad bloka piksela, kao i dva spoljna piksela desno i ispod bloka piksela. Konkretno, 5x5 piksela mora se pristupiti kao celini.

[0086] Slika 9 je prikaz koji ilustruje jedan primer piksela kome se pristupa prilikom generisanja interpolacione slike na blokovskoj osnovi u formatu 4:2:2. Maksimalan broj piksela kojima se mora pristupiti prilikom generisanja interpolacione slike bloka piksela 4×4 za signal luminancije sa interpolacionim filterom sa četiri koeficijenta je isti kao u slučaju na slici 7, tako da se neće praviti suvišan opis.

[0087] Slika 9 ilustruje maksimalan broj piksela kojima je potrebno pristupiti prilikom generisanja interpolacione slike bloka piksela 4×2, što odgovara bloku piksela 4×4 za signal luminancije, za signal razlike boja sa interpolacionim filterom sa četiri koeficijenta. Kod dvodimenzionalne interpolacije, za generisanje interpolacione slike sa blokom piksela 2×2 mora se pristupiti jednom spoljnom pikselu levo i iznad bloka piksela, kao i dva spoljna piksela desno i ispod bloka piksela. Konkretno, 5×7 piksela mora se pristupiti kao celini.

[0088] Kao što je ilustrovano na slikama 3 do 6, potreba za interpolacijom je različita u zavisnosti od formata hroma i vektora kretanja. Potreba za jednodimenzionalnom i dvodimenzionalnom interpolacijom je različita u zavisnosti od formata hroma i vektora kretanja. Kao što je ilustrovano na slikama 7 do 9, broj piksela kojima se pristupa je različit u zavisnosti od formata hroma.

[0089] U predmetnom primeru izvođenja, pozivanjem na format hrome i vektor kretanja, generisanje predviđene slike se kontroliše tako da se ne izvršava specifična interpolacija u kojoj je broj piksela kojima treba pristupiti u referentnoj slici (signal 109 referentne slike) veliki. Specifična interpolacija je interpolacija koja koristi dvosmerno predviđanje i dvodimenzionalnu interpolaciju. Interpolacija u dvosmernom predviđanju može se definisati kao specifična interpolacija. Specifičan postupak za kontrolu generisanja predviđene slike kako se ne bi izvršila specifična interpolacija biće opisana kasnije.

[0090] Slika 10 je blok dijagram koji ilustruje primer konfiguracije aparata za dekodiranje slike 300 koji odgovara aparatu 100 za kodiranje slike. Aparat 300 za dekodiranje slike uključuje jedinicu 302 za dekodiranje entropije, jedinicu 303 za inverznu kvantizaciju/inverznu transformaciju, jedinicu 304 za sabiranje, memoriju 306 frejmova i jedinicu 110 za generisanje predviđene slike.

[0091] Aparat 300 za dekodiranje slike generiše reprodukovani video signal 307 iz kodiranih podataka 301.

[0092] Jedinica 302 za dekodiranje entropije vrši dekodiranje entropije na kodiranim podacima 301 u skladu sa propisanom sintaksom. Jedinica 302 za dekodiranje entropije dekodira kodirane podatke 301 da bi dobila informacije o kvantizovanom koeficijentu transformacije, informacije 311 o kontroli predikcije, informacije 312 o vektoru kretanja i informacije 313 o profilu/nivou. Dekodirane informacije o kvantizovanom koeficijentu transformacije se unose u jedinicu 303 za inverznu kvantizaciju/inverznu transformaciju. Dekodirane informacije 311 o kontroli predikcije, informacije 312 o vektoru kretanja i informacije 313 o profilu/nivou se unose u jedinicu 110 za generisanje predviđene slike.

[0093] Informacije o kvantizovanom koeficijentu transformacije, informacije 311 o kontroli predviđanja, informacije 312 o vektoru kretanja i informacije 313 o profilu/nivou odgovaraju, respektivno, informacijama o kvantizovanom koeficijentu transformacije, informacijama 118 o kontroli predviđanja, informacijama 117 o vektoru kretanja i informacijama 119 o profilu/nivou, koje kodira aparat 100 za kodiranje slike na slici 1.

[0094] Jedinica 303 za inverznu kvantizaciju/inverznu transformaciju izvršava inverznu kvantizaciju i inverznu ortogonalnu transformaciju na informacijama o kvantizovanom koeficijentu transformacije, čime reprodukuje signal greške predviđanja.

[0095] Jedinica 304 za sabiranje sabira signal greške predviđanja i signal 310 predviđene slike da bi generisala dekodirani signal 305 slike. Dekodirani signal 305 slike se unosi u memoriju 306 frejmova.

[0096] Memorija 306 frejmova izvršava postupak filtriranja dekodiranog signala 305 slike i emituje rezultujući signal kao reprodukovani video signal 307. Memorija 306 frejmova određuje da li je dekodirani signal 305 slike, koji je prošao proces filtriranja, sačuvan ili ne, na osnovu informacija 311 o kontroli predikcije. Sačuvani dekodirani signal 305 slike se unosi u jedinicu 110 za generisanje predviđene slike kao referentni signal 308 slike.

[0097] Jedinica 110 za generisanje predviđene slike generiše signal 310 predviđene slike koristeći referentni signal 308 slike, informacije 311 o kontroli predviđanja i informacije 312 o vektoru kretanja.

[0100] 1

[0101] Slika 11 je blok dijagram koji ilustruje primer konfiguracije jedinice 110 za generisanje predviđene slike montirane na aparat 100 za kodiranje slike i aparat 300 za dekodiranje slike. Jedinica 110 za generisanje predviđene slike uključuje prekidač 201, dvosmernu jedinicu 202 za predviđanje, jednosmernu jedinicu 203 za predviđanje i jedinicu 204 za intrapredviđanje. Jedinica 110 za generisanje predviđene slike generiše signal 111 predviđene slike iz referentnog signala 109 slike, informacija 118 o kontroli predviđanja i informacija 117 o vektoru kretanja.

[0102] Informacije 118 o kontroli predviđanja uključuju informacije (režim predviđanja) za određivanje koja se od dvosmerne jedinice 202 za predviđanje, jednosmerne jedinice 203 za predviđanje i intra-predikcione jedinice 204 koristi, na primer. Prekidač 201 vrši promenu za izbor bilo koje od dvosmerne jedinice 202 za predviđanje, jednosmerne jedinice 203 za predviđanje i intra-predikcione jedinice 204 pozivajući se na ove informacije.

[0103] Signal 109 referentne slike se unosi u bilo koju od dvosmerne jedinice 202 za predviđanje, jednosmerne jedinice 203 za predviđanje i intra-predikcione jedinice 204, koju bira prekidač 201.

[0104] Kada je izabrana dvosmerna jedinica 202 za predviđanje, ona generiše signal slike kompenzacije kretanja koristeći referentni signal 109 slike i informacije 117 o vektoru kretanja iz više referentnih okvira i generiše predviđeni signal 111 slike na osnovu dvosmernog predviđanja. Dvosmerna jedinica 202 za predviđanje je izabrana ne samo u slučaju kada je režim predviđanja eksplicitno označen kao dvosmerno predviđanje kao kodirani podaci, već i u slučaju kada dvosmerno predviđanje nije eksplicitno označeno kodiranim podacima, kao što su režim preskakanja, direktni režim i režim spajanja, ali je rad dvosmernog predviđanja implicitno označen semantikom.

[0105] Kada je izabrana jednosmerna jedinica 203 za predviđanje, ona generiše signal slike kompenzacije kretanja koristeći referentni signal 109 slike i informacije 117 o vektoru kretanja iz jednog referentnog okvira i generiše predviđeni signal 111 slike. Jednosmerna jedinica 203 za predviđanje je izabrana ne samo u slučaju kada je režim predviđanja eksplicitno označen kao jednosmerno predviđanje kao kodirani podaci, već i u slučaju kada jednosmerno predviđanje nije eksplicitno označeno kodiranim podacima, kao što su režim preskakanja, direktni režim i režim spajanja, ali je rad jednosmernog predviđanja implicitno označen semantikom.

[0106] Kada je izabrana jedinica 204 za intrapredikciono snimanje, ona generiše signal 111 predviđene slike koristeći referentni signal 109 slike na ekranu.

[0107] Zatim, kontrola za smanjenje propusnog opsega memorije pomoću aparata 100 za kodiranje slika konfigurisanog prema ovom primeru izvođenja biće opisana sa pozivanjem na Sl. 12. Sl.12 je dijagram toka koji ilustruje celokupni tok kontrole u ovom primeru izvođenja.

[0108] Jedinica 113 za kontrolu kodiranja postavlja vrednost ograničenja (nLPSW, nLPSH) veličine bloka prema informacijama 119 o profilu/nivou (korak S101). nLPSW je vrednost ograničenja predviđene veličine bloka luminacije u horizontalnom smeru. nLPSH je vrednost ograničenja predviđene veličine bloka luminacije u vertikalnom smeru.

[0109] Kada informacije o profilu ukazuju na određeni profil (npr. visok profil H.264), ili kada informacije o nivou ukazuju na određeni nivo (npr. određeni nivo ili viši nivo), na primer, jedinica 113 za kontrolu kodiranja postavlja unapred određenu vrednost ograničenja (nLPSW, nLPSH) veličine bloka. Jedinica 113 za kontrolu kodiranja može biti konfigurisana da postepeno podešava vrednost ograničenja veličine bloka u skladu sa informacijama o profilu i informacijama o nivou.

[0110] U nastavku se pretpostavlja da je promenljiva RW tačnost vektora kretanja u horizontalnom smeru, izražena tačnošću 1/RW-pel. Takođe se pretpostavlja da je promenljiva RH tačnost vektora kretanja u vertikalnom smeru, izražena tačnošću 1/RH-pel. Početne vrednosti promenljive RW i promenljive RH su definisane kao tačnost vektora kretanja luminancije. Vrednost stepena dva se generalno koristi za RW i RH.

[0111] Jedinica 112 za kontrolu predviđanja određuje da li je informacija 114 o formatu boje (chroma_format_idc) jednaka 1 ili ne (korak S102). U slučaju da je chroma_format_idc = 1 (korak S102: Da), jedinica 112 za kontrolu predviđanja udvostručuje vrednosti RW i RH (korak S103). To je zato što chroma_format_idc = 1 znači format 4:2:0 u kome se razlika u boji uzorkuje na polovini horizontalno i vertikalno u odnosu na luminanciju.

[0112] U slučaju kada chroma_format_idc = 1 nije utvrđeno (korak S102: Ne), jedinica 112 za kontrolu predviđanja određuje da li je informacija 114 o formatu hroma (chroma_format_idc) jednaka 2 ili ne (korak S104). U slučaju chroma_format_idc = 2 (korak S104: Da), jedinica 112 za kontrolu predviđanja udvostručuje vrednost RW (korak S105). To je zato što chroma_format_idc = 2 znači format 4:2:2 u kome se razlika u boji uzorkuje na polovini samo horizontalno u odnosu na luminanciju.

[0113] Kada chroma_format_idc preuzme druge vrednosti (korak S104: Ne), vrednosti RW i RH se ne menjaju.

[0114] Zatim, jedinica 112 za kontrolu predviđanja izračunava promenljivu L koja pokazuje da li je propusni opseg memorije ograničen ili ne (korak S106). Promenljiva L pod pretpostavkom „tačno“ znači da se primenjuje metod smanjenja propusnog opsega memorije, a promenljiva L pod pretpostavkom „netačno“ znači da se postupak ne primenjuje.

[0115] [0068] Kada je predviđanje dvosmerno predviđanje, blok predviđanja je mali, a dva vektora kretanja su delimično tačna u razlici boja, kao što je gore opisano na primer, propusni opseg memorije kojem se pristupa po pikselu se povećava. Stoga, jedinica 112 za kontrolu predviđanja izračunava promenljivu L prema sledećoj jednačini (1).

[0118]

[0121] Vrednost vektora kretanja u horizontalnom smeru u listi 0 bloka koji se obrađuje definisana je kao mvL0[0], a vrednost u vertikalnom smeru je definisana kao mvL0[1]. Vrednost vektora kretanja u horizontalnom smeru u listi 1 je definisana kao mvL1[0], a vrednost u vertikalnom smeru je definisana kao mvL1[1]. PredMode označava režim predviđanja. PredBi označava dvosmerno predviđanje. U opisu ispod, režimi predviđanja jednosmernog predviđanja korišćenjem vektora kretanja u listi 0 i u listi 1 predstavljeni su kao PredL0 i PredL1, respektivno.

[0122] Primer jednačine (1) označava slučaj u kome je režim predviđanja PredMode jednak PredBi, tj. izabrana je dvosmerna jedinica 202 za predviđanje. (nPSW ≤ nLPSW) && (nPSH ≤ nLPSH) && označava uslov u kome je veličina bloka predviđanja jednaka ili manja od informacija o ograničenju veličine bloka. U (mvL0[0] & (RW - 1)) &&, (mvL0[1] & (RH - 1)) &&, (mvL1[0] & (RW - 1)) &&, i (mvL1[1] & (RH - 1)), proverava se da li dva vektora kretanja L0 i L1 nisu podvrgnuta dvodimenzionalnoj interpolaciji za razliku u boji, tj. da li donji bit vektora kretanja izražava tačnost posle decimalne tačke. "&" označava bitski operator prema notaciji u C jeziku i izražava bitsko ILI.

[0123] Uslovna jednačina za izračunavanje promenljive L nije ograničena na jednačinu (1). Na primer, može se nezavisno odrediti čak i za režime predviđanja (PredL0, PredL1) koji nisu PredBi kao u jednačini (2).

[0126] 1

[0127]

[0130] Kao u jednačini (3), vrednost ograničenja (nLPSW1, nLPSH1) veličine bloka za jednosmerno predviđanje (PredL0 ili PredL1) može se odvojeno podesiti. Konkretno, veličina bloka ograničena u jednosmernom predviđanju i veličina bloka ograničena u dvosmernom predviđanju mogu se međusobno razlikovati.

[0131] Kada je veličina bloka predviđanja jednaka ili manja od vrednosti ograničenja (nLPSW, nLPSH) veličine bloka kao u jednačini (4), dva vektora kretanja mogu biti ograničena na pristup samo celobrojnom pikselu u razlici boja tokom dvosmernog predviđanja.

[0134]

[0137] Da li je vrednost vektora kretanja ograničena, ili pod kojim uslovom je vrednost vektora kretanja ograničena, razlikuje se informacijama 119 o profilu/nivou.

[0138] Zatim će biti opisan specifičan postupak smanjenja propusnog opsega memorije. Slika 13 je dijagram toka koji ilustruje jedan primer procesa smanjenja propusnog opsega memorije. Slika 13 ilustruje jedan primer postupka ograničavanja vrednosti vektora kretanja, kao postupak smanjenja propusnog opsega memorije.

[0139] Jedinica 112 za kontrolu predviđanja određuje da li je promenljiva L „tačna“ ili ne (korak S201). Ako je promenljiva L „tačna“ (korak S201: Da), jedinica 112 za kontrolu predviđanja transformiše vrednosti L0 i L1 dva vektora kretanja kao u jednačini (5) (korak S202).

[0142]

[0145] označava aritmetičko pomeranje udesno prema notaciji u C jeziku. „/“ označava deljenje u celobrojnoj aritmetici. „ד označava množenje u celobrojnoj aritmetici. Bit koji odgovara tačnosti interpolacije signala razlike boja dva vektora kretanja L0 i L1 zaokružuje se jednačinom (5) da bi postao 0. Ovim postupkom se ne izvršava dvodimenzionalna interpolacija, čime se može postići smanjenje propusnog opsega memorije.

[0148] 1

[0149] Ovde je opisan opšti postupak zaokruživanja. Međutim, može se koristiti i drugi postupak. Na primer, može se koristiti postupak zaokruživanja na donji broj, postupak zaokruživanja na veći broj i postupak zaokruživanja na najbliži paran broj.

[0150] Informacija 117 o vektoru kretanja čija se vrednost menja kodira se u jedinici 105 za entropijsko kodiranje i izlazi kao kodirani podaci. Postupak na slici 13 je za kontrolu informacije 117 o vektoru kretanja ograničavanjem vrednosti vektora kretanja, kako se ne bi generisali kodirani podaci kojima se povećava propusni opseg memorije.

[0151] Alternativno, umesto kodiranja informacije 117 o vektoru kretanja čija se vrednost menja u jedinici 105 za entropijsko kodiranje, informacija 117 o vektoru kretanja pre promene može biti kodirana jedinicom za entropijsko kodiranje. U ovom slučaju, jedinica 110 za generisanje predviđene slike u aparatu 300 za dekodiranje slike određuje da li se postupak smanjenja propusnog opsega memorije primenjuje ili ne u postupku na isti način kao na slici 12. Kada se primeni, jedinica 110 za generisanje predviđene slike u aparatu 300 za dekodiranje slike ograničava vektor kretanja na isti način kao na slici 13.

[0152] Postupak transformacije vrednosti vektora kretanja nije ograničen na postupak zaokruživanja vrednosti koja odgovara tačnosti interpolacije razlike u boji kao u jednačini (4). Vrednost se može zaokružiti odvojeno za luminanciju i razliku u boji. Konkretno, tokom interpolacije za luminanciju, vrednost koja odgovara tačnosti interpolacije luminancije može se zaokružiti, dok se vrednost koja odgovara tačnosti interpolacije razlike u boji može zaokružiti tokom obrade interpolacije za razliku u boji. Ovaj postupak služi za sprečavanje generisanja predviđene slike koja povećava propusni opseg memorije, kada su aparat 100 za kodiranje slike i aparat 300 za dekodiranje slike unapred konfigurisani na način da izvršavaju istu operaciju.

[0153] Slika 14 je dijagram toka koji ilustruje još jedan primer postupka smanjenja propusnog opsega memorije. Slika 14 ilustruje još jedan primer postupak ograničavanja vrednosti vektora kretanja.

[0154] U ovom primeru, jedinica 112 za kontrolu predviđanja i jedinica 110 za generisanje predviđene slike izračunavaju troškove za izbor režima predviđanja, predviđene veličine bloka i vektora kretanja. One preferencijalno biraju režim predviđanja, predviđenu veličinu bloka i vektor kretanja, koji su mali po trošku, čime se može odabrati optimalna kombinacija.

[0155] Promenljiva MV_Cost koja pokazuje cenu za vektor kretanja izračunava se korišćenjem zbira apsolutne udaljenosti (SAD) predviđenih rezidualnih grešaka, kodne količine informacija o vektoru kretanja (MV_Code) i Langrange-ovog množioca (λ) izračunatog iz kvantizovanih informacija kao u jednačini (5).

[0158] 1

[0159]

[0162] Ako je promenljiva L „tačno“ (korak S301: Da), jedinica 112 za kontrolu predviđanja zamenjuje unapred određenu maksimalnu vrednost MaxValue u promenljivu MV_Cost koja ukazuje na cenu vektora kretanja (korak S302). Ovim postupkom, jedinica 112 za kontrolu predviđanja kontroliše da ne bira vektor kretanja koji ima veliki propusni opseg memorije (korak S301).

[0163] U postupku na slici 14, vrednost vektora kretanja je ograničena da bi se kontrolisale informacije 117 o vektoru kretanja, kako se ne bi generisali kodirani podaci kojima se povećava propusni opseg memorije, kao na slici 13.

[0164] Slika 15 je dijagram toka koji ilustruje još jedan primer postupka smanjenja propusnog opsega memorije. Slika 15 ilustruje postupak kontrole režima predviđanja razlike u boji, kao još jedan postupak smanjenja propusnog opsega memorije.

[0165] Ako je promenljiva L „tačna“ (korak S401), samo se režim predviđanja PredMode boje prisilno prepisuje u jednosmerno predviđanje PredL0 (korak S402). Ovim postupkom, slučaj dvosmernog predviđanja sa signalom razlike u boji koji koristi veliki propusni opseg memorije može biti ograničen.

[0166] Režim predviđanja u kome se režim predviđanja prisilno prepisuje može biti jednosmerno predviđanje PredL1. Koji je režim predviđanja ograničen određuje se prema informacijama 119 o profilu/nivou.

[0167] Kao što je gore opisano, prema predmetnom primeru izvođenja, propusni opseg memorije pri generisanju slike interpolacije kompenzovane kretanjem tokom kodiranja i dekodiranja slike može biti smanjen.

[0168] Zatim će biti opisana hardverska konfiguracija uređaja (uređaj za kodiranje slike i uređaj za dekodiranje slike) prema predmetnom primeru izvođenja sa pozivanjem na Sl.16. Sl. 16 je objašnjavajući prikaz koji ilustruje hardversku konfiguraciju uređaja prema ovom primeru izvođenja.

[0169] Uređaj prema predmetnom primeru izvođenja uključuje kontrolni uređaj kao što je CPU (centralna procesorska jedinica) 51, memorijski uređaj kao što je ROM (memorija samo za čitanje) 52 ili RAM (memorija sa slučajnim pristupom) 53, komunikacioni interfejs 54 koji je povezan sa mrežom radi omogućavanja međusobne komunikacije i magistralu 61 koja međusobno povezuje svaku jedinicu.

[0170] Izvršeni program je obezbeđen kao preliminarno ugrađen u ROM 52.

[0173] 1

[0174] Program može biti konfigurisan da se obezbedi, kao računarski proizvod, kao snimljen kao datoteka u instalacionom formatu ili u izvršnom formatu na računarski čitljiv medijum za snimanje kao što je CD (kompakt disk)-ROM, fleksibilni disk (FD), CD-R, DVD (digitalni višenamenski disk) i slično.

[0175] Dalje, program može biti obezbeđen na takav način da se program čuva na računaru povezanom na mrežu kao što je internet kako bi se omogućilo preuzimanje putem mreže. Program može biti konfigurisan da se pruža ili distribuira putem mreže kao što je internet.

[0176] Izvršeni program može omogućiti računaru da funkcioniše kao svaka jedinica (jedinica za generisanje predviđene slike i slično) opisana gore. CPU 51 u računaru može da čita program sa računarski čitljivog memorijskog medijuma na glavni memorijski uređaj i da izvršava isti program.

[0178] Lista referentnih znakova

[0180]

[0181] 100 APARAT ZA KODIRANJE SLIKE

[0182] 101 ULAZNI VIDEO SIGNAL

[0183] 102 JEDINICA ZA ODUZIMANJE

[0184] 103 JEDINICA ZA TRANSFORMACIJU/KVANTIZACIJU

[0185] 104 JEDINICA ZA INVERZNU KVANTIZACIJU/INVERZNU TRANSFORMACIJU 105 JEDINICA ZA ENTROPIJSKO KODIRANJE

[0186] 106 DODATNA JEDINICA

[0187] 107 DEKODIRANI SIGNAL SLIKE

[0188] 108 MEMORIJA FREJMA

[0189] 109 REFERENTNI SIGNAL SLIKE

[0190] 110 JEDINICA ZA GENERISANJE PREDVIĐENE SLIKE

[0191] 111 PREDVIĐENI SIGNAL SLIKE

[0192] 112 PREDVIĐAJUĆA KONTROLNA JEDINICA

[0193] 113 JEDINICA ZA KODIRANJE

[0194] 114 INFORMACIJE O HROMA FORMATU

[0195] 115 INFORMACIJE O OGRANIČENJU VELIČINE BLOKA

[0196] 116 JEDINICA ZA PRETRAGU VEKTOROM KRETANJA

[0197] 117 INFORMACIJE O VEKTORU KRETANJA

[0198] 118 INFORMACIJE O KONTROLI PREDVIĐANJA

[0201] 1

[0202] INFORMACIJE O PROFILU/NIVOU

[0203] KODIRANI PODACI APARAT ZA DEKODIRANJE SLIKA KODIRANI PODACI JEDINICA ZA DEKODIRANJE ENTROPIJE JEDINICA ZA INVERZNU KVANTIZACIJU/INVERZNU TRANSFORMACIJU DODATNA JEDINICA DEKODIRANI SIGNAL SLIKE MEMORIJA FREJMA REPRODUKOVANI VIDEO SIGNAL REFERENTNI SIGNAL SLIKE PREDVIĐENI SIGNAL SLIKE INFORMACIJE O KONTROLI PREDVIĐANJA VEKTORSKE INFORMACIJE INFORMACIJE O PROFILU/NIVOU

[0206] 1

Claims (2)

1. Patentni zahtevi

1. Postupak dekodiranja, koji sadrži:

određivanje, pomoću jedinice (302) za dekodiranje, režima predviđanja prema režimu spajanja, pri čemu režim predviđanja određuje prvo predviđanje korišćenjem prve referentne slike, drugo predviđanje korišćenjem druge referentne slike ili dvostruko predviđanje korišćenjem prve referentne slike i druge referentne slike;

prikupljanje, pomoću jedinice (110) za generisanje, jedne ili više referentnih slika; i

interpoliranje, od strane jedinice (110) za generisanje, svake od komponente luminancije i komponente razlike u boji u referentnoj slici ili slikama radi generisanja predviđene slike, pri čemu

generisanje predviđene slike za komponentu razlike u boji uključuje:

promenu, pomoću jedinice (110) za generisanje, režima predviđanja sa dvostrukog predviđanja na prvo predviđanje ako je veličina bloka za predviđanje određena širinom i visinom bloka za predviđanje jednaka ili manja od unapred određene vrednosti i ako režim predviđanja određuje dvostruko predviđanje;

generisanje predviđene slike pomoću dvostrukog predviđanja na osnovu i prve referentne slike i druge referentne slike, ako je veličina bloka predviđanja veća od unapred određene vrednosti i ako režim predviđanja određuje dvostruko predviđanje; i generisanje predviđene slike pomoću prvog predviđanja na osnovu prve referentne slike, ako režim predviđanja određuje prvo predviđanje.

2. Postupak kodiranja, koji sadrži:

određivanje, pomoću jedinice (105) za kodiranje, režima predviđanja prema režimu spajanja, pri čemu režim predviđanja određuje prvo predviđanje korišćenjem prve referentne slike, drugo predviđanje korišćenjem druge referentne slike ili dvostruko predviđanje korišćenjem prve referentne slike i druge referentne slike;

prikupljanje, pomoću jedinice (110) za generisanje, jedne ili više referentnih slika; i

2

interpoliranje, pomoću jedinice (110) za generisanje, svake od komponente luminancije i komponente razlike u boji u referentnoj slici ili slikama radi generisanja predviđene slike, pri čemu

generisanje predviđene slike za komponentu razlike u boji uključuje:

promenu, pomoću jedinice (110) za generisanje, režima predviđanja sa dvostrukog predviđanja na prvo predviđanje ako je veličina bloka za predviđanje određena širinom i visinom bloka za predviđanje jednaka ili manja od unapred određene vrednosti i ako režim predviđanja određuje dvostruko predviđanje;

generisanje predviđene slike pomoću dvostrukog predviđanja na osnovu i prve referentne slike i druge referentne slike, ako je veličina bloka predviđanja veća od unapred određene vrednosti i ako režim predviđanja određuje dvostruko predviđanje; i generisanje predviđene slike pomoću prvog predviđanja na osnovu prve referentne slike, ako režim predviđanja određuje prvo predviđanje.